simulation: gadget ou outil pédagogique -...
Post on 14-Sep-2018
223 Views
Preview:
TRANSCRIPT
06/02/2013
1
Simulation : gadget ou outil pédagogique
indispensable
Comment évaluer l’impact
de la simulation?
Pr Denis OriotLaboratoire de Simulation - SiMI, Poitiers
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Enjeu? Simulation = 1 des 4 modes
d’apprentissage
Je fais
Je vois
Je lis
Je simule
Kolb 1984
Les types d’enseignement
Patientimaginaire
Etudiant
Enseignant
Equipe
Patientsimulé
Patientréel
Equiperéelle
Étudiant
EnseignementEnseignementEnseignementEnseignementmagistralmagistralmagistralmagistral RéalitéRéalitéRéalitéRéalité
Equipesimulée
Apprenant
S S S S I M U L A T I O NI M U L A T I O NI M U L A T I O NI M U L A T I O N
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
06/02/2013
2
Place essentielle de l’évaluation
• Situation clinique • Analyse des besoins• But général de la simulation• Objectifs pédagogiques• Schéma du scénario de simulation• Identification des procédures/comportements qui
seront évalués au cours de la séance et des outils
• Evaluation
• Feed-back = débriefing
• Modifications des pratiques• Changement de la performance � impact clinique
PAS DE SIMULATION
SANS EVALUATION• L’évaluation permet de valider le processus
pédagogique lui-même
• C’est le seul moyen de démontrer que la simulation s’inscrit bien dans un processus d’apprentissage avec acquisition de savoir, de savoir-faire et de savoir-être
• Tous les enseignements devraient être évalués
To Err Is HumanBuilding a Safer Health SystemLinda T. Kohn, Janet M. Corrigan, andMolla S. Donaldson, EditorsCommittee on Quality of Health Care in AmericaNATIONAL INSTITUTE OF MEDICINENATIONAL ACADEMY PRESS 2000Washington, D.C.
Prévention des risquesMeilleure pédagogie � meilleurs soins
“Medical errors exceed the
deaths from motor vehicle
accidents, as well as deaths
due to breast cancer or AIDS.”
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Définition
• « L’évaluation en pédagogie est l’analyse systématique de la qualité de l’enseignement et de l’apprentissage » (MacDougall 2010)
• La qualité des soins dépend de la qualité de l’enseignement (To err is human, 2000)
• L’évaluation de la formation par simulation préfigure de la qualité des soins qui seront prodigués
Caractéristiques (J.M. Chabot 2000)
• Normée : le but est la hiérarchie de classement dans le groupe d’étudiants
• Critériée : le but est la réalisation d’un certains nombre de critères prédéterminés
06/02/2013
3
Caractéristiques (J.M. Chabot 2000)
• Sanctionnante : le but final est la note pour obtenir le diplôme
• Formative : le but est d’accélérer une dynamique de formation
Caractéristiques
• Avoir une vision unitaire :‘formation – évaluation’
– Il n’y a pas de formation sans évaluation
– Il n’y a pas d’évaluation sans formation
• Avoir une vision dynamique (Skinner) question 1-réponse 1-renforcement 1
question 2-réponse 2-renforcement 2…
• Scenario # 1
• Débriefing
• Scenario # 2
• Débriefing
• Scenario # 3
• Débriefing
• Différents objectifs
• Améliorations non liées à une learning curve
• Scenario # 1
• Débriefing
• Scenario # 1
• Débriefing
• Scenario # 1
• Débriefing
• Mêmes objectifs?
• Construction de la learning curve
Evaluation et dynamique de la simulationEvaluation de la performance
� Learning curve
16
Performance
Temps J’ai vu
Je fais
Evaluation de la performance � Learning curve
17
Performance
Temps J’ai vu
Je fais
Evaluation de la performance � Learning curve
18
Performance
Temps
ObjectifObjectifObjectifObjectifpédagogiquepédagogiquepédagogiquepédagogique
J’ai vu
Je fais
SIMULATIONSIMULATIONSIMULATIONSIMULATION
06/02/2013
4
Continuum ‘novice’ � ‘expert’
Dreyfus 1986, 2004
Champ de l’évaluation
• L’évaluation est un jugement
• On évalue le savoir, le savoir-faire et le savoir-être (knowledge, skills, attitudes)
• Mais jamais les PERSONNES +++
• L’évaluation est circonstanciée +++
Gestes
techniques
Respect de
l’algorithme
Travail en
équipe
Que faut-il évaluer?
Gestes
techniques
Respect de
l’algorithme
Travail en
équipe
Sûreté du
patient
Que faut-il évaluer?
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Qualités de la méthode
• ‘Validité’ (face validity) : est d’autant plus grande que ce qui est proposé singe la réalité. Est à l’évaluation ce que la pertinence est aux moyens
• Acceptabilité : pas ressentie comme une intrusion pour celui qui s’y soumet
• Faisabilité : facile, peu coûteuse à organiser pour celui qui la met en place
• Acceptabilité + faisabilité = Commodité
06/02/2013
5
Qualités de la méthode (suite)
• Ratio validité/commodité :
– Plus on augmente la similitude avec le réel (simulation), plus on augmente le ratio
validité/commodité
• Ce qui veut dire que l’on complexifie l’évaluation qui devient moins commode !
• Donc, � faire un choix raisonnable de la validité!
Qualités de la méthode (suite)
• Reproductibilité : – Représente la solidité du savoir
– Garantit l’objectivité de l’évaluation
– Très importante dans un contexte sanctionnant
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Comment évaluer?
1. Avec quels moyens?
2. Pour quels niveaux?
Quels moyens d’évaluation
Ce n’est pas un moyen unique qui évalue un processus d’apprentissage
complexe incluant plusieurs personnes
Critères de jugement d’une formation médicale
Centré sur
l’apprenant
Centré sur le
patient
Timing Proche de la formation
A distance de la formation
Connaissances Tests par QCM Audit, meilleure pratique
Aptitudes techniques
Echelle d’évaluation
(observation)
Taux de succès des interventions
Attitudescomportements
Echelle d’évaluation
(observation)
Interview des patients (sortie)
06/02/2013
6
Kirkpatrick : une vision dynamiqueEvaluation : 4 niveaux
Degré de satisfaction
Acquisition de compétences
Changement despratiques
Impactclinique
1111
2222
3333
4444
Evaluation d’un processusd’apprentissage
Kirkpatrick D. 1967
Evaluation : 4 niveaux
Modèle de Kirkpatrick, 1967
1. Degré de satisfaction : toujours auto-évaluée
2. Acquisition de connaissances/performance
- 2a : auto-évaluée ; 2b : hétéro-évaluée (mesurée)
3. Changement des pratiques professionnelles :
- 3a : auto-évaluée ; 3b : hétéro-évaluée (mesurée)
4. Impact clinique : bénéfice pour les patients
Kirkpatrick Niveaux 1 et 2 Niveau 3 Niveau 4
Science Translational Medicine 2010
Evaluation : 4 niveaux
Degré de satisfaction
Acquisition de compétences
Changement despratiques
Impactclinique
1111
2222
3333
4444
Evaluation d’un processusd’apprentissage
Kirkpatrick D. 1967
LAB
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
06/02/2013
7
Niveau 1Réalisme � adhésion
Niveau 1
Auto-évaluation
• Questionnaire à la fin de la session
1. Degré de réalisme des différents modèles et scénarios utilisés durant la session
– Likert ou échelle 0-10 : but � > 80% bon réalisme
2. Degré de satisfaction: – Likert ou échelle 0-10 : but � > 80% satisfaits
Niveau 1
• Niveau de satisfaction élevé
– « expérience agréable, enrichissante… » Kurreck 1996
• Haut degré de réalisme des scénarios
– 7.8 / 10 Devitt 2001
– « Face Validity » validité ‘écologique’
• Une réponse positive ne garantit pas un apprentissage, mais une réponse négative réduit
toujours la possibilité d’apprentissage
• Donc, très important d’avoir un haut niveau de
satisfaction (> 80%)
Hétéro-évaluation
• Connaissance :
• Utilisée par tous les centres
• QCM (5-10, couvrant le sujet) ou un cas clinique avec des questions après ou avant/après la session– Score du post-test
– Δ = score post – test-prétest
– Objectif : Sim � augmente le score au post-test
Niveau 2
06/02/2013
8
Test théorique
• Test = pré-test et post-test pour chaque niveau
• QCM : 5 à 10 questions complexes mais importantes pour les apprenants (QCM et réponses aléatoires)
• Questions directement en lien avec le sujet de l’apprentissage
• Test établi et revu par plusieurs spécialistes
• Aucune équivoque sur questions ou réponses
• Aspect consensuel du test et des réponses
• Comparaison pré/post-test � Delta
Evaluation (test théorique)
On ne peut pas évaluer deux choses à la fois :
• Exemple : un choc septique se traite initialement par oxygénothérapie en lunettes sous-nasales et expansion volémique
• Si réponse oui : on ne sait pas quel est l’item concerné; on imagine que les 2 sont bons
• Si réponse non : on ne sait pas pour quel item : O2 lunettes ou expansion volémique ou les 2
• Bonne réponse : O2 au MHC + expansion volémique
Test théorique Niveau 2
Connaissances techniques : ACLS
• 41 internes de médecine (2ème année)• Tous certifiés ACLS• Pré-test / post-test design• Intervention:
– 4 x 2h formation ACLS sur mannequin simulateur avec débriefing
• Résultats:– Amélioration des scores de 24 %– Succès : 17 % pré-test � 100% post-test
Wayne DB, J Gen Intern Med 2006
Niveau 2
Hétéro-évaluation
• Gestes pratiques : performance
• Difficile à évaluer +++ � Evaluateurs
• Un superviseur � évaluation subjective
• Deux superviseurs � meilleure évaluation (objective?) mais ne voient pas la même chose?
• Vidéo : emplacement des caméras; revoir les vidéo? Comparaison de visu vs. vidéo
Niveau 2
Hétéro-évaluation
• Gestes pratiques : performance
• Difficile à évaluer +++ � Outils d’évaluation
• Difficulté complexité procédure; IOT vs. PMO
• Développement d’échelles d’évaluation
• Car les gestes sont le 1er champ de la simulation
• Nécessaire d’avoir une évaluation objective des gestes pratiqués +++
06/02/2013
9
Gestes : outils d’évaluationGestes : outils d’évaluation
Comment évaluer une procédure?
Validité Avantages Désavantages
Checklist
Validitémodeste
Novice peut voir où
il doit s’améliorer
Demande le temps
d’évaluation d’un
expert
Double évaluation
Echelle
d’évaluation
Forte validité
Applicable dans de
nombreuses
situations par
différents
évaluateurs (objective)
Demande du temps pour
sa réalisation
Demande le temps
d’évaluation d’un
expert
Echelle d’observation
• Réalisée par plusieurs spécialistes
• Amendée par un expert en évaluation � modif
• Avis de N experts internationaux � modif
• Rodée sur 20 situations cliniques (2 observateurs)
• Analyse de la reproductibilité inter-observateurs
• Repérage des paires discordantes � modif
• Réévaluée sur 20 situations cliniques (2 observateurs)
• Analyse de la reproductibilité inter-observateurs
• Obtention d’un taux de reproductibilité > 80%
Echelle d’évaluation
• Construite à partir d’une check-list de la procédure
• Dédiée à l’évaluation en simulation/clinique
• ‘Face validity’ : facile à comprendre
• Validité de contenu : repose sur les différentes étapes de la procédure
• Validité de construit : les apprenants expérimentés ont un meilleur score que les novices
• Fiabilité : statistiques K et coefficient de corrélation intra-classe (> 0.80) � reproductibilité
Echelle d’évaluation : pose d’une voie intra-osseuse
Kappa = 0.946
ICC = 0.947
� Accord quasi parfaitentre des observateursindépendants
N = 30
06/02/2013
10
Sim Healthcare 2012;7:171-175 Echelle d’évaluation : pose d’une voie intra-osseuse
0
2
4
6
8
10
12
14
16
18
20
IO p
erfo
rman
ce s
core
/20
MS2 MS3 MS5 PGY
Niveau 2 : acquisition de compétences techniques
Introduction d’un nouvel équipement :
• Familiarisation avec le ventilateur Dräger Fabius
• 18 anesthésistes en formation randomisés en 2 groupes
• Groupe 1 : cours
• Groupe 2 : cours + pratique en simulateur
• Test : résolution de 2 crises simulées
• Résultats :
– impression subjective de maitrise identique
– groupe simulateur résout les 2 crises plus vite
Dalley P, Anesth Analg 2004
Echelle d’évaluation : annonce d’une mauvaise nouvelle
ICC = 0.917
� Très bon accord entre deux observateurs indépendants
N = 16
0
10
20
30
40
50
60
70
80
90
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Obs 1
Obs 2
# of students# of students
Une option : questionnaire d’intentionRudolph 2006
• Etabli pour chacun des gestes étudiés
• Une question � une réponse unique– Ex : Quel est le risque s’il y a issue de muqueuse
par le surjet? (Réponse = fistule)
– Ex : Quel est le risque de l’absence de garde sur l’aiguille intra-osseuse? (Réponse = tibia transfixié)
• Couplé à la grille d’observation
• Validé par plusieurs spécialistes
• Permet de repérer des apprenants avec une intention erronée à la base du déficit de performance
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Résultat
bon
Résultat
mauvais
GOLD
STANDARD
Success
06/02/2013
11
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Action
bonne
Résultat
bon
Action
inadaptée
Résultat
mauvais
GOLD
STANDARD
SuccessProcess
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Action
bonne
Résultat
bon
Action
inadaptée
Résultat
mauvais
GOLD
STANDARD
SuccessProcess
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Intention
adéquate
Action
bonne
Résultat
bon
Intention
erronée
Action
inadaptée
Résultat
mauvais
Résultat
lambda
GOLD
STANDARD
ProcessFrame
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Intention
adéquate
Action
bonne
Résultat
bon
Intention
erronée
Action
inadaptée
Résultat
mauvais
Résultat
lambda
GOLD
STANDARD
ProcessFrame
Invisible
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Intention
adéquate
Action
bonne
Résultat
bon
Intention
erronée
Action
inadaptée
Résultat
mauvais
Résultat
lambda
GOLD
STANDARD
Pb conceptuel sur la raison de la technique
���� poser la question : Pourquoi?
Invisible
Une option : questionnaire d’intentionRudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Intention
adéquate
Action
bonne
Résultat
bon
Intention
erronée
Action
inadaptée
Résultat
mauvais
GOLD
STANDARD
Pb conceptuel sur la raison de la technique
���� poser la question : Pourquoi?
Invisible
Success
06/02/2013
12
Good-judgment debriefing : base conceptuelle
Intention Action Résultat
Ce que l’on
pense
Ce que l’on
faitL’objectif
Feed-back orienté vers l’intention
Rationalité del’intention ?
Enseignement à deux boucles :Explorer les intentions, relativiser,Détecter déficit de performance
Rudolph SIH 2006,
Rudolph et al.
Acad Emerg Med
2008;15:1010-6
SuccessProcessFrame
Défi = évaluation des scénarios complexes
Algorithme
Défi = évaluation des scénarios complexes
Algorithme Algorithme
Défi = évaluation des scénarios complexes
Algorithme
Défi = évaluation des scénarios complexes Défi = évaluation des scénarios complexes
Algorithme
06/02/2013
13
Hétéro-évaluation
• Evaluation de scénarios complexes : ���� performance
• Evaluation de la performance d’une équipe
prenant en charge une situation de menace vitale (trauma sévère, hémorragie de la délivrance, nourrisson en choc…)
• Evaluation des algorithmes et du CRM
• � Développement d’échelles d’évaluation +++
Niveau 2Evaluation des scénarios complexes :
Exemples pédiatriques
Nom Année Auteur Items ICC, Crombach Alpha
Standardized Direct Observation
Tool (SDOT)
2004 Joshi 26 ICC = 0.81, CA = 0.95
Neonatal Resuscitation Program
Megacode Checklist (NRPMC)
2004 Wood 20 CA = 0.70
Tool for Resuscitation
Assessment Using Computerized
Simulation (TRACS)
2009 Calhoun 72 ICC = 0.80
Multirater Instrument for the
Assessment of Simulated
Pediatric Crises (MIASPC)
2011 Calhoun 44 ICC = 0.72, CA = 0.69
Evaluation Tool for Simulated
Pediatric Resuscitation (ETSPR)
2012 Grant 12 ICC = 0.76, CA = 0.82
Evaluation du CRM
Hétéro-évaluation
• Evaluation du CRM (Crisis Resource Mangement)
���� performance
• Neuf échelles validée
• Evaluation difficile (plusieurs évaluateurs, vidéo…) pendant une situation de crise!
• Mais rarement utilisées
Niveau 2 : acquisition de compétences
Quels outils d’évaluation?Kardgong-Edgren, Clin Sim Nurs 2010
Evaluation du CRM : échelles spécifiques
Nom Année Auteur
Anaesthetists’ Non-Technical Skills (ANTS) 2003 Fletcher
Ottawa Global Rating Scale 2006 Kim
Behavioral Assessment Tool (BAT) 2006 Anderson
Mayo High Performance Teamwork Scale 2007 Malec
Clinical Teamwork Scale (CTS) 2008 Guise
Team Performance During Simulated
Crises Instrument (TPDSCI)
2009 Calhoun
Evaluation instrument of CRM 2011 Plant
Simulation Team Assessment Tool (STAT) 2012 Reid
Evaluation tool of CRM 2012 Grant
06/02/2013
14
Clinical Teamwork Scale (CTS) La simulation en Médecine d’Urgence
Niveau 2 : acquisition de compétencesnon techniques
• Répartition des tâches
• Fonctionnement en équipe
• Conscience de la situation
• Prise de décision
Yee B, Anesthesiology 2005 ; 103 : 241-8
Crowded unit
Patient 1 Patient 2
Mannequins HF
Défi : Crowded unit
• 2 équipes de 4 personnes
• 1 équipe de 3 personnes « rescue team »
• 5 évaluateurs
• Quels objectifs pédagogiques?
• Quoi évaluer?
• Quels outils d’évaluation?
Niveau 3
Auto-évaluation
• Questionnaire à la fin de la session
• Changement des pratiques professionnelles
• « Pensez-vous que cette séance de simulation
vous fera changer quelque chose dans votre
pratique professionnelle? » : objectif > 50% de OUI
• « Dans quels domaines? Connaissances,
procédures, attitudes »
06/02/2013
15
Niveau 3
O’Donnell, SIH 2011
Learning Curve
Temps
Performance
Mastery JIT JIT
Niveau 3 : Just-In-Time Treatment
Niveau 3
• Mesure du transfert apparu dans le comportement de l’apprenant suite à la sim
• Connaissances, la compétence technique ou le savoir-être récemment acquis, sont utilisés dansl’environnement quotidien de l’apprenant?
• � La plus véridique évaluation de l’efficacité
d’un programme de formation
• Mais difficile, impossible de prédire quand le changement surviendra
• Quand évaluer? À quelle fréquence évaluer? Comment évaluer?
Niveau 3
Weller J, Anaesthesia 2003 :
• Changements de pratique 3-12 mois après un cours sur la CRM (Crisis Resource Management)
– 61% exposés à une ou plus situations critiques
– 70% estiment que leur gestion de la crise a été améliorée
• Perceptions / attitudes
• Formation de collègues à la gestion des crises, stratégies de résolution de problème, planification / anticipation d’effets indésirables, travail en équipe, communication avec collègues, impact sur la pratique clinique
Niveau 3bIntubation fibroscopique :
• 24 internes novices en intubation fibroscopique orale
• 2 groupes randomisés : Gr1 (n=12) : cours Gr 2 (n=12) : cours + mannequin
. Mesure de la performance en salle d’opération
Groupecours
Groupecours + modèle
P
Durée del intubation (s’
210210210210 81818181 < 0.01< 0.01< 0.01< 0.01
Intubation réussie
42 %42 %42 %42 % 92 %92 %92 %92 % < 0.005< 0.005< 0.005< 0.005
NaikNaikNaikNaik VN, VN, VN, VN, AnesthesiologyAnesthesiologyAnesthesiologyAnesthesiology 2001200120012001
Niveau 3b
Performance du travail en équipe :
• Beaucoup plus difficile à étudier
• Pas d’étude disponible en anesthésie-réanimation
• 1 étude en médecine d’urgence (Shapiro 2004):
– Observation « live » pré et post-training (8h de simulation et débriefing)
– « Tendance » à l’amélioration du travail en équipe aux urgences (p = 0.07)
– Mais petit collectif (4 équipes de 5 pers.)
06/02/2013
16
Efficacité de la simulation : Quelles sont les preuves ?
• Étalon-or de la médecine factuelle :
– « Étude randomisée contrôlée » = RCT
– Souvent difficile à réaliser en pédagogie
– Raisons éthiques / pratiques
– « Outcomes » difficiles à mesurer
• Méta-analyses impossibles
• Comment faire?
Moyens d’évaluation
Impact clinique :
• Recherche de marqueurs cliniques pertinents en rapport avec la formation, dont la modification de l’incidence et/ou de la gravité serait un reflet de l’acquisition de savoir, de savoir-faire et de savoir-être par les apprenants, uniquement en lien avec la formation par simulation réalisée
Niveau 4 : Impact clinique
• Le niveau 4 essaie d’évaluer la formation comme s’il s’agissait d’un processus économique
• Bénéfice secondaire au processus pédagogique = la santé des patients
Epidémiologie des éléments traceurs
• Recherche translationnelle (= passer du modèle de simulation au patient)
• Relevé rétrospectif de 2-3 éléments cliniques traceurs bien ciblés lors des années n-1 et n-2 dans l’activité de chaque centre
• Relevé prospectif des mêmes éléments cliniques traceurs lors des années n et n+1
• � Pré-intervention vs. post-intervention
• Mesure de l’impact clinique de l’apprentissage
• Mais… effet TEMPS inéluctable
Niveau 4 : Impact clinique• Obstétrique Draycott T. BJOG 2006;113:177-82
Sim HF � -50% d’encéphalopathies +++ (avant/après formation)
1998–1999(n = 8430)
2001–2003(n = 11030)
Relative risk
5’ Apgar ≤ 6,n (rate / 10.000)
73 (86.6) 49 (44.4) 0.51 (0.35–0.74)
HIEn (rate / 10.000)
23 (27.3) 15 (13.6) 0.50 (0.26–0.95)
Mod /sev HIEn (rate/10.000)
16 (19.0) 11 (10.0) 0.53 (0.24–1.13)
NB : Montre une association, pas un lien de causalité ;
possibilité d’un effet-temps! � mais encourageant !
Niveau 4 : Impact clinique
Comparaison intra-régionale
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1,8
2
MNP IM total IM graves
1993-1997
1998-2006
NS
**
*
Pour 1000 naissances vivantes
06/02/2013
17
Comparaison inter-régionale (1998-2006)
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1,8
2
MNP IM total IM graves
Limousin
Poitou-Charentes
Pour 1000 naissances vivantes
NS ****
****
Niveau 4 : Impact clinique Niveau 4 : Impact clinique
• Soins intensifs
– CVC en USI adulte � 0.5 (SIM+) vs 3.2 (SIM-)
infections sur cathéter sur 32 mois (p<0.001)
Barsuk JH, Arch Intern Med 2009;169:1420-3
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Moyens d’évaluation de la performance
• Questionnaire d’auto-évaluation
– Nv 1 (satisfaction = réalisme du modèle)
– Nv 2a (connaissances)
– Nv 3a (changement des pratiques)
• Tests théoriques (quiz avec QCM ou QROC)
– Nv 2b : acquisition de connaissances (pré/post-test)
• Echelle(s) d’évaluation (hétéro-évaluation)
– Nv 2b (au labo) : performance gestes, algorithme, travail d’équipe � Mais pas d’échelles combinées!
– Nv 3b (in situ) : changement des pratiques
• Epidémiologie d’éléments traceurs
– Nv 4 : mesure de l’impact clinique de la formation � Rare!
Moyens d’évaluation de la performance
Individu Equipe
Non technicalskills
Technicalskills
Moyens d’évaluation de la performance
Individu Equipe
Non technicalskills
Technicalskills
06/02/2013
18
Simulation = 1 des 4 modes d’apprentissage
Je fais
Je vois
Je lis
Je simule
Kolb 1984
Mastery training (procédure)
1. Package ‘procedure guidelines’ e-learning– Prétest
2. Cours théorique et vidéo
- [Post-test 1]
3. Simulation en basse fidélité
– Evaluation et feed-back
4. Simulation en haute-fidélité
– Evaluation et débriefing
– Post-test 2
– Questionnaire: autoéaluation Niveaux 1, 2 et 3
Plan
• Quels enjeux? � Qualité et amélioration
• Place de l’évaluation dans la simulation
• Caractéristiques et champs de l’évaluation
• Qualité de la méthode d’évaluation
• Comment évaluer? Modèle de Kirkpatrick
• Niveaux 1, 2, 3 et 4 avec données de la littérature
• Quelles difficultés?
• Conclusion
Conclusion
• L’évaluation est indispensable à toute formation
par simulation
• Apporte la différence entre une activité
pédagogique et une activité ludique
• Donne une légitimité scientifique en tant que processus pédagogique
• Valide ou invalide les hypothèses formulées
• Précise les déficits de performance possibles � complément de formation
• Lien entre l’enseignement et la recherche
Limites de l’évaluation en simulation?
Après apprentissage par simulation (Gaba) :
• 90% ont réussi la simulation et réussiront dans la réalité
• 5% ont réussi la simulation et ne réussiront pas dans la réalité
• 5% n’ont pas réussi la simulation et réussiront dans la réalité
top related