faculté de médecine cpass -Évaluation
DESCRIPTION
Faculté de médecine CPASS -Évaluation. Déterminer la note de passage et qualifier la réussite dans des épreuves de certification. Serge Normand, M.A. XVII e Journées universitaires de pédagogie des sciences de la santé CIDMEF Lille - 5-8 avril 2008. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/1.jpg)
Faculté de médecineCPASS -Évaluation
Déterminer la note de passage
et qualifier la réussite
dans des épreuves de certification
Serge Normand, M.A.
XVIIe Journées universitaires de pédagogie des sciences de la santé
CIDMEF
Lille - 5-8 avril 2008
![Page 3: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/3.jpg)
Un peu de vocabulaire …
NotationAction d’attribuer un score ( chiffre ou pourcentage )ou une cote ( lettre ou symbole ) sur les apprentissages.
NoteValeur numérique qui traduit le résultat de la mesure ou de l’appréciation d’une performance.
CoteSymbole alphabétique ( A, B, C, D, E, F, …), numérique (1,2,3,4,5, …) ou autre qui traduit le résultat d’une performance.
ScoreNombre exprimant le résultat obtenu à un test, à un examen ou`à une production scolaire.
Note de passageSeuil de réussite appliqué à la totalité d’un instrument de mesure qui porte sur un large domaine et imposé à tous les répondants.
Legendre, R, Dictionnaire actuel de l’éducation, 2005
![Page 4: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/4.jpg)
Nos échelles … Nos habitudes …
20
19
18
…
13
12
11
10
9
…
1
D’un coté de l’Atlantique
100
99
98
…
61
60
…
50
49
…
1
De l’autre côté
![Page 5: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/5.jpg)
Comment déterminer une note de passage qui soit la
plus « juste » possible ?
Comment qualifier la réussite
dans une cohorte de candidats qui ont subi une épreuve d’évaluation des
apprentissage ?
Aborder des problématiquessouvent négligées
![Page 6: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/6.jpg)
Épreuves écrites
1. Méthode EBEL2. Cote Z3. Approche Hofstee
Grilles d’observation
4. ECOS – Borderline Group
5. Échelles descriptives
Grilles d’observation
4. ECOS – Borderline Group
5. Échelles descriptives
Vulgariser quelques approchesrelativement faciles à implanter
![Page 7: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/7.jpg)
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteNote de passage
Certification
Rappel
![Page 8: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/8.jpg)
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
![Page 10: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/10.jpg)
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
![Page 11: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/11.jpg)
Évaluer les apprentissages
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteNote de passage
![Page 12: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/12.jpg)
Un enjeux important:déterminer la note de passage
( Setting Performance Standards )
C o m p é t e n c e s
Niveauacceptable
How much is
enough ?
Combien faut-il pour
passer ?
![Page 14: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/14.jpg)
Un enjeux important:déterminer la note de passage
( Setting Performance Standards )
Méthodes• Angoff• Nedelsky• Ebel• Hofstee• Contrasting Group• Borderline Group• Direct Borderline (2003)• Etc…
Candidatà la LIMITE« borderline
»
Candidatà la LIMITE« borderline
»
![Page 16: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/16.jpg)
Déterminer la note de passage ( selon la méthode EBEL )
Université de Montréal Faculté de médecine Bureau d’évaluation
Diffi culté
Pertinence I mportance relative
Facile Moyenne Diffi cile
+ + + + (80%)
(70%)
(60%)
+ + + (70%)
(60%)
(50%)
+ + (60%)
(50%)
(40%)
+ (50%)
(40%)
(30%)
Situez chaque question ou élément de questions qui composent l’épreuve dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille.
Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée.
Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits.
La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue la note de passage pour cette épreuve exprimée en pourcentage.
![Page 17: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/17.jpg)
Déterminer la note de passage( selon la méthode EBEL )
Université de Montréal Faculté de médecine Bureau d’évaluation
Diffi culté
Pertinence I mportance relative
Facile Moyenne Diffi cile
+ + + + (80%) 14
(70%) 4
(60%)
2
+ + + (70%)
9 (60%)
12
(50%) 7
+ + (60%) 4
(50%) 13
(40%) 5
+ (50%)
1 (40%)
1 (30%) 0
Nombre de questions : 72
SAP : 61 %
![Page 18: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/18.jpg)
Déterminer la note de passage( variante: méthode « Direct Borderline » )
Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question.
Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.
Question 1 ouinon
Question 2 ouinon
Question 3 ouinon
Question … ouinon
Question … ouinon
Question 25 ouinon
ExempleNombre de questions: 25Nombre de OUI : 16SAP : 64 %
![Page 19: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/19.jpg)
Étude de cas No 2Utilisation de la cote Z
Qualifier la réussite et/ou Déterminer la note de passage
![Page 20: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/20.jpg)
Cote Z Note Fréquence en % % Normalisé
1,71 92 1 1% 100% 2,331,64 91 2 2% 99% 2,321,56 90 1 1% 97% 1,881,49 89 1 1% 96% 1,751,41 88 1 1% 95% 1,641,33 87 2 2% 94% 1,551,26 86 1 1% 92% 1,401,10 84 7 7% 91% 1,341,03 83 1 1% 84% 0,990,95 82 2 2% 83% 0,950,88 81 2 2% 81% 0,870,80 80 5 5% 79% 0,800,72 79 1 1% 74% 0,640,65 78 5 5% 73% 0,600,57 77 2 2% 68% 0,460,50 76 1 1% 66% 0,400,42 75 4 4% 65% 0,380,34 74 7 7% 61% 0,270,27 73 2 2% 54% 0,090,19 72 1 1% 52% 0,040,11 71 4 4% 51% 0,010,04 70 6 6% 46% -0,09-0,19 67 2 2% 40% -0,24-0,27 66 1 1% 38% -0,30-0,34 65 3 3% 37% -0,32-0,42 64 2 2% 34% -0,40-0,50 63 2 2% 32% -0,46-0,57 62 3 3% 30% -0,52-0,65 61 2 2% 27% -0,60-0,72 60 1 1% 25% -0,67-0,80 59 1 1% 24% -0,70-0,88 58 2 2% 23% -0,73-0,95 57 2 2% 21% -0,80-1,03 56 1 1% 19% -0,87-1,10 55 2 2% 18% -0,91-1,18 54 1 1% 16% -0,99-1,26 53 4 4% 15% -1,03-1,41 51 1 1% 11% -1,22-1,49 50 1 1% 10% -1,28-1,64 48 2 2% 9% -1,34-1,71 47 3 3% 7% -1,47-1,87 45 2 2% 4% -1,75-1,94 44 1 1% 2% -2,05-2,93 31 1 1% 1% -2,32
X - Mx
sx
Zx
76 – 69,5
13,130,50
MoyenneÉcart typeN
69,513,1399
![Page 21: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/21.jpg)
Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets »
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
X - Mx
sx
Score standard : Zx
Variance : xsx2
![Page 22: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/22.jpg)
-3,00 -2,75 -2,50 -2,25 -2,00 -1,75 -1,50 -1,25 -1,00 -0,75 -0,50 -0,25 0,00 0,25 0,50 0,75 1,00 1,25 1,50 1,75 2,00 2,25 2,50 2,75 3,00
Distribution normale
![Page 23: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/23.jpg)
Distribution normale
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
68 %
96 %
μ σσ
![Page 24: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/24.jpg)
Cote Z Note Fréquence en %
1,71 92 1 1%1,64 91 2 2%1,56 90 1 1%1,49 89 1 1%1,41 88 1 1%1,33 87 2 2%1,26 86 1 1%1,10 84 7 7%1,03 83 1 1%0,95 82 2 2%0,88 81 2 2%0,80 80 5 5%0,72 79 1 1%0,65 78 5 5%0,57 77 2 2%0,50 76 1 1%0,42 75 4 4%0,34 74 7 7%0,27 73 2 2%0,19 72 1 1%0,11 71 4 4%0,04 70 6 6%-0,19 67 2 2%-0,27 66 1 1%-0,34 65 3 3%-0,42 64 2 2%-0,50 63 2 2%-0,57 62 3 3%-0,65 61 2 2%-0,72 60 1 1%-0,80 59 1 1%-0,88 58 2 2%-0,95 57 2 2%-1,03 56 1 1%-1,10 55 2 2%-1,18 54 1 1%-1,26 53 4 4%-1,41 51 1 1%-1,49 50 1 1%-1,64 48 2 2%-1,71 47 3 3%-1,87 45 2 2%-1,94 44 1 1%-2,93 31 1 1%
MoyenneÉcart typeN
69,513,13
99
Cote Z Note Fréquence en %
1,76 93 1 1%1,66 92 2 2%1,56 91 1 1%1,46 90 2 2%1,36 89 2 2%1,26 88 1 1%1,06 86 8 8%0,96 85 2 2%0,86 84 2 2%0,76 83 6 6%0,66 82 5 5%0,56 81 2 2%0,46 80 5 5%0,36 79 7 7%0,26 78 2 2%0,16 77 5 5%0,06 76 6 6%-0,14 74 2 2%-0,24 73 1 1%-0,34 72 3 3%-0,44 71 2 2%-0,54 70 5 5%-0,64 69 2 2%-0,74 68 1 1%-0,84 67 3 3%-0,94 66 2 2%-1,04 65 1 1%-1,14 64 3 3%-1,24 63 4 4%-1,44 61 2 2%-1,64 59 2 2%-1,74 58 3 3%-1,84 57 2 2%-1,94 56 1 1%-2,94 46 1 1%
75,410,099
Distribution Z standardisée
![Page 25: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/25.jpg)
Cote Z Note Fréquence en %
2,28 99 3 3%1,78 94 1 1%1,68 93 1 1%1,58 92 1 1%1,48 91 2 2%1,28 89 8 8%0,89 85 3 3%0,79 84 2 2%0,69 83 5 5%0,59 82 1 1%0,49 81 5 5%0,39 80 2 2%0,29 79 5 5%0,19 78 7 7%-0,01 76 7 7%-0,11 75 6 6%-0,31 73 2 2%-0,41 72 4 4%-0,51 71 4 4%-0,61 70 3 3%-0,71 69 3 3%-0,81 68 3 3%-0,91 67 3 3%-1,01 66 3 3%-1,11 65 4 4%-1,30 63 2 2%-1,40 62 2 2%-1,50 61 3 3%-1,80 58 2 2%-2,10 55 1 1%-2,40 52 1 1%
Cote Z Note Fréquence en %
1,71 92 1 1%1,64 91 2 2%1,56 90 1 1%1,49 89 1 1%1,41 88 1 1%1,33 87 2 2%1,26 86 1 1%1,10 84 7 7%1,03 83 1 1%0,95 82 2 2%0,88 81 2 2%0,80 80 5 5%0,72 79 1 1%0,65 78 5 5%0,57 77 2 2%0,50 76 1 1%0,42 75 4 4%0,34 74 7 7%0,27 73 2 2%0,19 72 1 1%0,11 71 4 4%0,04 70 6 6%-0,19 67 2 2%-0,27 66 1 1%-0,34 65 3 3%-0,42 64 2 2%-0,50 63 2 2%-0,57 62 3 3%-0,65 61 2 2%-0,72 60 1 1%-0,80 59 1 1%-0,88 58 2 2%-0,95 57 2 2%-1,03 56 1 1%-1,10 55 2 2%-1,18 54 1 1%-1,26 53 4 4%-1,41 51 1 1%-1,49 50 1 1%-1,64 48 2 2%-1,71 47 3 3%-1,87 45 2 2%-1,94 44 1 1%-2,93 31 1 1%
MoyenneÉcart typeN
76,110,04
99
69,513,13
99
Distribution Z normalisée
![Page 26: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/26.jpg)
Utiliser la Cote Z pour …
C o m p é t e n c e s
Niveauacceptable
Qualifier la réussite ?
![Page 27: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/27.jpg)
Système de notation littérale
A+AA-B+BB-C+CC-D+DE
Excellent
Très bon
Bon
Passable
Échec
Identifierdes « paliers »
de réussite
![Page 28: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/28.jpg)
Utiliser la Cote Z pour qualifier la réussite
A+ 96 100 Excellent A+ 1.75A 92 95 A 1.50 à 1.74A- 89 91 A- 1.00 à 1.49
B+ 85 88 Très Bon B+ 0.51 à 0.99B 82 84 B 0.50 à -0.25B- 78 81 B- -0.26 à -0.74
C+ 74 77 Bon C+ -0.75 à -1.49C 71 73 C -1.50 à -1.74C- 67 70 C- -1.75 à -1.99
D+ 64 66 Passable D+ -2.00 à -2.49D 60 63 D -2.50
E 33 59 Échec E Note inférieure au SAP
et plus
et moins
A+AA-B+BB-C+CC-D+DE
Excellent
Très bon
Bon
Passable
Échec
![Page 29: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/29.jpg)
Total > SAP
Moyenne 82.0 82.4 Médiane 83Écart-type 7.7 7.1N 134 132 SAP 60%
NotationZ littérale (Z) proposée en % brute en %
1.92 A+ A+ 96 1 1 1.78 A+ A+ 95 1 1 1.64 A A 94 3 2 1.50 A A 93 3 2 1.36 A- A- 92 4 3 1.22 A- A- 91 4 3 1.08 A- A- 90 7 5 0.94 B+ B+ 89 9 7 0.79 B+ B+ 88 10 7 0.65 B+ B+ 87 3 2 0.51 B+ B+ 86 3 2 0.37 B B 85 2 1 0.23 B B 84 7 5 0.09 B B 83 10 7 -0.05 B B 82 10 7 -0.19 B B 81 5 4 -0.33 B- B- 80 8 6 -0.48 B- B- 79 5 4 -0.62 B- B- 78 4 3 -0.76 C+ B- 77 2 1 -0.90 C+ C+ 76 3 2 -1.04 C+ C+ 75 6 4 -1.18 C+ C+ 74 4 3 -1.32 C+ C+ 73 5 4 -1.46 C+ C 72 2 1 -1.61 C C 71 4 3 -1.75 C- C- 70 2 1 -1.89 C- C- 69 2 1 -2.03 D+ D+ 68 1 1 -2.17 D+ D+ 67 1 1 -2.45 D+ D+ 65 1 1
E 57 1 1 E 55 1 1
Fréquence
0
5
10
15
20
25
30
35
40
Fréquence 2 6 15 25 34 19 18 6 4 3 0 2
A+ A A- B+ B B- C+ C C- D+ D E
Note en %
-3
-2
-1
0
1
2
3
4
5
6
7
8
9
10
11
Fréquence 1 1 3 3 4 4 7 9 10 3 3 2 7 10 10 5 8 5 4 2 3 6 4 5 2 4 2 2 1 1 1 1 1
Cote Z 1.9 1.7 1.6 1.5 1.3 1.2 1.0 0.9 0.7 0.6 0.5 0.3 0.2 0.0 -0.0 -0.1 -0.3 -0.4 -0.6 -0.7 -0.9 -1.0 -1.1 -1.3 -1.4 -1.6 -1.7 -1.8 -2.0 -2.1 -2.4
96 95 94 93 92 91 90 89 88 87 86 85 84 83 82 81 80 79 78 77 76 75 74 73 72 71 70 69 68 67 65 57 55
Exemple de notation littérale via Cote Z
![Page 30: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/30.jpg)
Utiliser un score standard ( Cote Z )pour analyser le « profil » d’un candidat
Cote Z
Moyenne = 0,0
Écart-type = 1,0
Score standard
Moyenne = 500
Écart-type = 100
![Page 31: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/31.jpg)
Calculer un score standard à partir d’une cote Z
81 – 69,5
13,130,87
MoyenneÉcart type
69,513,13
Calculer le score standard pour une note de 81
Statistiques de la distribution
Calcul du score Z
Calcul du score standard 5870,87 X 100 ) + 500
Score standard = 587
![Page 32: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/32.jpg)
Distribution normale – Score standard
200 225 250 275 300 325 350 375 400 425 450 475 500 525 550 575 600 625 650 675 700 725 750 775 800
Moyenne = 500
Écart-type = 100
![Page 33: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/33.jpg)
Profil de candidats en Scores standards
Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex 5
A 482 503 515 408 575
B 680 710 590 740 760
C 273 405 333 397 410
![Page 35: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/35.jpg)
Déterminer la note de passage( selon la méthode Hofstee )
Quelle est la note de passage maximun ?6050
30 %Quel est le % maximun d’échecs ?
Quelle est la note de passage minimum ?
Quel est le % minimum d’échecs ?
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
10 %
![Page 36: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/36.jpg)
Étude de cas No 4Méthode « Borderline Group »
Déterminer la note de passage - ECOS
![Page 37: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/37.jpg)
Fait Non fait
Item 1
Item 2
Item x
TOTAL
Grille d’observationStation ECOS
Examen clinique objectif standardisé
Éval. Globale 1 2 3 4 5
1 = Échec
2 = Limite insuffisant
3 = Limite suffisant
4 = Attendu
5 = Excellent
Moyennes
des scores
par examinateurs
![Page 38: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/38.jpg)
Déterminer la note de passage – Station ECOS( selon la méthode Borderline Group )
Station No 1
Moyennes des Moyennes par examinateurexaminateurs
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F92,8 Excellent 99,0 88,0 96,0 96,0 88,0 90,076,5 Attendu 82,6 73,2 78,5 77,8 74,9 72,260,0 Limite / Suffisant 53,5 64,0 64,0 58,451,0 Limite / Insuffisant 51,0
Nombre de candidats par examinateur
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F12 Excellent 1 2 1 1 3 4
163 Attendu 30 23 30 31 22 2716 Limite / Suffisant 6 2 1 7 1 Limite / Insuffisant 1
![Page 39: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/39.jpg)
Déterminer la note de passage –ECOS( selon la méthode Borderline Group )
Cohorte Limite / Suffisant
Station N Moyennes
S1 16 60,0
S2 17 69,2
S3 6 61,8
S4 30 70,3
S5 24 64,5
S6 16 63,8
S7 25 62,2
S8 20 59,5
S9 25 64,8
S10 10 64,3
Moyenne 18,9 64,0
![Page 40: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/40.jpg)
Étude de cas No 5Échelles qualitatives et descriptives
Déterminer la note de passage
![Page 41: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/41.jpg)
SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004
Critère : coopération ( échange des idées )
Échelleuniforme
Excellente Satisfaisante Insatisfaisante
Échelledescriptive
Donne ses idées et
accepte celle des autres
Donne ses idées ou
accepte celles des autres
Ne donne pas d’idée et
n’accepte pas celles des
autres
ExemplesÉchelles qualitatives et descriptives
Évaluation formative
Évaluation certificative
![Page 42: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/42.jpg)
Échelle de notation
au-delà des attentes : (Plus +)conforme aux attentes : (Attendu)en deçà des attentes : (Moins –)
Protocole de notation
1. 100% des critères cotés (Attendu) => B+
si aucun critère n’est coté (Moins -) et que :
2. 75% des critères cotés (Plus +) => A+3. 50% des critères cotés (Plus +) => A4. 25% des critères cotés (Plus +) => A-
si des critères cotés (Moins -) sont présents et que 50% des critères sont cotés (Plus +) :
5. les règles 2 à 4 s’appliquent, mais la notation littérale est réduite d’un nombre de paliers égal au nombre de critères (Moins -)
Exemple : si les règles 2 à 4 génèrent une notation de A,mais que 2 critères ont été cotés (Moins -),la notation sera réduite de 2 paliers à B+
autrement :
6. 10% des critères cotés (Moins -) => B+7. 20% des critères cotés (Moins -) => B8. 25% des critères cotés (Moins -) => B-9. 30% des critères cotés (Moins -) => C+10. 35% des critères cotés (Moins -) => C
Situation d’échec
Si 50% des critères sont cotés (Moins -)
ou
Si l’un ou l’autre des critères déterminantssont cotés (Moins - )
Exemple d’un protocole de notation pour grille d’observation
![Page 43: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/43.jpg)
Ne sait pas faire
Sait faire avec le soutien du superviseur
Sait faire de manière autonomesans le soutien du superviseur
Sait maîtriser parfaitement
Sait maîtriser parfaitementet sait transmettre ses connaissances
Sait faire évoluerle domaine en innovant
Débutant
Intermédiaire
Compétent
Compétentprofessionnel
Compétentprofessionnel confirmé
Expert
Échelles d’appréciation
![Page 44: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/44.jpg)
![Page 45: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/45.jpg)
Critères déterminants
![Page 46: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/46.jpg)
CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008
![Page 47: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/47.jpg)
Dépasse les attentes Conforme aux attentes Inférieur aux attentes Insuffisant
Ponctualité Est toujours ponctuel. 1 ou 2 retards. 3 retards et plus, ou retards importants.
Compréhension Explique les phénomènes complexes.
Explique les concepts évoqués et sa progression est satisfaisante.
Au retour ne peut répondre aux questions du tuteur ou ne peut expliquer un concept à l'étude.
Au retour est souvent dans l'erreur.
Langage médical Utilise un vocabulaire médical approprié et évite les expressions populaires.
Utilise parfois des expressions populaires alors que le terme médical existe.
Utilise fréquemment des expressions populaires et ne s'exprime qu'à l'aide des termes médicaux les plus élémentaires.
Participation Exprime ses opinions de manière appropriée. Attention soutenue.
S'exprime très peu ou prend souvent la parole sans laisser les autres s'exprimer. Inattentif.
S'exprime très peu ou prend très souvent la parole sans laisser les autres s'exprimer. Manque d'attention ou d'intérêt. Ne modifie pas son comportement malgré la rétroaction.
Comportement Modifie son comportement en fonction de la rétroaction.
Est ouvert à la critique, poli et respecte les autres.
Raisonnement Fait des liens entre les concepts complexes et avec les notions des systèmes précédents. Démontre une capacité à déduire, à tirer des conclusions à partir desdifférentes notions.
Fait peu de liens entre les concepts et avec les notions des cours précédents. Déduit rarement à partir des différentes notions.
Ne réfère pas aux autres APP ou aux notions normalement déjà acquises.
Esprit de synthèse
Résume avec précision, et de façon succinte, les renseignements pertinents et les opinions des membres du groupe.
Ne peut rassembler les éléments de la discussion de manière structurée.
Ne peut rassembler les éléments de la discussion de manière structurée et les propos comportent des erreurs sur ce qui a été dit.
Fait des liens entre les concepts et avec les notions des cours précédents. Démontre une capacité à déduire, à tirer des conclusions à partir des différentes notions.
Résume en quelques phrases les éléments de la discussion de façon structurée.
Évite ou refuse de remplir ces fonctions.Exécute bien le rôle qui lui est assigné : comme intendant, scribe, animateur, secrétaire, etc.
Aide au fonctionnement du groupe
Tient des propos hors d'ordre. Propose des hypothèses ne reposant pas sur des principes ou notions valables.
Tient des propos hors d'ordre. Ne modifie pas son comportement malgré la rétroaction.S'approprie une place exagérée qui nuit au fonctionnement du groupe.
Écoute, démontre un esprit critique. Suscite le questionnement du groupe. Émet des hypothèse valables et constructives.
Ne modifie pas son comportement malgré la rétroaction. Irrite par son comportement.
N’accepte pas la rétroaction, argumente systématiquement. Harcèlement envers les collègues ou le tuteur.
Diversité des sources d’information
Utilise l'ensemble du matériel didactique suggéré.
Ne réfère qu'au texte de base proposé.
Limite ses lectures au stricte minimum (ex: résumés des années passées).
Utilise une variété de matériel didactique, lectures, livres de référence, CD, Internet…
Activités de gestion
Inefficace ou ne joue pas le rôle qui lui est assigné.
CPASS – Évaluation, Faculté de médecine, Université de Montréal, 2008
![Page 48: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/48.jpg)
Vierset, V. et Foidart, J.M., Faculté de Médecine. Université de Liège Service Gynécologie-Obstétrique, 2007
![Page 49: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/49.jpg)
Bibliographie sélectiveNotation – Standard Setting
BOULET, J.R. et al., Setting defensible performance standards on OSCEs and standardized patient
examinations, Medical Teacher 2003;25(3):245-249.
CUSIMANO, MD. et al., The Effect of Incorporating Normative data into a Criterion-Referenced
Standard Setting in Medical Education, Acad Med 2003;78(10suppl):S88-90.
DOWNING,SM et al., Establishing Passing Standards for Classroom Achievement Tests in Medical
Education: A Comparative Study of Four Methods, Academic Medicine, Acad Med
2003;78(10suppl):S85-87.
SMEE, SM., Setting standards for an objectif structured clinical examination: the borderline group
method gains ground on Angoff, Med Educ 2001;35:1009-1010.
WILKINSON TJ. et al., Standard setting in an objective structured clinical examination: use of global
ratings borderline performance to determine the passing scores, Med Educ 2001;35:1043-1049.
McILROY, JH., The Impact of an Alternative Approach to Computing Station Cut Scores in an OSCE,
Acad Med 2000;75(10suppl):S18-20.
FRIEDMAN BEN-DAVID, M., Standard setting in student assessment, AMEE Medical Education Guide
No 18, University of Dundee, 2000.
CIZEK, GJ., Setting Passing Scores, Educational Measurement: Issues and Practice, NCME, 1996.
CUSIMANO, MD., Standard Setting in Medical Education, Acad Med 1996;71(10suppl):S112-120.
![Page 50: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/50.jpg)
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo
Merci de votre attention !
![Page 51: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/51.jpg)
Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets »
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
X - Mx
sx
Score standard : Zx
X - Mx Y - My
Nsxsy
Corrélation : rxy
Variance : xsx2
![Page 52: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/52.jpg)
Les formulesoù X = score du « sujet », N = ensemble des « sujets »
et r xx = indice de fidélité
X
NMoyenne : Mx
X - Mx 2
N
Écart type : sx
sx
N
Erreur type (moyenne) : s x =
Niveau de confiance à 95% : plus ou moins 1.96 s x
Erreur de mesure : se = sx 1 – r xx
![Page 53: Faculté de médecine CPASS -Évaluation](https://reader035.vdocuments.pub/reader035/viewer/2022062314/56814312550346895daf63c5/html5/thumbnails/53.jpg)
FidélitéCoefficient d ’homogénéité interne
Alpha de Cronbach
k
k - 1
j
t
1 -
où :
k : nombre d’items j : variance des scores à l’item jt : variance des scores à l ’ensemble du test