deuxième journée de l’ifres 9 mai 2008 les rapports entre …leclercq/media/roeifres2008.pdf ·...
Post on 04-Jul-2020
2 Views
Preview:
TRANSCRIPT
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 1
Les rapports entre objectifs
et évaluations pédagogiques
Evaluer pourquoi ? quoi ? Comment ? A quel prix ?
D. Leclercq
Deuxième journée de l’IFRES
9 mai 2008
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 2
Objectifs de l’exposé :
donner des réponses - repères sur 7 questions
• 1. Qu’est-ce qu’évaluer ?
• 2. Pourquoi évaluer ?
• 3. Qu’est-ce qu’un dispositif d’évaluation ?
• 4. Evaluer quoi ?
• Evaluer comment (Méthodes) ?
5 -selon quels principes ?
6 -avec quels instruments ?
• 7. Avec quels critères de qualité et à quel prix ?
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 3
1. Qu’est-ce qu’évaluer ?
Evaluer = Observer (mesurer) + juger
2. Pourquoi évaluer ?
2 visées ou fonctions) :
-formative (au service de la régulation de
l’apprentissage)
-sanctionnante (au service de la régulation de la
société : certification ou sélection)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 4
3. Qu’est-ce qu’un dispositif d’évaluation ?• Un système d’observation permettant un jugement • à visée formative OU/ET sanctionante
• concernant des individus, des groupes ou des institutions
• portant sur des d’objectifs• selon des principes : quand ? Par qui ? de façon
modifiable ou définitive ? de façon standardisée ou adaptative? avec quelle préparation ? à correction automatisée ou par experts ou par pairs ou par l’étudiant ? etc.)
• à l’aide de méthodes (QCM, QROC, QROL, oral, exposé, ECOS, rapport, portfolio, stage, etc.)
• et de techniques (Solutions Générales Implicites, Degrés de Certitude, présentation factionnée, etc.)
• tentant de satisfaire un certain nombre de critères de qualité (ETIC PRAD).
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 5
A statut révisable (améliorable ou dépréciable) ou définitif
A notation subjective (par jugements, même à partir de critères) –
objective (par application aveugle et automatisable de règles)
A référence critérielle (repères préalables) – normative (comparaison au groupe)
A tempo continu (réparti dans le temps) ou ponctuel (concentré dans le temps)
Par agents experts – pairs – soi (auto-évaluation)
5. Evaluer selon quels Principes ( Caractéristiques du dispositif)
(Leclercq, 2007)
A procédure standardisée (la même pour tous et à tout moment)
ou non (adaptative, ex : oral)
En contexte artificiel-authentique
Avec préparation isomorphe (examen simulé) ou non ou absente
D’une durée de recueil des données de….(jours –heures min)
A précision sommative (UN score de passage)- diagnostique (les causes)
Dont les sujets sont des individus, un groupe, une institution
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 6
7. Selon quels Critères de qualité (validité) ? Leclercq (2006)
E = Ecologique (degré d’authenticité / artificialité,
proximité à la réalité, sa complexité)
T = Théorique (représentative des processus
mentaux visés, des contenus, du niveau d’exigence)
I = Informative (diagnostique et compréhensible
pour les utilisateurs)
C = Conséquentielle (suivie d’effets
chez les apprenants ou le prof))
P = Prédictive statistiquement du futur
(réussite ou échec scolaire, professionnel, etc.)
R = Replicable (Fidélité : erreur de mesure faible)
A = Acceptable (sur les principes, les coûts, les délais, sur les
charges de travail, pour les encadrants et les étudiants)
D = Déontologique (équitable, respectueuse des droits…)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 7
7 bis : Exigences de qualités différentes selon les visées ?
formative sanctionnante
XX XXX
XX
X XX
??
?
E = Ecologique (degré d’authenticité / artificialité,
proximité à la réalité, sa complexité)
T = Théorique (représentative des processus
mentaux visés, des contenus, du niveau d’exigence)
I = Informative (diagnostique et compréhensible
pour les utilisateurs)
C = Conséquentielle (suivie d’effets
chez les apprenants ou le prof))
P = Prédictive statistiquement du futur
(réussite ou échec scolaire, professionnel, etc.)
R = Replicable (Fidélité : erreur de mesure faible)
A = Acceptable (sur les principes, les coûts, les délais,
sur les charges de travail, pour les encadrants et les étudiants )
D = Déontologique (équitable, respectueuse des droits…)
À visée
?
?
?
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 8
Les objets d’observation (de mesure) peuvent relever
du niveau de complexité-de performances isolées (habiletés)
-de performances intégrées et complexes (compétences)
4. Evaluer quoi ?
des domaines - cognitif (des savoirs)- sensori-moteur : (des skills, des savoir-faire)
- affectif (des attitudes, engagements, des savoir-être) - métacognitif (des jugements, analyses et régulations
sur soi)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 9
L’évolution de la notion d’objectifs…
Contexte « scolaire »----------------------------------------------Situation professionnelle
Contenus
Habiletésde savoirde faired’être
Compétences
autonomes
spontanées
…et de leur évaluation
X ActivitésMentales ou physiques
x en Situation
Performances isolables Performances complexes ou intégrées
nouvellecomplexe
4. Evaluer quoi ? (suite)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 10
6. Techniques et Instruments d’évaluationContexte « scolaire »----------------------------------------------Situation professionnelle
Contenus x Activités x SituationautonomeshabiletésCompétences
spontanées
Projets
complexe
nouvelle
de savoirde faired’être
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 11
Méthodes et Techniques d’évaluationContexte « scolaire »----------------------------------------------Situation professionnelle
Contenus x Activités x SituationautonomeshabiletésCompétences
spontanées
Projets
complexe
nouvelle
de savoirde faired’être
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
TOISENon abordé ici
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 12
T.O.I.S.E.Taxonomie d’Objectif Instrumentée
au Service de l’ Evaluation
D. Leclercqoctobre 2007
d.leclercq@ulg.ac.be
voir Leclercq (2007)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 13
La taxonomie de BLOOM
sur les objectifs (processus)
cognitifs (1956)
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
6 processus mentaux
rangés en ordre
croissant de complexitéBenjamin Bloom
Université de Chicago
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 14
Synthèse
Analyse
Application
Compré-hension
Connaissance
EvaluationQuelles sont les
plus évaluées
DISTINCTEMENT
?Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
Hypothèse : Par manque d’instrumentation spécifique.
Hypothèse :
Pourquoi ?
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 15
La recherche (Luh,
1922, Bahrick, 1984)
montre que le Rappel doit être distingué de
la Recognition Synthèse
Analyse
Application
Compréhension
Connaissance(de rappel)
Evaluation
Connaissance (de Reconnaissance)
Schurwirtz (2000)
0
10
20
30
40
50
60
70
80
90
100
Open Ended Q Multiple Choice Q%
of
Co
rrec
t an
swer
s
4th Year
6th Year
2th Year
Specialists
Generalists
Schuwirth
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 16
Synthèse
Analyse
Application
Compréhension
Connaissance
Evaluation
Instruments(lampes de poche)
Exemples de questionObjet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 17
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
QCM A
Quelle est la capitale
de l’Italie ?
1. Turin
2. Naples
3. Rome
4. Venise
Connaissancepar reconnaissance
QCM A =
K solutions
1 seule solution correcte
1 seule réponse permise
1/k chances de RC
par réponse au hasard
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 18
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
QCM SGEN
« Nulle, Aucune »
Quelle est la capitale
de l’Italie ?
1. Turin
2. Naples
3. Le Vatican
4. Venise
5. Oslo
6. Nulle (Aucune)
d’entre elles
Connaissancepar reconnaissance
QCM SGEN = K solutions
1 seule solution correcte
1 seule réponse permise
1 Solution Générale
Explicite :
« Nulle, Aucune »
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 19
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
QCM A’ : avec la SGI « Aucune »
Quelle est la capitale
de l’Italie ?
1. Turin
2. Naples
3. Le Vatican
4. Venise
5. Oslo
Connaissancepar reconnaissance
QCM A’’ = K solutions
1 seule solution correcte
1 seule réponse permise
1 Solution Générale
Implicite : « Aucune »
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 20
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
QCM B
Quel est le meilleur
synonyme de
« par le biais de »
1. par le soutien de
2. par la réussite de
3. par le moyen de
4. par la responsabilité de
5. par la forme de
Connaissancepar reconnaissance
QCM B (Best) =
K solutions
La meilleure des k ?
1 seule réponse
permise
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 21
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments(lampes de poche)
Exemples de question
Quel est le meilleur
synonyme de
« par le biais de » ?
Connaissancepar reconnaissance
QROC =
Réponse Ouverte Courte
QROC
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 22
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments(lampes de poche)
Exemples de question
Connaissancepar reconnaissance
QROC =
Réponse Ouverte Courte
Quel est le style de cette
sculpture ?
QROC
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 23
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de questions
QCLConnaissancepar reconnaissance
QCL ou Long Menu Q
Des centaines de solutions
rangées alphabétiquement
1 seule solution correcte
1 seule réponse permise
Q1. Qui a proposé le concept
d’advance organizer ?
…………..
Q2. BACON a écrit des ………
Q3. Changer fréquemment de
stratégie d’apprentissage est
appelé ………….mathétique
Q4. L’étayage (selon Bruner)
aide à accroître la
……………………….. De
développement de l’apprenant.
21. Advance Organiser22. ALBERTINI J. M. 23. Allo24. Ambivalence25. Analyse26. Aphorisme27. Application28. Ausubel D.29. Bloom.599. Tutoriel600. TULVING E. 601. VYGOTSKY L.602. ZEIGARNIK
Objet / Objectif à évaluer
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 24
Chapitre 1 p. 4 Imitation
p.5 Acquiescement, Identification, Intériorisation, Taught, Teach
p. 6 Façonnage, Modelage social ,Opérant , Progressivité, Shaping, Vicariant
p. 7 Créativité Outcome expectancy Self efficacy
p. 8 Attente d'efficacité, Attente du résultat Efficacité, Outcome expectancy Résultat, Self efficacy
p. 9 Bareers, Belief, Coût, Curabilité, Détectabilité, Douleur, Freins, Gravité, Health, Honte, Modelage social, Susceptibilité, Temps
p. 10 Autoempathie, Autofixation, Difficulté, Segmentation
p. 11 Prestigieux
Médias, Préconcepton
p. 12 SITCOMS, Subliminales
Chapitre 2 p. 1 Code, Galaxie Gutenberg, Mac Luhan MARCONI
p. 4 Action, Instrumentalisme, Intériorisation Langage, Opération mentale
p. 5 Diffuseur, Diffusion, Ecriture, Graphisme Ecole Gratuite et obligatoire , Imprimerie, Imprimeurs, Internet, Lecteurs, Ordinateurs Parole, Scripteurs
p. 6 Bayeux
p. 7 Conventions
p. 8 Flesh, Lisbilité
p. 15 Confirmation, Internalisation, Progression Sollicitation, Spontanéité
p. 16 Behavioriste
p. 18 Cognitiviste
p. 19 Liaisons, Lien
p. 20 Relations
p. 21 Iceberg
p. 22 Exercisation
Chapitre 4 p. 1 Hypermédias
p. 4 Filet, Hypertexte, Métaphore, Toile, Web
p. 5 Backstracks, Bookmarks, Désorientation, Guided Tours, Hyperespace, Marques, se perdre, Visites guidées
p. 7 Brouter, Browsing, Butinage, Picorage
p. 8 Virtuelle
p. 9 Brouter, Frame, Marge
p. 10 Fictif
p. 11 Maestros
p. 12 ELIZA Rogerienne
p. 13 Turing
p. 14 DéLINE
p. 15 Analytique, Approfondissements, Globaliste Holiste, Sérialiste, Superficielle
p. 16 Contraintes, Croisée, Interaction, Intra-individuelle
p. 17 Note
p. 19 Gains absolus et relatifs , MAX, MIN, Gain POSSIBLE, POST-TEST, PRE, PRETEST, Style
*Cours PSYCHO 058 Matière à mémoriser
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 25
*
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 26
Les Questions à Choix Large (QCL)
*
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 27
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
Questions
Quel est l’auteur de
A. La légende des siècles
B. Germinal
C. L’idiot
D. Le rouge et le noir
E. La cantatrice chauve
F. Hernani
Connaissancepar reconnaissance
QCMR =
Appariement
QCMR
Objet / Objectif à évaluer
Solutions
1. Ionesco
2. Montherland
3. Victor Hugo
4. Dostoievski
5. Stendahl
6. Emile Zola
Une solution peut
convenir
à plusieurs questions
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 28
Synthèse
Analyse
Application
Compréhension
Connaissancede rappel
Evaluation
Instruments Exemples de question
Questions
Quel est l’auteur de
A. La légende des siècles
B. Germinal
C. L’idiot
D. Le rouge et le noir
E. La cantatrice chauve
F. Hernani
Connaissancepar reconnaissance
QCMR =
Appariement
QCMR
Objet / Objectif à évaluer
Solutions
1. Ionesco
2. Montherland
3. Victor Hugo
4. Dostoievski
5. Stendahl
6. Emile Zola
Une solution peut
convenir
à plusieurs questions
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 29
Jan Smedslund (1997)
• « Une personne E (comme Elève) comprend
correctement ce qui est signifié par une
expression X produite par une personne P
(comme Professeur) si les deux personnes
s’accordent sur ce qui, pour P :
• est équivalent à X, c-à-d signifie la même chose que X
• est impliqué par X, c-à-d découle de X
• est contredit par X, ou nié par X
• est non pertinent par rapport à X, c-à-d n’a rien à voir avec X
• Un désaccord sur un seul de ces critères indique une mauvaise compréhension (misunderstanding).
• Cela suppose que E est logique.
• On ne peut en effet distinguer un manque de compréhension d’ un manque de logique. »
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 30
La Comprehension
= des traductions
comme un échangeur
d’autoroutes
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 31
QCM A ou B ou
QCM + SGE ou SGI
Aucune ou Toutes
Concepts
mots
Formules
Tableaux
Graphiques
Comprendre,
c’est traduire...
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Les points entourés en bleu sont des enfants
avec :
1. Une bonne prédiction et un mauvais score
2. Une bonne prédiction et un bon score
3. Une mauvaise prédiction et un bon score
4. mauvaise prédiction et mauvais score
6. Nulle des 4 précédentes : Aucune
7. Toutes les 4.
Objet / Objectif à évaluer Instruments Exemples de questions
K solutions
1 seule solution correcte
1 seule réponse, 2 Solution
Générales : « Aucune » et
« Toutes »
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 32
QCM A ou B ou
QCM + SGE ou SGI
Concepts
mots
Formules
Tableaux
Graphiques
Comprendre,
c’est traduire...dans tous les sens
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Dans cette feuille de Feedback
d’un Progress test en médecine à
l’U. Maastricht, dans quel
domaine l’étudiant est-il le plus
supérieur à la moyenne ?
1. Anatomie
2. Biochimie
3. Pharmacologie
4. Physiologie
5. Génétique
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 33
QCM A ou B ou
QCM + SGE ou SGI
Concepts
mots
Formules
Tableaux
Graphiques
Comprendre,
c’est traduire...dans tous les sens
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Dans leurs conclusions de la page 51, les auteurs suggèrent
que :
1. Il faut introduire un quota restrictif
2. Il faut limiter les possibilités de changement de carrière
3. L’incidence du triplement est élevée
4. Les efforts déployés pour les étudiants ayant échouéest un investissement perdu
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 34
QCM A ou B ou
QCM + SGE ou SGI
Concepts
mots
Formules
Tableaux
Graphiques
Comprendre,
c’est traduire...dans tous les sens
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
CartesQuelle est la distance,
en km, entre Aoste et
Courmayeur ?
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 35
QRO
ou QCM + SGE ou
SGI
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Voici une tête de marteau.
Quel est son volume ?
Sachant que le marteau
est en fer dont la
densité est 7.87, que le
trou est circulaire et
son diamètre est 2 cm,
que la hauteur de la
tête de marteau est 3
cm et sa longueur 5
cm.
Un cas où
-la question est explicite, -le modèle n’est pas dit (cylindre, parallélépipède)-Toutes les données
sont disponibles
Application
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 36
Enjeu de l’analyse :
Mesurer la détection d’erreurs ou
la vigilance cognitive et faire
contrepoids au
Curriculum caché
Quino
�Quand on vous pose une question,
vous devez répondre
� Il y a une réponse à toute question
�Une question posée par l‘autorité est
bien posée
Analyse
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 37
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
QRO ou QCM SGI
Manque et
Absurdité
Objet / Objectif à évaluer Instruments Exemples de questions
Quelle est l’aire d’un triangle dont la base est 5 cm?
1. 8 cm22. 12 cm23. 20 cm2
6 = Aucune
7 = Toutes
8 = Manque de
données
9 = Absurdité
-Données manquantes
-Problème mal formulé
-question absurde
-connaissances conditionnelles
Analyse =Vigilance cognitive
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 38
QRO ou QCM SGI
Manque et
Absurdité
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
6 = Aucune
7 = Toutes
8 = Manque de données
9 = Absurdité
-Données manquantes
-Problème mal formulé
-Question absurde
-connaissances conditionnelles
Analyse =Vigilance cognitive
Quel est le périmètre d’u n
triangle dont les côtés sont
2 cm, 3 cm and 6 cm ?
1. 9 cm
2. 11 cm
3. 16 cm
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 39
QRO ou QCM SGI
Manque et Absurdité
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Distinguer Analyse et application
Quel est le périmètre d’u n
triangle dont les côtés sont
2 cm, 3 cm and 6 cm ?
1. 9 cm
2. 11 cm
3. 16 cm
PRIM
BISIl y avait une absurdité
dans l’énoncé. Où ?
QRO ou QCM SGI
Manque et Absurdité
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 40
QROC ou QROLSynthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Pour des performances
complexes (Rapports,
dissertations, projets, …)
qui comportent plusieurs
dimensions
Les 4 critères de
Torrance’s se rapportent
aux QR ouvertes :
fluidité
flexibilité
originalité
élaboration
Synthèse
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 41
QROC ou QROLSynthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Pour des performances complexes
(Rapports, dissertations, projets, …) qui
comportent plusieurs dimensions
Exactitude
C01 : Exactitude des 3 exemples donnés
C02 : Degré de détail
C03 : Originalité
C04 : Structuration de la réponse
C05 : Pertinence des liens établis
C06 : Explications claires
C07 : Reformulation par ses mots
C08 : Présence du vocabulaire technique
C09 : Orthographe d’usage
C10 : Orthographe grammaticale
Rubriques de jugement
(Ici les poids sont cachés)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 42
Effets de correction dans les notations subjectives(Leclercq, 2007, chap 3)
• Sévérité du correcteur
• Contamination / halo
• Contraste / séquence
• Inertie / stéréotypie
• Posthumus (Courbe de Gauss) - relativisation
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 43
QROC ou
QROL +
Synthèse
Analyse
Application
Compréhension
Connaissance(rappel)
Evaluation
Connaissance(Recognition)
Objet / Objectif à évaluer Instruments Exemples de questions
Pour des performances
complexes (Rapports,
dissertations, projets, …)
qui comportent plusieurs
dimensions
Exactitude Certitude
C01 : Exactitude des 3 exemples donnés
C02 : Degré de détail
C03 : Originalité
C04 : Structuration de la réponse
C05 : Pertinence des liens établis
C06 : Explications claires
C07 : Reformulation par ses mots
C08 : Présence du vocabulaire technique
C09 : Orthographe d’usage
C10 : Orthographe grammaticale
Rubriques de jugement
(Ici les poids sont cachés)
Auto-évaluation par
Degrés de Certitude
0 20 40 60 80 100
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 44
Basé sur des modèles de l’activité mentale
lors de la réponse à une question
(Bruce Choppin, 1974, IEA)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 45
Bruno De FinettiMethods of discriminating levels
of partial knowledge concerning a test item
Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.
• La connaissance partielle existe.
La détecter est nécessaire et faisable (p. 109)
• Seule la probabilité subjective peut donner une
signification objective à toute réponse et toute
méthode de notation (p. 111)
Epistémologiquement, mesure la
connaisance partielle :
….et de mesure des gains d’apprentissage.
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 46
Aussi pour les Questions Ouvertes
(QROC ou QROM)
SMART
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 47
D. Leclercq (2007) recommande le remplacement
• Modèle théorique faux
• Injuste
• Pas informative
• Pas formative
• Limitée aux QCM
• Modèle théorique meilleur
• Plus Juste
• Informative
• Formative
• générale
de la Correction
for guessing classique
par les Degrés de Certitude
TC = +1TI = -1 / (K-1)
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 48
« Plus » métacognitifs
Si CONFIANCE
>50%, +0,5
>60%, +1
>70%, +1,5
Si IMPRUDENCE
<50%, + 0,5
<45%, +1
<40%, +1,5
Score classique
Par Réponse Correcte : + 1
Par Réponse Incorrecte
ou par Omission : -0,25
On transforme le total
Sur 20 points.
Puis, si le taux d’omissions
ou de certitudes 0 est <20%,
alors………>
Formule de scoring Leclercq, Poumay, Castaigne (2005) :
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 49
L’auto-évaluation par Degrés de Certitude
a été utilisée et étudiée dans des domaines vitaux :
RCP
pilotes techniciens
Patients
diabétiques
étudiants
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 50
A grande échelle, le
testing de 4000 étudiants entrant (oct 1999) dans les universités belges
sur 10 matières
par QCM + 2 SGE
avec Degrés de Certitude
a permis d’établir des repères des
indices de Confiance et d’Imprudence, des
scores spectraux, des sur et sous-estimations.
et l’analyse certimétriquedes résultats à chaque question.
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 51
Validité conséquentielle (en évaluation formative)
(voir chap 1 p. 25)
(voir chap 1 p. 26)Feedback :
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 52
Conclusions…provisoires
• La qualité d’un dispositif d’évaluation dépend
• -de ses fonctions,
• -de ses caractéristiques,
• -de ses indices de validité,
• -de ses méthodes,
• -de ses instruments et
• -de leur usage.
D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 53
Références mentionnées dans l’exposé : • Leclercq (2003) Diagnostic cognitif et métacognitif au seuil de
l’université. Le porojet MOHICAN mené par les 9 universités de la
Communaute française Wallonie Bruxelles. Liège : Editions de
l’université de Liège.
• Leclercq (2006) Les QCM et ETICPRAD, in Figari et Mottier-Lopez.
Recherche en évaluation. Paris : L’Harmattan.139-148.
• Leclercq (2007) Evaluation et docimologie. Editions de l’université
de Liège
qui contient, entre autres, les Règles de rédaction des QCM, extraites de ------------------------�
* Téléchargeable depuis le site de la journée
1986 *
*
top related