guillaume durand université de savoie, laboratoire syscom, équipe scénario odile jacob education
DESCRIPTION
La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements Informatiques d'Apprentissage Humain. Guillaume Durand Université de Savoie, laboratoire SysCom, équipe Scénario Odile Jacob Education. Introduction. - PowerPoint PPT PresentationTRANSCRIPT
Chambéry le 24 octobre 2006 1
La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements
Informatiques d'Apprentissage Humain
Guillaume DurandUniversité de Savoie, laboratoire SysCom, équipe Scénario
Odile Jacob Education
Chambéry le 24 octobre 2006 2
Introduction
• Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE).
Problème: Les enseignants ne tiennent pas compte des résultats d’évaluation [Dinet &al 02].
Chambéry le 24 octobre 2006 3
Le laboratoire
Thèmes de recherche du laboratoire SysCom (équipe scénario) :
- Les Espaces Numériques de Travail (ENT) (Cartable électronique),
- La Scénarisation des Activités Coopératives dans le domaine de l’éducation (Modèle de Participation),
- Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL).
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 4
L’évaluation scolaireUn objet d’étude
• Fait l’objet de nombreux travaux dans des domaines de recherche divers (sciences de l’éducation, docimologie, …).
• Pas une, mais plusieurs définitions de l’évaluation.
• Selon Hadji [Hadji 90], évaluer, c’est « mettre en relation des éléments issus d’un observable appelés référé et un référent pour produire de l’information éclairante sur le référé »
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 5
L’évaluation scolairePas une évaluation mais des évaluations
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Salle de Classe
Evaluation pronostique
Evaluation Diagnostique
Evaluation Formative
Evaluation Formatrice
Evaluation Sommative
Contrôler l’accès à une formation
Evaluer un niveau de compétence
Réguler son apprentissage
Certifier un apprentissage Réguler
l’apprentissage
Chambéry le 24 octobre 2006 6
L’évaluation dans les EIAHLa même diversité
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Salle de Classe
Evaluation pronostique
Evaluation Diagnostique
Evaluation Formative
Evaluation Formatrice
Evaluation Sommative
CAT (GRE)
Pépite, TDmaths
CAT (TOEFL)TDmaths
GenEval, OASYS, APOM
GISMO, SPLACH
Chambéry le 24 octobre 2006 7
L’évaluation dans les EIAH
Les limites (I)
Un seul type d’évaluation
Exemple: OASYS [Ward &al 04]
• Evaluation formatrice• Co-évaluation
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 8
Pas de paramétrage possible
Exemple : TDmaths [OJE 03]
• Comment modérer une évaluation sommative en fonction des compétences de l’apprenant ?
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
L’évaluation dans les EIAH Les limites (II)
Chambéry le 24 octobre 2006 9
Des résultats difficiles à interpréter
Exemple : Pépite [Delozanne &al 04]
Leur signification ?Comment ont-ils été obtenus ?
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
L’évaluation dans les EIAH Les limites (III)
Chambéry le 24 octobre 2006 10
L’évaluation dans les EIAH Les freins à l’utilisation
• Unicité du modèle d’évaluation vs choix des modèles
• Fixité de la méthode d’évaluation vs paramétrage
• Résultat incompréhensible vs résultat explicable.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 11
L’évaluation dans les EIAH Un autre frein, plus trivial
Difficulté pour les enseignants d’utiliser les
résultats de l’EIAH dans les évaluations obligatoires qu’ils ont à fournir.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Service de scolaritéRésultats de L’EIAH
?
Chambéry le 24 octobre 2006 12
Les ENT La réponse de l’institution
• Interopérabilité des services,• Urbanisation des systèmes d’information,• Agrégation de services métiers (scolarité),• Fédération des acteurs : administratifs, parents, élèves,
enseignants.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Service Administratif
Service de Communication
Service Pédagogique
ENT
Chambéry le 24 octobre 2006 13
Les ENTInteropérabilité avec les EIAH
Très rares sont les EIAH répondant à ces caractéristiques
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
EIAH
Service de scolarité
Service d’authentification
Service d’administration
Interopérabilité
Protocoles de communication
Formats d’échangesstandardisés
Chambéry le 24 octobre 2006 14
Dans la perspective des ENT Deux problèmes peuvent être résolus
• Compréhension des résultats
• Capitalisation des résultats (Interopérabilité des EIAH avec les services)
?
1ère partie
Contexte
L’évaluation scolaire
L’évaluation et les EIAH
Les ENT
Les LMP
Synthèse
EIAH Services de l’ENT
Interopérabilité
Chambéry le 24 octobre 2006 15
L’évaluation dans les ENTUn premier objectif de recherche
Proposer un format de résultats commun aux EIAH.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
EIAH 1
Services de l’ENTEIAH 2
Format de résultatsCommun
Chambéry le 24 octobre 2006 16
L’évaluation dans les ENT Le besoin d’une évaluation dynamique
« Intégrer l’évaluation aussi souplement que possible dans les activités
pédagogiques en conservant les moyens de l’adapter »
Quels sont les moyens de modéliser les activités pédagogiques ?
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 17
Les LMP
• Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques.
• Un scénario pédagogique est la « description du déroulement d’une situation d’apprentissage en terme de rôles, d’activités et l’environnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03]
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 18
Les LMPLe cycle de vie du scénario
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Opérationnalisation ExécutionConception
LMP :
IMS-LD,LDL,LAMS-LD,Etc.
Infrastructures :
CopperCore,LDI,LAMS,Etc.
ENT cible:
Moodle,Portail Univ. de Savoie,Etc.
Cycle de vie
Outils
Chambéry le 24 octobre 2006 19
Les LMPLDL
Learning Design Language (LDL) [Martel &al 06] comprend un petit nombre d'éléments.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Enceinte
PositionRègle
Rôle
Scenario
Structure
0..1
*
*
Scenario
Structure
0..1
*
Interaction*Se déroule
dans
Est jouée par
Régule Régule
Porte sur
De
Sur
Chambéry le 24 octobre 2006 20
Les LMPLDL, des scénarios réels
• La chasse au trésor (école d’été EIAH 2005)
• L’apprentissage de l’électricité au collège (Kaleidoscope, SVL 2006)
• Le jeu des planètes (Workshop ICALT 2006)
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 21
Les LMPPeuvent-ils aider à s’affranchir de :
• L’unicité du modèle d’évaluation.
• La fixité de la méthode d’évaluation.
EIAH
Autre modèled’évaluation
?
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
EIAH
Chambéry le 24 octobre 2006 22
Les LMPUn second objectif de recherche
Utiliser les langages de modélisation pour scénariser l’évaluation.
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Scénariser l’évaluation
Chambéry le 24 octobre 2006 23
Synthèse
Pb initial :Les résultats ne sont pas utilisés par les enseignants
dans TDmaths.
Les hypothèses :• Unicité du modèle d’évaluation,• Fixité de la méthode d’évaluation,• Résultat incompréhensible,• Interopérabilité des EIAH avec les services.
Les objectifs : 1. Proposer un format de résultats2. Utiliser les LMP pour décrire des évaluations
1ère partie
Contexte
L’évaluation scolaire
L’évaluation dans les EIAH
Les ENT
Les LMP
Synthèse
Chambéry le 24 octobre 2006 24
Modèle de résultatsMéthodologie
• Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.)
• EIAH (TDmaths, Pépite, etc.)
• ENT (Portail de l’Univ. Savoie, Moodle, Sakaï, etc.)
• Les projets spécialisés (TenCompetence, Kaleidoscope)
• Formats de traces (Musette, MTSA, UTL, etc.)
• Enseignants (Auteurs OJE)
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Modèle de résultats
Format de résultats
Itératif
Chambéry le 24 octobre 2006 25
Modèle de résultatsObtention des résultats
• Exemples :
EIAH Produit Evaluation Résultat
CAT Questionnaires Sommative Pourcentage
SPLACH Discussion Formative Profil social
Pépite Questionnaires Diagnostique Pourcentages de maîtrise de compétences
GenEval Questionnaires Formatrice note
Produit Evaluation Résultat
Produit de l’activité de l’apprenant
Evaluation du produit
Résultat de
l’évaluation
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 26
Modèle de résultatsEvaluer quoi et comment ?
Méthode
Critères
Résultat
Caractéristique
ProduitCaractéristique
Caractéristique
Caractéristique
Caractéristique
Référent
Référé
Produit de l'activité de
l'apprenant avec ses
caractéristiques
Evaluation de certaines
caractéristiques du produit selon
des critères d'évaluation et en utilisant une
méthode
Résultat de l'évaluation
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 27
Modèle de résultatsExemple
• Un système de CAT:
Comparaison
Bonne Réponse
Score
....
Question....
Réponse
....
....
Produit de l'activité de
l'apprenant avec ses
caractéristiques
Evaluation de certaines
caractéristiques du produit selon
des critères d'évaluation et en utilisant une
méthode
Résultat de l'évaluation
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 28
Modèle de résultatsPlace des acteurs
• Des acteurs différents dans l’obtention d’un résultat d’évaluation.
Evaluation Evalué Evaluateur
Formative Apprenant Enseignant
Formatrice
(auto-évaluation)
Apprenant Apprenant
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 29
Modèle de résultatsNotion de compétence
• Des résultats qui sont en relation avec des compétences et des échelles de compétences :
EIAH Type de compétences
Pépite Compétences disciplinaires
TDmaths Compétences transversales
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 30
Modèle de résultats Modèle de Résultat Commun (MRC)
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 31
Modèle de résultats MRC avec TDmaths
MRC TDmaths
Acteur Apprenant/TDmaths
EIAH TDmaths
Produit Question
Caractéristique Réponse
Evaluation Comparaison
Critère Bonne réponse
Résultat Note
Compétence Compétences transversales
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 32
Modèle de résultats MRC avec Pépite
MRC Pépite
Acteur Apprenant/Pépite
EIAH Pépite
Produit Question
Caractéristique Réponse
Evaluation Comparaison
Critère Bonne réponse
Résultat Pourcentage
Compétence Compétence disciplinaire
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 33
Format de résultatsTransformation de MRC en XML.
Exemple: Evaluation d’une dictée
<Resultat>
....
<Evaluation typeEvaluation="Sommative">
<methode>Recherche de fautes d'orthographe</methode>
<evalue>
<laCaracteristique>Orthographe_dictée</laCaracteristique>
</evalue>
<realiseePar>
<Acteur id="gdura">
<role>enseignant</role>
<nom>Guillaume Durand</nom>
</Acteur>
</realiseePar>
Transformation
MRC Format
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 34
Format de résultats
<reposeSur>
<Critere id="1123">
<description>retrait d'un point par faute d'orthographe</description>
<bareme typeValeur="integer" max="20" min="0">-1</bareme>
</Critere>
</reposeSur>
</Evaluation>
....
<valeurResultat>
<valeur typeValeur="integer" max="20" min="0" pas="1">1>18</valeur>
<seJustifiePar>
<Erreur caractref="11" critereref="1123">
<description>chaîne au lieu de chêne</description>
</Erreur>
<Erreur caractref="11" critereref="1123">
<description>Attention plages et au pluriel!</description>
</Erreur>
</seJustifiePar>
<commentaire>En progrès seulement deux fautes !</commentaire>
</valeurResultat>
....
</Resultat>
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 35
Format de résultatsExpression des compétences
• S ’appuie sur IMS-RDCEO.• Formalisme d’expression de compétences.
Base de compétencesIMS-RDCEO
EIAH 1EIAH 2
Définitions standardisées
des compétences
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 36
Format de résultatsLien avec IMS-RDCEO
<Resultat>
....
<competences>
<competence rdceoid="http://ld.pentila.com/rdceo_cat1.xml#cpa_eg">
</competences>
….</Resultat>
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 37
Format de résultatsSynthèse
Le format de résultat :• Permet d ’exprimer les résultats produits
par les EIAH,• Donne une signification aux résultats.
Premier objectif :
1. Interopérabilité des résultats,
2. Compréhension des résultats.
Ma Première contribution.
?
EIAH Services de l’ENT
Interopérabilité
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 38
Scénariser l’évaluationMéthodologie
1.Prouver conceptuellement qu’un LMP peut exprimer une activité comportant une évaluation,
2. Implémenter et jouer ces scénarios,
3.Lever les verrous et adapter le LMP et/ou son infrastructure.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 39
Scénariser l’évaluationPreuve conceptuelle
Une activité différente pour chaque type d’évaluation.
Exemple:
• Evaluation diagnostique qui vise à construire des groupes de compétence.
• L’enseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 40
Scénariser l’évaluationModélisation de l’exemple
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénarisation d ’une activité comportant une évaluation diagnostique
Eléments de LDL Composants du scénario
Rôles Candidat et examinateur
Enceintes Questionnaire,visualisation du score,attribution du groupe.
Interactions Répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Structures Structure principale (séquentielle)répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Positions score, groupe final.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Preuve Conceptuelle
Chambéry le 24 octobre 2006 41
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénariser l’évaluationExécution de l’exemple
Scénarisation d ’une activité comportant une évaluation diagnostique
Eléments de LDL Composants du scénario
Rôles Candidat et examinateur
Enceintes Questionnaire,visualisation du score,attribution du groupe.
Interactions Répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Structures Structure principale (séquentielle)répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Positions score, groupe final.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Non Exécutable
Chambéry le 24 octobre 2006 42
Scénariser l’évaluationLes verrous de l’exemple
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénarisation d ’une activité comportant une évaluation diagnostique
Eléments de LDL Composants du scénario
Rôles Candidat et examinateur
Enceintes Questionnaire,visualisation du score,attribution du groupe.
Interactions Répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Structures Structure principale (séquentielle)répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Positions score, groupe final.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Premier verrou
Chambéry le 24 octobre 2006 43
Scénariser l’évaluationPremier verrou
Le problème de l’association des positions aux produits et résultats de l’apprenant.
Opérationnalisation ExécutionConception
<scenario>
….
<Position id= score>
….
<Position>
….
</scenario>
Lien ?
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Base de résultats
TDmaths
Résultat
Chambéry le 24 octobre 2006 44
Scénariser l’évaluationLes positions dont la valeur est obtenue par l’observation
Opérationnalisation ExécutionConception
<scenario><Position id= score><valeur> <observer> resultatTDmaths <observer></valeur>….<Position></scenario>
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Base de résultats
TDmaths
Résultat
LDI
NotificationMécanisme Observateur/Observable
Chambéry le 24 octobre 2006 45
Scénariser l’évaluationSecond verrou
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénarisation d ’une activité comportant une évaluation diagnostique
Eléments de LDL Composants du scénario
Rôles Candidat et examinateur
Enceintes Questionnaire,visualisation du score,attribution du groupe.
Interactions Répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Structures Structure principale (séquentielle)répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.
Positions score, groupe final.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Second verrou
Chambéry le 24 octobre 2006 46
Scénariser l’évaluationLes enceintes de type méthode
Opérationnalisation ExécutionConception
<Enceinte kindOfEnceinte="method"> <title>Voir la réponse de l'élève</title> <source> <URL> http://ld.pentila.com/result_view&{reponse} </URL> </source></Enceinte>
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Service
URL
Traduit l’URL et configure le service pour
réaliser le traitement demandé
Agent de paramétrage
LDI
Chambéry le 24 octobre 2006 47
Scénariser l’évaluationSynthèse intermédiaire
Utiliser les LMP pour décrire des évaluations :• Permet de choisir un modèle d’évaluation,• Permet d’adapter la méthode d’évaluation.
Deuxième objectif :• Choix du modèle d’évaluation,• Paramétrage de la méthode d’évaluation.
Notre seconde contribution.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
EIAH
Autre modèled’évaluation
?
EIAH
Chambéry le 24 octobre 2006 48
Scénariser l’évaluationLimites de cette première approche
Un seul scénario pour décrire les phases d’évaluation et d’apprentissage :
• Scénarios très complexes,
• Non réutilisables,
• Evaluation non modifiable en cours d’activité.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 49
Scénariser l’évaluationUn nouvel Objectif
Hypothèse: L’évaluation est une activité.
Nouvel Objectif :
Scénariser l’évaluation dans un scénario autonome.
Intérêts:• Réutilisabilité des scénarios,• Adapter l’évaluation durant l’activité (et non lors de la
conception),• Simplifier l’écriture des scénarios.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 50
Scénariser l’évaluationMéthodologie
1.Prouver conceptuellement qu’un LMP peut exprimer un scénario d’évaluation,
2. Implémenter et jouer ces scénarios,
3.Lever les verrous et adapter le LMP et/ou son infrastructure.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 51
Scénariser l’évaluationLa situation choisie : le jeu des planètes• proposée à ICALT 2006
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Activité d’évaluationsommative
Activité d’apprentissage
éq. B
Activité d’apprentissage
éq.A
Activité d’organisation
Activitéd’observation
Apprenant Enseignant
Chambéry le 24 octobre 2006 52
Scénariser l’évaluationModélisation de l’évaluation sommative
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénarisation de l’activité d’évaluation sommative
Eléments de LDL Composants du scénario
Rôles Enseignant et élèves
Enceintes Questionnaire,Proclamation du vainqueur.
Interactions Répondre au questionnaire,Voir le vainqueur.
Structures Structure principale (séquentielle)répondre au questionnaire,voir le vainqueur.
Positions Position de démarrage de la structure principale et une autre pour la terminée.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Preuve Conceptuelle
Chambéry le 24 octobre 2006 53
Scénariser l’évaluationModélisation de l’évaluation sommative
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Scénarisation de l’activité d’évaluation sommative
Eléments de LDL Composants du scénario
Rôles Enseignant et élèves
Enceintes Questionnaire,Proclamation du vainqueur.
Interactions Répondre au questionnaire,Voir le vainqueur.
Structures Structure principale (séquentielle)répondre au questionnaire,voir le vainqueur.
Positions Position de démarrage de la structure principale et une autre pour la terminée.
Règles Règles de démarrage et d’arrêt de la structure et des interactions.
Non Exécutable
Chambéry le 24 octobre 2006 54
Scénariser l’évaluationVerrou : partage d’informations
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Activité d’évaluationsommative
Activité d’apprentissage
éq. B
Activité d’apprentissage
éq.A
Activité équipe A terminée
Activité équipe B terminée
Activité d’évaluation peut démarrer
Apprenant Enseignant Position
Chambéry le 24 octobre 2006 55
Scénariser l’évaluationLes positions partagées
Opérationnalisation ExécutionConception
<Scen. Apprentissage><Position id=‘FinAct’> <valeur> </valeur> <sur>les_consignes</sur> <de>eleve</de> <portee>infrastructure</portee></Position>
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
<Scen. Evaluation><Condition id="condStartTest"> <laPosition>FinACT</laPosition> <comp>equalTo</comp> <val>1</val> </Condition>
LDI
Activité d’apprentissage Activité d’évaluation
Objetposition partagée
Chambéry le 24 octobre 2006 56
Scénariser l’évaluationSynthèse sur les scénarios d’évaluation
Utiliser les LMP pour décrire des évaluations :• Permet de choisir, changer, ajouter, un modèle
d’évaluation, en cours d’activité,• Permet d’adapter la méthode d’évaluation durant l’activité
d’apprentissage.
Troisième Objectif :• Réutilisabilité des scénarios,• Adapter l’évaluation durant l’activité (et non lors de la
conception),• Simplifier l’écriture des scénarios.
Notre troisième contribution.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 57
SynthèseLes objectifs atteints
Premier objectif:• Un format de résultat.
Deuxième objectif:• Utiliser les LMP pour décrire des scénarios
d’activités comportant des évaluations.
Troisième objectif:• Utiliser les LMP pour décrire des scénarios
d’évaluation.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 58
SynthèseLes contributions• Un modèle et un format de résultats,
• L’adaptation d’un LMP (LDL) aux spécificités de l’évaluation,
• L’introduction du concept de scénario d’évaluation et sa preuve,
• Des propositions d’architecture logicielle de mise en œuvre,
• L’implémentation partielle des propositions dans un
démonstrateur.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 59
Perspectives expérimentalesVérifier nos hypothèses
• Besoin d’un éditeur de scénarios,
• Editeur basé sur des « patterns » de scénarios d’évaluation;
• Nécessité de terminer l’implémentation des propositions dans le prototype (base de résultats).
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 60
Perspectives en ingénierieDiscuter nos contributions
• Standardiser un format de résultats.
• Définir des méthodes de conception de scénarios pédagogiques.
– Elaboration d’un scénario même avec un éditeur est complexe.
– La scénarisation d’activités de « grains fins » augmente cette complexité.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 61
Perspectives industriellesRépondre au problème initial
• Implémentation du format de résultats.
• Utilisation d’un LMP et de son infrastructure dans un produit en cours de développement.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 62
Perspectives de rechercheVers de nouveaux problèmes
• Nos propositions s’inscrivent dans une vision prescriptive des activités.
• Comment optimiser un scénario en vue d’un objectif pédagogique précis ?
• Comment optimiser la formation ?
• Problème de recherche pluridisciplinaire majeur.
2nde Partie
Modèle et Format de résultats
Scénariser l’évaluation
Synthèse
Perspectives
Chambéry le 24 octobre 2006 63
Merci !
Chambéry le 24 octobre 2006 64
Questions ?