certitude : bilan et acquis
DESCRIPTION
CERTITUDE : Bilan et acquis. Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information du 28 février 2013 à la Maison des technologies de formation et d'apprentissage Roland- Giguère par - PowerPoint PPT PresentationTRANSCRIPT
CERTITUDE : Bilan et acquisAtelier sur l'évaluation des compétences informationnelles et les technologies
de l'information du 28 février 2013 à la
Maison des technologies de formation et d'apprentissage Roland-Giguère
par
Richard Guay, Directeur des études (2001-2011), Collège Jean-de-Brébeuf et Robert Gérin-Lajoie, Université de Montréal
Membres de l’équipeMerci!
Équipe du projet Jean Allard et Michel Pronovost
Professeurs, Collège Brébeuf Yves Munn, ancien au
Cegep@Distance Annie Mahais, anciennement
chargée de projet Robert Gérin-Lajoie, Université de
Montréal
Équipe de direction Richard Guay, Ancien DE,
Collège Brébeuf Françoise Marceau,
CEGEP@Distance Jacques Raynauld, MATI et
HEC-Montréal Robert Gérin-Lajoie,
Université de Montréal Hébergement, soutien technique et développement Jonathan-Marc Lapointe, profweb Cedric Joyal et Gilles-Philippe Leblanc, Université de Montréal Komi Sodoke, Vision-elearning
Les objectifs de départ Valoriser les compétences technologiques et
informationnelles des étudiants de l’enseignement supérieur par le biais de tests certificatifs diagnostiques formatifs
Évaluer les compétences informationnelles par champ d’études
Évaluer les compétences informationnelles in situ
Assurer une correction automatisée des tests
Les acquis au départ
Au plan international Certificat informatique et internet (C2I), en France Démarche de valorisation des compétences de bases (core competencies) dans
les universités canadiennes et américaines. Études et analyses d’Educause
Au niveau québécois Enquête menée par la CRÉPUQ sur les compétences informationnelles des
étudiants à l’entrée à l’université Évaluation en compétence informationnelle à la Faculté des sciences de
l’éducation de l’Université de Montréal Enquête mené par le Collège Jean-de-Brébeuf sur les compétences
technologiques de ses étudiants à l’entrée Profil TIC produit par les répondants TIC des collèges (REPTIC) formation
implantée progressivement dans les CÉGEPS Certification Magellan du Collège Jean-de-Brébeuf (certification TIC et RI attestée
par l’Université de Montréal) Divers ateliers assurés par le service des bibliothèques de l’Université de
Montréal et intégré dans les formations spécialisées.
Les dispositifs d’évaluation existants
En France, une directive nationale C2I oblige l’évaluation de tous les étudiants au début du cursus universitaire. Par des quiz automatisés, de type QCM théorique et
provenant d’une banque centrale nationale; Par des portfolios de travaux évalués par les enseignants.
Au Québec La certification Magellan du Collège Jean-de-Brébeuf où les
étudiants doivent réussir une épreuve finale de certification propre à leur champs d’études; la correction est faite par les professeurs
Les réalisations
o Recension des pratiques internationales et des offres de certificationo Bilan des approches et des outils auteur pour l’évaluation des
habiletéso Production d’un référentiel de compétences à deux niveaux, le
premier étant commun à chacun des champs d’études et le second étant spécifique à chacun des champs d’études
o Création d’une banque de plusieurs centaines de questions arrimées au référentiel de compétences
o Production de tests de type in situ
o Adaptation de deux environnements de passation aux fins de Certitude: Moodle et O-Tutor
o Expérimentations de type formatif, diagnostique et certificatif
Correction automatisée de compétences évaluées in situ
Rechercher l’information Traiter l’information Présenter l’information
LES COMPÉTENCES ÉVALUÉES (niveau supérieur)
Correction automatisée de compétences évaluées in situ
Sciences de la nature Sciences humaines et administratives Arts et lettres
LES CHAMPS D’ÉTUDES VISÉS
Correction automatisée de compétences évaluées in situ
Questions de type Chasse au trésor On demande à l’étudiant de trouver une
information ou une donnée L’étudiant utilise les outils de recherche
informationnelle mis à sa disposition L’étudiant inscrit sa réponse dansun champ
texte
Questions de type QCM conventionnelles
Rechercher l’information
Correction automatisée de compétences évaluées in situ
Énoncé de tâches à réaliser dans un tableur L’étudiant récupère un fichier qui contient une série de consignes L’étudiant accomplit les tâches demandées par chacune des consignes Le fichier calcule en temps réel sur une feuille distincte des jetons qui
reflètent les résultats obtenus suite à l’accomplissement des tâches L’étudiant recopie les jetons obtenus dans la zone Réponse du
questionnaire La correction est effectuée en temps réel en comparant les jetons
livrés par l’étudiant à ceux équivalents aux bonnes réponses.
Questions de type QCM conventionnelles pour certaines questions (ex: identification d’un type de graphique à produire)
Traiter l’information
Correction automatisée de compétences évaluées in situ
Énoncé de tâches à réaliser dans un texteur L’étudiant récupère un fichier qui contient une série de
consignes L’étudiant accomplit les tâches demandées par chacune des
consignes L’étudiant sauvegarde puis dépose le fichier dans la zone
appropriée La correction est effectuée en temps réel par la recherche
et l’identification de balises xml.
Questions de type QCM conventionnelles
Présenter l’information
Résultats en 2011
o En mai 2011, des expérimentations ont été faites avec la plate-forme Adobe Captivateo L’environnement est restreint pour recueillir les résultats des
passations expérimentales. o Il s’est avéré incapable de soutenir des passations
institutionnelles.o Le projet Certitude a décidé à l’été 2011 d’utiliser un
environnement de passation éprouvé pour un grand volume
Résultats en 2012o Adaptation technologique de O-Tutor et Moodleo Développement des questions Certitude sur les logiciels O-Tutor et Moodle
o Plusieurs centaines de questions génériques, pouvant se décliner aisément en milliers de questions spécifiques
o En faisant varier le document ou le contexte des habiletés
o Printemps 2012o Passations formatives et certificatives à Brébeuf sur la plate-forme O-Tutor à plusieurs
centaines d’étudiantso Les collèges André-Grasset et Cégep de Jonquière ont organisé des passations expérimentales
o Automne 2012: o Expérimentations avec des membres du réseau REPTIC des CÉGEPSo Cependant les enseignants ne peuvent pas poursuivre pour le momento Cela est dû à la surcharge des nouveaux calendriers scolaires.o Idem à l’UdeM
Constats I
Les résultats des évaluations expérimentales montrent une très grande disparité entre les étudiants des différents programmes et Collèges et une maîtrise nettement insuffisante de ces technologiques pour bon nombre d’entre eux
Au Collège Jean-de-Brébeuf, la mise en place des instruments d’évaluation dans des activités formatives a transformé les activités d’apprentissage. La plateforme o-tutor utilisée permet la production rapide de
courts tests formatifs. La correction en temps réel avec possibilité de reprise
immédiate accroît la motivation des étudiants et les mobilisent.
Constats II Réalités du milieu
Les divers intervenants privilégient une approche souple de prise de conscience, de développement et d’appropriation du profil TIC.
Une variété d’approches de formation au sein du réseau: Sans approche identifiée institutionnellement Par cours dédié (Magellan), Par des activités intégrées dans les cours existants Par projet et par un portfolio de travaux
Dans cette optique, l’utilisation des questionnaires pour des fins de diagnostic et d’évaluation formative est la piste la plus prometteuse à court terme
La certification québécoise: un défi qui reste à relever!!!
Les activités de rayonnement du projet Certitude
MATI, mai 2011 et février 2013 REPTIC, 2011 et 2012 ACPQ, 2012 ADMEE, 2012 Articles sur Profweb, décembre 2011, novembre 2012 Site Web du projet Collaboration avec les CÉGEPS – 14 répondants, sondage
automne 2012 La conférence Moodle Moot 2013 à Vancouver
L’intérêt à poursuivre
Les partenaires du projet En novembre, un bon nombre de conseillers
pédagogiques du réseau ont mentionné l’intérêt à poursuivre le travail fait, en s’appuyant sur la banque de questions développées et la technologie.
La pérennité de CertitudeÉlargir la direction et l’expertise des partenairesCoordonner le soutien des outils technologiques qui permettent l’évaluation in situ (Extensions à Moodle, O-Tutor)Continuer à valider et à mesurer la fiabilité des instruments d’évaluation
Selon les différents contextes : Disciplinaires Diagnostics, formatifs, sommatifs, certificatifs
Poursuivre les échanges inter ordresAmener les décideurs à encourager et à implanter une certification québécoise de la maîtrise des technologies de l’information chez les étudiants de l’enseignement supérieur.
Le potentiel d’évolution des questions de Certitude
Les intégrer au sein de ressources numériques d’apprentissage
Les associer à des capsules de formation Faire des capsules autoportantes ou s’insérant dans des
cours existants
Identifier des activités d’apprentissage actives complémentaires
Questions pendantes La gestion centralisée des ressources numériques de la
banque de questions et des instruments d’évaluation Les modèles de questions et de quiz sont centralisés Les passations sont distribuées Les résultats de l’utilisation des questions doivent être
agglomérés La question complémentaire: la gestion collaborative La solution actuelle est simple pour le moment
Une instance locale, avec O-Tutor, ou le plugiciel de MOODLE Faire des copies des questions et des quiz d’un environnement à
l’autre. Cela pourra-t-il évoluer?
Questions?