Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Réflexions sur une approche Compétences dans
l’enseignement supérieur
Synthèse au 27 janvier 2012
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
3-3 - L’évaluation de l’acquisition des compétences
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
3
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Introduction
Dans la première partie de ce document consacrée à la démarche de mise en place d’une approche compétence : A été introduite la notion de référentiel de compétences
professionnel pour un poste La problématique de l’évaluation a été rapidement formulée
Cette partie du document se propose de donner des éléments de réponse à cette problématique
4
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rappels sur l’approche compétences
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Contenu d’un référentiel de compétences professionnel pour un poste
Positionnement dans le processus général ou les principaux processus de l’entreprise
Finalité de l’emploi (mission) Activités types impliquées Compétences requises pour chaque activité type
Techniques Méthodologiques Fonctionnelles Comportementales Relationnelles
Modalités d’évaluation envisageables Modules de formation nécessaires
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
L’évaluation (1/2)
Au cœur du dispositif, pose le plus de difficultés Principaux enseignements des expériences présentées :
Nuance entre réussite aux examens et acquisition en profondeur et durable des savoirs Nécessité d’augmenter le taux de rétention à 6 mois des connaissances
acquises (45% des étudiants qui ont validé un module ont tout oublié 6 mois après)
Un mode d’évaluation de type Rubrics, définissant des situations observables, peut faciliter l’évolution de l’enseignement
L’intégration des stages dans l’évaluation suppose la mise en place d’une véritable collaboration école - entreprise
L’étudiant doit être capable De construire son portfolio de compétences D’en faire un élément de différentiation sur le marché
7
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
L’évaluation (2/2) Comment faire coexister ce type d’approche transversale avec les
contraintes des modules de 30 ECTS ? Pour pouvoir passer à la notion de crédits ECTS, double évaluation fournie par
les enseignants (compétences + savoirs classiques) Majoration des temps d’évaluation estimée à 25%
Le problème est amplifié par les échanges avec l’étranger Absence, dans les ECTS, de séparation entre connaissances et compétences L’actuelle approche CTI inspirée de Bologne a tendance à ajouter (plaquer ?)
l’approche compétences plutôt qu’à l’intégrer avec l’acquisition des connaissances
L’approche « sur étagère » de Bologne, selon laquelle chaque étudiant construit son parcours en empilant des « briques » est déstructurante par rapport à un ensemble cohérent de compétences
Les compétences, qui peuvent s’acquérir à l’issue d’un continuum pédagogique, peuvent-elles s’acquérir au terme d’un parcours très modulaire dont l’étudiant est le principal concepteur ?
Référentiel propre à chaque formation, qui ne doit pas chercher à coller systématiquement à des fiches métiers : mettre en avant les potentialités
Permet de guider la procédure de VAE (analyse réflexive de l’individu sur son expérience, base de construction d’un portfolio)
8
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Questions à se poser
9
Granulométrie des compétences
évaluées
Qu’évalue-t-on ? Quand évaluer ? Qui évalue ? Comment évaluer ?
Evaluation des compétences
Complexité de l’évaluation
Quelles situations d’évaluation ?
Conditions de réussite
Pourquoi évaluer ?
Quels principes et outils
d’évaluation ?
Risques et opportunités
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
10
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Pourquoi évaluer ?
Pour objectiver l'acquisition de compétence sur critères suite à mises en situation La notion de critère est indissociable de la notion
d’évaluation. Mais selon ce que l’on cherche à évaluer (connaissances unitaires, mise en œuvre de connaissances…), il faut déterminer ce qui est objectif et ce qui est subjectif
11
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Pourquoi évaluer ? Deux fonctions de l’évaluation
Elle vient d’abord en aide à l’apprentissage et permet également la reconnaissance des compétences. L’évaluation se vit en cours d’apprentissage, du début à la fin de la formation. Partie intégrante du contrat pédagogique, elle sert : d’une part, l’enseignant qui utilise l’information prise
régulièrement afin de réguler son enseignement selon les besoins,
et d’autre part, elle permet à l’étudiant d’ajuster ses efforts en fonction de l’information qu’on lui livre, et selon son autoévaluation
12
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
L’évaluation est nécessaire Pour l’étudiant
Pour mesurer l’atteinte de ses objectifs d’acquisition d’apprentissage Pour vérifier la conformité au référentiel de compétences retenu Pour contribuer à sa formation en lui permettant - une prise de conscience - une reconnaissance par son environnement
Pour valider une certification Pour l’établissement de formation et ses enseignants
Afin d’aider à objectiver la cartographie du profil de l’ingénieur, dans le dialogue avec les industriels (conseil de programmes)
Afin d’ajuster en permanence ses démarches pédagogiques et ses méthodes d’évaluation, sur la base d’un certain nombre d’exemples
Pour l’entreprise Pour bénéficier de la garantie d’un niveau de compétence initial
Pour la société Pour assurer l’insertion dans le monde du travail en garantissant une
adaptabilité sur le long terme 13
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
14
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Qu’évalue-t-on ?
On évalue le degré d'acquisition par chaque étudiant des compétences définies dans le référentiel mis en place par l’école et leur niveau d'atteinte en référence aux objectifs d’apprentissage observables qui y sont définis (p. ex. taxonomie de Bloom)
On mesure de manière combinatoire le degré d'apprentissage des aspects Scientifiques et techniques Méthodologiques Comportementaux Relationnels Linguistiques
15
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
16
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quand évaluer ?
La planification de l’évaluation, qui se réalise simultanément à la planification des activités d’apprentissage, contribue à assurer une cohérence d’intervention
Il est possible, en se rapportant aux phases d’acquisition de la compétence, de déterminer les moments d’évaluation, afin de vérifier, à des périodes régulières, l’intégration et le transfert des apprentissages
17
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quand évaluer ? Les rythmes
Une évaluation spontanée ou informelle cohabite harmonieusement avec une évaluation plus structurée. Cependant, l’une ou l’autre ne saurait être exclusive en aide à l’apprentissage
Il convient d’évaluer avec une périodicité liée à la démarche pédagogique retenue Conformément à une progression par étapes ; les indices de
cheminement et le degré de performance dans la compétence sont importants à recueillir et à interpréter tout au long de l’apprentissage
Avec des échéances individualisées
Il faut prévoir plusieurs occasions de valider les acquis d’apprentissage
18
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quand évaluer ? Les temps forts de l’évaluation
Dans nos domaines, l’évaluation ne peut se réaliser que dans la mise en œuvre, ce qui suppose d’avoir défini le cadre de celle-ci : Les apprentissages par projet Les stages Les projets de fin de parcours L’élaboration du projet professionnel assorti d’un bilan de compétences puis
la présentation de ce projet Evaluation (continue) au cours des modules
Evaluation écrite ou orale classique Mises en situation (nécessitant transversalité et interdisciplinarité)
Etudes de cas réel Simulations Jeux de rôle Travaux pratiques
Capacité à mobiliser des connaissances pour la résolution d’un problème
19
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quand évaluer ? Un exemple
La méthode d’évaluation de l’EI CESI basée sur Rubrics Point de synchronisation hebdomadaire Similitude avec la qualité : atteinte de l’objectif et non perfection. Puis
pondération des notes obtenues selon une grille définie par le concepteur de l’évaluation
Les mêmes grilles existent pour le comportement professionnel (savoir-être)
Il existe un risque de recherche de sous-optimisation par l’étudiant à un niveau médian, si l’ensemble des grilles d’évaluation est connu d’entrée.
La difficulté sur les compétences est de définir les critères. Ceux-ci sont assez faciles à définir pour des connaissances, voire des savoir-faire
20
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
21
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Qui évalue ?
Les personnes qui sont intervenues dans la construction des compétences
Il s’agit d’une dynamique d’équipe Travail collectif sur le questionnement Chaque enseignant doit changer de posture par rapport à ses habitudes
d’évaluation de connaissances L’évaluation des savoir-être et comportements professionnels est de la
responsabilité de l’école en liaison avec les intervenants extérieurs, par exemple : Écoute et reformulation Travail en équipe et sens relationnel Hiérarchisation et organisation des problèmes Recherche de solutions Leadership et prise de décision etc.
22
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Qui évalue ?
Équipes d’évaluation Les enseignants Les maîtres de stage ou tuteurs d’apprentissage d’entreprise (cf.
annexe 1) Les pairs L’étudiant lui-même Les jurys
Pour décerner le diplôme, le jury devrait intégrer l’évaluation des compétences acquises au même titre que celle des connaissances
23
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Qui évalue ? Importance de l’autoévaluation
Appropriation de l’approche compétences par les étudiants Maîtrise du langage Construction des acquis en fonction du référentiel des compétences et de ce
langage Renforcement de l’autonomie
Perception de la portée professionnelle de la formation : l’école et l’entreprise ont un langage commun
Nécessité d’une base documentée pour la préparation du projet professionnel, afin de se positionner sur le marché du travail en fonction de son portefeuille de compétences
Une responsabilité vis-à-vis de soi ! Cf. Annexe 2
24
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
25
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quelles situations d’évaluation ?
Soutenance de projet Présentation d’une activité, d’une problématique… Stage en entreprise Point d’avancement de projet etc.
De manière générale, toute situation donnant lieu à une évaluation multicritères (savoirs, savoir-faire, savoir-être)
26
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quelles situations d’évaluation ?
Situations particulièrement favorables à l’évaluation Apprentissage par projet
Une situation réaliste, multidisciplinaire Favorable à l’évaluation des compétences Pas de solution unique Prétexte à l'apprentissage - Apprendre en s'aidant du groupe - Points sur le travail en groupe
Pédagogie active Tuteur facilite l'apprentissage - Questionne, diagnostique, stimule, suscite
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
28
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Principes de l’évaluation Repérer la progression de l’étudiant en référence à des
situations associées à un profil de compétences visé Cerner les ressources disponibles à tel niveau de
développement et apprécier l’efficacité de leur mobilisation Cerner les ressources manquantes ou non mobilisées Donner à chacun les moyens d’atteindre les objectifs qu’on
lui a fixés Etablir les preuves confirmant, pour chaque compétence :
la progression dans son acquisition l’autonomie dans sa mise en œuvre
Partager avec les étudiants Les informer des conditions et objectifs de l'évaluation Leur fournir un retour rapide pour définir des axes de progression
29
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quels principes et outils d’évaluation ?
Principes Système pragmatique Équitable Objectivable Reproductivité de la mesure Nécessité d’une transparence sur les différences de notes sur un projet
collectif Niveau de progression
Donner une rétroaction, y compris vis-à-vis de l’entreprise qui a été impliquée
Évaluations doivent Être descriptives car il existe des attentes différentes d’une entreprise à l’autre Être formatives : - Ne pas se limiter à une évaluation binaire - Donner un retour sur le processus d’apprentissage de l’étudiant en vue d’acquérir
la compétence Être normatives par rapport à l’obtention du diplôme
30
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quels principes et outils d’évaluation ?
Outillage Grilles d’évaluation
Évaluation par les pairs, par exemple : - Pratiques de l’Université de Québec à Montréal (UQAM) - Activités associatives…
Autoévaluation - Nécessite un apprentissage de l’analyse réflexive
Grille Rubrics (cf. Annexe 4) …
Synthèse et représentation des acquis Portfolio de compétences Histogramme radial (radar) …
31
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Données de sortie du processus d’évaluation
Plusieurs cas de figure se présentent au niveau individuel, par exemple : Compétence acquise Compétence en cours d’acquisition Absence totale d’acquisition
Il est, dans ce dernier cas, indispensable de chercher à comprendre ce qu’il s'est passé dans le processus d'apprentissage, d’identifier les éléments nécessaires pour faire acquérir la compétence et mesurer le pourquoi de l'échec
Il est important de définir les retours de l’ensemble des évaluations : Au niveau de l’enseignant sur l’efficacité de sa pédagogie Au niveau de l’établissement sur l’adaptation de l’organisation
générale de son enseignement
32
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
33
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Comment évaluer ?
Se poser la question de l'évaluation dès la définition de la compétence
Aligner les objectifs d’apprentissage, le processus d’apprentissage et l’évaluation de l’atteinte des objectifs
S’appuyer sur des outils permettant l’objectivation et la quantification de l’évaluation
Constat sur les outils Nécessité de créer un catalogue d’outils, bonnes pratiques… avec des
exemples eux-mêmes évalués (par exemple : confronter et analyser les méthodes d’évaluation des stages)
Besoin d’un partage d’expériences sur les grilles de critères (comme « Open Rubrics ») pour évaluer un certain nombre de compétences clés, par exemple en gestion de projet
34
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Comment évaluer ? L’approche par les objectifs d’apprentissage (terminaux,
intermédiaires ou opérationnels) permet de valider : Un premier niveau de performance dans la résolution de « situations
problèmes » Le niveau d’autonomie Nota : néanmoins la granulométrie des objectifs peut aller à l’encontre
de la transversalité
Il est impératif que l’apprenant soit mis dans des situations proches du champ professionnel, en entreprise ou en laboratoire de recherche, afin de démontrer la réelle intégration de ses acquis
35
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Comment évaluer ? Degré de performance
Plusieurs niveaux d’objectifs sont nécessaires pour la mesure du degré de performance dans une compétence, par exemple : Compétence en cours d’acquisition
De base Intermédiaire
Compétence acquise Maîtrise Avancé
Chaque niveau est caractérisé par un état des indicateurs identifiables une organisation spécifique des connaissances correspondant
à des apprentissages critiques
36
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
37
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Complexité de l’évaluation
Savoirs aisément évaluables Savoirs faire plus délicats Savoir-être en situation préprofessionnelle
Savoir-être en situation, par exemple Comportement professionnel Implication dans des projets transversaux Implication dans la vie associative...
Évalué dans les jurys Délicat quand il n’y a pas de critères objectivables : ceux-ci
devraient être liés aux compétences professionnelles demandées par les entreprises
Porter une attention particulière à l’évaluation de l’autonomie
38
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Complexité de l’évaluation : Savoir - être préprofessionnel
Prise en compte D’un contexte général et d’éléments largement reconnus, avec des critères
tels que : Capacité d’intégration dans l'équipe Reconnaissance par l'équipe Langage et expression Qualité d’écoute Comportement en présentation Ponctualité Tenue vestimentaire Etat d'esprit …
De normes culturelles spécifiques à chaque entreprise Que le diplômé devra identifier rapidement après son embauche
À évaluer Dans le contexte courant de la formation, en particulier à l’occasion des
périodes en entreprise plutôt que sous forme d’un enseignement spécifique À faire apparaître dans les grilles d’évaluation
39
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Complexité de l’évaluation : Dimension collective
Evaluation entre enseignants pour définir une compétence : regard croisé prenant en considération plusieurs situations, plusieurs interlocuteurs (clients) de plusieurs horizons...
Cela suppose que : l’enseignant soit formé aux objectifs et techniques d'évaluation des compétences et
familiarisé avec la formulation d’objectifs pédagogiques l'équipe d'évaluation ne se limite pas aux référents habituels, rattachés en général à la
Direction des Etudes et plus axés sur un traitement par exception que sur la dimension apprentissage
les enseignants, qui de ce fait ne sont plus cantonnés à évaluer leur seul domaine de savoir, acceptent d’autres règles
Evaluation entre étudiants dans les projets, stages, associations Se pose la question du mode d’évaluation par les pairs et du suivi fait sur le projet Besoin d’objectivation des évaluations entre pairs
40
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
41
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Granulométrie des compétences
Nécessité de : se limiter à l'évaluation d'un nombre restreint de compétences de hiérarchiser celles-ci de formuler des questions qui éclairent la compétence de mesurer l'évolution de l'acquisition de chaque compétence Prendre en compte de la même manière le mode d'évaluation
des connaissances de matières théoriques (maths, statistiques…) Matrice interdisciplinaire Complémentarité avec les matières d'application
Voir annexe 5
42
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
43
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Conditions de réussite : principes
Moteur pour la réflexion pédagogique Innovations pédagogiques et interdisciplinarité
- Évaluation des étudiants
Évaluation des enseignements / valorisation des enseignants - Formation des enseignants-chercheurs
Le plus important : motiver et convaincre les enseignants chercheurs S’organiser pour travailler en équipe Travailler de manière collaborative Partager ses expériences Reconnaître l’implication
Accompagnement et gestion du changement Voir Annexe 6
44
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Conditions de réussite : Risques
Associer trop étroitement l’évaluation de l’efficacité de la pédagogie et l’évaluation de l’acquisition de la compétence
L’évaluation, « exercice du pouvoir » de l’enseignant : « plus c’est difficile mieux c’est ! » assure la position de détenteur du savoir vécu par les étudiants comme un piège
Difficultés de mise en œuvre liées au caractère chronophage de l’évaluation : Dimension collective, en raison de la multiplicité des
intervenants Correction de questions ouvertes
45
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Plan Introduction Des questions à se poser
o Pourquoi évaluer ? o Qu’évalue-t-on ? o Quand évaluer ? o Qui évalue ? o Quelles situations d’évaluation ? o Quels principes et outils d’évaluation ? o Comment évaluer ?
Risques et opportunités o Complexité de l’évaluation o Granulométrie des compétences évaluées o Conditions de réussite
Conclusions
46
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Conclusions Il existe des démarches permettant d’évaluer un premier
niveau de compétences des nouveaux diplômés, ce qui répond aux enjeux de l’approche Compétences :
Garantir aux entreprises que - le niveau de compétences du jeune ingénieur est compatible avec les
attentes liées à un premier poste - Le jeune ingénieur est familiarisé avec le processus d’évaluation de
compétences de l’entreprise Aider les futurs diplômés à - appréhender la construction et la gestion de leur employabilité à court
terme (recrutement) et à long terme (parcours professionnel) - définir ses compétences personnelles - positionner les compétences acquises vis-à-vis de celles requises par un
employeur donné pour un poste donné Assurer la continuité entre les différents types de formation (initiale
et continue) 47
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
C’est le début d’un processus que l’ingénieur va pouvoir développer tout au long de sa vie professionnelle
48
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Annexes
49
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Le rôle des tuteurs
Annexe 1
50
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rôle des Tuteurs et Maîtres d’Apprentissage dans l’évaluation (1/3)
Double dimension de la période en entreprise (tâches à vraie valeur ajoutée en entreprise et contexte réel et concret de transfert des acquis académiques)
L’évaluation d’une compétence relève d’une démarche continue et progressive vers le niveau de performance attendu (le temps et la diversité des situations permettent de fiabiliser la performance) Pour l’étudiant (stagiaire), le temps en entreprise est limité, il faut donc
qu’enseignants et intervenants d’entreprise travaillent conjointement dans la conception de situations d’apprentissage multidisciplinaires permettant une évaluation réelle de compétences (projets, études de cas, jeux de rôles, BE….)
Pour l’apprenti, le temps en entreprise est important il faut donc s’assurer que les connaissances construites en école (intégrations des contenus disciplinaires) puissent périodiquement trouver leur application sur les projets proposés lors des périodes en entreprise (transfert).
51
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Evaluent spontanément par rapport à leurs valeurs, leurs critères, rarement sur la base d’un référentiel explicite de compétences
Sont très souvent en position d’évaluation dans un but de recrutement potentiel
Quelle posture au regard des types d’évaluations mises en œuvre (ex: évaluation formative, critères et indicateurs d’une évaluation formelle) ? Posture à adopter en évaluation au regard des conséquences pour l’apprenant
et pour le tuteur ou le MA lui-même (qui est évalué ?) Posture d’évaluateur lors d’un jury de soutenance,
harmonisation et pertinence des critères, performance du questionnement, limitation de l’inférence / réponses,…
52
Rôle des Tuteurs et Maîtres d’Apprentissage dans l’évaluation (2/3)
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Triple dimension d’une évaluation connaissances techniques, scientifiques & méthodologiques du métier
éléments factuels de démonstration des compétences : produits ou prestations réalisées
comportements et attitudes pertinence dans l’explicitation des démarches cognitives mises en œuvre
dans le traitement des problématiques professionnelles (stratégie, processus de choix au regard des exigences, processus et critères explicites de décision sur les alternatives, intégration des exigences diverses….)
situations critiques maitrisées… connaissances contextuelles
53
Rôle des Tuteurs et Maîtres d’Apprentissage dans l’évaluation (3/3)
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Le rôle de l’autoévaluation
Annexe 2
54
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Cas d’évaluation et autoévaluation
Situation 122 stagiaires pour un stage de 5 mois en début de 2e année
Objet d’évaluation et d’autoévaluation 3 compétences générales :
agir en acteur dynamique dans une équipe en bon communiquant en professionnel responsable
4 compétences spécialisées : agir en mode projet conception, Développement résolution de problème techniques
Démarche : Validation de la grille d’évaluation avec la collaboration de 12
maîtres de stage Évaluation d’abord et autoévaluation ensuite mais
indépendamment
55
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Analyse de l’autoévaluation
Le taux de convergence des vues est significatif : autour de 2/3
Compétences générales : Une plus grande homogénéité dans le cas des compétences
générales : [63% ; 69%] contre [57% ; 68%] pour les autres compétences
le contexte professionnel conduit le stagiaire à plus d’humilité !
Compétences spécialisées : nuances et inversion des appréciations
56
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Évaluation et autoévaluation
3 « vues » sont produites L’autoévaluation de l’apprenant L’évaluation dans un contexte académique approprié L’évaluation dans un contexte professionnel
Croisement : autoévaluation – évaluation Dans tous les cas, il s’agit de mesurer les performances de l’apprenant
en appliquant les principes de l’évaluation Repérer le niveau de développement des compétences Cerner les écarts et les interpréter Qualifier l’efficacité de la mobilisation des ressources Contrôler la maîtrise des ressources impliquées dans les apprentissages
critiques
57
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Critères d’évaluation
Annexe 3
58
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Organisation du référentiel d’activités : Définition des activité et tâches Définition des compétences associées aux activités et tâches
Référentiel de certification : Compétences ou capacités qui seront évaluées Modalités d’évaluation Critères d’évaluation
59
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Structure des fiches RNCP
60
Référentiel d’activités Référentiel de certification Activités &
Tâches Compétences associées aux
activités et tâches
Compétences ou capacités qui seront évaluées
Modalités d’évaluation
Critères d’évaluation
Management de projets : Activités centrées sur : • compréhension du métier client • mise en œuvre de cadres méthodologiques • découpage et planification du projet • constitution d’une équipe et affectation des lots • …
• Au niveau national ou international, en s’appuyant sur des standards et des cadres méthodologiques, • piloter le projet en organisant le planning et en coordonnant les tâches à effectuer par les acteurs impliqués en gérant les problèmes qui peuvent survenir et en veillant au respect du cahier des charges et des normes qualité…
• En respectant le cahier des charges et les normes qualité, sélectionner les standards et les cadres méthodologiques à utiliser • A partir d’une analyse du projet à conduire, définir les différentes actions à réaliser • Tout au long du projet, identifier les problèmes et aléas pouvant nuire…
• Gestion d’un projet • Définition d’un plan d’action • Elaboration de la stratégie de gestion des risques • Animation de réunions
• Cohérence des différents plans avec la problématique et la dimension du projet • Exhaustivité des risques principaux identifiés • Pertinence du plan de prévention et d’atténuation de chacun des risques • Exhaustivité de la prise en compte des besoins client • …
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Apports des référentiels
Description assez fine des catégories liées au métier d’ingénieur : compétences professionnelles compétences personnelles compétences interpersonnelles
Adaptations ponctuelles
61
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Exemple d’état des critères
62
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
La technique Rubrics
Une technique pour l’évaluation sur critères de réponses à des questions ouvertes : pour les étudiants : précise les attentes des enseignants pour les enseignants : facilite et accélère l’évaluation (et la
notation éventuelle) permet l’auto-évaluation (par les étudiants) pour les étudiants et les enseignants : objective la rétroaction
Cette technique amène à formuler des indicateurs suffisamment précis et mesurables pour permettre concrètement le travail d’évaluation
Les critères décrivent des qualités attendues Les indicateurs permettent de mesurer le niveau de
satisfaction de ces qualités 63
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Outils d’évaluation synthétique
Le portefeuille fondé sur une autoévaluation vérifiable : « déclarations et bilan de compétences » Il s’agit d’une collection d’informations numériques décrivant
et illustrant l’apprentissage ou le parcours professionnel et démontrant une acquisition, une maîtrise, des réussites issues de l’expérience de l’intéressé
On peut le comparer au « book » d’un artiste complété par une réflexion tirée de l’expérience
La grille d’observation des maîtres de stage Le « cahier de suivi » des tuteurs : observation lors
des apprentissages Une grille d’observation commune : Elève - Tuteur et
Elève - Maître de stage
64
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Aspect docimologique
Le niveau attendu : maîtrise des éléments du modèle cognitif associés et mobilisation efficace des ressources
Jugement global et jugement par critère : des évaluations qualitatives Le problème de passage d’un niveau à un autre : observation !? D’où l’éclatement hyperfin : loin ; proche ; très proche ; au-delà. Ce qui
est utile pour l’apprenant est de cerner les écarts et d’agir en conséquence
Des règles de conversion peuvent conduire à des évaluations quantitatives – factices, mais rassurantes !
65
Niveau d’atteinte Sans objet Compétence Loin Proche Très
proche Attendu Au-
delà Jugement global
Critère 1
Critère 2…
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Exemple d’évaluation critériée Rubrics
Annexe 4
66
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Sommaire
Contexte de l’expérimentation Pourquoi Rubrics ? Qu’est-ce que Rubrics ? Déploiement au sein de l’eXia-Cesi Retour d’expérience et pistes de travail
67
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Contexte: L’eXia.Cesi
12 centres en mode synchrone 1 pédagogie: PBL 1 Conception pédagogique nationale L’évaluation : point de « re synchronisation »
hebdomadaire
68
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Problématique des évaluations
Une évaluation peut être le plaisir de l’enseignant: plus c’est difficile mieux c’est ! assure la position de détenteur du savoir de l’enseignant vécu par les étudiants comme un piège
Difficulté de conception: PBL vise a développer le Deep Learning Le champ de questionnement peut être très vaste
Temps de correction : L’évaluation par question ouverte est chronophage
69
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rubrics : c’est quoi
Une technique pour l’évaluation critériée de réponses à des questions ouvertes :
précise les attentes des enseignants (pour les étudiants)
facilite et accélère l’évaluation (et la notation éventuelle) (pour les enseignants)
permet l’auto-évaluation (par les étudiants)
objective la rétroaction (pour les étudiants et les enseignants)
70
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rubrics : critères → indicateurs
La technique des rubrics amène à formuler des indicateurs suffisamment précis et mesurables pour permettre concrètement le travail d’évaluation
Les critères décrivent des qualités attendues; les indicateurs permettent de mesurer le niveau de satisfaction de ces qualités
71
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Exemple
A la fin des quatre premières semaines du cours Java,
les étudiants de 1ère année seront capables de décrire
de façon précise les effets externes qui seront
produits par l’exécution d’un programme Java de
quelques pages qu’ils n’auront jamais vu auparavant
72
Quand ? Qui ?
Comment ? Quoi ?
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rubrics : l’exemple Java
73
Critères ↓
Niveaux de qualité
A B C D
Description des effets produits
chaque effet produit est décrit de façon complète, correcte et en utilisant le vocabulaire approprié
un petit nombre d’imperfections: certains effets sont mal décrits (< 20%)
environ la moitié des effets sont mal décrits
(presque) tous les effets sont mal décrits
Exhaustivité tous les effets produits sont décrits
un petit nombre d’effets sont omis (< 20%)
environ la moitié des effets sont omis
(presque) tous les effets sont omis
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Rubrics : l’exemple Java (suite)
74
Critères ↓
Niveaux de qualité
A B C D Cas particuliers en entrée
tous les cas particuliers sont décrits
un petit nombre de cas particuliers sont omis (< 20%)
environ la moitié des cas particuliers sont omis
(presque) tous les cas particuliers sont omis
Conditions d’erreur
toutes les conditions d’erreur sont décrites
un petit nombre de conditions d’erreur sont omises (< 20%)
environ la moitié des conditions d’erreur sont omises
(presque) toutes les conditions d’erreur sont omises
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Mettre en place Rubrics !
Investissement fort demandant d’aligner les objectifs pédagogiques avec la compétence recherchée et le moment d’évaluation.
Un travail en tunnel: Etablir un référentiel de compétences en identifiant le moment
de l’évaluation dans le parcours de l’étudiant Identifier les objectifs pédagogiques de chaque cours Aligner en identifiant le moment d’évaluation
75
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Retour d’expérience
• Vision programme: • Des objectifs pédagogiques de plus en plus pertinents • Une cartographie compétences/objectifs pédagogiques /
moments d’évaluation naissante
• Vision étudiant: • Savent ce que l’on attend d’eux
• Vision enseignant: • Temps de conception des fiches assez long • Meilleure qualité des évaluations
76
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Conclusion
• Rubrics à amener un travail, une réflexion de fond nécessaire:
• Pourquoi évaluer l’étudiant ? • Quand évaluer ? • « désacraliser » l’évaluation • L’évaluation de la connaissance est préparatoire et
nécessaire avant l’évaluation de la compétence en projet ou en stage c’est aussi un acte formatif
• Une réticence : présenter la grille Rubrics avant l’évaluation peut permettre aux étudiants de se satisfaire du B
77
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Méthode d’évaluation Rubrics 1/2
Point de resynchronisation hebdomadaire. La question est de savoir ce que l’on a évalué. On essaye d’informer les étudiants de ce sur quoi ils vont être évalués. Nécessité d’une rétroaction.
Similitude avec la qualité : atteinte de l’objectif et non perfection. Puis pondération des notes obtenues selon une grille définie par le concepteur de l’évaluation.
Les mêmes grilles existent pour le comportement professionnel (savoir être)
Il existe un risque de recherche de sous-optimisation par l’étudiant au niveau B, si l’ensemble des grilles d’évaluation est connu d’entrée.
78
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Méthode d’évaluation Rubrics 2/2
Il est nécessaire de donner plusieurs occasions de valider une compétence.
La difficulté sur les compétences est de définir les critères. Ceux-ci sont assez faciles à définir pour des connaissances, voire des savoir-faire.
On note une structure pyramidale de la progression.
79
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Exemple de granulométrie
Annexe 5
80
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Exemple de granulométrie
Un corpus bien découpé en KLP (Key Learning Points)clairs, chaque KLP étant enseigné par n supports et validé par 1 QCM, semble une idée séduisante, mais le travail à fournir est énorme. Avec du QCM, on risque de ne fabriquer que de la certification.
Notion d’exhaustivité dans la liste des critères. Trois niveaux au total. Quand on monte en
compétences, on sort de l’évaluation par les seuls QCM vers des exposés, par exemple
Ces techniques semblent bien s’appliquer à des concepts très précisément décrits (courant en informatique, ex. ITIL)
81
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Analyse des conditions de réussite à Télécom Bretagne
Annexe 6
82
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Un historique de près de 10 ans
Formulation d’objectifs pédagogiques Application de l’approche compétences sur les projets semestriels
Interdisciplinarité Lien avec le contexte industriel Progression des objectifs au fil des semestres Mise en œuvre de la pédagogie active
Fortes interactions avec l’Université de Louvain-la-Neuve Formation des enseignants-chercheurs
Apprentissage par projet Une situation réaliste, multidisciplinaire Pas de solution unique Prétexte à l'apprentissage
Apprendre en s'aidant du groupe Points sur le travail en groupe
Pédagogie active Tuteur facilite l'apprentissage
Questionne, diagnostique, stimule, suscite
83
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Quelques conditions significatives de réussite
A l’issue de la première phase... Un noyau d’enseignants est fortement impliqué Ils sont formés à l’approche par compétences en projets (1/3 a suivi la formation à la
pédagogie active Ils sont familiarisés avec la formulation d’objectifs pédagogiques (taxonomie de Bloom)
Aide à l’expression des Objectifs Pédagogiques Compréhension des différents niveaux Ils ont expérimenté
Ils ont l’habitude de travailler ensemble dans un contexte inter/multidisciplinaire Les enseignants ne sont pas seulement dans leur domaine de savoir : ils acceptent
d’autres règles Apport des référentiels : CDIO* et correspondance CTI
Description assez fine des catégories : compétences professionnelles & personnelles, interpersonnelles, et liées au métier d’ingénieur (contexte et CDIO)
Adaptations ponctuelles
Dialogue actif avec les industriels (conseil de programmes)
84
* CDIO Initiative http://www.cdio.org/ Conceive — Design — Implement — Operate
Réflexions sur une approche Compétences dans l’enseignement supérieur - Synthèse 2011 - © Pasc@line - Usage interne
Extraits des exposés du colloque du 17 mai 2011 disponibles sur
http://www.assopascaline.fr/index.php?option=com_content&task=view&id=207&Itemid=119
Documents ayant éclairé la réflexion et disponibles sur le site de Pasc@line
85