1 outil informatique pour évaluer la contribution individuelle dans les équipes de travail –...

1

Outil informatique pour évaluer la contribution individuelle dans les équipes de travail – Phase 1

Patrik Doucet

Professeur

Département de génie mécanique

2

Les vice-recteurs reçoivent...Patrik Doucet3 avril 2007

Plan de la présentation

Problématique à l'origine du projet La solution proposée : la Matrice PME Objectifs du projet soumis au FAPU Résultats à ce jour :

Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique

Les suites du projet

3


Évaluationcollective

(65%)

Problématique à l'origine du projet

Contexte: évaluation des projets de conception en

génie mécanique : 35% pour la tenue d'un registre individuel; 50% pour le rapport de conception; 10% pour la revue de conception; 5% pour les rapports hebdomadaires.

Problème : comment évaluer la contribution individuelle dans les travaux collectifs?

Problème non adressé : l'évaluation de la «compétence travail en équipe».

4



Jusqu'en 1997... autoévaluation, valant 10% de la session; = 9.8/10.

Autoévaluation (50%) et évaluation par les pairs (50%), valant aussi 10% de la session... ≈ 9/10; les «bons» étudiants se pénalisaient davantage...

Noteétudiant 8/10

Notepairs = 9.5/10

Notefinale = 8.75/10

Noteétudiant 10/10

Notepairs = 6/10

Notefinale = 8/10

5



Facteur de pondération ()... solution amenée pour notamment accroître la

discrimination entre les résultats; noteétudiant = noteéquipe * (avec 0.90 < < 1.10); basé sur l'autoévaluation et l'évaluation par les pairs; les problèmes associés à ce mécanisme :

équipe > 1,00 (parfois, équipe = 1,05); les «bons» étudiants se pénalisaient davantage.

6



Triple facteur de pondération ()... = 1 * 2 * 3 intérêts :

permet aux étudiants d'ajuster leur évaluation; incite ceux qui travaillent peu à contribuer

davantage (0.73 < final étudiant < 1.33); encourage la rétroaction et la gestion de l'équipe;

problèmes : moyennes toujours élevées; compilation très longue pour l'enseignant.

7


La Matrice PME

Cette matrice : permet de calculer rapidement un facteur de

pondération (); remplace le mécanisme d'autoévaluation couplée à

l'évaluation par les pairs; rend plus difficile la récompense entre amis; donne une lecture rapide de la «santé» de l'équipe.

Principe de base : distribution d'un nombre de points en fonction des contributions perçues...

8


La Matrice PME

Pour chaque critère, 1 point / membre.

Pour chacun des critères, l'étudiant doit évaluer si ses coéquipiers ont contribué : plus que lui (p); moins que lui (m); également à lui (e).

Proposer, entreprendre, organiser des actions pour l’avancement du projet (mot-clé: initiative).

Étu

dian

t 1

Étu

dian

t 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

6 points à distribuer...

Détail du calcul

9



Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité).

Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance).

Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité).

Arriver à temps pour les réunions et les rendez-vous planifiés (mot-clé: ponctualité).

p p p p p

Étu

dian

t 1

Étu

dian

t 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

m m m m m

m p e m e

e e m p e

e m m e e1.02 1.03 0.94 0.96 1.04 1.02

Il avoue que tous ont contribué plus que lui. Il mérite...

Il avoue que tous ont contribué moins que lui. Il mérite...

Certains ont contribué plus, d'autres moins, d'autres également. Il mérite ...

m

p

e

10


La Matrice PME

Une version Excel de la matrice est utilisée depuis septembre 2002 par quelques professeurs.

Peu de résistance rencontrée chez les étudiants et, surtout, peu de plainte ou commentaire négatif : ses résultats sont acceptés par les étudiants.

Permet une discrimination appréciable. Toutefois :

la version informatique actuelle est peu exportable; processus de compilation fastidieux, lourd et propice

à des erreurs.

11


Objectifs du projet

Le projet proposé consiste à : développer un outil informatique rendant plus

conviviale, plus accessible, plus sûre et plus efficace, l’utilisation de la Matrice PME;

préparer son mode d'emploi; réaliser un guide pour l’intégration harmonieuse de

cet outil dans des mécanismes d’évaluation. Une demande particulière :

réaliser ce projet en gardant à l'esprit une institutionnalisation possible de l'outil.

12


Objectifs du projet

Les objectifs spécifiques :

A) Conduire une analyse de besoins auprès de professeurs de l'Université de Sherbrooke.

B) Consigner ces besoins dans un cahier de charges.

C) Préparer un mode d'emploi de l'outil.

D) Préparer un recueil de considérations pédagogiques pour l'intégration harmonieuse de l'outil dans l'enseignement.

E) Développer l'outil informatique.

Phase 1

Phase 2

13


Plan de la présentation

Problématique à l'origine du projet La Matrice PME Objectifs du projet Résultats à ce jour :

Groupes de discussion Recueil de considérations pédagogiques Développement de l'outil informatique


14


Groupes de discussion

Deux groupes de discussion ont été réalisés : 14 décembre 2005, 8 professeurs :

Faculté de génie; 19 janvier 2006, 7 professeurs :

Faculté d'administration Faculté d'éducation Faculté d'éducation physique et sportive Faculté des lettres et sciences humaines Faculté des sciences

Cahier de charges : Samuel Richard (étudiant génie).

15



Scénario rêvé pour l'enseignant : informer une base de données (noms et équipes); choisir des critères à même une banque ou

énoncer ses propres critères d'évaluation; informer ses étudiants qu'ils peuvent accéder à

l'outil d'évaluation; extraire de la base de données les résultats des

évaluations, tous compilés!

16



Scénario rêvé pour l'étudiant : se rendre à l'adresse URL spécifiée; saisir au clavier son CIP et son mot de passe; compléter la grille d'évaluation spécialement

construite pour son cours et son équipe; confirmer son évaluation en cliquant sur

«transmettre l'évaluation»; recevoir un message de confirmation de cette

transmission.

17


Recueil de considérations pédagogiques

Travail réalisé avec Marie Line Gagnon (étudiante à la Faculté d'éducation).

Table des matières : problématique ayant mené à la production de l'outil; présentation de la Matrice PME :

ce que l'outil évalue; explication du calcul;

considérations avant de décider d'utiliser l'outil : sa place, sa pertinence, les ressources requises;

18


Recueil de considérations pédagogiques

Table des matières (suite) : difficultés potentielles et pistes de solutions :

rébellion, zizanie, effet coercitif et effet couperet; aide à l'interprétation des résultats :

profil type de l'équipe en santé, du surfeur, d'un clan, des pactes entre étudiants;

annexes : banque de critères d'évaluation. notions de base sur le travail en équipe; modèle de rétroaction (CNV); contenu type à introduire au syllabus.

19


Développement de l'outil informatique

Développement en cours, avec Bernard Beaulieu (analyste informatique à la Faculté de génie).

Actuellement : base de données construite et fonctionnelle; interfaçage avec le serveur LDAP fonctionnel; les 3 pages pour les étudiants sont fonctionnelles; 2 des 3 pages pour les professeurs quasiment

fonctionnelles; 1re mise à l'essai : 22 février 2007; 2e mise à l'essai : 12 avril 2007.

https://www2.gel.usherbrooke.ca/xpeer/etudiant/tableau_de_bord.php

20



Développement de l'outil informatique : version complète disponible d'ici la fin avril; essais et validations au cours de l'été; diffusion auprès de quelques utilisateurs à l'automne; diffusion à la communauté universitaire au début

2008... en se croisant les doigts! Bref, prochain rendez-vous durant

l'édition 2008 du Mois de la pédagogie!

Détail du calcul

Modèles de pages

21


Détail du calcul

Calcul des fractions pour distribuer les points : Calcul du dénominateur commun :

p = 2; e = 1; m = 0.


p m e m e

Étu

dian

t 1

Étu

dian

t 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

Total de 5...1 2 0 1 0 1

1/5 2/5 0/5 1/5 0/5 1/5Fractions

22


Détail du calcul

Calcul du score pour un critère donné :


p m e m e

Étu

dian

t 1

Étu

dian

t 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

1/5 2/5 0/5 1/5 0/5 1/56 points x

1,2 2,4 0,0 1,2 0,0 1,2

1 2 0 1 0 1

23



Poser une action ou suggérer une idée qui produit un résultat nouveau et utile (mot-clé: créativité).

Fournir et renouveler les efforts nécessaires pour atteindre les objectifs (mot-clé: persévérance).

Produire les meilleurs résultats possibles avec un minimum de ressources (mot-clé: efficacité).

p m e p e

Étu

dian

t 1

Étu

dian

t 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

e e m p e

e m m e e

e m e p e1,02 1,03 0,94 0,96 1,04 1,02

Détail du calcul

Calcul des prél. : calcul de la moyenne

des scores; distribution linéaire des

scores : Scoremoy. = 0.00

= min = 0.90

Scoremoy. = 1.00

= 1.00

24


Détail du calcul

Calcul des globaux :

1.00 0.98 1.00 1.02 1.001.00Étudiant 3

1.00 0.92 0.99 1.05 1.011.03Étudiant 4

1.01 0.91 0.98 1.07 1.011.03Étudiant 61.01 0.93 0.99 1.03 1.021.01Étudiant 5

1.01 0.91 0.99 1.05 1.011.01Étudiant 2É

tudi

ant 2

Étu

dian

t 3

Étu

dian

t 4

Étu

dian

t 5

Étu

dian

t 6

1.03 0.94 0.96 1.04 1.02

Étu

dian

t 1

1.02Étudiant 1

1,01 0,93 0.99 1,04 1.011,02globaux

8

20

25


26


27


28


29


20

1 outil informatique pour évaluer la contribution individuelle dans les équipes de travail –...

Documents