expérimenter des outils simples d’évaluation · 2007-10-05 · • un audit – qui se réfère...
TRANSCRIPT
![Page 1: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/1.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
1
Expérimenter des outils simples d’évaluation
Radix – 26 septembre 2007
Eric Zellweger et Yann Boggio
![Page 2: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/2.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
2
Plan de la présentation
• L’évaluation c’est… 5 min• Dessiner une évaluation 10 min• Quelques outils 15 min
• Puis discussion
![Page 3: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/3.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
3
L’évaluation ce n’est pas…
• Un audit– Qui se réfère à des normes internes non discutables
(ex: normes ISO)
• La production d’un rapport d’activités– Qui (trop souvent) se limite à énoncer ce qui a été fait
• Une dissertation libre– Un auteur/un expert qui explore une problématique
en fonction de son expérience par exemple
![Page 4: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/4.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
4
• La construction d’un jugement de valeur sur les hypothèses qui sous-tendent une ou des actions– Hypothèse causale: si résultat A alors effet B– Hypothèse d’intervention: si activité C alors résultat A
• A travers une exploration large de relations– Entre les intrants et les extrants (processus)– Entre la problématique telle que définie en amont
d’un projet et les effets tels que prévus et non prévus– Entre ces éléments
L’évaluation c’est davantage…
![Page 5: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/5.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
5
L’évaluation c’est davantage…• Un outil de production de connaissances
– Pour le porteur de projet– Pour le programme qui finance– Pour le public spécifique/au sens large– Sur la pertinence de processus
• Un outil d’aide à la décision– Arrêt/prolongation/ajustement d’un projet
• Un outil de contrôle – De la pertinence de l’usage de fonds– De la pertinence d’un projet par rapport à son environnement– Etc.
![Page 6: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/6.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
6
Finalités de l’évaluation
• Finalité cognitive / managériale– Apprendre de ce que l’on fait / de comment on le fait
• Finalité politique / démocratique– Répondre aux exigences de transparence et de
qualité de l’usage de ressources publiques
• Finalité mobilisatrice / réflexive– Entrer dans une dynamique d’apprentissage
permanent, dynamique réflexive
![Page 7: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/7.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
7
L’(auto)évaluation de projet
• Une pratique dominante pour– les projets ponctuels et limités – des questions de coûts
• Mais une pratique qui nécessite– Une conception de projet qui inclut une
interrogation évaluative et un dispositif d’évaluation
• Définir des questions d’évaluation !
![Page 8: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/8.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
8
Dessiner une évaluation
1. Construire la théorie d’action2. Identifier le système d’acteurs3. Construire le système de suivi
![Page 9: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/9.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
9
Théorie d’action
• Elément de base: la théorie d’action– Une théorie d’action est une représentation
conceptuelle de l’hypothèse d’intervention et de l’hypothèse causale
– Une théorie d’action lie le problème à la base du projet, l’objectif central, les objectifs intermédiaires, les résultats et effets attendus
![Page 10: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/10.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
10
Construire une théorie d’actionconstat
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Activité A
Activité B
Activité C
Produit A
Réalisation B
Produit C
Effets
Impacts
![Page 11: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/11.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
11
Le système d’acteurs
Gestionnaires de projet-Chef de projet, conseil d’école
-Enseignants, conférenciers, concierge
Acteursexécutants
Public cible premier du projet -Ecoliers, enseignants
Public cible secondaire du projet -Jeunes, parents, population
Acteursbénéficiaires
Expertsexternes
-Médecin, spécialiste en santé publique
-Collectivités publiques, conseil d’école, presse..
Acteurslégitimants
Cadre d’intervention
Partenairesinstitutionnels
Acteursfacilitateurs/
multiplicateurs
Intervenants de projet
![Page 12: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/12.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
12
Le système d’indicateurs– Indicateurs de mise en œuvre
• Disponibilité des ressources et compétences, association d’experts, constitution d’un groupe de travail, soutien du conseil d’école, etc.
– Indicateurs de réalisation• Nombre d’ateliers de classe réalisés, nombre d’élèves
présents aux conférences, effectivité de l’interdiction de fumer, etc.
– Indicateurs d’impact• Prévalence de fumeurs dans l’école, connaissances des
élèves sur les effets nocifs du tabagisme sur la santé, etc.
![Page 13: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/13.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
13
Construire un indicateurCours de formation Question: quelles sont les effets du cours?
Effets à court terme
Effets à long terme
Forme
Contenu
Utilité
Degré de satisfaction
Degré d’acquisition
Degré d’usage des acquis
Explicitationqualitative
Analyse / évaluation
![Page 14: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/14.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
14
Design d’évaluation et méthodes
![Page 15: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/15.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
15
Design d’évaluation• Mixte de méthodes qualitatives et quantitatives• Peut (doit) être « étalé » dans le temps de mise
en œuvre d’un projet– Exemple : atelier d’auto-évaluation de l’équipe en
charge, tout les trois mois (prendre le temps d’une pause réflexive!)
– Favorise les ajustements en cours de route
• Le plus important : cohérence et pertinence entre les questions d’évaluation et les méthodes retenues
![Page 16: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/16.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
16
Design d’évaluation• Nécessité de disposer d’un référentiel
d’évaluation càd de données de base sur lesquels une « mesure du changement » est possible – Avant le démarrage (= requête de financement)– Après une période de financement
Conception du projet Réalisation du projet
Autoévaluation avant Autoévaluation après
![Page 17: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/17.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
17
Méthodes qualitatives• Analyse de données qualitatives
– Description de l’environnement contextuel du projet– PV du comité de pilotage– Journal de bord du coordinateur
• Entretien ouvert, exploratoire– Utiles pour explorer et comprendre un point particulier
• Entretien semi-directif– Plus ou moins standardisé selon les dimensions à explorer
• Groupe focalisé (focus group)– Permet une acquisition importante d’informations en un
minimum de temps– Favorise une confrontation des points de vue
![Page 18: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/18.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
18
Méthodes quantitatives• Recueil formel de données
– Tableaux de bords– Statistiques de fréquentation d’un site
• Enquête ou sondage auprès des bénéficiaires– Enquête si peu de bénéficiaires– Sondage si nombre important de bénéficiaires
• Analyse secondaire de données existantes– Emploi des bases de données statistiques type ESS, HBSC ou
autres
![Page 19: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/19.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
19
Quelques outils simples
• En amont de la mise en œuvreLe concept de projet !!!– Grille de recueil de données qualitatives de base
• Attentes & a priori, par rapport aux activités, résultats, effets en amont de la mise en œuvre, pour chaque catégorie d’acteurs
– Sets d’hypothèses sur les résultats, les effets• Si…alors…
![Page 20: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/20.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
20
Quelques outils simples
• Durant la mise en œuvre– Journaux de bords
• Regards sur les processus, commentaires sur l’action
– Tableaux de bord• Indicateurs clés
– Dans les projets plus importants:• Focus group, entretiens ciblés• Enquête répétée
![Page 21: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/21.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
21
OPPORTUNITES
Quelques outils simples
• En aval de la mise en œuvre– Enquêtes ad hoc, sondages– Entretiens, focus group– Analyse SWOT
FORCES
FAIBLESSES CONTRAINTES
INTERNE EXTERNE
![Page 22: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/22.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
22
Tout ceci pour…
• …construire un jugement sur un projet– En triangulant les sources d’informations– En maximisant « l’objectivable »– En se centrant sur les processus autant que
sur les résultats– En dissociant ce qui est du ressort des
réalisations de ce qui est du ressort des résultats ou effets
![Page 23: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/23.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
23
Au final
• L’évaluation FAIT partie de la conception d’un projet
• L’évaluation introduit une espace réflexif
• L’évaluation peut être un contrôle, mais c’est davantage un outil d’apprentissage
• L’évaluation doit être un réflexe…
![Page 24: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/24.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
24
![Page 25: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/25.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
25
Formulaire d’autoévaluationConstat d’uneproblématique
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Constat d’uneproblématique
Définition des objectifsstratégiques etOpérationnels
Indicateurs
![Page 26: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/26.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
26
Formulaire d’autoévaluationConstat d’uneproblématique
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Activité A
Activité B
Activité C
Définitiondes activités
Indicateurs
Liens entreContexte, objectifs
et activités
![Page 27: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/27.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
27
Formulaire d’autoévaluation
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Activité A
Activité B
Activité C
Dispositif de mise en œuvre
Constat d’uneproblématique
Acteurs exécutantsActeurs facilitateursEgalité des chances
EmpowermentParticipation
Ressources financièresCompétences
CalendrierDocumentation
Suivi et évaluationIndicateurs
![Page 28: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/28.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
28
Formulaire d’autoévaluation
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Activité A
Activité B
Activité C
Dispositif de mise en œuvre
Constat d’uneproblématique
Mesuresd’accompagnement
CommunicationValorisation
Multiplication etTransfert
Mise en réseauIndicateurs
![Page 29: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/29.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
29
Formulaire d’autoévaluation
Objectif stratégique
Objectif Opérationnel 1
Objectif Opérationnel 2
Activité A
Activité B
Activité C
Produit A
Réalisation B
Produit C
Effets
Impacts
Résultats
Cadre d’intervention
Constat d’uneproblématique
Réalisation et résultatsAtteinte d’objectifs
SWOT
![Page 30: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/30.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
30
L’évaluation : critères analytiques
Objectifs stratégiques Effets ( Impacts)
Résultats ( Outcomes)
Objectifs/concept Mise en oeuvre Réalisations
( Outputs)
Programme / projet
Partenaire
cohérence
pertinence efficacité
Influence du contexte
efficience
effectivité
![Page 31: Expérimenter des outils simples d’évaluation · 2007-10-05 · • Un audit – Qui se réfère à des normes internes non discutables ... •En amont de la mise en œuvre](https://reader031.vdocuments.pub/reader031/viewer/2022022612/5b9b5d5c09d3f2dc408cf3f4/html5/thumbnails/31.jpg)
[ outils d’évaluation de projets – 26 septembre 2007]
evaluanda
31
Enfin…