Download - Comment évaluer les projets?
Comment évaluer les projets?
Valérie Pattyn
Institut de la Gestion publique, K.U. Leuven
Semaine de la Sécurité intégrale - 27 juin 2011
2
1. Qu’entend-on (ou non) par évaluation de la politique?
2. Pourquoi évaluer et quand?
3. Anticiper une évaluation de projet: Conditions connexes pour l’évaluabilité
Questions et critères d’évaluation Théorie politique Infrastructure de monitoring Capacité / Culture
Objectif de la présentation
3
“La détermination de la valeur (‘mérite’) de l’objet de l’évaluation” (M. Scriven)
• Evaluation informelle versus formelle. • Processus structuré/systématique – Mise en œuvre de
méthodes et techniques: – Question d’évaluation + Critère d’évaluation– Collecte des données– Analyse des données– Evaluation
Evaluat° de la politique – qqs caractéristiques
4
“Politique” = ?
• Mesure• Train de mesures • Projet (exemple: Projet s’attaquant au vol de vélos)• Programme
Evaluation de la politique
Prévention Oter la cause structurelle du vol
- Améliorat° des possibilités de stationnement cycliste- En promouvoir l’utilisation
Préparation Préparation à la lutte contre le vol
- Gravure de vélos
Répression Le vol est sanctionné - Encourager la déclaration- Contrôle et maintien
5
Evaluation de la politique: délimitation
Audit Contrôle Oui (Oui) Oui Oui (Non) (Non) Non
Mesure des prestatos
/MonitoringSuivi
Oui Oui Oui Oui (Oui) (Oui) NonEvaluation de la politique
Déterminer la valeur (mérite) Oui Non Oui Oui Oui Oui Oui
But Global Permanent Attribution causale
Portée du processus
Portée de l'output
Portée de l'effet
Portée de l'impact
(Widmer, 2005)
A l’égard d’autres fonctions appuyant la politique et la gestion
6
MOTIFS pour évaluer une politique:
• Soutenir le planning stratégique• Améliorer la mise en œuvre de la politique et contribuer au
développement institutionnel des organisations concernées• Assumer la responsabilité par rapport aux résultats de la
politique et aux moyens déployés• Apprentissage politique: la réponse à la question de savoir
pourquoi et comment la politique est réussie ou non
“The purpose of an evaluation conditions the use that can be expected of it”
(Chelimsky, 1997)
Pourquoi évaluer?
7
Wanneer evalueren?Quand évaluer?
Tôt dans le projet Projet en vitesse de croisière Fin du projet
• Résoudre les "maladies infantiles"
• Identifier à temps les gros problèmes et les éliminer (avant que le projet n’atteigne sa vitesse de croisière)
• Examiner et résoudre l’insatisfaction chez les intéressés (surtout le groupe cible)• Vérifier la qualité de la mise en œuvre • Réaliser des améliorations à long terme
• Voir dans quelle mesure il est possible de déjà détecter des effets• Examiner quels sont les effets possibles et/ou réalisés du projet
Résoudre les problèmes
Résoudre les problèmes/assumer la responsabilité/apprendre
Assumer la responsabilité/apprendre
Test sur l’évaluabilité: “Evaluability Assessment”– Attention accordée à l’évaluabilité organisationnelle et sur
le fond de la question d’évaluation– “Est-il possible (cf. conditions connexes) de suivre et
d’évaluer la politique (ex ante / intermédiaire / ex post)?”
– = forme particulière d’évaluation ex ante
Lancer l’évaluation? Oui/NonPortée de l’évaluation?
Anticiperen op een projectevaluatieAnticiper une évaluation de projet
Evaluabilité: conditions connexes
9
1. Consensus questions d’évaluation / critères d’évaluation?
2. Théorie politique?3. Indicateurs fiables et valides?4. Capacité d’évaluation et culture
d’évaluation?
(1) Consensus questions/critères d’évaluation
• Consensus des questions d’évaluation entre les différentes parties prenantes?
• Nature des questions (description, prédiction,...)?• Une bonne question d’évaluation ne comprend
qu’un seul critère d’évaluation.
10
11
Critères d’évaluation (traduction des termes NL: voir au bas de cette dia, dans la zone des commentaires)
(2) Théorie politique
• Explicitation de la théorie politique comme point de départ pour le ‘scopage’ de l’évaluation.
• Théorie politique?– Logique du projet– L’ensemble des présomptions que les décideurs suivent
en élaborant et en mettant en œuvre une initiative politique concrète
– Souvent des raisonnements implicites, non exprimés. “Pourquoi ce projet-ci, en fait? Comment concevons-nous que ce projet-ci en particulier peut générer des résultats dans la société?”
12
(2) Théorie politique
– Une description, sur le fond, de l’initiative politique et de la manière dont celle-ci va atteindre des objectifs précis ou générera des effets (“Comment fonctionne la stratégie?”) = “Modèle causal du changement”
– Un jugement porté sur ce qui doit être fait pour réaliser ces objectifs (“Que doit-il se passer concrètement?”)
à la fois descriptif et prescriptif (Chen, 2005)
13
14
Présomptions descriptives: – Mécanismes causaux à la base d’un problème sociétal– Processus causaux grâce auxquels la politique fonctionne et le
changement social visé s’accomplit– Les déterminants: facteurs pertinents sur lesquels la politique doit se
focaliser pour produire les effets escomptés
Modèle du changement derrière la politique
Evaluation axée sur la théorie politique
15
Théorie politique: Modèle du changement derrière une initiative de projet
be le ids ac t ieo utput
o pe rat io ne le do e ls te l l ing
be le ids re s ul taate f fe c t & im pac t
s trate gis c he do e ls te l l ing
m atige nde var iable m atige nde var iable
tus s e nligge nde var iabe lede te rm inant
he fbo o m
modèle du changement
variable modératrice variable modératrice
action politique
objectif opérationnel objectif stratégique
résultat politique
effetvariable intermédiaire
déterminantlevier
16
Théorie politique reconstituée: Exemple
Promotion online de la brochure “Vacances sans souci”
Diminution des cambriolages pendant la période des vacances
Changement d’attitude des citoyens
Moins de nonchalance en quittant l’habitation
Variables modératrices:
Age du citoyen/Accès à Internet
Variable modératrice: bande de voleurs mise sous les verrous
(2) Théorie politique
• Un raisonnement solide derrière la politique augmente les chances de réussite.
• Objet de l’évaluation (“la politique est-elle mûrement réfléchie?”) et • Reconstitution de la théorie politique comme véhicule pour poser
les jalons de l’évaluation. – Attention accordée aux déterminants sur lesquels la politique peut agir.
– Attention consacrée aux éventuels effets secondaires.
– Gestion de la sélection des indicateurs pour le monitoring et techniques adaptées pour la collecte de données.
17
(3) Monitoring et évaluation de la politique
• Relation monitoring et évaluation de la politique: Tandem
• Importance d’un système de monitoring adéquat• Fonction des indicateurs
= Indications de réalité= Représentation quantitative de la qualité/quantité de l’objet du mesurage= Descriptive, pas explicative!
Règles essentielles en établissant les indicateurs
• Faites usage de la théorie politique• Cherchez des pratiques de mesurage existantes• Impliquez les parties prenantes• Principe “SMART”:
– Spécificité: Indicateur a une relation de 1 sur 1 avec ce qui est mesuré
– Mesurable– Acceptable = convenu: consensus les entre parties prenantes– Réaliste: cf. la pertinence– Temporel: inscrit dans le temps (mais stable!)
• Analyse coûts-avantages de la collecte de données• Importance du mesurage initial!• Fiabilité et validité
Fiabilité
• Garanties du mesurage en termes d’objectivité et de reproductibilité
• Faites une fiche comprenant des méta-infos sur l’indicateur
20
Description de l’indicateur (exemple en NL)
Nom de l’indicateurBrève définition
Observations
DONNEENomSource des données & fournisseur
EchelleFiabilité
CoûtComparabilité dans le temps
Comparabilité dans l’espace
PériodicitéActualisation
NUMERATEUR
21
• Pièges lors de l’exploitation des indicateurs
Validité: “Sait-on ce que l’on veut mesurer?”
On estime à tort que l’indicateur recouvre la totalité de l’objet du mesurage
Trop peu d’attention accordée aux aspects plus difficilement mesurables de l’objet du mesurage
Réduction: on adapte l’objet du mesurage ou le concept à l’indicateur, au lieu de faire l’inverse
Sortes d’indicateurs
Cf. Composantes ds schéma cycle de gestion•Input: nombre de patrouilles de police déployées; nbre d’h p/pers.; Nombre de personnes présentes aux sessions d’info “sécurisation des habitations”•Processus: les “temps de mesurement”•Output: nombre de fermetures d’immeubles utilisés par des dealers; PV traités; nombre de demandes de primes de sécurisation anti-intrusion•Effet: diminution de l’abus de drogue dans une partie donnée de la ville; nombre de tentatives de cambriolage échouées•Impact: long terme. Effet durable? Sentiment de sécurité des habitants
•Efficacité: input/output •Effectivité: effet/output •Coût-efficacité: effet/input
(4) Capacité / Culture d’évaluation
• Capacité:– Evaluation interne versus évaluation externe– Coût relatif de l’évaluation en fonction du coût
du projet
• Culture d’évaluation
23
Valérie Pattyn
Institut de la Gestion publique
24
Plus d’informations?