pertinence de la démarche pré-évaluative : illustration à partir dun programme de santé mentale...
TRANSCRIPT
Pertinence de la démarchepré-évaluative : Illustration
à partir d’un programmede santé mentale
Pertinence de la démarchepré-évaluative : Illustration
à partir d’un programmede santé mentale
Monique Carrière Ph.D.Faculté de médecine, Université Laval
Louise Grégoire, M.Sc.A.Direction régionale de santé publique de la Capitale
nationale
Mireille Fortier, assistante de recherche
SQEP, 2004, Carrière, Grégoire et Fortier 2
Contexte de l’évaluation
Pression pour l’évaluation de programme
Pression pour la programmation en réseau
Révision du programme en santé mentale au CLSC
Transformation organisationnelle en cours
SQEP, 2004, Carrière, Grégoire et Fortier 3
C’est pas compliqué, on a
révisé notre programme et on veut savoir ce que
ça donne.
C’est plus compliqué que
ça !!!
Demandeur
Évaluateur
Rencontre évaluateur - demandeur
SQEP, 2004, Carrière, Grégoire et Fortier 4
Proposition : approche pré-évaluativeet coopérative
Pré-évaluative : Multiplicité des objets d’évaluation
Multiplicité des acteurs et de leurs points de vue
Obligation de clarifier et de choisir
Coopérative : Participation continue de l’équipe de
gestion du programme à la planification de la démarche, à sa mise en œuvre et à l’interprétation des résultats
SQEP, 2004, Carrière, Grégoire et Fortier 5
A
Évaluation des résultats
À partir des conceptions des acteurs du programme
Identification objective des problèmes
Environnement/clients
Rétroaction
B
Cadre général et vue d’ensemble
Avec les paramètres des partenaires et des usagers du programmes
Identification subjective des problèmes
Réseau/act.interdépendants
Négociation
Tendances habituelles (A) vs
notre proposition (B)
SQEP, 2004, Carrière, Grégoire et Fortier 6
Cadre théorique : approche constructiviste
Acteur motivé,rationnel et réflexif
Position de l’acteurinfluence rationnelet action
Intention action conséquences
Dialectiqueaction-structurel
Spécifique
Systémique
Structurel
Opérationnel
Stratégique
Théorie de la structuration(Giddens)
Domaines d’activitésd’un programme
(Gervais)
SQEP, 2004, Carrière, Grégoire et Fortier 7
Interfaces Giddenset Gervais
USAGERS*
DÉCIDEURSCENTRAUX*
(STRAT.)(OPÉRAT.)
GEST.*
INTERV.*DÉCISION
RÈGLESET
RESSOURCES
(STRUCT.)
PRATIQUES
PARTENAIRESCOMM.*
PARTENAIRESINSTITUT.*
(SYSTÉMIQUE)
PROGRAMME ASM
ENVIRONNEMENT / CONTEXTE
CONSÉQUENCES(SPÉCIFIQUE)
* ACTEUR MOTIVÉ, RATIONNEL, RÉFLEXIF
POPULATION*
SQEP, 2004, Carrière, Grégoire et Fortier 8
Déroulement du projet
Planification avec l’équipe de gestionnaires Nombre de groupes et critères de sélection des participants
Recrutement
Organisation des groupes de discussion
Réalisation des groupes de discussion
Analyse préliminaire et rétroaction aux gestionnaires
Présentation des résultats et discussionsur la poursuite de l’évaluation
SQEP, 2004, Carrière, Grégoire et Fortier 9
Principaux thèmes abordéslors des groupes de discussion
Motivation et préoccupations
Questions et objets d’évaluation
Utilité de l’évaluation
Priorités
Opportunités et embûches anticipées
Perception quant aux priorités des autres acteurs
SQEP, 2004, Carrière, Grégoire et Fortier 10
Variété des participants
5 catégories d’acteurs: Gestionnaires du programme ASM du CLSC
Intervenants au programme ASM du CLSC
Usagers
Partenaires communautaires
Partenaires institutionnels
9 groupes de discussion
65 personnes rencontrées
SQEP, 2004, Carrière, Grégoire et Fortier 11
Position des acteurs
USAGERS
CLSC
CHSP
CHSGS
OC
SQEP, 2004, Carrière, Grégoire et Fortier 12
Rationnel des gestionnairesdu CLSC
Performance du programme
Responsabilité populationnelle
Effets sur le système et les clients
Positionnement de CLSC p/r aux partenaires
Ajustement et mise à jour du programme
SQEP, 2004, Carrière, Grégoire et Fortier 13
Rationnel des intervenantsdu CLSC
Clarification et cohérence p/r au programme
Effets sur le client
Lien thérapeutique
Ajustement et mise à jour
Tension entre les objectifs cliniques et organisationnels
Contradiction entre leurs valeurs et leurs actions
Inquiétude quant au type d’évaluation
SQEP, 2004, Carrière, Grégoire et Fortier 14
Rationnel des partenaires institutionnels
Arrimage et harmonisation des services : Adoption d’une philosophie
et de stratégies communes (ententes formelles et liens personnalisés)
Protocoles uniformes
Système d’information partagé
Hiérarchisation d’intervention
Efficience et efficacité
Collaboration (liens de confiance, reconnaissance, appui réciproque)
SQEP, 2004, Carrière, Grégoire et Fortier 15
Rationnel des partenairesdu milieu communautaire
Information
Reconnaissance
Réduction de la méconnaissance réciproque
Tension entre l’autonomie décisionnelle et la coopération
Positionnement du CLSC et des organismes communautaires : influence et négociation
Perception d’un décision unilatérale du CLSC, entraînantune stratégie similaire des organismes communautaires
SQEP, 2004, Carrière, Grégoire et Fortier 16
Rationnel des usagers
Relation avec l’intervenant : continuité
Approche humaniste et globale
Souplesse et simplicité dans l’organisationdes services
Disponibilité continue des ressources
Participation aux décisions cliniqueset organisationnelles
SQEP, 2004, Carrière, Grégoire et Fortier 17
Principaux thèmes documentésau regard des 5 domaines d’un programme
Domaine Systémique : rôle et position dans le réseau, liens avec les autres acteurs, légitimité…
Domaine Structurel : règles et ressources, procédures de coordination, réseau de communication et d’information…
Domaine Opérationnel : processus, activités et comportement des membres; pratiques professionnelles, programmation des activités, communication, climat de travail…
Domaine Stratégique : gestion du programme, médiation entre les différentes instances organisationnelles, planification, prise de décisions, supervision, leadership…
Domaine Spécifique : résultats; optimisation des objectifs, satisfaction des attentes, production de services…
SQEP, 2004, Carrière, Grégoire et Fortier 18
Les constats
Modification de la représentation du programme Programme : un moyen et un résultat
•Négocié
•Communiqué
•Utilisé
•À l’intérieur•Avec L’extérieur du CLSC
Modification de la représentation de la programmation
Programmation: phénomène dynamique et action continue
}
SQEP, 2004, Carrière, Grégoire et Fortier 19
Action des évaluateurs
Élaboration d’un outil Commun à la planification et à l’évaluation de programme
Facilitant sa compréhension et sa transformation
Fournissant une vue d’ensemble de ses composanteset de ses éléments
Précisant les actions correspondant aux élémentsde chaque composantes
Permettant de déterminer les cibles et les stratégies d’évaluation
Construction d’un modèle logique détaillé
SQEP, 2004, Carrière, Grégoire et Fortier 20
Traduction du programme dans un modèle logique
Composantes
Éléments
Planification de l’offre de
services
Communication de l’offre
Accueil des références
Évaluation Liaison Intervention
Objectifs de mise en œuvre
Ressources
Extrants
Méthodes et moyens
Objectifs de résultats court terme
Objectifs de résultats long terme
Indicateurs
SQEP, 2004, Carrière, Grégoire et Fortier 21
Retombées pour le CLSC
Stimulation de l’activité réflexive
Révision des objectifs, des activités et des moyens du programme
Ouverture au changement
Appropriation de la démarche et des outils de planification évaluation
SQEP, 2004, Carrière, Grégoire et Fortier 22
Conclusion
Richesse de la démarche :
Cohérence
Diversité des résultats
Démarche ancrée dans le contexte
Possibilité de faire des choix éclairés
Choix épistémologique : constructivisme
Diversité des priorités et des enjeux
Création d’attentes
Approche non normative qui facilite les liens entre les acteurs et la négociation
Démarche qui répond aux standards de l’évaluation
SQEP, 2004, Carrière, Grégoire et Fortier 23
Fin…