gdo méthode du policy capturing
Post on 25-Jul-2015
573 Views
Preview:
TRANSCRIPT
Pr C. Bénavent
Alice ANBERREE - François COMETS - France DELAMARE
MASTER RECHERCHE
GDO MOPP 2010
IDENTIFIER LES FACTEURS D’UNE
EVALUATION COMPLEXE : LA
METHODE DU POLICY CAPTURING
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 2 Master Recherche GDO-MOPP 2010
Quels facteurs conduisent un employé à quitter son entreprise ? Sur quels
critères les DRH sélectionnent-t-ils les personnes qu’ils embauchent ? Comment les
consommateurs décident-t-ils de leurs achats ? Qu’est-ce qui influence le choix de
stratégie d’un haut dirigeant pour son organisation ? Comment les individus
valorisent-ils des biens publics tels que l’environnement ?
Autant de questions que des chercheurs en gestion peuvent être amenés à se
poser et qui appartiennent à tous les domaines de la discipline (GRH, marketing,
stratégies,...). Pour y répondre, plusieurs méthodes statistiques basées sur des
régressions sont invoquées. Nous nous intéressons ici à l'une d'entre elles en
particulier : la méthode du « Policy Capturing1 » (MPC).
La MPC est une évolution du modèle probabiliste de perception sociale
d'Egon BRUNSWICK, qui fonctionne comme une lentille de vision.
Figure 1 - Le modèle de la lentille de Egon Brunswick :
A partir de cette représentation, le choix (variable à expliquer) est modélisé
mathématiquement comme dépendant de variables explicatives elles-mêmes liées
à des attributs propres, dans le but de déterminer le poids relatif de chacun des ces
attributs et celui des différentes variables explicatives.
1 N'ayant pas trouvé de traduction française officielle, nous avons décidé de maintenir
le terme anglais.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 3 Master Recherche GDO-MOPP 2010
Figure 2 - Le modèle de la Méthode du Policy Capturing :
Pour pouvoir mettre en œuvre les calculs nécessaires à l'obtention de
résultats, il est nécessaire de recueillir des données d'étude. Dans le cadre de la
MPC, cela se fait en soumettant des scenarii à un ensemble de répondants. Chaque
scenario présente un environnement dans lequel on retrouve les variables
explicatives étudiées (une valeur proposée pour chaque variable et plusieurs
combinaisons des différentes valeurs sur l'ensemble des scenarii) et propose aux
répondants un choix qui traduit une modalité de la variable à expliquer.
Cette note entend présenter plus en détails la MPC, en proposant dans un
premier temps un “guide rapide d'utilisation” reprenant de manière succincte les
conseils et avertissements fournis par Lynda AIMAN-SMITH, Steven E. SCULLEN et
Steve H. BARR dans un article paru en 2002 dans Organizational Research Methods :
“Conducting studies of Decision Making in Organizational Contexts : A tutorial for
Policy-Capturing and Other Regression-Based Techniques”. Les avantages et limites
de la méthode seront explicités, avant d’être illustrés par le cas d’application de la
MPC à la problématique particulière que sont les motivations des agents publics.
X Variable à expliquer(Motivations pour le service public)
A1 A2 A3 A4 A5
Variables explicatives(sens du devoir…)
Attributs(disponibilité horaire…)N1 N2 N3 N4 N5
X1 X2 Xn…
…
X1= a1A1+ a2A2+a3A3+a4A4+a5A5 sous la contrainte a1+ a2+a3+a4+a5=1
Principe :La Policy Capturing Method cherche à calculer les poids relatifs a1,a2… a5 de chacun des attributs A1, A2…A5 qui déterminent la variable explicative X1.
Avec :
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 4 Master Recherche GDO-MOPP 2010
Guide d’utilisation de la méthode du Policy Capturing
Le recours à la MPC se fait en trois étapes : conception et application de
l'étude, traitement et analyse des données, présentation des résultats.
Conception et application de l'étude
Deux éléments doivent attirer l'attention d'un chercheur à cette étape du
processus de travail : le type de question qu'il se pose et la représentativité de son
étude.
En effet, il peut chercher à construire une typologie ou chercher à construire
un individu-type. Dans le premier cas, le chercheur fait face à une question
idiographique et étudiera les décisions des répondants individu par individu avant
de rechercher les ressemblances et différences générales. Dans le second cas, il
s'agit d'une question nomothétique et le chercheur étudiera globalement l'ensemble
des décisions prises par un groupe d'individus pour en extraire les tendances
générales. Si certaines études permettent de répondre aux deux types de question,
ce n'est pas toujours le cas et le choix de l'une ou l'autre forme aura des
conséquences sur le recueil et l'analyse des données, sur la conception de l'étude.
Un autre élément déterminant dans la conception mais aussi dans
l'application de l'étude est la poursuite de la représentativité. Pour que ses résultats
soient reconnus, le chercheur doit soigner les scenarii proposés aux répondants et
s'assurer que l'environnement simulé est en cohérence avec l'environnement réel
(variables explicatives choisies, réalisme des valeurs et combinaisons présentées,
décisions proposées et leurs résultats possibles). Il doit également prêter beaucoup
d'attention à la construction de son échantillon et s'assurer que celui-ci correspond
bien à la population qu'il souhaite étudier (ainsi il se souviendra par exemple que des
experts dans un domaine ne répondent pas de la même façon que des novices),
sans oublier d’interroger suffisamment de personnes pour atteindre les seuils
statistiques nécessaires.
Enfin, la représentativité, la validité, des réponses obtenues dépendent
également des conditions d'application de l'étude. Le chercheur se trouve alors
face à un arbitrage entre qualité théorique et qualité des conditions de réponse
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 5 Master Recherche GDO-MOPP 2010
pour les répondants. Ceux-ci présentent en effet plusieurs risques à prendre en
compte : effet d’apprentissage, effet de demande (s’ils cernent la nature de la
recherche, ils peuvent vouloir répondre plutôt dans un sens, infirmation ou
confirmation, que dans un autre ou encore chercher à donner une bonne image
d’eux-mêmes), incompréhension des scenarii, surcharge cognitive, effet de
fatigue,…
Ainsi, l’idéal statistique qu’est le « full factorial design2 » peut se révéler difficile
à appliquer en pratique et le chercheur peut être amené à lui préférer des
configurations plus complexes ou à mettre en place le recueil des données de
façon à ne pas décourager les répondants (en particulier en organisant plusieurs
sessions au lieu d’une).
De façon générale, un bon traitement des répondants est bien évidemment
recommandable et il peut être très utile de bien vérifier qu’ils comprennent ce qui
leur est demandé. Un entretien qualitatif après l’administration des scenarii est
également souvent enrichissant.
Une fois les données recueillies dans les meilleures conditions possibles, reste à
les analyser.
Traitement et analyse des données
L’étape de traitement consiste à coder les données et à sélectionner un
modèle de régression. Faute d’espace, nous renvoyons ici le lecteur à des articles
plus détaillés (voir bibliographie) et à des manuels de statistiques.
Il peut être utile d’éliminer une partie des données biaisées par les effets cités
ci-dessus lorsqu’ils sont identifiables dans les résultats obtenus (modification flagrante
de la tendance) : apprentissage, fatigue. Avoir prévu des scenarii supplémentaires
pour cela peut se révéler très pertinent.
2 Dans un “full factorial design”, la totalité des scenarii possibles en fonction du nombre de
variables et de toutes les valeurs proposées pour chacune d’elle doit être envisagée. Ainsi, 5
variables de 3 valeurs possibles chacune conduisent par exemple à 35=243 possibilités. Toute
variable supplémentaire représente vite un très grand nombre de nouveaux scenarii à
considérer donc à soumettre aux répondants qui présentent un risque de fatigue ou de
lassitude.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 6 Master Recherche GDO-MOPP 2010
Vient ensuite l’interprétation. Rappelons ici que les modèles ne peuvent pas
inclure tous les éléments qui influencent la prise de décision.
« Nonetheless, if the cues are well chosen and the study is properly designed,
policy-capturing results in useful, although incomplete, models of policy-capturing
processes (Hoffman, 1996). »
A cette étape, le chercheur doit bien identifier le sens des coefficients
obtenus en fonction de son interrogation de départ. Il sera différent selon qu’il s’agit
d’une question idiographique ou nomothétique.
Enfin dans le cas d’une alternative au « full factorial design », il faudra prendre
connaissance du degré de multi colinéarité des données pour savoir si la
comparaison des coefficients est légitime ou non.
Une fois les données analysées, la dernière étape d’une recherche est la
présentation des résultats.
Présentation des résultats
Il est important de donner suffisamment de détails pour que le lecteur
comprenne le contexte et la méthode de la recherche et puisse « se l’approprier »
et éventuellement la prolonger. Ainsi une discussion sur la sélection des répondants,
leur habitude du terrain et la prise de décision étudiée semble indispensable. Un
compte-rendu du travail d’élaboration des scenarii n’est pas non plus à écarter.
Celui-ci conduit par exemple à une description des variables
indépendantes (valeurs, distributions, intercorrélation) et de l’échelle de décision
(mesure, distribution, catégories, fréquence). Enfin, n’oublions pas qu’en cas de
recherche idiographique, les résultats peuvent être présentés individu par individu.
Après cette présentation rapide de la mise en œuvre de la MPC, détaillons-en
les avantages et limites.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 7 Master Recherche GDO-MOPP 2010
Avantages et limites de la Policy Capturing Method
Avantages de la MPC
Dans son principe même, la MPC cherche à générer un modèle de décision au plus
proche des acteurs. Les scenarii multi-attributs, en ce qu’ils sont une représentation
plus fidèle des situations concrètes que doivent évaluer les managers, paraissent plus
efficaces que la méthode plus ancienne de rating3. En effet, certains auteurs ont
montré que cette dernière méthode induisait le plus souvent les répondants à fournir
une réponse « socialement valorisée » en dépit de leurs critères effectifs de prise de
décision. Ainsi, à la question « Notez par ordre de préférence les critères
d’évaluation d’une offre d’emploi parmi : le salaire, les perspectives d’évolution,
l’intérêt du poste, la formation permanente possible », il est attendu que « l’intérêt
du poste » soit une réponse socialement plus valorisée que « salaire ».
En plus de passer outre le biais des réponses socialement valorisées, la MPC a
l’avantage de fournir l’accès aux « in-use theories », c'est-à-dire aux critères qui
influent réellement sur les prises de décisions des répondants, au-delà de ceux déjà
identifiés dans les discours lors des entretiens. En offrant une situation concrète à
évaluer, la MPC aide à mettre en évidence les mécanismes d’évaluation réels qui
échappent bien souvent aux répondants eux-mêmes. Cette modélisation de la
réalité par le biais de scenarii offre au chercheur en gestion la possibilité de passer
outre les barrières cognitives ou sociales qui peuvent brouiller les résultats. En terme
de livrable, la MPC fournit au chercheur un modèle d’évaluation ou de prise de
décision en accord avec la singularité de l’organisation étudiée. Certains auteurs se
sont penchés sur la possibilité de généraliser les modèles d’évaluation issus de la
MPC (HITT et MIDDLEMIST, 1979), en insistant sur le caractère singulier des modèles
obtenus. S’il parait impossible de comparer des modèles à tous les niveaux de
l’organisation, certains regroupements d’entités à partir de la comparaison des
modèles MPC permettent de repérer des best-practices ou des dysfonctionnements.
D’un point de vue concret, la MPC permet aussi la manipulation de variables plus ou
moins indépendantes.
3Méthode selon laquelle les répondants doivent hiérarchiser une liste d’attributs dans l’ordre
de leurs préférences.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 8 Master Recherche GDO-MOPP 2010
Limites de la MPC
Si la MPC permet de modéliser de manière relativement efficace les critères
de prise de décision ou d’évaluation, il nous est cependant essentiel de traiter ici de
quelques limites consubstantielles à la méthode.
En termes de réalisme, les travaux de nombreux cognitivistes ont démontré
que le cerveau ne prend en compte qu’un très faible nombre de critères pour
effectuer une hiérarchisation de scenarii. Bien souvent, les scenarii des possibles ne
sont examinés que sous l’angle d’un ou deux critères majeurs. On pourrait ici se
référer par exemple aux travaux de COOKSEY (1996). L’essentiel de la recherche
porte alors sur la détermination de ces critères. Selon la méthode d’identification des
attributs (entretien des managers eux-mêmes, bases documentaires, documentation
d’entreprise…), présélectionner les plus déterminants devient complexe.
En termes techniques, selon la méthode de régression employée et les
variables choisies, il est important d’indiquer ici que les coefficients de corrélation
linéaires ne peuvent être tous nuls. Certaines variables peuvent être directement ou
indirectement corrélées à l’environnement. D’autres, et c’est là une des limites du
Plan Factoriel Complet dans le traitement statistique appliqué à la MPC, sont
incompatibles entre elles. On voit mal comment on pourrait croiser, dans une étude
portant sur le salaire et l’emploi, un individu de 35 ans percevant une retraite.
KARREN et BARRINGER concluent en citant COOKSEY (1996): “Thus, researchers must
in many cases make trade-offs between realism, on one hand, and acceptable
levels of variable intercorrelations, on the other. In these instances, compromises will
be required between the “ideally desirable” and the “practically realizable” features
of the design”4.
En termes pratiques finalement, nous retrouvons ici les limites liées à la
nécessité d’impliquer les répondants dans un processus relativement long qui pose
quelques problèmes de mise en œuvre liés en particulier aux phénomènes de stress
et de fatigue. Ceux-ci sont amplifiés dans le cas de certaines études où les
répondants sont directement impliqués dans le processus d’identification des
attributs déterminants (HITT et MIDDLEMIST, 1979). Cela complexifie plus encore les
4 P346, R. J. Karren and M.W. Barringer, A Review and Analysis of the Policy-Capturing
Methodology in Organizational Research: Guidelines for Research and Practice
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 9 Master Recherche GDO-MOPP 2010
modalités de mise en œuvre et selon le nombre de scenarii à examiner et le nombre
d’attributs à tester, surtout dans le cas du traitement statistique par Plan Factoriel
Complet, les répondants sont mobilisés pendant 2 à 4 heures. C’est pourquoi il peut
être pertinent d’épurer les résultats à chaque étape du retraitement afin d’éliminer
des questionnaires jugés inadaptés (notes trop homogènes ou évaluations binaires).
Un exemple de recours fécond à la Méthode du Policy
Capturing : l’étude des motivations des agents publics
Les motivations des agents publics présentent-elles des spécificités
propres à la nature de leurs missions d’intérêt général ?
De manière générale, la thématique de la motivation au travail fait l’objet de
nombreux travaux de recherche depuis plusieurs décennies, mobilisant des
disciplines aussi diverses que la psychologie, les sciences de gestion, les sciences
économiques ou encore la sociologie. De nombreuses publications se sont ainsi
intéressées aux motifs qui font qu’un individu fait preuve ou non de motivation au
travail, ou encore aux effets présumés positifs de la motivation sur la performance et
la productivité individuelle et collective.
A partir des années 90, certains chercheurs se sont attachés à comprendre
l’incidence que peuvent avoir la nature publique des organisations et
l’environnement de travail particulier des agents publics sur la motivation de ces
derniers à travailler et leur loyauté à l’égard des objectifs assignés.
Des travaux comme ceux de J.L.PERRY et L.R.WISE ont ainsi développé le
concept de « motivation à l’égard du service public » - Public Service Motivation
(1990) - qui repose sur l’hypothèse forte que les organisations publiques ont des
modes de fonctionnement particuliers et que les agents œuvrant en leur sein font
preuve de motivations spécifiques. Les comportements de ces derniers ne pourraient
se comprendre sans prendre en compte cette « prédisposition individuelle à
répondre à des motifs portés en premier lieu, sinon uniquement, par des institutions et
organisations publiques » (PERRY et WISE, 1990). Deux conséquences théoriques sont
par ailleurs déduites de l’existence de ces motivations : d’une part, plus celles-ci
seraient élevées chez un individu, plus celui-ci choisirait d’intégrer une organisation
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 10 Master Recherche GDO-MOPP 2010
publique ; d’autre part, plus ces motivations seraient importantes, plus le niveau de
performance et la satisfaction de ce même individu seraient élevés au sein
d’organisations assumant des objectifs en adéquation avec ses motivations
particulières.
Une problématique méthodologique justifiant l’usage de la MPC
La vérification empirique par questionnaire de l’existence de ces motivations
parmi les agents publics s’est heurtée à deux écueils qui constituent la
problématique méthodologique de ce champ de recherche. Les réponses des
agents publics sont tout d’abord sujettes au biais de la réponse socialement
désirable, particulièrement accentuée par le contexte d’enquête présentant une
aussi forte culture organisationnelle que la sphère publique. Par ailleurs, les méthodes
traditionnelles rendent difficiles l’identification des chaines de causalité entre
l’existence de ces motivations chez les agents publics et les conséquences sur les
choix et la performance, telles qu’elles ont été théorisées. Certaines enquêtes ont
ainsi démontré que ces motivations produisaient bien un plus fort engagement au
travail dans les organisations publiques. D’autres au contraire ont expliqué
l’existence de ces motivations spéciales par l’engagement initial des individus dans
ces organisations.
En réponse à cette problématique méthodologique, des chercheurs ont milité
pour le recours à la MPC (Bradley WRIGHT et Adam GRANT, 2009), qui est apparu
d’autant plus justifié que la modélisation conceptuelle actuellement faite de ces
« motivations à l’égard de service public » le rend aisé. Dans des travaux ultérieurs, la
modélisation de ces motivations a ainsi permis d’identifier quatre variables
explicatives majeures, déclinées en vingt-quatre attributs d’ordre psychologique.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 11 Master Recherche GDO-MOPP 2010
Figure 3 – Variables explicatives et attributs de la motivation pour le service public :
Source : PERRY (J.L.), « Antecedents of Public Service Motivation », JPART, 1996
La MPC en pratique : enquête et résulats
Placé en situation fictive de recherche d’emploi, un panel d’étudiants
américains en Droit, sans expérience professionnelle antérieure, a été confronté à
une série de scenarii, proposant des offres d’emploi dont les attributs étaient censés
reprendre les variables explicatives identifiées dans la modélisation des motivations à
l’égard du service public :
la nature juridique (publique, privé à but ou non lucratif) de
l’organisation, traduisant la proximité avec les problématiques de la
vie politique ;
l’orientation client de l’organisation et du poste proposé, traduisant le
sens civique et l’engagement dans les affaires collectives ;
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 12 Master Recherche GDO-MOPP 2010
le « challenge intellectuel » en termes d’implications sociales et
d’attachement affectif à la réalisation de certaines missions, traduisant
la compassion ;
le salaire de départ, traduisant le sens du sacrifice.
Figure 4 – Exemple d’offres d’emploi soumis aux étudiants :
Seriez-vous susceptible d’accepter ces offres d’emploi ? (sur une échelle de Lickert de 1 à 7)
Offre d’emploi n’1
« XM est une association privée à but
non lucratif, présidée par une personnalité
politique municipale de premier poids.
Fondée par cette dernière alors que celle-
ci était associée à la majorité municipale
de l’époque, l’association reste
subventionnée par la Mairie à hauteur de
75% de son budget annuel. Son bureau
recherche un jeune diplômé pour un poste
d’assistant social bénévole ».
Offre d’emploi n°2 :
« BE, un grand cabinet de conseil
juridique et en stratégie, comptant un
réseau important d’anciens à travers le
pays, souvent au sein des directions
générales des grandes entreprises
nationales et de la haute-fonction
publique, embauche un consultant junior
pour des missions généralistes. Le salaire
d’entrée est parmi les hauts standards du
marché. »
La MPC a permis à la fois d’identifier des profils d’individus selon leur
adéquation aux conclusions du modèle théorique, et de hiérarchiser les attributs
intervenant dans les offres d’emploi fictives, selon leur pondération dans l’évaluation
que les individus font de ces dernières. Les résultats de ces études sont significatives
des produits d’enquêtes ayant recours au MPC.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 13 Master Recherche GDO-MOPP 2010
Figure 5 – Modélisation de la structure de choix des répondants :
Source : WRIGHT (B.E.) et CHRISTENSEN (R.K.), The effects of PSM on Job Choice Decisions, 2009
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 14 Master Recherche GDO-MOPP 2010
Les conclusions des théories des motivations à l’égard du service public sont
confirmées, ainsi que la modélisation élaborée depuis quinze ans. Les individus
manifestant des motivations élevés à l’égard de service public préfèrent en effet les
offres d’emploi dans les organisations publiques et/ou à des postes dont l’orientation
client est forte. Ces motivations ne sont ainsi pas l’apanage du secteur public même
si la préférence envers ce dernier est confirmée. Par ailleurs, les individus à forte
motivation sont moins sujets aux différences de salaires que les autres, même dans
des organisations à but lucratif.
La Méthode du Policy Capturing est un outil précieux pour le chercheur en
gestion qui tente de déterminer et hiérarchiser les facteurs de prise de décision dans
le cas de situations complexes. Son principe, similaire à celui de la méthode
d’analyse conjointe, s’appuie sur la conception et l’évaluation de scenarii évolués
dont le traitement statistique peut diverger selon le protocole expérimental choisi.
Les résultats générés par ce procédé s’avèrent une source féconde pour la
compréhension de multiples problématiques de gestion. Le souci de conformité du
protocole d’expérimentation à la complexité des facteurs réels d’évaluation en fait,
en dépit de la fastidiosité du mode de réalisation, une méthode essentielle et
précise de modélisation des facteurs d’évaluation et de prise de décision.
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 15 Master Recherche GDO-MOPP 2010
Bibliographie indicative sur la Policy Capturing Method
L. Aiman-Smith, S. E. Scullen et S. H. Barr,
Conducting studies of decision making in organizational contexts: a tutorial for
policy-capturing and other regression-based techniques,
Organizational Ressearch Methods, 2002:5:388.
R. Cooksey
Judgement analysis: Theory, methods, and applications,
San Diego, CA, Academic Press, 1996.
M. A. Hitt and R. D. Middlemist
A Methodology to Develop the Criteria and Criteria Weightings for Assessing
Subunit Effectiveness in Organizations
The Academy of Management Journal, Vol. 22, No. 2 (Jun., 1979), pp. 356-374.
R. J. Karren and M.W. Barringer
A Review and Analysis of the Policy-Capturing Methodology in Organizational
Research: Guidelines for Research and Practice
Organizational Research Methods 2002; 5; 337.
B. E. Wright et A. M. Grant,
Advancing Public Service Motivation Research: Research Designs for Key
Questions about Emergence and Effects,
International Public Service Management Research Conference, 2009.
B. E. Wright et R. K. Christensen,
The Effects of Public Service Motivation on Job Choice Decisions: Exploring the
Contributions of Person-Organization Fit and Person-Job Fit,
University of North Carolina, 2009
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 16 Master Recherche GDO-MOPP 2010
Annexe 1 : Summary of published Policy-Capturing
Studies - R. J. Karren and M.W. Barringer 2002
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 17 Master Recherche GDO-MOPP 2010
Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing
Page | 18 Master Recherche GDO-MOPP 2010
Annexe 2 : Comparing idiographic and nomothetic
point of vue - L. Aiman-Smith, S. E. Scullen et S. H. Barr
top related