meta-analyse: revue de techniques et utilisation
TRANSCRIPT
META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION
Marina Burakova-Lorgnier
Laboratoire de Psychologie SocialeEA849
Marina Burakova. Méta-analyse. 3
Objectifs du séminaireEchanges & partages des
connaissances & des compétences
Connaissance des techniques de la méta-analyse
Réalisation d’un projet collectif◦E.g., réaliser une méta-analyse
d’études en langues française sur un thème donné
Marina Burakova. Méta-analyse. 4
Comment fondons-nous les modèles
conceptuels? Revue de
question narrative
Pourquoi y-a-t’il autant
d’études avec des résultats
contradictoires? Théories et méthodologies divergents?
Mythe de l’étude parfaite
Marina Burakova. Méta-analyse. 5
Mythe de l’étude parfaite
Toute étude contient au moins l’une des erreurs possibles:
Erreur de mesureErreur due à la validité de
construitErreur d’échantillonnageAutres biais…
Marina Burakova. Méta-analyse. 6
Mythe du test de significativité Caractère contradictoire des résultats de
nombreuses études provient du fait qu’ont croie en pouvoir du test de significativité.
Croyance: Relation entre les variables existe si elle est significative. Ce n’est que l’erreur de 1ère espèce (Type I, ou α). Erreur de Type I = .05 pour le seuil de probabilité de .95
Oubli: concept de pouvoir statistique. Erreur de Type II, ou erreur de seconde espèce (β)! Erreur de Type II = 1 - .5 = .5 dans ce même cas.
Marina Burakova. Méta-analyse. 7
Parenthèses Comment teste-on une hypothèse ?
(1) définir H0 à contrôler
(2) choisir un test statistique pour la contrôler (3) définir la distribution de la statistique sous l’hypothèse ’H0 est réalisée’
(4) définir le niveau de signification du test(5) calculer, à partir des données fournies par l’échantillon, la valeur de la statistique(6) prendre une décision concernant l’hypothèse posée et faire une interprétation
8
ParenthèsesH0 stipule l’absence de différence, les effets
sont dus au hasard et non aux facteurs étudiés
Risque de se tromper en la rejetant : α (Type I) ou β (Type II)
Marina Burakova. Méta-analyse.
9
Venue de la méta-analyse Dans les années 1970s -- tonnes
d’études contradictoires en sciences sociales & humaines.
En 1981, D. Stockman, directeur du bureau fédéral du budget aux Etats-Unis diminue le budget de la recherche en sciences sociales & humaines de 80%.
Chercheurs deviennent sceptiques quant à la contribution des études isolées au développement de la science.
Marina Burakova. Méta-analyse.
Marina Burakova. Méta-analyse. 10
Méta-analyse vs. test de significativité MA calcule la moyenne de tous les r
quel que soit le test de significativité.
MA permet d’estimer la variabilité de la relation causale.
σr2 - σe
2 = 0 Variance des r observés moins
variance due aux erreurs de l’échantillonnage ≈ 0 la variabilité est due à l’erreur de l’échantillonnage !
Marina Burakova. Méta-analyse. 11
Méta-analyse vs. test de significativité 1. Utilisation exclusive du test de
significativité produit de conclusions fausses.
2. MA donne une idée rapprochée de la réalité des causalités existantes Pourquoi?
Marina Burakova. Méta-analyse. 12
Méta-analyse vs. test de significativité (suite)MA corrige les problèmes liés aux:
- Erreurs d’échantillonnage- Pouvoir statistique réduit- Autres artefacts:
Erreur de mesure Dichotomisation de la mesure Erreur de transcription…
Résultat production de la connaissance cumulative avec un niveau d’exactitude égal aux sciences exactes (Hedges, 1987).
Marina Burakova. Méta-analyse. 13
Méta-analyse vs. test de significativité (suite)L’explication la plus simple de la
variabilité des coefficients de pistes (r ou β) – l’erreur d’échantillonnage. De par leurs petites tailles les échantillons sont rarement représentatifs.
Schmidt, Ocasio, Hillery & Hunter (1985) ont démontré ce problème en découpant l’échantillon d’une étude en plusieurs petits échantillons (N=30).
Donc la première démarche consiste à contrôler l’erreur d’échantillonnage!
Marina Burakova. Méta-analyse. 14
Que faire afin d’analyser les données dans une étude isolée?Baser l’interprétation sur deux
indicateurs statistiques: Estimation ponctuelle (point
estimates) des tailles d’effet (r (corrélations) & d-valeurs (différence des moyennes standardisée))
Intervalle de confiance
Marina Burakova. Méta-analyse. 15
Artefacts autres que l’erreur d’échantillonnage (e.g., aptitude performance)Erreur de mesure de la VD (performance)
Validité de l’étude sera inférieure à la valeur véritable du coefficient.
Erreur de mesure de la VI
Validité de l’étude sera diminuée quand la performance est mesurée avec l’erreur aléatoire
Dichotomisation d’une VD continue
E.g., absentéisme : plus de … moins de…
Dichotomisation d’une VI continue
E.g., niveau d’aptitude : ‘acceptable’ ou ‘non’
Variance de la VI
Validité de l’étude sera inférieure à la valeur véritable suite à la diminution de la variance d’une caractéristique individuelle qui prédit la performance
Marina Burakova. Méta-analyse. 16
Artefacts autre que l’erreur d’échantillonnage (suite)Attrition Validité de l’étude sera inférieure à la
valeur véritable compte tenu des promotions des individus avec un haut niveau de performance et des licenciement de ceux avec un niveau de performance inacceptable
Problème de validité de construit de la VD
Variations de la validité de l’étude si la structure factorielle du construit ne tient pas la route
Problème de validité de construit de la VI
Validité de l’étude sera différente de la validité véritable
Erreur de transcription
Validité de l’étude communiquée est différente de celle réelle suite aux erreurs de codage, lecture erronée des tableaux statistiques, erreur typographiques
Variance due aux facteurs extérieurs
Validité de l’étude est systématiquement inférieure à la valeur véritable suite aux niveaux d’expérience disparates chez les employés lorsque leur performance est mesurée
Marina Burakova. Méta-analyse. 17
Techniques de méta-analyse1. Méta-analyse axée sur l’erreur
d’échantillonnageA. Technique Bare BonesB. Technique fondée sur le test de
homogénéité
2. Méta-analyse psychométriqueA. Technique qui corrige chaque r ou d de
manière indépendanteB. Technique fondée sur la distribution
d’artefacts
3. Méta-analyse descriptive
Marina Burakova. Méta-analyse. 18
1.A. Technique Bare Bones « Réduit à l’essentiel »
Corrige uniquement l’erreur d’échantillonnage
Ignore tous les autres artefacts peut être utilisée lors de l’étape
initiale
(Pearlman, Schmidt & Hunter, 1980; Hunter, Schmidt & Jackson, 1982; Hunter & Schmidt, 1990)
Marina Burakova. Méta-analyse. 19
1.A. Bare Bones: exempleEtude, N°
Validité observée
(r)
Etude, N°
Validité observée
(r)
1 .04 12 .11
2 .14 13 .21
3 .31* 14 .37*
4 .12 15 .14
5 .38* 16 .29*
6 .27* 17 .26*
7 .15 18 .17
8 .36* 19 .39*
9 .20 20 .22
10 .02 21 .21
11 .23r = corrélation entre une aptitude et la précision du tri de lettres chez les employés de la poste.N = 68 dans chaque étude.Seulement huit r sont significatif. Le coefficient varie bcp! (Schmidt & Hunter, 2006)
1. Calculer la moyenne des r .22
2. Calculer la variance des r .012
3. Calculer la variance due à l’erreur d’échantillonnage .0135
4. Estimer la variance inter-étude (step3 – step2) -.0015 Comme elle est proche du 0, nous estimons que ET = 0. Donc, r corrigé = .22
Marina Burakova. Méta-analyse. 20
Bare Bones : notre exemple1. Corrélation moyenne
2. Variance de la corrélation observée
3. Variance due à l’erreur d’échantillonnage
4. Variance entre études
-
Marina Burakova. Méta-analyse. 21
1.B. Technique fondée sur le test de homogénéité
χ2-test est utilisé afin de conclure si la variabilité des études est supérieure à l’erreur d’échantillonnage.
Si χ2-test de homogénéité n’est pas significatif r est considéré constant. Sinon, il faut chercher les modérateurs.
« - » χ2-test est basé sur l’erreur de première espèce.
(Hedges, 1982; Hedges & Olkin, 1985; Rosenthal & Rubin, 1982)
Marina Burakova. Méta-analyse. 22
2.A. Technique qui corrige chaque r ou d de manière indépendante
La technique la plus complète, utilisée dans 10% des méta-analyses (Schmidt & Hunter, 2006). Peut aller jusqu’à l’étape 2 ou 4.
1. Correction de chaque coefficient cas par cas.2. Moyenne est calculée à la base de tous les
coefficients corrigés (rˉAB). Or, cela ↑ la variance d’erreur d’échantillonnage.
3. Estimation de la variance réelle des corrélations des construits.
4. Si l’écart-type (SD) ainsi obtenu (à la base de la variance connue) est proche de 0, il n’y a pas de modérateurs.
Marina Burakova. Méta-analyse. 23
2.A. Correction cas par cas: Exemple (étapes 1 & 2)Corrélation entre deux construits
(traits de personnalité) rAB = .60
Le trait A est mesuré avec une échelle x.
Le trait B est mesuré avec une échelle y.
α1= .90 = racine carrée de la fiabilité de x; rxx = .81
α2= .90 = racine carrée de la fiabilité de y; ryy = .81
α3= .90 = validité de construit de x
α4= .90 = validité de construit de y
α5= .80 = facteur d’atténuation suite à la fraction de x à la médiane (dichotomisation)
α6= .80 = facteur d’atténuation suite à la fraction de y à la médiane (dichotomisation)
Impact cumulé des artefacts est exprimé via le facteur total d’atténuation (A)
A = (.90)(.90) (.90)(.90) (.80)(.80)=.42
Donc, la corrélation atténuée
rxy = A x rAB = .42 x .60 = .25
Les artefacts ont réduit la corrélation véritable de .35!
Pour corriger le biais d’atténuation d’une étude réelle, il faut calculer le facteur total d’atténuation!
rAB = rxy / A = .25/.42 = .60
Marina Burakova. Méta-analyse. 24
A Meta-Analysis of Antecedents and Correlates of Employee Turnover: Update, Moderator Tests, and Research Implications for the Next Millennium (Griffeth, Hom, & Gartner, 2000)
Marina Burakova. Méta-analyse. 25
2.B. Technique fondée sur la distribution d’artefacts
Habituellement, tous les artefacts ne peuvent pas être connus/ne sont pas communiqués dans l’étude. Cette technique est utilisée dans 90% des méta-analyses
1. Technique Bare Bones est appliquée.2. M (moyenne) & SD (écart-type) sont
ensuite corrigés par rapport aux artefacts (autres que l’erreur de mesure).
3. Modérateurs peuvent être également examinés.
(Callender & Osburn, 1980; Raju & Burke, 1983)
Marina Burakova. Méta-analyse. 26
Work strain, santé psychologique & physique comme déterminants de l’absentéisme : Méta-analyse (Darr & Jones, 2008)
Marina Burakova. Méta-analyse. 27
Darr
& Jon
es,
20
08
Marina Burakova. Méta-analyse. 28
Modèle retenu (Darr & Jones, 2008)
Marina Burakova. Méta-analyse. 29
3. Technique descriptive Glass (1976) a introduit cette approche
dans l’optique de présenter un tableau large (rich picture) fondé sur des particularités.◦ Accent sur la taille d’effet ( au lieu de la
significativité). Calcule M + ET des r. ◦ Variabilité de r est réelle. ◦ Approche rigoureuse (donc une bonne
connaissance du construit et/ou de la théorie) garantie le choix approprié d’études pour réaliser une MA.
◦ Plus tard Bangert-Drowns (1986) l’appelle study effect meta-analysis.
Marina Burakova. Méta-analyse. 30
Software MetaXL software pageEffect Size Calculators Calculate d and r from a variety of statistics.ClinTools (commercial)Comprehensive Meta-Analysis (commercial)MIX 2.0 Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions).What meta-analysis features are available in Stata? (free add-ons to commercial package)The Meta-Analysis Calculator free on-line tool for conducting a meta-analysisMetastat (Free)Meta-Analyst Free Windows-based tool for Meta-Analysis of binary, continuous and diagnostic dataRevman A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane CollaborationMetafor-project A free software package to conduct meta-analyses in R.Calculation of fixed and random effects in R source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity.Macros in SPSS Free Macros to conduct meta-analyses in SPSS.compute.es: Compute Effect Sizes (R package).MAd GUI User friendly graphical user interface package to conduct meta-analysis in R (Free).
Marina Burakova. Méta-analyse. 31
RéférencesSchmidt, F.L. & Hunter, J.E. (2006).
Meta-Analysis. In N. Anderson, D.S. Ones, H.K. Sinangil, & C. Viswesvaran (eds.), Handbook of Industrial, Work & Organisational Psychology. Sage Publications.
Hunter, J.E. & Schmidt, F.L. (2004). Methods of Meta-Analysis. Correcting error and Bias in Research Findings. 2nd Edition. Sage Publications.
Marina Burakova. Méta-analyse. 32
Thèmes & calendrierFin octobre 1ère réunion