enquêtes internationales et indicateurs déquité. trois exemples –disparités filles garçons...
Post on 03-Apr-2015
106 Views
Preview:
TRANSCRIPT
Enquêtes internationales et indicateurs d’équité
Trois exemples
– Disparités filles garçons• Indicateurs relatifs et non pas absolus
– Disparités entre natifs et immigrés• Dangers des indicateurs issus d’analyses bivariées
– Disparités entre établissements• Erreurs d’interprétation qui peuvent conduire à des
désastres pédagogiques
• Resituer l’interprétation des indicateurs dans le contexte méthodologique de la recherche
Disparités filles garçons
• OCDE rapport initial: tables 5.1.a & 5.1.b– Echelle combinée: 32 points– Echelle Retrieving information: 24 points– Echelle Interpreting texts: 29 points– Echelle Reflecting: 45 points
• OECD Reading for change– Echelle Textes continus: 39 points– Echelle Textes non continus: 17 points
IEA Reading Literacy (1991)
Population B
400 450 500 550
Score global
Documents
Textes informatifs
Textes narratifs
497
501
499
492
504
501
502
510 Filles
Garçons
Inconsistance de résultats
• Choix des textes support pour les tâches de lecture
• Type de démarches évaluées
• Différence de populations– Grade versus âge
• Format des questions
Choix des textes
IEA Reading Literacy (1991)
PISA 2000
Textes continus- narratifs- informatifs/
descriptifs- argumentatifs/
injonctifs
33 %29 %
0 %
13 %35 %
18 %
Textes non continus 38 % 34 %
Total 100 % 100 %
Type de démarchesIEA Reading Literacy (1991)
PISA 2000
Retrouver ou restituer de l’information (sous forme littérale ou paraphrase)
42 % 30 %
Interpréter (inférer, trouver l’idée principale)
58 % 50 %
Réfléchir et évaluer 0 % 20 %
Total 100 % 100 %
Choix de la population (Pisa 2000)
Pays Pourcentage d’élèves à l’heure dans l’échantillon
initial
Pourcentage de filles dans l’échantillon initial
Pourcentage de filles dans l’échantillon d’élèves à
l’heure
Différence de pourcentage de filles entre les 2
échantillons
Belgique 65 48 52 +4
Danemark 89 50 50 0
Espagne 72 51 54 +3
Finlande 89 51 52 +1
France 53 51 54 +3
Islande 98 50 51 +1
Italie 76 49 52 +3
Japon 100 51 51 0
Corée 98 44 44 0
Liechtenstein 78 50 53 +3
Mexique 50 50 56 +6
Norvège 97 49 49 0
Nouvelle Zélande 88 50 50 0
Suède 97 49 50 +1
Moyenne 82 50 51 1.79
Changement Pays pratiquant la
promotion automatique
Ecarts de performances garçons-
filles
Pays pratiquant le redoublement
Ecarts de performances garçons-filles
Danemark -0.01 Belgique -0.13
Finlande -0.01 Espagne -0.13
Islande -0.01 France -0.13
Japon 0.00 Italie -0.05
Corée 0.00 Liechtenstein -0.05
Norvège -0.01 Mexique -0.14
Nouvelle Zélande -0.04
Suède -0.02
Moyenne -0.011 Moyenne -0.11
Type de questions
IEA Reading Literacy (1991)
PISA 2000
QCM 75 % 45 %
Question ouverte à réponse courte
22 % 11 %
Question ouverte à réponse construite
3 % 45 %
Total 100 % 100 %
Distribution des questions en fonction du type de questions et du type de démarches
Questions fermées
Questions ouvertes
Total
Retrouver l’information
12 24 36
Interpréter 43 21 64
Réfléchir et évaluer 5 24 29
Total 60 69 129
Disparités Filles Garçons et nature des questions
• QCM: 0.19 écart-type
• Question ouverte: 0.29
• D’où à quoi peut-on attribuer les différences entre filles et garçons?– Nature des questions– Type de démarches
Génération de nouvelles PVs
• Six échelles– Retrouver des informations QCM (12)– Retrouver des informations QO (24)– Interpréter des textes QCM (43)– Interpréter des textes QO (21)– Réfléchir et évaluer QCM (5)– Réfléchir et évaluer QO (24)
Résultats France
• Six échelles– Retrouver des informations QCM: 506.3 (14)– Retrouver des informations QO: 519.3 (10)– Interpréter des textes QCM: 504.4 (15)– Interpréter des textes QO: 512.2 (14)– Réfléchir et évaluer QCM: 519.4 (11)– Réfléchir et évaluer QO: 496.8 (17)
Différence Filles Garçons
France Moyenne
Retrouver QCM 16.56 19.98
Retrouver QO 29.36 29.36
Interpréter QCM 26.87 28.11
Interpréter QO 30.78 35.42
Réfléchir QCM 30.27 32.43
Réfléchir QO 39.51 46.89
Analyse de variance
Source Pourcentage de variance expliquée
Pourcentage de variance expliquée
sur différences standardisées
Pays 46,93 41,92
Nature des questions 16,21 17,60
Type de tâches 24,08 25,39
Pays * nature des questions 4,41 2,15
Pays * type de tâches 3,06 3,35
Nature des questions * type de tâches
1,87 6,65
Résidu (interaction de 3ème ordre)
3,44 2,92
Disparités F-G: conclusions
• Disparités variables selon:– Définition de la population– Nature des questions– Type de démarches– Type de textes
• Absence d’indépendance statistique de la répartition des questions selon ces différentes dimensions
• Ne pas s’engager trop rapidement dans des interprétations théoriques
Disparités Natifs-Immigrés
• Question 16 – Es-tu né en France ?– Ta mère est-elle née en France ?– Ton père est-il né en France ?
• Question 17– Parles-tu le français à la maison ?
Résultats publiés par l’OCDE
• Au départ de la question 16;– Natif, 1ère génération, non natif
• Au départ de la question 17– Parle la langue du test à la maison, ne parle
pas la langue du test à la maison
On peut lire:
• …. Concern about such differences is especially justified in those countries with significant performance gaps and comparatively large percentage of first generation students, including Belgium, France and Luxembourg. (…)
• Australia and Canada provide interesting exceptions to the general pattern
Réanalyse des données PISA
• Répartition des élèves en 4 catégories en fonction de la question 16 et de la question 17– Elèves autochtones même langue– Elèves autochtones autre langue– Autres élèves même langue– Autres élèves autre langue
Elèves autochtones Autres élèves
Même Autre Même Autre Autochtones Autres élèves
Australie 73,15 3,85 9,70 13,29
534,73 494,51 536,79 507,15 531.55 519.32
Belgique 71,80 17,66 5,29 5,25
521,66 529,18 440,57 403,61 519.54 416.56
Canada 77,70 2,24 10,82 9,24
540,09 493,18 544,97 508,70 536.83 525.73
Suisse 75,33 4,51 5,80 14,36
515,63 480,68 476,38 407,92 512.65 426.99
France 88,21 1,04 6,75 4,00
512,88 471,39 481,52 441,36 510.82 463.67
Royaume-Uni 90,38 0,59 5,53 4,51
528,90 434,93 516,68 476,50 526.89 494.93
Italie 81,75 17,35 0,33 0,58
500,44 448,84 471,81 446,40 488.13 449.53
Luxembourg 63,07 2,98 8,21 25,73
475,58 409,26 407,10 378,21 469.88 385.10
Pays-Bas 75,78 13,03 5,94 5,25
545,78 524,38 481,65 458,68 541.09 463.80
Nouvelle-Zélande 79,76 1,38 10,00 8,86
541,38 454,74 549,75 470,24 534.83 506.77
Etats-Unis d’Amérique 84,23 2,25 4,98 8,54
514,05 412,73 519,72 445,79 509.57 472.02
Disparités entre établissements
• Décomposition de la variance (rapport initial (F2.6))
• Analyse multi niveaux– Chap 8 rapport initial– Chap 7 Reading for change
• Aucune définition du concept école
Disparités entre établissements
• Belgique– Etablissement et Implantation– Pisa 2000: BFR=implantation et BFL=établissement– PISA 2003: BFR=établissement et BFL=implantation
• France : collège et lycée:– Dans PISA, on ne décrit aucun de ces deux types
d’établissements– Conclusions dangereuses
Création de collèges et lycées en BFR
• France: Rho=0.50
• BFR: 0.57
• Avec collèges et lycées: 0.64
Conclusions
• Tout indicateur doit être interpréter à la lumière de la méthodologie employée pour éviter des interprétations hâtives voire erronées
top related