entwicklung und einsatz von instrumenten zur … · entwicklung und einsatz von instrumenten zur...
Post on 17-Sep-2018
213 Views
Preview:
TRANSCRIPT
Entwicklung und Einsatz von Instrumenten zur Überprüfung der Bildungsstandards am Beispiel des Ländervergleichs Mathematik/NaturwissenschaftenHans Anand Pant
DACH-Seminar 2014Potsdam
17.-19. Februar 2014
2 | DACH-Seminar 2014, Potsdam © IQB 2014
Der IQB-Ländervergleich 2012
3 | DACH-Seminar 2014, Potsdam © IQB 2014
Von Bildungsstandards zur Überprüfung des Erreichens: die Aufgaben
Was weiß die Bildungspolitik nach Ländervergleichen? Bildungsmonitoring und vertiefende Analysen
Was weiß die Bildungspolitik nach Ländervergleichen nicht?
Ansätze für einen besseren Wissenstransfer zwischen Bildungsforschung und Bildungspolitik
Übersicht
5 | DACH-Seminar 2014, Potsdam © IQB 2014
Ländervergleiche und Schulleistungsstudien 2009 bis 2021
6 | DACH-Seminar 2014, Potsdam © IQB 2014
Was und wie wurde im IQB-Ländervergleich getestet?
Mathematik Globale Mathematikkompetenz fünf inhaltsbezogene Kompetenzbereiche (Leitideen):
Zahl Messen Raum und Form Funktionaler Zusammenhang Daten und Zufall
Naturwissenschaften für Biologie, Chemie, Physik jeweils
Fachwissen Erkenntnisgewinnung
7 | DACH-Seminar 2014, Potsdam © IQB 2014
„Werdegang“ einer Aufgabe
Ziel: Entwicklung von 150 Items pro Fach pro Kompetenzbereich
1. Entwicklungsphase
• Entwickler erstellen Aufgabe auf Grundlage des Kompetenzmodells
• Andere Entwickler und Berater geben Rückmeldung (Portal, Treffen)
• Entwickler geben Aufgabe frei
2. Bewertungsphase
• Bewerter (Fachdidaktik, Psychometrie) begutachten Aufgaben=> Verbesserungs-vorschläge an FDL
• FDL überarbeitet Aufgaben anhand der Vorschläge
3. Prüfungsphase
• IQB vereinheitlicht das Layout
• FDL prüft das Layout
• Sprachliche Prüfung durch Linguisten
• Präpilotierung(teilweise)
• Übernahme in Aufgabenpool
FDL = fachdidaktische Leitung
8 | DACH-Seminar 2014, Potsdam © IQB 2014
Anzahl der im Ländervergleich 2012 eingesetzten Aufgabenblöcke, Aufgaben und Items
Eingesetzt bei Fach Kompetenzbereich Anzahl Aufgabenblöcke Anzahl Aufgaben Anzahl Items
SuS ohne SPF Mathematik Zahl 7 47 67Messen 5 33 44Raum und Form 5 38 52Funktionaler Zusammenhang 7 40 75Daten und Zufall 7 34 62
Biologie Fachwissen 5 35 56Erkenntnisgewinnung 5 36 58
Chemie Fachwissen 5 43 65Erkenntnisgewinnung 5 31 65
Physik Fachwissen 5 44 67Erkenntnisgewinnung 5 35 63
Biologie / Chemie / Physik Fachwissen 1 12 12SuS mit SPF Mathematik Zahl 2 21 30
Messen 2 21 29Raum und Form 2 24 33Funktionaler Zusammenhang 2 17 23Daten und Zufall 2 12 25
Biologie Fachwissen 2 17 23Erkenntnisgewinnung 2 15 22
Chemie Fachwissen 2 20 26Erkenntnisgewinnung 2 18 28
Physik Fachwissen 2 18 26Erkenntnisgewinnung 2 17 23
700 Items
9 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstrukturmodell Mathematik
10 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstrukturmodell naturwissenschaftliche Fächer
Umgang mit FachwissenErkenntnisgewinnungKommunikationBewertung
Niveau I – ein Fakt Niveau II – zwei Fakten Niveau III – ein Zusammenhang Niveau IV – zwei Zusammenhänge Niveau V – übergeordnetes Konzept
Kompetenzbereiche
Kognitive Prozesse
Komplexität
integrierenorganisierenselegierenreproduzieren
11 | DACH-Seminar 2014, Potsdam © IQB 2014
Teil-
bere
iche
Asp
ekte
Kompetenzbereich Erkenntnisgewinnung
12 | DACH-Seminar 2014, Potsdam © IQB 2014
Aspekte naturwissenschaftlicher Untersuchungen
• Datendarstellung• Datenauswertung• Schlussfolgerungen
• angemessene Methoden• Identifizierung von Kriterien• Variablenisolation und -kontrolle
• Hypothese, die sinnvoll ist• Hypothese, die empirisch prüfbar ist• Hypothese mit Theoriebezug
• Frage, die zum Phänomen passt• Frage, die naturwissenschaftlich
untersucht werden kannFragestellung
Hypothese
Untersuchungsdesign
Datenauswertung
13 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzmodell naturwissenschaftliche Fächer
Umgang mit FachwissenErkenntnisgewinnungKommunikationBewertung
Niveau I – ein Fakt Niveau II – zwei Fakten Niveau III – ein Zusammenhang Niveau IV – zwei Zusammenhänge Niveau V – übergeordnetes Konzept
Kompetenzbereiche
Kognitive Prozesse
Komplexität
integrierenorganisierenselegierenreproduzieren
14 | DACH-Seminar 2014, Potsdam © IQB 2014
Informationsbearbeitungsprozesse bei der Aufgabenbearbeitung
Verhältnis in Aufgabenstellung
vorgegebener Information zu erwarteter Antwort
Integrieren Vorgabe ≠ Antwort
Organisieren Vorgabe ≠ Antwort
Selegieren Vorgabe ≠ Antwort
Reproduzieren Vorgabe = Antwort
Notwendigkeit, Zusammenhänge, Reihenfolgen oder
Bezüge herzustellen
Ähnlichkeit der Situationen in
Aufgabenstellung und Lösung
ja niedrig
ja hoch
nein hoch
nein hoch
Kognitive Prozesse
KriterienVerhältnis
vorgegebener Informationen zu
erwarteter Antwort
Ähnlichkeit von Aufgabenstellung
und Lösung
Notwendigkeit, Zusammenhänge
herzustellen
15 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzmodell naturwissenschaftliche Fächer
Umgang mit FachwissenErkenntnisgewinnungKommunikationBewertung
Niveau I – ein Fakt Niveau II – zwei Fakten Niveau III – ein Zusammenhang Niveau IV – zwei Zusammenhänge Niveau V – übergeordnetes Konzept
Kompetenzbereiche
Kognitive Prozesse
Komplexität
integrierenorganisierenselegierenreproduzieren
16 | DACH-Seminar 2014, Potsdam © IQB 2014
Komplexität - Fachwissen
Komplexitätsniveau Beschreibung
Konzept Prinzipien, Konzepte, Abhängigkeiten von Rand- und Anfangsbedingungen, Basiskonzepte
2 Zusammenhänge Kreisläufe, Prozesse, Kausalgefüge, Beziehungsgeflechte
1 Zusammenhang Funktionale, relationale, kausale Beziehungen zwischen Fakten, Wechselwirkungen zwischen Objekten oder Ebenen
2 Fakten Kombinationen aus Eigenschaften, zeitliche Reihenfolge, Objektmengen
1 Fakt Begriff, Name, Eigenschaft, Objekt
17 | DACH-Seminar 2014, Potsdam © IQB 2014
Illustration des Kompetenzstufenmodells in Biologie Erkenntnisgewinnung
Lösungswahrscheinlichkeit 88 % (MSA 91 %)
18 | DACH-Seminar 2014, Potsdam © IQB 2014
Illustration des Kompetenzstufenmodells in Biologie Erkenntnisgewinnung
Lösungswahrscheinlichkeit 10 % (MSA 13 %)
19 | DACH-Seminar 2014, Potsdam © IQB 2014
Durchschnittliche empirische Lösungshäufigkeit nach Komplexitätsgrad der Aufgaben (alle NaWi-Fächer)
19
20 | DACH-Seminar 2014, Potsdam © IQB 201420
Durchschnittliche empirische Lösungshäufigkeit nach kognitiver Anforderungsart der Aufgaben (alle NaWi-Fächer)
21 | DACH-Seminar 2014, Potsdam © IQB 2014
Wer wurde getestet? Die Stichprobe
Testleistungen auf Länderebene und auf Bundesebene repräsentativ 44 584 Schülerinnen und Schüler aus
1326 SchulenDarunter 60 Förderschulen
22 | DACH-Seminar 2014, Potsdam © IQB 2014
Kinder mit sonderpädagogischem Förderbedarf: Einbezogene Förderschwerpunkte
Lernen Sprache Emotionale und soziale Entwicklung Geistige Entwicklung Körperliche und motorische Entwicklung Hören Sehen Unterricht kranker Schülerinnen und Schüler Erziehung und Unterricht von Kindern mit autistischem
Verhalten Fett gedruckte Förderschwerpunkte wurden in den Ländervergleich einbezogen(analog zu den internationalen Schulleistungsstudien)
23 | DACH-Seminar 2014, Potsdam © IQB 2014
Metrik des Ländervergleichs
Mittelwert: 500 PunkteStandardabweichung: 100 Punkte
Lernzuwachs über ein Schuljahr am Ende der Sekundarstufe I:
Mathematik undNaturwissenschaften: ca. 25-30 Punkte
24 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs im Fach Mathematik: Globalskala
Land PerzentileM SD 5 95 95-5
Sachsen 536 96 373 688 315Thüringen 521 93 365 670 304Brandenburg 518 105 345 688 343Bayern 517 101 354 685 331Sachsen-Anhalt 513 99 345 670 325Mecklenburg-Vorpommern 505 95 346 658 312Rheinland-Pfalz 503 97 345 659 314Schleswig-Holstein 502 98 337 663 325Baden-Württemberg 500 100 335 669 334Deutschland 500 100 338 667 329Niedersachsen 495 91 352 648 296Hessen 495 97 342 659 317Saarland 489 93 336 643 306Hamburg 489 99 326 650 324Nordrhein-Westfalen 486 102 321 657 336Berlin 479 104 308 648 341Bremen 471 103 312 649 337
200 300 400 500 600 700 800Länder liegen signifikant (p < .05) über dem deutschen Mittelwert. Länder weichen nicht signifikant vom deutschen Mittelwert ab.Länder liegen signifikant (p < .05) unter dem deutschen Mittelwert.
Perzentile: 5% 25% 75% 95%10% 90%
Mittelwert und Konfidenzintervall (± 2 SE)
25 | DACH-Seminar 2014, Potsdam © IQB 2014
Vergleichen womit? Die Frage der Bezugsnorm
Großstädte/ Regionen mit ähnlicher Sozialstruktur?
Soziale Bezugsnorm
26 | DACH-Seminar 2014, Potsdam © IQB 2014
Kriteriale Bezugsnorm
Großstädte/ Regionen
Soziale Bezugsnorm
Vergleichen womit? Die Frage der Bezugsnorm
27 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs im Fach Mathematik auf einen Blick
450
460
470
480
490
500
510
520
530
540
550
BW BY BE BB HB HH HE MV NI NW RP SL SN ST SH TH
Global Zahl Messen Raum und Form Funktionaler Zusammenhang Daten und Zufall
28 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs im Kompetenzbereich Chemie Fachwissen
Land PerzentileM SD 5 95 95-5
Sachsen 542 97 381 703 322Sachsen-Anhalt 538 102 362 701 339Thüringen 534 96 362 686 324Brandenburg 530 97 369 683 314Mecklenburg-Vorpommern 519 92 361 666 305Bayern 512 100 351 674 323Rheinland-Pfalz 504 90 349 647 297Niedersachsen 502 94 348 657 310Deutschland 500 100 338 663 325Schleswig-Holstein 499 94 340 645 305Baden-Württemberg 499 101 338 669 331Saarland 497 98 337 656 319Hessen 492 95 338 653 315Berlin 490 109 309 665 356Hamburg 484 100 325 651 325Nordrhein-Westfalen 481 101 319 645 326Bremen 477 103 314 652 338
Länder liegen signifikant (p < .05) über dem deutschen Mittelwert. Länder weichen nicht signifikant vom deutschen Mittelwert ab.Länder liegen signifikant (p < .05) unter dem deutschen Mittelwert.
Perzentile: 5% 25% 75% 95%10% 90%
Mittelwert und Konfidenzintervall (± 2 SE)
200 300 400 500 600 700 800
29 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs in den Naturwissenschaften auf einen Blick
450
460
470
480
490
500
510
520
530
540
550
BW BY BE BB HB HH HE MV NI NW RP SL SN ST SH THBiologie Fachwissen Biologie Erkenntnisgewinnung Chemie FachwissenChemie Erkenntnisgewinnung Physik Fachwissen Physik Erkenntnisgewinnung
30 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs: Zusammenfassung
Abstand zwischen dem höchsten und dem niedrigsten Ländermittelwert: Mathematik 65 Punkte (ca. 2 – 2 ½ Jahre) Naturwissenschaften 50 – 68 Punkte (ca. 1 ½ – 2 ½ Jahre)
Ergebnisse in der Zusammenschau: In der Mathematik
o Gute Ergebnisse SN, TH, BB, BY, STo Schwache Ergebnisse HB, BE, NW, HH, SL
In den Naturwissenschafteno Gute Ergebnisse SN, TH, ST, BB, MV, teilweise BY, RPo Schwache Ergebnisse HB, NW, HH, teilweise HE
31 | DACH-Seminar 2014, Potsdam © IQB 2014
Mathematik-Kompetenz nach Muttersprache und Land
509
458
491
441
502
460
441448
442448
444437 440
430 429
418
438
537
523519
525
512507 510 508 509
500
508 507
496
500 501
494
510
400
420
440
460
480
500
520
540
560
580
600
SN TH BB BY ST MV RP SH BW NI HE HH SL NW BE HB D
Deutsch als Muttersprache nein Deutsch als Muttersprache ja Deutsch als Muttersprache GesamtsummeGesamt
32 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstufen und Standarderreichung
Naturwissenschaften
Kompetenz-stufen
Mittlerer Schulabschluss
V Optimalstandard
IV Regelstandard plus
III Regelstandard
II Mindeststandard
I unter Mindeststandard
33 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstufen und Standarderreichung
Mathematik Naturwissenschaften
Kompetenz-stufen
Mittlerer Schulabschluss
Hauptschul-abschluss
Kompetenz-stufen
Mittlerer Schulabschluss
V Optimalstandard V Optimalstandard
IV Regelstandard plus Optimalstandard IV Regelstandard plus
III Regelstandard Regelstandard plus III Regelstandard
II Mindeststandard Regelstandard II Mindeststandard
I.bunter
Mindeststandard
MindeststandardI unter
MindeststandardI.a unter
Mindeststandard
34 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstufenbesetzung im Fach Mathematik (Global) für Deutschland insgesamt
Mathematik Global
KompetenzstufenI.a I.b II III IV V
Gymnasium 0.1 1.7 14.9 39.0 33.1 11.3
9. Jg. insgesamt 5.5 19.5 30.7 25.9 14.2 4.2
mind.MSA-Regelstandard:
44,3%
unterMSA-Mindeststandard:
25%
MSA-Optimalstandard
35 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstufenbesetzung im Fach Mathematik (Global) für Deutschland insgesamt
Erreichte Kompetenzstufe in %
Deutschland I.a I.b II III IV V
Gesamt HSA 22.4 45.4 27.1 4.9 0.2 0.0
Gesamt MSA 1.9 14.0 31.4 30.4 17.1 5.1
Gymnasium 0.1 1.7 14.9 39.0 33.1 11.3
Sonstige MSA 3.3 23.3 44.0 23.9 5.0 0.4
9. Jg. insgesamt 5.5 19.5 30.7 25.9 14.2 4.2
36 | DACH-Seminar 2014, Potsdam © IQB 2014
Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): 9. Jg. insgesamt
Angaben in % D BW BY BE BB HB HH HE MV NI NW RP SL SH SN ST TH
Optimalstandard 4.2 4.6 6.4 2.8 7.0 3.0 2.9 3.7 3.5 2.4 3.5 3.5 2.2 3.7 7.1 4.5 4.4
OptimalstandardGymnasium 11.3 14.0 18.6 6.3 14.6 6.8 6.3 9.5 7.7 6.3 9.8 9.1 6.3 9.9 15.6 11.6 10.7
MindestensRegelstandard 44.3 43.6 50.3 37.3 52.8 34.1 41.1 41.2 47.2 41.7 39.3 46.3 40.6 46.3 61.2 50.1 52.2
Unter Mindeststandard 25.0 23.6 20.7 32.8 18.8 38.5 28.3 27.2 19.7 24.7 30.6 24.3 28.2 23.4 11.5 21.1 17.9
Kompetenzstufe
0%
20%
40%
60%
80%
100%
I.a I.b II III IV V
37 | DACH-Seminar 2014, Potsdam © IQB 2014
Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): 9. Jg. insgesamt
Angaben in % D BW BY BE BB HB HH HE MV NI NW RP SL SH SN ST TH
Optimalstandard 4.2 4.6 6.4 2.8 7.0 3.0 2.9 3.7 3.5 2.4 3.5 3.5 2.2 3.7 7.1 4.5 4.4
OptimalstandardGymnasium 11.3 14.0 18.6 6.3 14.6 6.8 6.3 9.5 7.7 6.3 9.8 9.1 6.3 9.9 15.6 11.6 10.7
MindestensRegelstandard 44.3 43.6 50.3 37.3 52.8 34.1 41.1 41.2 47.2 41.7 39.3 46.3 40.6 46.3 61.2 50.1 52.2
Unter Mindeststandard 25.0 23.6 20.7 32.8 18.8 38.5 28.3 27.2 19.7 24.7 30.6 24.3 28.2 23.4 11.5 21.1 17.9
Kompetenzstufe
0%
20%
40%
60%
80%
100%
I.a I.b II III IV V
38 | DACH-Seminar 2014, Potsdam © IQB 2014
Standarderreichung im Fach Mathematik (Mittlerer Schulabschluss): Gymnasium
Angaben in % D BW BY BE BB HB HH HE MV NI NW RP SL SH SN ST TH
Optimalstandard 4.2 4.6 6.4 2.8 7.0 3.0 2.9 3.7 3.5 2.4 3.5 3.5 2.2 3.7 7.1 4.5 4.4
OptimalstandardGymnasium 11.3 14.0 18.6 6.3 14.6 6.8 6.3 9.5 7.7 6.3 9.8 9.1 6.3 9.9 15.6 11.6 10.7
MindestensRegelstandard 44.3 43.6 50.3 37.3 52.8 34.1 41.1 41.2 47.2 41.7 39.3 46.3 40.6 46.3 61.2 50.1 52.2
Unter Mindeststandard 25.0 23.6 20.7 32.8 18.8 38.5 28.3 27.2 19.7 24.7 30.6 24.3 28.2 23.4 11.5 21.1 17.9
Gymnasium Kompetenzstufe
0%
20%
40%
60%
80%
100%
unter V V
39 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzstufenbesetzung in den Naturwissenschaften nach Kompetenzbereich für Deutschland insgesamt
KompetenzstufenI II III IV V
Biologie Fachwissen
Gymnasium 0.6 7.2 43.6 43.9 4.7Sonstige MSA 10.5 35.5 45.2 8.7 0.2Gesamt MSA 6.2 23.3 44.5 23.9 2.2
Biologie Erkenntnisgewinnung
Gymnasium 1.1 14.4 53.5 29.1 1.9Sonstige MSA 14.6 45.3 35.8 4.3 0.1Gesamt MSA 8.8 32.0 43.4 15.0 0.9
Chemie Fachwissen
Gymnasium 2.7 12.7 46.8 28.7 9.1Sonstige MSA 26.1 36.0 33.3 4.3 0.4Gesamt MSA 16.0 25.9 39.1 14.8 4.1
Chemie Erkenntnisgewinnung
Gymnasium 1.7 9.7 26.4 40.0 22.1Sonstige MSA 19.1 36.0 30.0 13.0 1.8Gesamt MSA 11.6 24.7 28.5 24.7 10.6
Physik Fachwissen
Gymnasium 1.2 7.3 40.7 37.4 13.5Sonstige MSA 16.1 32.1 42.6 8.5 0.7Gesamt MSA 9.6 21.4 41.8 21.0 6.2
Physik Erkenntnisgewinnung
Gymnasium 0.9 5.1 32.2 39.9 21.9Sonstige MSA 11.5 28.2 45.5 13.1 1.6Gesamt MSA 6.9 18.3 39.7 24.7 10.4
40 | DACH-Seminar 2014, Potsdam © IQB 2014
Einordnung der Befunde
41 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs 2012 im Vergleich zu Ergebnissen anderer Schulleistungsstudien
Vergleiche
Ländervergleich 2012 Mathematik,Biologie/ Chemie/ Physik
PISA 2006 Mathematik, Naturwissenschaften
Ländervergleich 2012 Mathematik
Ländervergleich 2009 Englisch Hörverstehen
42 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs 2012 im Vergleich zu Ergebnissen anderer Schulleistungsstudien
Vergleiche
Ländervergleich 2012 Mathematik,Biologie/ Chemie/ Physik
PISA 2006 Mathematik, Naturwissenschaften
Ländervergleich 2012 Mathematik
Ländervergleich 2009 Englisch Hörverstehen
43 | DACH-Seminar 2014, Potsdam © IQB 2014
Mittelwerte im Fach Mathematik im Ländervergleich 2012 und in PISA 2006
BW
BY
BE
BB
HB
HHHE
MV
NI
NW
RP
SL
SN
ST
SH
TH
460
470
480
490
500
510
520
530
540
470 480 490 500 510 520 530
Mat
hem
atik
imLä
nder
verg
leic
h20
12
Mathematik in PISA 2006
keine signifikanten Unterschiede
signifikant verschieden vom dt. Mittelwert im Ländervergleich 2012
signifikant verschieden vom dt. Mittelwert in PISA 2006
signifikant verschieden vom dt. Mittelwert im Ländervergleich
2012 und in PISA 2006
r = .79
44 | DACH-Seminar 2014, Potsdam © IQB 2014
Ergebnisse des Ländervergleichs 2012 im Vergleich zu Ergebnissen anderer Schulleistungsstudien
Vergleiche
Ländervergleich 2012 Mathematik,Biologie/ Chemie/ Physik
PISA 2006 Mathematik, Naturwissenschaften
Ländervergleich 2012 Mathematik
Ländervergleich 2009 Englisch Hörverstehen
45 | DACH-Seminar 2014, Potsdam © IQB 2014
BW
BY
BE
BB
HB
HH
HE
MV
NI
NW
RP!
SL
SN
ST
SH
TH
460
470
480
490
500
510
520
530
540
440 450 460 470 480 490 500 510 520 530
Mat
hem
atik
imLä
nder
verg
leic
h20
12
Englisch Hörverstehen im Ländervergleich 2009
Mittelwerte in Mathematik im Ländervergleich 2012 und in Englisch Hörverstehen im Ländervergleich 2009
r = -.33r = .77r = -.33
keine signifikanten Unterschiede
signifikant verschieden vom dt. Mittelwert im Ländervergleich 2012
signifikant verschieden vom dt. Mittelwert im Ländervergleich 2009
signifikant verschieden vom dt. Mittelwert im Ländervergleich
2012 und 2009
46 | DACH-Seminar 2014, Potsdam © IQB 2014
Funktionen der IQB-Ländervergleichsstudien
Dauerbeobachtung von Erträgen der Bildungssysteme der Länder („Systemmonitoring“)
Hinweise auf Stärken und Schwächen, keine Identifikation von Ursachen der Leistungsunterschiede
Gezielte Untersuchung von Faktoren, die für Qualitätsentwicklung relevant sind (z.B. Aus- und Weiterbildung von Lehrkräften, Umgang von Lehrern mit Ergebnissen der Vergleichsarbeiten)
Ablösung der Ländervergleiche im Rahmen der internationalen Schulleistungsstudien
Vorteil: Die länderübergreifend verbindlichen, von der KMK verabschiedete Kompetenzziele als einheitlicher Maßstab
Nachteil: Erste Trendaussagen für den Primarbereich erst 2016
47 | DACH-Seminar 2014, Potsdam © IQB 2014
Von Bildungsstandards zur Überprüfung des Erreichens: die Aufgaben
Was weiß die Bildungspolitik nach Ländervergleichen? Bildungsmonitoring und vertiefende Analysen
Was weiß die Bildungspolitik nach Ländervergleichen nicht?
Ansätze für einen besseren Wissenstransfer zwischen Bildungsforschung und Bildungspolitik
Übersicht
48 | DACH-Seminar 2014, Potsdam © IQB 2014
Potenzielles Wissen aus Large-Scale-Untersuchungen durch vertiefende Analysen
Muss die Lehrperson ihr Unterrichtsfach studiert haben?Der Zusammenhang von Fachstudium der Lehrkraft und Schülerkompetenz
Beruhen unterdurchschnittliche Zahlen von Studienanfängerinnen in Chemie und Physik auf geringeren Kompetenzen der Schülerinnen?
Bringen mehr Stundenzahlen in den Naturwissenschaften etwas? Lernzeiteffekte in den naturwissenschaftlichen Fächern
49 | DACH-Seminar 2014, Potsdam © IQB 2014
Lehrkräfte
Befragung von über 4000 Lehrkräften in Mathematik und Naturwissenschaften
Fokus: Untersuchung der Qualifikation der Lehrkräfte (Lehramtsbefähigung) und der Fortbildungsaktivitäten
Anteil der befragten Lehrkräfte ohne Lehramtsbefähigung im Fach:
Schulart Mathe Biologie Chemie Physik
Gymnasium 2.2 3.3 4.0 4.6
nicht Gymnasium 14.7 12.5 10.3 18.1
Lehrkräfte ohne Lehramtsbefähigung besuchen deutlich seltener Fortbildungen zur Fachdidaktik und anderen unterrichtsbezogenen Themen
50 | DACH-Seminar 2014, Potsdam © IQB 2014
Die Rolle des Fachstudiums zur Vorhersage der mathematisch-naturwissenschaftlichen Kompetenzen
ModellelementeMathematik Biologie Chemie PhysikGlobalmodell Erkenntnisgewinnung
b b b bOrdinatenabschnitt 532,1 521,4 539,3 535,0
Indi
vidu
al-
eben
e
Geschlecht 22,0 - 12,2 - 0,1 0,9Familiensprache - 21,4 - 24,8 - 23,5 - 22,6Sozioökonomischer Status (HISEI) 9,5 6,0 4,6 5,1Kognitive Grundfähigkeit 30,0 21,7 24,4 23,7
Klas
sene
bene
Qualifikationohne Lehramtsbefähigung im Fach - 17,9 - 8,3 -7,5 - 10,3Schulart 82,6 87,4 83,2 84,9Lehramtsbefähigung x Schulart 33,7 33,6 17,5 42,0
Fortbildungsthemen
Fachliche Themen 4,7 2,9 - 3,2 0,5Unterrichtsgestaltung - 2,0 - 3,3 0,0 4,8Schulorganisation 2,8 7,7 3,1 - 12,8Sozialverhalten - 9,5 - 11,3 - 17,8 - 7,7andere Themen - 2,9 2,4 3,3 - 3,0
Demografische Merk-male der Lehrkraft
Alter - 0,3 0,2 - 0,4 - 0,3Geschlecht 4,1 2,5 2,0 - 1,9
Varia
nz-
ante
ile
R² Individualebene 0,40 0,17 0,19 0,18R² Klassenebene 0,53 0,67 0,65 0,63n 11373 9830 9529 8378
51 | DACH-Seminar 2014, Potsdam © IQB 2014
Mögliche weiterführende Analysen
Auswirkung der Fach-Affinität (z.B. Mathematik/ Physik vs. Mathematik/ Sport)
Effekte der gegenwärtigen Kompetenzen der Lehrkräfte auf die Schülerkompetenzen
Nachweisbare Kompensationseffekte durch fachbezogene Fortbildung
52 | DACH-Seminar 2014, Potsdam © IQB 2014
Potenzielles Wissen aus Large-Scale-Untersuchungen durch vertiefende Analysen
Muss die Lehrperson ihr Unterrichtsfach studiert haben?Der Zusammenhang von Fachstudium der Lehrkraft und Schülerkompetenz
Beruhen unterdurchschnittliche Zahlen von Studienanfängerinnen in Chemie und Physik auf geringeren Kompetenzen der Schülerinnen?
Bringen mehr Stundenzahlen in den Naturwissenschaften etwas? Lernzeiteffekte in den naturwissenschaftlichen Fächern
53 | DACH-Seminar 2014, Potsdam © IQB 2014
Geschlechterverhältnis in schulischer und akademischer Bildung
0 10 20 30 40 50 60 70 80 90 100
Alle Fächer
Pharmazie
Biologie
Geographie
Mathematik
Chemie
Geowissenschaften (ohne Geographie)
Mathematik, Naturwissenschaften¹
Physik, Astronomie
Informatik
Prozent
weiblich männlich
Studienanfänger in Deutschland im Studienjahr 2011
54 | DACH-Seminar 2014, Potsdam © IQB 2014
Kompetenzunterschiede zwischen Jungen und Mädchen in Mathematik und den Naturwissenschaften
JungenMJ
MädchenMM
DifferenzMJ-MM
Vorsprung zugunsten der
Mädchen Jungen
MathematikGlobal 508 492 16Zahl 510 490 20Messen 508 491 17Raum und Form 503 497 5Funktionaler Zusammenhang 506 493 13Daten und Zufall 510 490 20NaturwissenschaftenBiologie Fachwissen 489 511 -22Biologie Erkenntnisgewinnung 489 511 -22Chemie Fachwissen 496 504 -8Chemie Erkenntnisgewinnung 495 505 -10Physik Fachwissen 500 500 0Physik Erkenntnisgewinnung 496 504 -8
-30 -10 10 30
55 | DACH-Seminar 2014, Potsdam © IQB 2014
Effektstärke (Cohens d)
Kompe-tenz
Selbst-konzept Interesse
Vorsprung zugunsten der
Mädchen Jungen
Mathematik
Global 0.16 0.45 0.40
Naturwissenschaften
Biologie Fachwissen -0.220.00 -0.08
Biologie Erkenntnisgewinnung -0.22
Chemie Fachwissen -0.080.25 0.29
Chemie Erkenntnisgewinnung -0.10
Physik Fachwissen 0.000.44 0.57
Physik Erkenntnisgewinnung -0.08
Geschlechtsunterschiede in der Kompetenz, im Selbstkonzept und im Interesse
-1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6 0,8 1
Kompetenz Selbstkonzept Interesse
56 | DACH-Seminar 2014, Potsdam © IQB 2014
Mögliche weiterführende Analysen
Welche Maßnahmen wären geeignet, Interesse und Selbstwirksamkeitserleben von Schülerinnen zu erhöhen?
Führen erhöhtes Interesse und Selbstwirksamkeitserleben von Schülerinnen letztlich zu einer verstärkten Studiumsaufnahme in Mathematik, Chemie, Physik?
57 | DACH-Seminar 2014, Potsdam © IQB 2014
Potenzielles Wissen aus Large-Scale-Untersuchungen durch vertiefende Analysen
Muss die Lehrperson ihr Unterrichtsfach studiert haben?Der Zusammenhang von Fachstudium der Lehrkraft und Schülerkompetenz
Beruhen unterdurchschnittliche Zahlen von Studienanfängerinnen in Chemie und Physik auf geringeren Kompetenzen der Schülerinnen?
Bringen mehr Stundenzahlen in den Naturwissenschaften etwas? Lernzeiteffekte in den naturwissenschaftlichen Fächern
58 | DACH-Seminar 2014, Potsdam © IQB 2014
Normative und realisierte Lernzeit in den Naturwissenschaften in den Jahrgangsstufen 5 bis 9 nach Land und Schulart
Verpflichtende Teilnahme Teilweise freiwillige Teilnahme Freiwillige Teilnahme
59 | DACH-Seminar 2014, Potsdam © IQB 2014
Lernzeiteffekte in den Naturwissenschaften
60 | DACH-Seminar 2014, Potsdam © IQB 2014
Mögliche weiterführende Analysen
Wie wirkt sich Unterricht im Fächerverbund auf die Kompetenzentwicklung in den drei Einzelfächern aus?
Welche Effekte haben verzögertes Einsetzen oder „epochale“ Unterrichtsangebote auf die naturwissenschaftlichen Kompetenzen
61 | DACH-Seminar 2014, Potsdam © IQB 2014
Von Bildungsstandards zur Überprüfung des Erreichens: die Aufgaben
Was weiß die Bildungspolitik nach Ländervergleichen? Bildungsmonitoring und vertiefende Analysen
Was weiß die Bildungspolitik nach Ländervergleichen nicht?
Ansätze für einen besseren Wissenstransfer zwischen Bildungsforschung und Bildungspolitik
Übersicht
62 | DACH-Seminar 2014, Potsdam © IQB 2014
Potenzielles Wissen aus Large-Scale-Untersuchungen (nach Klieme, 2013)
Bildungsmonitoring Vertiefende Analysen Ergänzungsstudien
Diagnosewissen Erklärungswissen Handlungswissen
Ziel Stand, Entwicklung und Ergebnisse desSchulsystemsvergleichend beschreiben
Zusammenhänge und möglicheBedingungsfaktorenerkennen
Wirkungen bestimmter Einflussfaktoren und Maßnahmen beziffern
Nutzung Rückmeldung fürPolitik und Praxis:
Identifizierung von Stärken & Schwächen, Handlungsbedarfen
Wissenschaftliche Erklärungsmodelle auf
A) SystemebeneB) SchulebeneC) individueller Ebene
„Knowing what works“
Ursachen und Folgen erschließen,
Methode Deskriptive Statistik;Indikatoren
komplexe statistische Modellierung
Längsschnitt;Experiment
63 | DACH-Seminar 2014, Potsdam © IQB 2014
Potenzielles Wissen aus Large-Scale-Untersuchungen (nach Klieme, 2013) - modifiziert
Bildungsmonitoring Vertiefende Analysen Ergänzungsstudien
(erweitertes) Diagnosewissen HandlungswissenErklärungswissen
Ziel Stand, Entwicklung und Ergebnisse desSchulsystemsvergleichend beschreiben
Zusammenhänge und möglicheBedingungsfaktorenerkennen erkunden
Wirkungen bestimmter Einflussfaktoren und Maßnahmen identifizierenund beziffern
Nutzung Rückmeldung fürPolitik und Praxis:
Identifizierung von Stärken & Schwächen, Handlungsbedarfen
Wissenschaftliche Erklärungsmodelle auf
A) SystemebeneB) SchulebeneC) individueller Ebene
„Knowing what works“
Ursachen und Folgen erschließen,
Methode Deskriptive Statistik;Indikatoren
komplexe statistische Modellierung
Längsschnitt;Experiment
64 | DACH-Seminar 2014, Potsdam © IQB 2014
externe Evaluation
Schule: interne Evaluation
SchulaufsichtUnterstützungssystem
Lehreraus-/fortbildung
Politik & Schulverwaltung
Orientierungsrahmen Schulqualität
Die Kohärenz von Elementen und Akteuren der Qualitätssicherung
65 | DACH-Seminar 2014, Potsdam © IQB 2014
externe Evaluation
Schule: interne Evaluation
SchulaufsichtUnterstützungssystem
Politik & Schulverwaltung
Orientierungsrahmen Schulqualität
Wo sind die Schnittstellen?Wer ist für die Herstellung von Schnittstellen verantwortlich?
?
?
?
?
?
?Lehreraus-/fortbildung
Die Kohärenz von Elementen und Akteuren der Qualitätssicherung: Bruchstellen oder Schnittstellen?
66 | DACH-Seminar 2014, Potsdam © IQB 2014
Rekontextualisierung und Handlungsebenen nach Fend (2008)
Herausforderung / Problem:„Pfadabhängigkeit“ als Restriktion für die Angleichung von Praktiken in Mehrebenensystemen Wirkmächtigkeit vergangener
Entscheidungen/ Entwicklungen Handlungslogiken im Widerspruch zu
rationalen Entscheidungen für die „effizienteste“ Alternative
Bedarf nach Implementationsforschung
67 | DACH-Seminar 2014, Potsdam © IQB 2014
Von Bildungsstandards zur Überprüfung des Erreichens: die Aufgaben
Was weiß die Bildungspolitik nach Ländervergleichen? Bildungsmonitoring und vertiefende Analysen
Was weiß die Bildungspolitik nach Ländervergleichen nicht?
Ansätze für einen besseren Wissenstransfer zwischen Bildungsforschung und Bildungspolitik
Übersicht
68 | DACH-Seminar 2014, Potsdam © IQB 2014
Der evaluationsbasierte Entwicklungszyklus auf Systemebene
Quelle: Kirsch, I. et al. (2013). On the Growing Importance of International Large-ScaleAssessments. p. 7
69 | DACH-Seminar 2014, Potsdam © IQB 2014
Die Ziele verschiedener Elemente des Orientierungsrahmens sollten politisch-administrativ priorisiert und anschließend auf Wissens- / Forschungsbedarfe hin „abgeklopft“ werden.
Zuarbeit der empirischen Bildungsforschung von potenziell politikrelevanten Befunden
Aufbau strukturierte Portale für Mitglieder der Bildungsverwaltung/ -politik analog zu Brokerage-Angeboten in anderen Ländern
Institutionalisierte Science-Politics-Austauschforen
Anstelle einer Suche nach „zentralen“ isolierbaren Stellschrauben der Schul- und Unterrichtsqualität verstärkte Suche nach förderlichen und riskanten Konfigurationen und „Tipping-Points“
5 Schritte für einen effizienteren Science-Politics-Transfer im Bildungsbereich
70
iqboffice@iqb.hu-berlin.de
Vielen Dank für Ihre Aufmerksamk it!
top related