E8-Standardstests Entwicklung der Tests für die rezeptiven

Fertigkeiten: Überblick

LTC Technical Report 1

Guenther Sigott Otmar Gassner Claudia Mewald

Klaus Siller

2

© Language Testing Centre: http://www.uni-klu.ac.at/ltc Februar 2007 Alpen-Adria-Universität Klagenfurt Universitätsstraße 64 AUSTRIA

Druck: bm:bwk

3

Inhaltsverzeichnis 1 Bildungsstandards – Einleitung und Ziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.1 Einleitung 1.2 Was sind Bildungsstandards? Wozu dienen sie? 1.3 Wer entwickelt Bildungsstandards? Wer entwickelt die Standardstests? 1.4 Wie sind die Bildungsstandards aufgebaut? 1.5 Ab wann gelten die Bildungsstandards? Wie wird das Erreichen der

Standards überprüft? 1.6 Was geschieht mit den Ergebnissen? 2 Allgemeine Grundsätze des Sprachtestens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 Was sind die Zielsetzungen der E8-Standardstestung? . . . . . . . . . . . . . . . . . . . . . 7 4 Was wird mit den E8-Standardstests getestet? . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 5 Item- und Testentwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 5.1 Welche Ausbildung haben die EntwicklerInnen von Testitems? 5.2 Gibt es systematische Verfahren zur Überprüfung und Überarbeitung

von Testitems und Pilottestungen? 5.3 Wurden unterschiedliche Versionen der Tests eingesetzt? 5.4 Wie werden die Tests durchgeführt? 6 Ergebnisrückmeldung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 6.1 Welchem Zweck dienen die Testergebnisse? Wer hat Zugriff aus diese

Ergebnisse? 6.2 Wie werden die Ergebnisse der E8-Standardstestung rückgemeldet? 6.3 Welche Resultate werden berichtet? In welcher Form? 6.3.1 Welche Rückmeldungen erhalten die SchülerInnen? 6.3.2 Welche Rückmeldungen bekommen die LehrerInnen, die Schulleitung,

die Schulaufsicht? 7 Wie werden die Tests auf den GER abgestimmt (Linking)? . . . . . . . . . . . . . . . . . 17 Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Anhang: Organigramm des Bildungsstandards -Projekts . . . . . . . . . . . . . . . . . . . . . . 21

4

1 Bildungsstandards – Einleitung und Ziele1 1.1 Einleitung In Österreich wurde bereits ab 1990 im Rahmen der Schulautonomie die Selbstverantwort-lichkeit von Lehrpersonen, LehrerInnenteams und Schulen in der methodisch-didaktischen Arbeit gestärkt. Gleichzeitig verlangen aber die im internationalen Trend liegenden Verglei-che von Entwicklungen auf der regionalen, nationalen und europäischen Ebene (vgl. PISA2, TIMSS3 oder DESI4) eine komplementäre Strategie bei der Planung von Unterricht und schulbezogenen Entwicklungen. Dieser Entwicklung wird mit der Erstellung von Bildungs-standards Rechnung getragen. Sie sollen eine zeitgemäße Grundbildung definieren und die Umsetzung von international anerkannten Grundkompetenzen fördern. Darüber hinaus soll aber auch überprüft werden, inwieweit Schulen ihre Kernaufgabe, nämlich die Vermittlung von allgemein als notwendig angesehenen Kompetenzen, erfüllen. Die Bildungsstandards wollen der Autonomie einen Rahmen geben und durch Setzen von Maßstäben die Verant-wortlichkeit stärken. Es ist in der Diskussion wichtig zu unterscheiden zwischen den Stan-dards, die dem schulischen Lernen klare Ziele setzen und somit Orientierungscharakter haben, und einer Standardüberprüfung (Test), die an den Nahtstellen der 4. und 8. Schulstufe vorge-sehen ist und den erreichten Leistungsstand messen soll. 1.2 Was sind Bildungsstandards? Wozu dienen sie? Generell versteht man unter „Standard“ einen Maßstab, einen Anker, eine Norm, ein Krite-rium oder eine bestimmte – vorab festgelegte – Leistung (vgl. Ostermeier & Prenzel 2002). Die österreichischen Bildungsstandards legen fest, welche Kompetenzen SchülerInnen bis zu einer bestimmten Schulstufe nachhaltig erworben haben sollen. Im Gegensatz zum Lehrplan liefern Bildungsstandards keine erschöpfende Beschreibung von Bildungszielen, sondern de-finieren fachliche Grundkompetenzen, die für die weitere schulische Bildung bzw. berufliche Ausbildung als bedeutend angesehen werden. Derzeit liegen Beschreibungen der erwarteten Lernergebnisse in den Fächern Deutsch und Mathematik auf der 4. Schulstufe sowie Deutsch, Mathematik und Englisch auf der 8. Schulstufe (APS und AHS) vor.

Bildungsstandards drücken eine normative Erwartung aus, auf die die Schulen im Rahmen der autonomen Entwicklungsmöglichkeiten (Schwerpunktbildung, Schulprofil etc.) hinarbeiten sollen. Wenn Schulen im Rahmen der Autonomie verstärkt Unterrichtsentwick-lung betreiben, müssen sie sich auch regelmäßig des Erfolgs ihrer Arbeit vergewissern (in-terne Evaluation) und die Möglichkeiten einer „standardisierten“ Rückmeldung des Unter-richtserfolgs nutzen (externe Evaluation). Die Bildungsstandards liefern die dafür notwendi-gen Vergleichsmaßstäbe und werden vor allem den Lehrpersonen helfen, mit dem zunehmen-den nationalen und internationalen Rechtfertigungsdruck professionell umzugehen.

Die Bildungsstandards in Österreich sind nicht als Instrument für ein Qualitätsranking konzipiert. Sie legen auch nicht fest, was „guter Unterricht“ ist. Ebenso wenig beschränken sie die Methodenfreiheit oder reglementieren das Lehren und Lernen oder die individuelle Unterrichtsplanung der LehrerInnen. Sie ersetzen auch nicht die Leistungsbeurteilung oder die Einstufung in Leistungsgruppen, da sie nur Teilbereiche des Lehrplans abdecken. So blei-ben etwa die Erweiterungsbereiche im Lehrplan der Sekundarstufe I von den Bildungsstan-

1 Vgl. auch Gassner et al. (2005) und Kubinger et.al. (2006). 2 http://www.pisa.oecd.org (11.01.2007) 3 http://www.iea.nl (11.01.2007) 4 http://www.dipf.de/desi (11.01.2007)

5

dards ausgenommen. Die folgende Aufstellung zeigt, wie Bildungsstandards beim Aufbau qualitätsfördernder Maßnahmen nützlich sein können (vgl. Gassner et al. 2005:11): Allgemein • Instrument der Qualitätssicherung auf System-, Schul- und Klassenebene • Erhöhung der Transparenz und Objektivität • Klarheit über gemeinsame Lernziele, Beurteilungskriterien und Bewertungsmaßstäbe • Orientierungshilfe für Lehrkräfte, SchülerInnen und Eltern • Vergleichbarkeit auf internationaler Ebene Für Lehrkräfte • Rückmeldung über Bewertungsmaßstäbe und erreichte Lernergebnisse (Stärken/ Schwä-

chen, Anstoß für Schul- und Personalentwicklung) • Vergleichsmöglichkeit von Schulergebnissen mit nationalen Ergebnissen • Anstoß zur Sicherung von verbindlichen Niveaus durch gezielte Förderung • Impuls für verbesserte Diagnostik bzw. für verstärkte Qualifizierung auf diesem Gebiet • Lernen aus Erfahrung und Rückmeldung • Bezugspunkte für pädagogische Beratung von Eltern, SchülerInnen Für SchülerInnen • Hilfsmittel zur besseren Selbsteinschätzung • Möglichkeit zu einer zusätzlichen Messung des Leistungsstandes 1.3 Wer entwickelt Bildungsstandards? Wer entwickelt die Standardstests? Zur Entwicklung von Bildungsstandards hat das österreichische Bildungsministerium Ar-beitsgruppen eingesetzt, die aus FachdidaktikerInnen und SchulpraktikerInnen bestehen. Diese werden durch eine Steuergruppe unter wissenschaftlicher Beteiligung koordiniert. Mit der Testentwicklung und Testung in den Fächern Deutsch und Mathematik wurde die Test- und Beratungsstelle des Arbeitsbereiches Psychologische Diagnostik an der Fakultät für Psy-chologie der Universität Wien beauftragt. Für die Testentwicklung und Testung in Englisch erging der Auftrag an das Sprachtestzentrum / Language Testing Centre an der Universität Klagenfurt. Wesentliche Belange der Organisation der Testungen und der Datenverarbeitung erfolgen am Pädagogischen Institut in Linz. Einen Überblick über die gesamte Projektstruktur gibt das Organigramm im Anhang. 1.4 Wie sind die Bildungsstandards aufgebaut? Die Definition der österreichischen Bildungsstandards beruht auf folgendem Prinzip: 1. Die fachspezifischen Besonderheiten sind der Ausgangspunkt für die Definition von

Standards. 2. Die Kompetenzbereiche des jeweiligen Faches werden in einem Kompetenzmodell

beschrieben, und davon ausgehend werden die Standards formuliert. Ein Kompetenzmodell ermöglicht die Beschreibung abstrakter Bildungsziele, so dass sie in Aufgabenstellungen umgesetzt und prinzipiell mit Hilfe von Testverfahren erfasst wer-

6

den können. Die Kompetenzmodelle für Englisch sind in der Broschüre Bildungsstan-dards Englisch, Version ’05 und detaillierter in den Testspezifikationen für die Bereiche Leseverstehen (Gassner et.al. 2007a), Hörverstehen (Mewald et.al. 2007), Schriftliche Produktion (Gassner et.al. 2007b) und Mündliche Produktion (Mewald et al., in Vorbe-reitung) beschrieben. Grundlage dieser östereichischen Kompetenzmodelle ist einerseits der österreichische Lehrplan und andererseits der europäische Bezugspunkt des Gemeinsamen Referenzrahmens für Sprachen (GER)5.

3. Aufgabenbeispiele veranschaulichen die fachlichen Standards und illustrieren eine für das jeweilige Fach charakteristische Bandbreite von Aufgaben.6 Die Aufgabenbeispiele sind weder Testitems noch sind sie als Testformate für Abschluss-prüfungen oder Berechtigungen konzipiert. Sie dienen vielmehr zur Unterstützung der konkreten, praktischen Unterrichtsarbeit der LehrerInnen und der Vorbereitung auf die Arbeit mit den E8-Standards. Sowohl die Aufgabenbeispiele wie auch die Testitems beruhen auf demselben Kompetenzmodell, das jedoch für den Zweck der Testentwicklung ausgebaut und konkretisiert wurde.

1.5 Ab wann gelten die Bildungsstandards? Wie wird das Erreichen der Standards

überprüft? Die Erprobungsphase läuft bis 2007, dann wird das Ergebnis der Bundesregierung zur Be-schlussfassung vorgelegt. Für die Implementierung der Bildungsstandards sind in allen Bun-desländern Informations- und Fortbildungsveranstaltungen für die Schulaufsichtsbehörde, Schulleitungen sowie für LehrerInnen (sowohl in der Ausbildung wie auch in der Fortbil-dung) vorgesehen.

Die Überprüfung der Standards erfolgt je Unterrichtsgegenstand durch einen Test oder mehrere Tests. Ein derartiges Überprüfungsverfahren wurde erstmals 2005 im Fachbereich Mathematik erprobt. Die Erprobung des Verfahrens für Englisch in der 8. Schulstufe (E8) erfolgte im Mai 2006. Erprobungen für den Fachbereich Deutsch sind derzeit im Gange. Die erste österreichweite Überprüfung wird voraussichtlich im Schuljahr 2007/2008 stattfinden. Danach sind jährlich Standards-Überprüfungen für einen zufällig ausgewählten Teil der SchülerInnenpopulation der vierten und achten Schulstufe vorgesehen. Pro Jahr sollen pro Fach 10% der SchülerInnen der 4. und 8. Schulstufen getestet werden, somit 30% der Population in allen drei Fächern zusammengenommen. Pro Schule wird voraussichtlich nur ein Fach getestet. 1.6 Was geschieht mit den Ergebnissen? Die mit dem Test gewonnenen Ergebnisse werden vom Pädagogischen Institut Linz für alle betroffenen Ebenen in aggregierter Form aufbereitet und können über das Internet unter www.bildung-standards.at (10.01.2007) abgefragt werden. Ein Ranking von Schulen oder Bundesländern wird so explizit ausgeschlossen, da jeweils nur die betroffene Ebene die für sie relevanten Daten erhält. Die allgemeine Öffentlichkeit erhält keine Testergebnisse. Das Rückmeldesystem wird in Abschnitt 6 genauer beschrieben.

5 Vgl. Lehrplan in: http://www.bmbwk.gv.at/medienpool/782/ahs8.pdf (19.02.2007) bzw. http://www.bmbwk.gv.at/medienpool/887/hs23.pdf (19.02.2007) sowie Europarat (2001). 6 Die Aufgabenbeispiele sind über die Website des ÖSZ (http://www.oesz.at/ (19.02.2007) ) verfügbar. Klicken Sie auf FSS am unteren Seitenrand und dann auf Materialien.

7

2 Allgemeine Grundsätze des Sprachtestens Zur Gewährleistung einer professionellen Erstellung der Englisch-Standardstests wurde das Sprachtestzentrum / Language Testing Centre (LTC)7 der Universität Klagenfurt mit dieser Aufgabe betraut. LTC ist Mitglied der European Association for Language Testing and Assessment (EALTA)8. Ziel von EALTA ist es, das Verständnis für die theoretischen Prinzi-pien des Testens und Beurteilens sprachlicher Leistungen zu fördern und zur Verbesserung von Test- und Beurteilungspraktiken in Europa beizutragen sowie diese bekannt zu machen. EALTA Mitglieder folgen allgemeinen Richtlinien zur Qualitätssicherung und einem ethi-schen Verhaltenscode9, um die Professionalität und Qualität ihrer Arbeit zu garantieren.

3 Was sind die Zielsetzungen der E8-Standardstestung? Die E8-Standardstestung soll nach Abschluss der Entwicklungsphase alle vier Fertigkeiten (Hörverstehen, Leseverstehen, schriftliche Produktion, mündliche Produktion) umfassen. Die Überprüfung des Hör- und Leseverstehens in der 1. lebenden Fremdsprache (Englisch) ist ein erster Schritt in Richtung einer regelmäßigen Überprüfung der Bildungsstandards in Öster-reich mit folgender Zielsetzung: • Identifikation von Stärken und Schwächen in der Englischkompetenz der SchülerInnen

der 8. Schulstufe (Ende der Sekundarstufe) im österreichischen Schulsystem. Rückmel-dungen erfolgen auf mehreren Ebenen (ProbandIn, Klassenverband, Schule, Leistungs-gruppe, Bundesland, Gesamtösterreich). Maßnahmen, zu denen die Testergebnisse Anlass geben, sollen der Systemverbesserung (system monitoring), nicht aber der Selektion von SchülerInnen oder LehrerInnen dienen.

• Abstimmung der Messinstrumente auf den Gemeinsamen Europäischen Referenzrahmen

(GER) • Beschreibung der Stärken und Schwächen unter Bezugnahme auf den Europäischen Refe-

renzrahmen. Der internationalen Tendenz im Sprachtesten folgend soll die Identifikation von Stärken und Schwächen in absehbarer Zukunft (u.U. bereits 2007) unter Bezugnahme auf den GER erfolgen.

Die schriftliche Produktion wird 2006/07 erstmals überprüft; die mündliche Produktion soll erstmals 2007/08 überprüft werden. Voraussichtlich ab 2008 wird eine jährliche Überprüfung der Fremdsprachenkompetenz von SchülerInnen der 8. Schulstufe in allen vier Fertigkeiten erfolgen.

7 http://www.uni-klu.ac.at/ltc (19.02.2007) 8 http://www.ealta.eu.org (19.01.2007) 9 http://www.ealta.eu.org/guidelines.htm (10.02.2007)

8

4 Was wird mit den E8-Standardstests getestet? Da die Zielsetzung der E8-Standardstests in der Diagnose sprachlicher Stärken und Schwä-chen besteht, ist eine ausführliche Beschreibung der Fähigkeitsaspekte erforderlich, die den Tests zugrunde liegen. In der Testentwicklung wird für diese Fähigkeiten der Fachausdruck Konstrukt verwendet. Die Ausgangspunkte für die Definition des Testkonstrukts sind

• der österreichische Lehrplan • die Kompetenzbeschreibungen für Englisch im Rahmen des Bildungsstandardspro-

jekts (Gassner et al. 2005:28ff.). • der Gemeinsame Europäische Referenzrahmen für Sprachen (GER)

Zwischen diesen Dokumenten besteht ein komplexes Abhängigkeitsverhältnis, so dass es oft schwierig ist, mit Sicherheit zu sagen, wo einzelne Formulierungen ursprünglich verwendet wurden. Auf jeden Fall ist der Lehrplan für die 8. Schulstufe vom GER beeinflusst. Weiters basieren die Kompetenzbeschreibungen für Englisch im Rahmen des Bildungsstandardspro-jekts einerseits direkt auf dem GER, andererseits aber auf Formulierungen des Lehrplans, die ihrerseits zum Teil wieder auf den GER zurückgehen. Während die Formulierungen von Lehr- und Lernzielen in diesen Dokumenten grundlegend für die Definition des Testkon-strukts sind, sind sie für die diagnostische Zielsetzung der E8-Tests nicht detailliert genug, um unmittelbar als Basis für die Konstruktion von Testaufgaben herangezogen werden zu kön-nen. Daher wurde für die Definition des Testkonstrukts ein Beschreibungsansatz gewählt, der zwar mit den Beschreibungen in den drei Dokumenten kompatibel ist, zugleich aber so de-tailliert, dass die auf dieser Grundlage konstruierten Testitems Rückmeldungen gestatten, die für die Beteiligten (LernerInnen, Lehrende, Schulaufsicht) unmittelbar relevant und umsetzbar sind. Diese Definitionen des Testkonstrukts sind in den so genannten Testspezifikationen (Gassner et al. 2007a, b; Mewald et al. 2007, in Vorbereitung) ausführlich beschrieben und werden hier auszugsweise dargestellt. Die folgende Darstellung beschränkt sich auf die Stra-tegien, die die SchülerInnen nach Ansicht der AutorInnen der Testspezifikationen verwenden müssen, um einzelne Testitems zu lösen. Details zur Auswahl bzw. Produktion der Hör- und Lesetexte sind den Testspezifikationen zu entnehmen.

9

Hörverstehen

Bei der Konstruktion der Testitems für das Hörverstehen wurde angenommen, dass die Schü-lerInnen zur Lösung der einzelnen Testitems folgende Strategien verwenden müssen (Mewald et al. 2007):

Communicative Listening Strategies 1 Direct Meaning Comprehension 1.1 listening for gist 1.2 listening for main idea(s) or important information and/or distinguishing that from

supporting details or examples. This includes distinguishing fact from opinion when clearly marked.

1.3 listening for specific information, including recall of important details. This includes

understanding directions and instructions. 2 Inferred Meaning Comprehension 2.1 making inferences and deductions based on information in the text. This can include

deducing meaning of unfamiliar lexical items from context. 2.2 determining a speaker’s attitude or intention towards a listener or a topic 2.3 relating utterances to their social and situational contexts 2.4 recognising the communicative function of utterances Tabelle 1: Hörverstehensstrategien. Grundlage: C. Weir, Understanding and Developing Language Tests. New York: Prentice Hall 1993. Beispiele für Testitems für die einzelnen Strategien sind in den Testspezifikationen (Mewald et al. 2007) zu finden.

10

Leseverstehen Bei der Konstruktion von Testitems zum Leseverstehen wurde angenommen, dass die Schü-lerInnen zur Lösung der einzelnen Testitems folgende Strategien verwenden müssen (Gassner et al. 2007a):

Reading Strategies Expeditious Reading 1 Skimming / Reading for Gist 1.1 identifying text type 1.2 identifying text topic 1.3 identifying text purpose 2 Scanning / Reading for Detail 2.1 finding specific details (e.g. names, figures, dates, any other surface-level information) Careful Reading 3 Understanding the Text 3.1 understanding explicitly stated main idea(s) and/or distinguishing that from supporting

details 3.2 locating, identifying, understanding and comparing facts, opinions, definitions (this

includes search reading strategies) 3.3 understanding the logical organisation of the text, e.g. understanding relationships

among ideas in a text (problem – solution, cause – effect, temporal sequence, etc.) 3.4 understanding cohesive relationships (reference, ellipsis, substitution, conjunction,

lexical cohesion) 3.5 making propositional inferences (deducing information that is not explicitly stated

from information that is explicitly stated) 4 Understanding Lexis 4.1 Predicting the meaning of (unknown) words from the context Tabelle 2: Leseverstehensstrategien: Grundlage: A. Urquhart & C. Weir, Reading in a Second Language: Process, Product and Practice. London: Longman 1998. Beispiele für Testitems für die einzelnen Strategien sind in den Testspezifikationen (Gassner et al. 2007a) zu finden.

11

5 Item- und Testentwicklung Ausgehend von der Definition des Testzwecks, der Beschreibung des Konstrukts und der Formulierung der Testspezifikationen begann im November 2005 unter der Leitung des Kla-genfurter LTC die Entwicklung der Testitems. Seit November 2005 wurden rund 300 Test-items für Hörverstehen und Leseverstehen entwickelt. Diese Items befinden sich in einem mehrstufigen Itemarchiv, aus dem sie nach ihrem Einsatz in Pilottestungen in eine Itembank integriert werden. Das nachstehende Flussdiagramm enthält die wesentlichen Stadien dieses Prozesses.

Abb. 1: Flussdiagramm zur Entwicklung der Tests für die rezeptiven Fertigkeiten

Definition des Testzwecks

Basis für Testspezifikationen

� Lehrplan � GER � E8-Standards

Formulierung von Testspezifikationen

Schulung der ItemerstellerInnen

Erstellung der Testitems

Itemmoderierung und Editierung

Produktion der Tonaufnahmen für HV-Items

Itemarchivierung Konstruktion von Feldtests

Feldtestung (N ca. 300)

Analyse der Feldtestdaten

Itemscreening im Hinblick auf Rasch-Modellkonformität

Konstruktion von mehreren Paralleltestformen unterschiedlicher Schwierigkeit

Testadministration Analyse und Interpretation der Testdaten

Rückmeldung an Beteiligte und Entscheidungsträger

12

5.1 Welche Ausbildung haben die EntwicklerInnen von Testitems? Alle ItemerstellerInnen sind praktizierende Lehrende mit Unterrichtserfahrung auf der 8. Schulstufe im APS- und/oder AHS-Bereich. Die ItemerstellerInnen wurden auf einem eintägigen Workshop mit den Grundprinzipien der Itemerstellung vertraut gemacht. In dem Workshop erläuterten die Mitglieder des E8-Führungsteams (O. Gassner, C. Mewald, G. Sigott) den Zweck der Testspezifikationen und präsentierten die den Spezifikationen zugrunde liegenden Prinzipien. Die einzelnen Lösungsstrategien, die einen zentralen Be-standteil der Kompetenzmodelle für die rezeptiven Fertigkeiten bilden, wurden erläutert und diskutiert. Danach wurde den TeilnehmerInnen die Aufgabe gestellt, einzelne Aufgaben aus den Sammlungen von E8-Aufgabenbeispielen sowie Testitems aus publizierten Tests den einzelnen Lösungsstrategien zuzuordnen. Dies erfolgte in Gruppendiskussionen, wodurch hinreichend Gelegenheit zur Reflexion und Diskussion der Strategien gegeben wurde. Der Zuordnungsprozess wurde mit jeweils neuen Aufgaben bzw. Items so lange wiederholt, bis ein hohes Maß an Übereinstimmung unter den TeilnehmerInnen hinsichtlich der für das je-weilige Item vermutlich erforderlichen Lösungsstrategie erreicht war. Alle von den ItemerstellerInnen vorgelegten Items werden von zwei Mitgliedern des E8-Führungsteams inhaltlich überprüft (Itemmoderierung) und gegebenenfalls zur Überar-beitung an die ItemerstellerInnen retourniert. Damit erhalten die ItemerstellerInnen ausführli-ches Feedback über ihre Arbeit. 5.2 Gibt es systematische Verfahren zur Überprüfung und Überarbeitung von Test-

items und Pilottestungen? Die Itemmoderierung findet regelmäßig statt; jedes neue Item muss diesen Moderierungspro-zess durchlaufen. Dabei wird sichergestellt, dass die Items den in den Spezifikationen formu-lierten Richtlinien entsprechen. Items, die den Moderierungsprozess durchlaufen haben, wer-den in das Itemarchiv aufgenommen. Dort stehen sie für die Konstruktion von Tests zur Ver-fügung. Für die Hörverstehensitems werden nach erfolgter Itemmoderation die Tonaufnah-men hergestellt.

Der Großteil der Items, die bis Februar 2006 zur Verfügung standen, wurden im März 2006 in einem Feldtest an mehreren APS und AHS in Niederösterreich, Kärnten und Vorarl-berg empirisch getestet, um noch vor der Haupttestung Aufschluss über die psychometrischen Eigenschaften der Items zu erhalten. Die Datenanalyse ergab zufrieden stellende psychometri-sche Eigenschaften der Items. Damit war eine wichtige Weichenstellung für den Aufbau der Itembank erfolgt. Die Itembank ermöglicht die Erstellung von Testversionen, die dasselbe Konstrukt auf unterschiedlichen Schwierigkeitsniveaus messen. 5.3 Wurden unterschiedliche Versionen der Tests eingesetzt? Im Rahmen der Pilottestung im Mai 2006 wurden zwei unterschiedlich schwierige Versionen der Tests und innerhalb jeder Version noch Parallelformen verwendet. Damit wurde einerseits der Versuch unternommen, dem Leistungsniveau der SchülerInnen gerecht zu werden und dem Thema Überforderung bzw. Unterforderung Rechnung zu tragen. Andererseits wurde durch den Einsatz von Parallelversionen ähnlicher Schwierigkeit das Abschreiben von Antworten zwischen nebeneinander sitzenden SchülerInnen verhindert. Die Leistungen aller TeilnehmerInnen sind aber durch ein statistisches Verfahren der Testanalyse (Rasch-Modell) trotzdem untereinander sinnvoll vergleichbar.

13

5.4 Wie werden die Tests durchgeführt? BundesländerkoordinatorInnen erheben die für ihr Bundesland nötige Anzahl von Testadmi-nistratorInnen, die nach einer detaillierten, vom Testentwicklungsteam erstellten Anleitung für die Testdurchführung eingeschult werden. Diese Anleitung ist auf der LTC-Homepage10 abrufbar. Als TestadministratorInnen werden ausschließlich PädagogInnen eingesetzt. Diese leiten – in Abwesenheit der jeweiligen Fachlehrkraft – die Testung in der ihnen zugeteilten Klasse bzw. Leistungsgruppe. Von ihnen erhalten die SchülerInnen genaue Arbeitsan-weisungen, aber keinerlei Hilfestellung bei der Lösung der Aufgaben. DirektorInnen und LehrerInnen erhalten entsprechende Instruktionen, so dass eine standardisierte Testdurch-führung gewährleistet ist. Auch Informationen über das Testformat sind auf der LTC-Homepage erhältlich.11

Alle Unterlagen werden von den TestadministratorInnen nach der Testung unverzüg-lich an die Pädagogische Hochschule in Linz übermittelt. Dort werden die Antwortblätter mit einem entsprechenden Scanner eingelesen und elektronische Datenfiles erstellt. Die test-statistische Analyse und Interpretation der Daten erfolgt am Language Testing Centre an der Universität Klagenfurt. Die für die Rückmeldung erforderlichen Ergebnisse werden danach an die PH Linz übermittelt, wo sie für die Ergebnisrückmeldung im Internet aufbereitet werden.

Die Ergebnisse der E8-Pilottestung 2006 werden voraussichtlich ab März 2007 an die verschiedenen Interessengruppen (SchülerInnen, LehrerInnen, Schulleitung, Lehrerausbil-dung, Schulaufsicht und Ministerium) rückgemeldet. Der Rückmeldungsprozess wird im fol-genden Abschnitt im Detail beschrieben.

6 Ergebnisrückmeldung 6.1 Welchem Zweck dienen die Testergebnisse? Wer hat Zugriff auf diese Ergeb-

nisse? Die Ergebnisse der Standards-Überprüfung dienen dem Zweck des system monitoring, somit der Diagnose von Stärken und Schwächen auf verschiedenen Ebenen des Bildungssystems. Sie sind daher als Grundlage für pädagogisches Handeln (Schulentwicklung), keinesfalls aber als Basis für die Leistungsbeurteilung oder gar für ein nationales oder regionales Ranking intendiert.

Die Datenaufbereitung erfolgt getrennt für SchülerInnen, Lehrpersonen, SchulleiterIn-nen und Schulverwaltung und kann mittels eines speziellen Zugangscodes über eine Internet-Plattform12 abgefragt werden. Grundsätzlich gilt, dass jede Ebene nur auf die sie selbst betreffenden Daten Zugriff bekommt, d.h.:

• die SchülerInnen können ihr persönliches Ergebnis abfragen. • die jeweilige Lehrperson kann das Klassenergebnis, anonymisiert in Bezug auf die einzel-

nen SchülerInnen, abfragen. • die Schulleitung bekommt das Ergebnis der Schule. • die jeweilige Schulaufsichtsbehörde erhält das Ergebnis des betreffenden Bundeslandes.

10 http://www.uni-klu.ac.at/ltc/inhalt/266.htm (19.02.2007) 11 http://www.uni-klu.ac.at/ltc/downloads/Sample_item_reading.pdf (19.02.2007) 12 http://www.bildung-standards.at (10.01.2007)

14

Außerdem erfolgt auch eine moderierte Rückmeldung für die SchulleiterInnen und die LehrerInnen, deren SchülerInnen getestet wurden. Diese Rückmeldung wird von eigens aus-gebildeten RückmeldemoderatorInnen in einer gemeinsamen Sitzung mit den SchulleiterIn-nen und LehrerInnen durchgeführt. 6.2 Wie werden die Ergebnisse der E8-Standardstestung rückgemeldet? Die E8-Standardstestung folgt der internationalen Praxis, Lernerträge und Kompetenzen in Zweit- oder Fremdsprachen unter Bezug auf den Gemeinsamen Europäischen Referenzrah-men für Sprachen (GER) zu beschreiben. Da der GER europa- und weltweit große Akzeptanz genießt, ist es unumgänglich, die Testergebnisse im Sinne des GER interpretierbar zu machen. Daher wurden etwa die Testspezifikationen für Hörverstehen (Mewald et al. 2007), Lesever-stehen (Gassner et al. 2007a) sowie für die schriftliche Produktion (Gassner et al. 2007b) durchgehend unter Bezugnahme auf den GER konzipiert. Ebenso wird am Klagenfurter LTC der Abstimmung der Messinstrumente auf den GER in Forschung und Entwicklung hohe Priorität eingeräumt.

Anders als in den Fächern Mathematik und Deutsch als Muttersprache erfolgt daher die Rückmeldung für Englisch in erster Linie kriteriumsreferenziert (vgl. Bachman 1990: 72-76). Dadurch wird in Zukunft unter Bezugnahme auf den GER auch eine internationale Vergleichbarkeit der Ergebnisse möglich sein. Die Ergebnisse werden derzeit auf einer absoluten Skala von 0 - 100 dargestellt. Dabei handelt es sich um ein Fähigkeitsmaß, das mittels Rasch-Analyse gewonnen wurde. Die Ergebnisse auf dieser Skala sind für alle TeilnehmerInnen in allen Schultypen über alle Leistungsgruppen hinweg vergleichbar, obwohl nicht alle SchülerInnen dieselbe Testversion bearbeitet haben.

Andererseits erhalten aber alle Beteiligten auch eine normreferenzierte Interpretation der Ergebnisse, wie sie auch für Mathematik und Deutsch als Erstsprache praktiziert wird. Hier werden, basierend auf dem Fähigkeitsmaß, innerhalb der einzelnen Leistungsgruppen (APS1, APS2, APS3 und AHS) Prozentränge berichtet, die angeben, wie viele SchülerInnen, Klassen, Schulen und Bundesländer in dieser Gruppe schlechter oder gleich gut abgeschnitten haben. Beispiel: Eine Testperson aus der 3. Leistungsgruppe APS erhält 2 Rückmeldungen im Bereich Expeditious Reading: 1. den Prozentrang 60 2. den Wert 20 auf der absoluten Skala Das bedeutet einerseits, dass die Testperson mit einem Prozentrang von 60 besser als - oder gleich gut wie - 60% aller getesteten SchülerInnen aus der 3. LG abgeschnitten hat. Andererseits zeigt aber der Wert 20 auf der Fähigkeitsskala, dass im Bereich Expeditious Reading - absolut gesehen - erhebliche Mängel vorliegen, weil nur 20 von maximal 100 Punkten erreicht wurden. In Zukunft wird es möglich sein, diesen Wert 20 auch einem Kompetenzniveau im GER zuzuordnen. So weiß dann die Testperson, wo sie sich in diesem Kompetenzbereich im GER befindet. Um hier aber seriöse Aussagen tätigen zu können, ist noch entsprechende Forschungsarbeit notwendig.13 Die Vorgangsweise wird in Abschnitt 7

13 Vgl. dazu u.a. die Empfehlungen im Rahmen des Europaratskongresses Intergovernmental Policy Forum: The Common European Framework of Reference for Languages (CEFR) and the development of language policies: challenges and responsibilities, Strasbourg, 6.-8. Februar 2007.

15

näher beschrieben. Analog dazu werden auch die Ergebnisse für die Lehrpersonen (Klassen), SchulleiterInnen (Schulen) und Schulverwaltung (Bundesland) rückgemeldet. 6.3 Welche Resultate werden berichtet? In welcher Form? Den Testspezifikationen entsprechend besteht das Ziel der E8-Tests für die rezeptiven Fertig-keiten darin, Stärken und Schwächen im Hör- und Leseverstehen der Testpersonen zu diag-nostizieren. Da jedem Item eine spezifische Hör- bzw. Leseverstehensstrategie zugrunde liegt (vgl. oben, Abschnitt 4), können grundsätzlich diagnostische Informationen auf der Ebene der einzelnen Items gegeben werden. Wurde ein Item nicht richtig gelöst, so liegt wahrscheinlich ein Defizit in dieser Strategie vor. Es ist jedoch aus psycholinguistischer und testtheoretischer Sicht sinnvoll, Items / Strategien in Gruppen zusammenzufassen, wie dies auch in den Kom-petenzmodellen der Fall ist. Daher werden sowohl für das Hör- als auch das Leseverstehen je drei Scores rückgemeldet: • Listening Total (Gesamteinschätzung der rezeptiven mündlichen Kompetenz) • Direct Meaning Comprehension • Inferred Meaning Comprehension • Reading Total (Gesamteinschätzung der rezeptiven schriftlichen Kompetenz) • Expeditious Reading • Careful Reading Alle Beteiligten erhalten unter ihren Zugangscodes sowohl grafische Darstellungen der Er-gebnisse als auch eine verbale Beschreibung, wie die einzelnen Skalen und Bereiche zu inter-pretieren sind. Die grafische Darstellung ist für alle Ebenen (SchülerInnen, LehrerInnen, Schulen, Schulaufsicht) gleich, nur bei den verbalen Beschreibungen gibt es eine einfachere Version für die SchülerInnen und eine Version für die ExpertInnen (Lehrpersonen, Schullei-tung, Schulaufsicht). 6.3.1 Welche Rückmeldungen erhalten die SchülerInnen? Den SchülerInnen wird bei der Rückmeldung folgender erklärender Text angeboten: Deine Leistung beim E8-Standardstest kannst du auf ‘Fitnessskalen’ für einzelne Bereiche ablesen. Du kannst deine Leistung auf folgenden 6 Skalen sehen, die jeweils von 0 (überhaupt nicht fit) bis 100 (total fit) reichen. Diese Skala ist für alle getesteten Schülerinnen und Schüler in allen Leistungsgruppen und Schultypen dieselbe. Jede dieser 6 Skalen hat auch noch eine Zusatzskala, auf der du ablesen kannst, wo du im Vergleich zu allen getesteten Schülern und Schülerinnen in deiner Leistungsgruppe stehst. Wenn du dort einen Score von z.B. 60 hast, dann bedeutet das, dass du besser als - oder gleich gut wie - 60% aller getesteten Schüler und Schülerinnen deiner Leistungsgruppe abgeschnitten hast.

16

1. Listening Total Hier siehst du eine Gesamteinschätzung deiner Fähigkeit, gesprochenes Englisch zu ver-stehen. Deine Stärken und Schwächen können dabei in Direct Meaning Comprehension oder in Inferred Meaning Comprehension oder in beiden Bereichen liegen.

2. Direct Meaning Comprehension

Wenn du fit in Direct Meaning Comprehension bist, dann kannst du beim Zuhören mü-helos erkennen, worum es geht, du kannst Wichtiges von weniger Wichtigem unterschei-den, Meinungen von Tatsachen unterscheiden und Anweisungen genau verstehen.

3. Inferred Meaning Comprehension

Wenn du fit in Inferred Meaning Comprehension bist, dann kannst du beim Zuhören auch Dinge verstehen, die nur angedeutet und nicht ganz klar ausgedrückt werden, du kannst die Stimmung der SprecherInnen erkennen, du erkennst, in welcher Situation ein Ge-spräch stattfindet, du verstehst, was der Sprecher oder die Sprecherin erreichen will, und du verstehst Wörter, die du nicht kennst, aus dem Zusammenhang.

4. Reading Total

Hier siehst du eine Gesamteinschätzung deiner Fähigkeit, Englisch zu lesen. Deine Stär-ken und Schwächen können dabei in Expeditious Reading oder in Careful Reading oder in beiden Bereichen liegen.

5. Expeditious Reading

Wenn du fit in Expeditious Reading bist, dann kannst du schnell erkennen, was für eine Art von Text du vor dir hast, worum es darin hauptsächlich geht, und wozu der Text überhaupt geschrieben wurde. Dazu brauchst du den Text nicht sorgfältig Wort für Wort zu lesen, sondern ihn nur rasch durchzulesen.

6. Careful Reading

Wenn du fit in Careful Reading bist, dann kannst du Texte in ihren Einzelheiten gut ver-stehen. Du findest und verstehst genaue Anweisungen, wie etwas zu tun ist, du kannst Wichtiges von weniger Wichtigem unterscheiden, erkennen, ob der Text eine Meinung oder Tatsachen beschreibt, verstehen, wie der Text aufgebaut ist, du verstehst auch Dinge, die im Text nicht wörtlich ausgedrückt sind und du kannst Wörter, die du noch nicht kennst, aus dem Textzusammenhang verstehen.

17

6.3.2 Welche Rückmeldungen bekommen die LehrerInnen, die Schulleitung, die Schul-aufsicht?

Dieser Personenkreis erhält folgenden erklärenden Text: 1. Listening Total

Betrifft die Gesamteinschätzung der rezeptiven mündlichen Kompetenz. Stärken oder Schwächen können sowohl im Bereich Direct oder Inferred Meaning Comprehension lie-gen.

2. Direct Meaning Comprehension

Beim Hörverstehen mit dem Augenmerk auf konkrete Aussagen (Direct Meaning Comprehension) wird überprüft, ob die Testpersonen in einem Hörtext vordergründige Inhalte (listening for gist) erkennen und/oder Hauptideen (main ideas) bzw. spezifische Informationen (specific information) verstehen können. Direct meaning comprehension erfasst sowohl allgemeines Hörverstehen (listening for gist), bei dem nicht jedes einzelne Wort verstanden werden muss, als auch genaues Hör-verstehen, bei dem konkret gemachte Aussagen verstanden werden müssen (listening for main ideas or specific information).

3. Inferred Meaning Comprehension

Beim Hörverstehen mit dem Augenmerk auf Schlussfolgerungen (Inferred Meaning Comprehension) wird überprüft, ob die Testpersonen aus den Informationen in einem Hörtext Rückschlüsse ziehen oder Ableitungen herstellen können. Diese Rückschlüsse oder Ableitungen beziehen sich auf das Verstehen von impliziten In-halten, Einstellungen der SprecherInnen, sozialen oder situativen Zusammenhängen, kommunikativen Funktionen, unbekannten lexikalischen Elementen und auch phonologi-schen Merkmalen.

4. Reading Total

Betrifft die Gesamteinschätzung der rezeptiven schriftlichen Kompetenz. Stärken oder Schwächen können sowohl im Bereich Expeditious oder Careful Reading liegen.

5. Expeditious Reading

Beim schnellen Lesen (Expeditious Reading) wird überprüft, ob die Testpersonen einem Text rasch allgemeine Informationen entnehmen (reading for general understanding) und wesentliche Inhalte (gist) erkennen können. Expeditious Reading erfasst allgemeines Textverständnis (general comprehension), bei dem nicht jedes einzelne Wort verstanden bzw. genau ‚er’lesen werden muss, sondern bei dem vordergründige Informationen (surface-level information) abgefragt werden. So muss man einerseits die Textsorte, die Thematik oder den Zweck, warum ein Text ge-schrieben worden ist, erkennen können, andererseits geht es aber auch darum, einen Text gezielt zu überfliegen, um spezifische Details (Namen, Zahlen, Daten oder andere vordergründige Informationen) rasch zu finden.

6. Careful Reading

Beim genauen Lesen (Careful Reading) geht es darum zu ermitteln, ob der Inhalt im Detail verstanden wird. Es wird überprüft, ob die Testpersonen die Hauptideen (main ideas) und/oder die wichtigen Details in einem Text erkennen können. Dazu ist es nötig, Fakten, Meinungen oder Definitionen im Text zu finden, zu verstehen

18

und diese gegebenenfalls zu vergleichen und/oder den logischen Aufbau eines Textes zu erfassen, zum Beispiel die Verbindungen zwischen Ideen im Text zu verstehen (Problem - Lösung, Ursache - Auswirkung, zeitliche Abfolge etc.). Weiters müssen die Testpersonen kohäsive Beziehungen verstehen (Referenz, Ellipse, Substitution, Konjunktion, lexikale Kohäsion) und/oder aussagelogische Folgerungen machen können (z.B. Informationen, die nicht explizit gegeben sind, von explizit gegebe-ner Information unterscheiden oder unbekannte lexikalische Elemente aus dem Zusam-menhang erschließen).

7 Wie werden die Tests auf den GER abgestimmt (Linking)?

Anders als in den Fächern Mathematik und Deutsch als Muttersprache soll die Rückmel-dung für Englisch in Zukunft in erster Linie kriteriumsreferenziert unter Bezugnahme auf den GER erfolgen. Der GER ist ein komplexes, detailliert ausformuliertes und theoretisch fundiertes Kriterium, das internationale Akzeptanz genießt. Durch die Verwendung dieses Kriteriums für die Rückmeldung finden die österreichischen Bildungsstandards für Eng-lisch Anschluss an die internationale Praxis, in der Lernerträge und Kompetenzen in Zweit- oder Fremdsprachen durchweg unter Bezug auf den GER beschrieben werden. Um die Ergebnisse der E8-Standardstestung unter Bezugnahme auf den GER interpretierbar zu machen ist allerdings erhebliche konzeptuelle und empirische Entwicklungsarbeit not-wendig, der am Klagenfurter Sprachtestzentrum (LTC) hohe Priorität eingeräumt wird.

Seit November 2005 wurden unter der Leitung des Klagenfurter LTC rund 300 Test-items für Hörverstehen und Leseverstehen entwickelt. Diese Items befinden sich in einem mehrstufigen Itemarchiv, aus dem sie nach ihrem Einsatz in Pilottestungen in eine Item-bank integriert werden. Die Methodologie für die Einstufung der Items in den GER (Linking) orientiert sich im Wesentlichen am Manual for Relating Language Examinations to the Common European Framework und dem dazugehörigen Reference Supplement.14 Sämtliche bei der ersten Haupttestung im Mai 2006 verwendeten 100 Hör- und Leseverstehensitems wurden von einem dreizehn-köpfigen Team hinsichtlich ihrer Schwierigkeit bezogen auf die entsprechenden Skalen des GERs beurteilt.

Für die Bewertung der Testitems wurden dreizehn AssessorInnen ausgewählt, die alle praktizierende LehrerInnen auf der 8. Schulstufe in Allgemeinbildenden Pflichtschulen (APS) oder Allgemeinbildenden Höheren Schulen (AHS) sind. Die Rekrutierung erfolgte auf der Basis von Interessensbekundungen der einzelnen LehrerInnen. Sämtliche AssessorInnen sind auch Mitglieder des neunzehn-köpfigen Beurteilungsteams für schriftliche Produktion und bringen daher auch Expertise aus dem AssessorInnentraining für die Beurteilung schriftlicher Produktion mit.

Zu Beginn eines zweitägigen Workshops wurden die 13 AssessorInnen zunächst mit der Globalskala des GER und anschließend mit den Skalen für die rezeptiven Fertigkeiten vertraut gemacht. Dies erfolgte durch Sortierungsaufgaben, in denen die AssessorInnen die Niveaubeschreibungen (Deskriptoren) für die einzelnen Skalen in die korrekte Reihen-folge bringen mussten. Etwaige Diskrepanzen wurden in Diskussionen unter den Assesso-rInnen sowie mit den WorkshopleiterInnen aufgelöst. Nach Herstellung des Konsenses bezüglich der Reihenfolge der Deskriptoren auf den einzelnen Skalen wurden den Asses-sorInnen Items vorgelegt, die auf internationaler Ebene bereits in einem ähnlichen Verfahren kalibriert worden waren. Die AssessorInnen bewerteten diese Items hinsichtlich

14 http://www.coe.int/T/DG4/Portfolio/?L=E&M=/documents_intro/Manual.html (19.02.2007) und http://www.coe.int/T/DG4/Portfolio/documents/CEF%20reference%20supplement%20version%203.pdf (19.02.2007)

19

ihrer Schwierigkeit in Bezug auf den GER und hatten Gelegenheit, nach Bekanntgabe des Schwierigkeitsgrades der Items ihre Einschätzungen zu diskutieren und gegebenenfalls zu relativieren und zu adaptieren. Dieser Prozess wurde so lange durchlaufen, bis ein nach Erachten der WorkshopleiterInnen hinreichendes Maß an Übereinstimmung unter den AssessorInnen erreicht wurde.

Den AssessorInnen wurden folgende Fragen gestellt, um die Beurteilung der Items zu leiten:

� ‘What level does a learner minimally have to be in the CEF in order to solve this

item?’ (Auf welchem Niveau des GER muss sich ein Lerner mindestens befinden, um dieses Item zu lösen?)

� ‘For learners within this level, is the item EASY, MEDIUM or DIFFICULT?’ (Ist das Item für einen Lerner auf diesem Niveau EINFACH, MITTELSCHWER oder SCHWIERIG?)

Die AssessorInnen trugen ihre Beurteilungen in ein entsprechendes Formblatt ein, das ge-trennte Spalten für die Beantwortung der beiden Fragen enthielt. Die Beurteilung der Hör-verstehensitems erfolgte am zweiten Workshoptag. Die Vorgangsweise war analog zur Beur-teilung der Leseverstehensitems. Durch diese Vorgangsweise werden Daten gewonnen, die die Voraussetzung für eine empirisch fundierte Einstufung der Items in den GER darstellen. Eine detaillierte Darstellung des Einstufungsprozesses (Linking) erfolgt in einem gesonderten technischen Bericht (Sigott et al., in Vorbereitung).

20

Bibliographie Bachman, L.F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford

University Press. Bildungsstandards. In: Der fremsprachliche Unterricht Englisch. Heft 81 (Mai 2006). Europarat (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren,

beurteilen. Berlin: Langenscheidt. Europarat (2003). Relating Language Examinations to the Common European Framework of

Reference for Languages: Learning, Teaching, Assessment. Preliminary Pilot Version. Strasbourg: Council of Europe.

Gassner, O., Horak, A., Mewald, C., Moser, W., Schober, M., Stefan, F.& Valsky, C. (2005). Bildungsstandards in Österreich. Fremdsprachen. Englisch 8. Schulstufe. Version Sep-tember '05. Hrsg. v. bmbwk. Wien: Bundesministerium für Bildung, Wissenschaft und Kultur.

Gassner, O., Mewald, C. & Sigott, G. (2007a). Testing Reading: Specifications for the E8-Standards Reading Tests. LTC Technical Report 2. Language Testing Centre, Alpen-Adria-Universität Klagenfurt.

Gassner, O., Mewald, C. & Sigott, G. (2007b). Testing Writing: Specifications for the E8-Standards Writing Tests. LTC Technical Report 4. Language Testing Centre, Alpen-Adria-Universität Klagenfurt.

Kubinger, K., Frebort, M., Holocher-Ertl S. & Pletschko, T. (2006). Standard-Tests zu den Bildungsstandards in Österreich. Test- und Beratungsstelle, Universität Wien.

Mewald, C., Gassner, O. & Sigott, G. (2007). Testing Listening: Specifications for the E8-Standards Listening Tests. LTC Technical Report 3. Language Testing Centre, Alpen-Adria-Universität Klagenfurt.

Mewald, C., Gassner, O. & Sigott, G. (in Vorbereitung). Testing Speaking: Specifications for the E8-Standards Speaking Tests.

Ostermeier, Ch. & Prenzel, M. (2002). Standards in der Lehrerbildung. Journal für Lehrerin-nen- und Lehrerbildung 2, (1), 55-60.

Sigott, G., Gassner, O., Mewald, C. (in Vorbereitung). Linking the E8 Tests to the Common European Framework.

Standards. Unterrichten zwischen Kompetenzen, zentralen Prüfungen und Vergleichsarbeiten. Friedrich Jahresheft 23 (2005). Seelze: Friedrich Verlag.

Themenschwerpunkt: Bildungsstandards. In: Erziehung & Unterricht 7-8/2004. Urquhart, A. & Weir, C. 1998. Reading in a Second Language: Process, Product and

Practice. London: Longman. Weir, C. 1993. Understanding and Developing Language Tests. New York: Prentice Hall. Internetquellen http://www.bifie.at (12.01.2007) http://www.bildung-standards.at (10.01.2007) http://www.bmbwk.gv.at/medienpool/887/hs23.pdf (19.02.2007) http://www.bmbwk.gv.at/medienpool/782/ahs8.pdf (19.02.2007) http://www.coe.int/T/DG4/Portfolio/documents/CEF%20reference%20supplement%20versio

n%203.pdf (19.02.2007) http://www.coe.int/T/DG4/Portfolio/?L=E&M=/documents_intro/Manual.html (19.02.2007) http://www.dipf.de/desi (11.01.2007) http://www.ealta.eu.org (19.01.2007) http://www.ealta.eu.org/guidelines.htm (10.02.2007)

21

http://www.iea.nl (11.01.2007) http://www.oesz.at/ (19.02.2007) http://www.pisa.oecd.org (11.01.2007) http://www.uni-klu.ac.at/ltc (19.02.2007) http://www.uni-klu.ac.at/ltc/inhalt/266.htm (19.02.2007) http://www.uni-klu.ac.at/ltc/downloads/Sample_item_reading.pdf (19.02.2007)

22

Anhang: Organigramm des Bildungsstandards – Projekts

Projektleitung:bm:bwk, Sektion IAnton DOBART

Wilhelm WOLF, Brigitta SCHEIBER,Richard STOCKHAMMER, Karl HAFNER, Augustin KERN,

Andreas SCHATZL, Johannes BAUMÜHLNER

Gesamtkoordination:Josef LUCYSHYN (bifie)

wissenschaftlicher BereichD4/8 + M4/8

Klaus KUBINGER + TeamUniversität Wien

Testhefte ProgrammierungWolfgang SCHWARZ + Johann ENGLEITNER

Team PH Linz

wissenschaftlicher BereichE8

Günther SIGOTT + TeamUniversität Klagenfurt

Leitung Fachbereichebm:bwk

D4/M4 D8 E8 M8Wilhelm WOLF Karl HAFNER Augustin KERN Richard STOCKHAMMER

Brigitta SCHEIBER Gerhard HABRINGER (PH Linz) Johannes BAUMÜHLNERAndreas SCHATZL (Testungen: Ablauf und Rückmeldungen)

in Zusammenarbeit mit Teams von LehrerInnen und FachpädagogInnenim Bereich E8 in Zusammenarbeit mit dem Österreichischen Sprachen-Kompetenz-Zentrum (ÖSZ)

Betreuung BundesländerLandeskoordinatorInnen

Betreuung FachbereicheLandesfachkoordinatorInnen

Pilotschulen