Анализ реформ в образовании в странах Балтии и в России.

Исследование с применением смешанного дизайна

Татьяна Хавенсон, НИУ ВШЭ

Мартин Карной, Университет Стэнфорда, НИУ ВШЭ

23 июля 2015, Летняя школа, мастерская «Образование»

Международные исследования школьного образования

29.07.2015 2

• Тренды в изучении математического и естественно-научного образования

• Математика и естествознание

• 4 и 8 классы

• Раз в 4 года, начиная с 1995 года

• http://timss.bc.edu

TIMSS

• Программа международной оценки обучающихся

• Чтение, математика и естествознание

• 15-летняя когорта (школьники и студенты проф.ОУ)

• Раз в 3 года, начиная с 2000

• http://www.oecd.org/pisa

PISA

Международные исследования школьного образования

29.07.2015 3

Обучение

Страна

Класс

Уче ник

Школа

Кто опрашивается:

0. Тест

1. Школьники

2. Учителя (только в TIMSS)

3. Администрация школы

4. Анкета об учебном процессе (одна для страны)

TIMSS – тест про школьные знания и навыки

PISA – тест про применение знаний в реальной жизни

Постановка исследования и предыстория исследования

29.07.2015 4

Мы делали более методологическую работу (слои сэп и сдвиги в выборке). И интерпретируя некоторые результаты, поняли, что это может быть самостоятельным исследованием.

Исследовательский вопрос: какие шаги реформ привели к росту результатов в PISA в странах Балтии

Лонгитюдный аспект и глубинный анализ проводимых реформ

Предпосылки исследования

29.07.2015 5

Работы по формированию образовательной политики. Откуда страна черпает идеи. Основные типы: интерес или заимствование ОП (policy attraction/borrowing), совместное выстраивание ОП (policy negotiation), навязывание ОП (policy imposition), и смешивание ОП (policy hybridization) (Dale, 1999; Philips, 1989; Spreen, 2004; Steiner-Khamsi, 2004; Brent, 2013).

Сравнительные исследования в образовании – инструмент для выстраивания образовательной политики. Менее успевающие страны склонны копировать образовательные модели более успевающих. (Plomp, 1998; Alexander, 2001; Porter & Gamoran, 2002; Auld & Morris, 2014).

Изучение Эстонии, Латвии и России вместе. Исследовательские возможности

29.07.2015 6

Натуральный эксперимент

Много общего в системе образования до конца 1980-х.

Около 25% школ с русским языком преподавания. Проведение PISA на государственном и на русском. Возможность сравнения не страны в целом, а именно подгрупп в каждой стране.

Образование учителей - в СССР (в РСФСР).

Инерционность школ с русским языком преподавания в Прибалтике.

Четкие временные точки начала и основных шагов реформ.

Одинаковые стартовые позиции с т.зр. PISA и TIMSS.

К настоящему моменту добились каких-то результатов в образовании.

Методология. Смешанный дизайн.

29.07.2015 7

Последовательное применение сначала количественного, потом качественного подхода. (Leech & Onwuegbuzie, 2009; Morgan, 2013)

Количественный

Общие тенденции в результатах PISA

Динамика

Статистические выводы

Регрессионные модели

Качественный

Сбор информации на «низовом» уровне

Восприятие реформ

Уровень осуществления ОП

Объяснение результатов самими участниками

Интервью

Результаты

29.07.2015 8

Реформы в Латвии и Эстонии

Описательная статистика

Внутри стран Балтии

Сравнение с Россией

Регрессионные модели

Интервью

Реформа в Латвии (р/я школы)

29.07.2015 9

Год PISA

2012 Четвертый поток реформы

2009 Первый поток реформы

2006 Не попали в реформу

Класс школы 1 2 3 4 5 6 7 8 9 10 11 12

Общие тенденции: гос.стандарт (1995, 1998) – ориентирован на «современные методы», больше практики, «problem solving» задачи. Автономия школ в построении собственной программы.

Конец обязательного обучения – 16 лет.

Совместное выстраивание и заимствование, выравнивание с Западной Европой в части программы

2000 год – официальное начало реформы р.я. школ, но пока не массовое распространение. Основа: билингвальное образование.

Реформа начиналась в начальных классах.

Массовое переобучение учителей. В т.ч. новым методам работы.

Реформа в Эстонии (р/я школы)

29.07.2015 10

Общие тенденции: гос.стандарт (1996, 2011) – компетентностный подход, больше практики, активного обучения, «problem solving» задачи.

Автономия школ в построении собственной программы. Конец обязательного обучения – 16 лет. Совместное выстраивание и заимствование, выравнивание с Западной

Европой 2006 год. Активное внедрение сразу в средней школе. Функциональное

чтение, связь с реальной жизнью, включение заданий в “стиле PISA” в ежедневные уроки.

Экзамены в 3, 6, 9, 12 классе. Во многом в “стиле PISA”. Билингвальное обучение как эксперимент с 2000 г.

Год PISA

2012 Только в средней школе

2009 Первый поток реформы

2006

Класс школы 1 2 3 4 5 6 7 8 9 10 11 12

Данные количественного этапа

29.07.2015 11

PISA 2006, 2009 & 2012

Всего в 44221 наблюдения. Выборка делилась на пять подгрупп:

Эстония

Эстонский яз. в школе (444 шк., 11287 чел.)

Русский яз. в школе (117 шк., 3069 чел.)

Латвия

Латышский яз. в школе (452 шк., 9914 чел.)

Русский яз. в школе (149 шк., 3613 чел.)

Россия (649 шк., 16338 чел.)

Результаты PISA в разрезе СКС

29.07.2015

12

420

440

460

480

500

520

540

560

580

2006 2009 2012

PISA Math. Высокий СКС

420

440

460

480

500

520

540

560

580

2006 2009 2012

PISA Math. Низкий СКС

420

440

460

480

500

520

540

560

580

2006 2009 2012

PISA Math. Средний СКС

Эстония – Эстонский Эстония – Русский Латвия – Латышский Латвия – Русский Россия

Результаты PISA. Латвия

29.07.2015 13

420

440

460

480

500

520

540

2006 2009 2012

PISA Math

420

440

460

480

500

520

540

2006 2009 2012

PISA Reading

реф. нач.школы 420

440

460

480

500

520

540

2006 2009 2012

PISA Science

в ест.науках реф. начались раньше

Высокий СКС Средний СКС Низкий СКС Латышский язык в школе Русский язык в школе

Би

ли

нгв

. о

буч

.

Результаты PISA. Эстония

29.07.2015 14

420

440

460

480

500

520

540

560

580

2006 2009 2012

PISA Math

390

410

430

450

470

490

510

530

550

570

2006 2009 2012

PISA Reading

реф. ср.школы

420

440

460

480

500

520

540

560

580

600

2006 2009 2012

PISA Science

Высокий СКС Средний СКС Низкий СКС Эстонский язык в школе Русский язык в школе

Выводы

29.07.2015 15

Результаты по математике и естествознанию близки в 4 из 5 групп.

В чтении отрыв школ эстонским языком обучения не так велик.

С 2009 года рост результатов в русскоязычных школах.

В целом по Латвии к 2012 г. русскоязычные школы догнали школы с государственным языком обучения по математике и естествознанию, обогнали по чтению.

В Латвии и Эстонии разные паттерны результатов школ с государственным и нет языком обучения.

В обеих странах прирост 2009-2012 больше в школах с русским языком обучения.

Регрессионные модели

29.07.2015 16

AiS = 0 + jXij + iYi + k (C*L)ik + j + ei

Зависимая переменная (AiS) – баллы PISA (по чтению, математике или естествознанию)

Xij – социально-экономическое положение семьи ребенка

Yi – средний уровень социально-экономического положения в классе

(C*L)ik – группа страна*язык преподавания в школе (анализ 5 подгрупп, референтная группа - Россия)

СЭП – количество книг в доме, образование матери

Модель строилась для трех волн PISA (2006, 2009 и 2012) и для трех групп СКС: низкий, средний, высокий (на основе вопроса про количество книг)

Регрессия. Результаты

29.07.2015 17

MATHEMATICS READING SCIENCE

2006 2009 2012 2006 2009 2012 2006 2009 2012

26-200 BH 0.30*** 0.26*** 0.39*** 0.37*** 0.34*** 0.33*** 0.33*** 0.29*** 0.42***

>200 BH 0.60*** 0.54*** 0.64*** 0.58*** 0.60*** 0.59*** 0.55*** 0.58*** 0.66***

M’s Ed < Secondary -0.28** -0.14 -0.28** -0.26** -0.25** -0.19* -0.25** -0.18* -0.21**

M’s Ed University 0.17*** 0.25*** 0.22*** 0.14*** 0.22*** 0.31*** 0.16*** 0.24*** 0.29***

Avg. BH/School 0.17*** 0.21*** 0.16*** 0.22*** 0.23*** 0.25*** 0.19*** 0.19*** 0.19***

Estonia-Estonian 0.38*** 0.52*** 0.47*** 0.63*** 0.41*** 0.47*** 0.52*** 0.58*** 0.67***

Estonia-Russian -0.08 0.12 0.20*** -0.13 0.14** 0.19*** -0.01 0.20*** 0.37***

Latvia-Latvian 0.04 0.24*** 0.17*** 0.35*** 0.33*** 0.21*** 0.04 0.26*** 0.28***

Latvia-Russian -0.02 0.16** 0.21*** 0.22*** 0.24*** 0.39*** -0.09* 0.12 0.27***

R2 0.12 0.15 0.13 0.15 0.17 0.18 0.13 0.13 0.17

Observations 15157 14187 13884 15157 14187 13884 15157 14187 13884

Регрессия. Сравнение с Россией

29.07.2015 18

Эстония (русск.яз) Латвия (русск.яз)

2006 2009 2012 2006 2009 2012

Математика

Низкий СКС – +

Средний СКС + + + +

Высокий СКС + + +

Чтение

Низкий СКС – + + +

Средний СКС + + + + +

Высокий СКС + + + +

Естествознание

Низкий СКС – + – +

Средний СКС + + +

Высокий СКС + + + +

Выводы

29.07.2015 19

К 2012 все группы обогнали соответствующие группы в России.

Латвия начала реформы раньше, поэтому к 2009 году эффект был сильнее.

Эстония начала после 2006, но сразу в средней школе, поэтому к 2012 пришла к таким же результатам. Более быстрый эффект.

Школы с латышским языком в группах низкого и среднего СКС в 2006 году по математике и естествознанию и в группе низкого СКС по математике в 2012 результаты равны, в остальных группах СКС и годах выше.

Школы с эстонским языком всегда выше во всех группах СКС и годах.

Поиск объяснения в количественной парадигме не принес удовлетворительных результатов. Поэтому мы начали качественный.

Типы информации о системе образования

29.07.2015 20

•стандарты •законы •программы •учебные планы и пр. •проводимые мероприятия и пр.

1. Намерения

•что происходит на уроках •что фактически умеют и делают педагоги •как используется обратная связь в системе и пр.

2. Осуществление

•достижения школьников, например, PISA

3. Результат

PISA дает информацию об уровне 3, но практически не дает о 1 и 2.

(Robitaille, 1993; Plomp, 1998)

Качественный этап

29.07.2015 21

Интервью:

Школа: директор и завуч, 1 урок.

Экспертные интервью с людьми из министерства образования и с людьми, проводящими PISA.

Эстония. 7 школ (Таллинн, Нарва, Кохтла-Ярве). Ноябрь 2013.

Латвия. 6 школ (Рига). Июнь 2013

Контрольные интервью в России

Гайд

29.07.2015 22

Общая информация о школе Состав учащихся: близлежащие районы или нет; отбор в школу. Русскоязычное население в Эстонии. это какой-то определенный слой общества или нет? А в Вашей школе? Учебная программа Автономия школ при выборе программ, учебников. Процедура (УМК…) Есть ли примеры того, как какая-то тема или предмет преподаются по-разному в школах с русским эстонским языком обучения? Отличия от советской системы. Полностью ли поменялась программа, стили преподавания

Гайд

29.07.2015 23

Стили преподавания Как работают учителя с детьми из разных социальных слоев, с разными способностями Индивидуализация, групповая работа Подготовка учителей Где и когда получали ВО Экзамены, тесты В каком виде; по каким предметам; в каких классах Участие в международных исследованиях Знают ли о PISA и TIMSS. Отношение к PISA и TIMSS, мотивация к участию

Что происходит в школах. 1

29.07.2015 24

Учебники

Практика

Реальная

жизнь

Эксперименты

Собственные

материалы

PISA-стиль

Более позитивн

ый настрой

в Э

Учителя

Образование в

РСФСР

«Метод.объединени

я» в школах

Сдержанность в оценках компетентностного подхода и ухода от

глубоких знаний, но активное применение

Билингвальное

обучение

Толчок вперед по всем предметам

(Латвия)

Необходимость (Л и Э)

Позитивный

настрой (больше

Э)

Что происходит в школах. 2

29.07.2015 25

Учебная програм

ма

Практика

Реальная жизнь

Функциональное чтение

Мета-предмет

ные навыки

PISA-стиль

Участие в PISA

В Эстонии серьезное и позитивное отношение

PISA влияет на содержание программ и

итоговых тестов

Повышение

квалификации

Разнообразие

Актуальность

Поддержка

участия в ПК

Канал распростра

нения установок и ценностей

Что происходит в школах. 3

29.07.2015 26

Педагогические

практики

Индивидуализация внутри

урока Индивидуализация

траектории

Применение

знаний

Проекты

Естествознание – очень практико-

ориентированное

Музеи

Дружелюбная

атмосфера

Активное обучение

Учителя полностью разделяют

эти практики

Выводы

29.07.2015 27

В интервью отразились те практики, которые присутствуют в школах Латвии и Эстонии с момента начала реформ.

Их большее распространение и усиление со временем совпадает по времени с улучшением результатов.

В Латвии эти практики в большей степени свойственны именно школам с русским языком обучения (реформа 2000). В Эстонии обоим типам школ.

Отсутствие большинства этих практик в российских школах позволяет говорить, что именно они «сдвинули» Эстонию и Латвию вверх в достижениях PISA и позволили к 2012 году достичь более высоких, чем у России результатов.

В Эстонии более высокий уровень принятия нововведений, их интериоризации. Из интервью видно, что министерство образования предприняло для этого больше шагов.

Куда дальше?

29.07.2015 28

Как развить линию с СКС?

Где грань между анализом реформ и «what works»?

Спасибо за внимание!

Татьяна Хавенсон

xtanya@gmail.com

29 29.07.2015

29.07.2015 30

Эстония Латвия

2006 2009 2012 2006 2009 2012

Математика

Низкий СКС -0.21** 0.16*

Средний СКС 0.18** 0.23*** 0.19** 0.24***

Высокий СКС 0.39*** 0.24** 0.39***

Чтение

Низкий СКС -0.24* 0.20** 0.19* 0.39***

Средний СКС 0.18** 0.24*** 0.23*** 0.23*** 0.46***

Высокий СКС 0.19* 0.28*** 0.34*** 0.35***

Естествознание

Низкий СКС -0.20* 0.40*** -0.26** 0.33***

Средний СКС 0.25*** 0.36*** 0.27***

Высокий СКС 0.24** 0.47*** 0.18* 0.30***

Heterogeneity. Mathematics

29.07.2015 31

MATHEMATICS Low SCS Middle SCS High SCS

2006 2009 2012 2006 2009 2012 2006 2009 2012

SCS Yes Yes Yes Yes Yes Yes Yes Yes Yes

Estonia-Estonian 0.29*** 0.59*** 0.42*** 0.37*** 0.53*** 0.46*** 0.45*** 0.52*** 0.65***

Estonia-Russian -0.21** 0.13 0.14 -0.03 0.18** 0.23*** -0.07 0.11 0.39***

Latvia-Latvian -0.03 0.15** 0.11 0.04 0.28*** 0.18*** 0.12* 0.33*** 0.30***

Latvia-Russian -0.22 0.02 0.16* 0.00 0.19** 0.24*** 0.04 0.24** 0.39***

Constant -0.58*** -0.75*** -0.50*** -0.24*** -0.43*** -0.24*** 0.04 -0.28*** -0.16

R2 0.03 0.03 0.03 0.04 0.08 0.06 0.08 0.15 0.09

N 2798 3044 3604 8091 7681 7175 4268 3462 3105

Heterogeneity. Reading

29.07.2015 32

READING Low SCS Middle SCS High SCS

2006 2009 2012 2006 2009 2012 2006 2009 2012

SCS Yes Yes Yes Yes Yes Yes Yes Yes Yes

Estonia-Estonian 0.59*** 0.55*** 0.48*** 0.61*** 0.40*** 0.45*** 0.70*** 0.43*** 0.57***

Estonia-Russian -0.24* 0.15 0.20** -0.09 0.18** 0.24*** -0.12 0.14 0.19*

Latvia-Latvian 0.27*** 0.32*** 0.18** 0.34*** 0.36*** 0.25*** 0.43*** 0.36*** 0.22**

Latvia-Russian 0.11 0.19* 0.39*** 0.23*** 0.23*** 0.46*** 0.28*** 0.34*** 0.35***

Constant -0.86*** -0.71*** -0.48*** -0.45*** -0.32*** -0.21*** -0.27*** -0.25*** -0.11

R2 0.06 0.05 0.06 0.07 0.08 0.12 0.1 0.17 0.13

N 2798 3044 3604 8091 7681 7175 4268 3462 3105

Heterogeneity. Science

29.07.2015 33

SCIENCE Low SCS Middle SCS High SCS

2006 2009 2012 2006 2009 2012 2006 2009 2012

SCS Yes Yes Yes Yes Yes Yes Yes Yes Yes

Estonia-Estonian 0.39*** 0.66*** 0.73*** 0.48*** 0.58*** 0.61*** 0.66*** 0.59*** 0.79***

Estonia-Russian -0.20* 0.17 0.40*** -0.01 0.25*** 0.36*** 0.07 0.24** 0.47***

Latvia-Latvian -0.03 0.23*** 0.35*** 0.04 0.29*** 0.24*** 0.13** 0.30*** 0.33***

Latvia-Russian -0.26** 0.06 0.33*** -0.08 0.12 0.27*** -0.02 0.18* 0.30***

Constant -0.64*** -0.78*** -0.68*** -0.28*** -0.40*** -0.29*** -0.08 -0.26** -0.22

R2 0.04 0.03 0.06 0.05 0.05 0.08 0.09 0.14 0.09

N 2798 3044 3604 8091 7681 7175 4268 3462 3105