Подлинные результаты образования: анализ траекторий

Подлинные результаты образования: анализ траекторий

И.ФруминЭврика (Москва)

2013

1

Образование – то, что остается, после того, как забыл все, чему учили…• оценки на выпускных экзаменах?• профессиональные экзамены?• опыт (портфолио)?• жизненный успех?• эффективная работа на благо страны?

Как оценить результаты\эффекты образования?

2

• впечатления и здравый смысл как основа педагогических исследований

• 0% педагогических диссертаций использует точные количественные методы, нет анализа отдаленных эффектов

• середина 20 века – анализ факторов образовательных и жизненных достижений (связь прошлого и настоящего)

• середина 20 века - лонгитюды,• конец 20 века – сравнительные исследования, кросс-

культурные исследования

Слабость исследовательской базы

3

Исследования микродинамики

• Связь результатов с исходными характеристиками (социальным и культурным капиталом)

• Микротраектории – зависимость следующего шага образования или перехода «школа-работа» от результатов обучения на предыдущих ступенях

ПРОБЛЕМА «БЛИЗКОДЕЙСТВИЯ»

4

Исследование траекторий

• Этнография (длительные наблюдения динамики) – Цукерман, Эльконин и Драгунова, Мухина, Ф.Джексон

• Фильм «Рожденные в СССР»• Изучение устройства на работу и

заработной платы выпускников • Ретроспективный анализ траекторий

выпускников (ретротрейсинг)

5

Ретротрейсинг

• Фильм «Наш класс»• Исследования выпускников университетов • «Следы школы» - исследование

выпускников школ: Томск и Красноярск (20, 15, 10, 5 лет после выпуска) - сравнение школ

6

Следы школы

• Отличаются ли траектории у выпускников разных школ?

• В чем основные отличия?• Как они связаны с

особенностями школы? • В чем вклад школы?

Признаки отличий траекториймасштаб

Изменение стратегии

Образование _____ ______ _____ _______Карьера _____ ______ _____ _______Гражданская активность _____ ______ _____ Семья _____ ______ _____ _______Здоровье _____ ______ _____ _______

Этапы и методы исследования1 этап• Реферативный обзор зарубежных и российских исследований; • Фокус-группы с выпускниками 1991 и 2001 года выпуска, а также

учителями школы;• Экспертный опрос о структуре траекторий методом Дельфи;2 этап• Анкетный опрос выпускников с глубиной среза до 20 лет в 6 школах

г. Красноярска; • Анализ публичных отчетов школ;• Опрос педагогов школ, участвующих в исследовании;3 этап• Каузометрия

Школы Count Percent1 195 15,330192 285 22,405663 189 14,858494 276 21,698115 261 20,518876 66 5,18006

Поколения Count Percent1 218 17,138362 204 16,037743 393 30,896234 420 33,01887Missing 37 2,90881

1 –от 37 лет и старше, 2- 30-36 лет, 3 – 25-29 лет, 4 – 24 года и младше.

1 и 2 – среднестатистические школы; 4 и 5 – лицей и школа «Универс» 3 и 6 – стагнирующие школы

36, 4 % мужчин и 63,6% -женщин.

Выборка исследования

В качественном исследовании приняло участие 85 человек, трех возрастных групп 18-25 лет, 30-35 лет и 43-50 года из двух типов школ – концептуальной и других

Траектории жизни

0

5

10

15

20

25

30

35

шк.1

шк.2

шк.3

шк.4

шк.5

шк.6

Среднестатистические школы

• Наименьшая доля выпускников с высшим образованием• Наибольшая доля выпускников, закончившая только 11

классов• Выбор первого вуза как «запасного» варианта• Изменение специальности по причине «понял, что не

мое»• Высокая успеваемость в вузе• Выпускники характеризуют атмосферу школы как

свободную и объединяющую• Выпускники считают, что школа помогла им:• получить прочные знания• подготовила к поступлению в вуз• научила иметь и отстаивать свое мнение

Экспериментальная школа и лицей

- Большинство выпускников имеют высшее или незаконченное высшее образование- Выпускники не завершают свое образование в связи с нехваткой денег- Выпускники считают, что школа помогла им:

понять, что они хотятнаучила быть самостоятельныминаучила иметь и отстаивать свое мнение

Показатели дифференциации по уровню среднедушевых доходов в месяц

14

Уровень дохода, руб.

Образовательное учреждение

СОШ 1 СОШ 2 СОШ 3 СОШ 4 СОШ 5 СОШ 6

Средний 8024,725 8330,827 7983,333 8370,155 8349,432 8687,5

Модальный 1156,86 1156,46 1140,85 1154,93 1161,29 4916,67

Децильный коэффициент

дифференциации доходов

27,55 30,13 31,34 29,74 29,76 22,77

Распределение ответов выпускников школ по уровню материальной помощи родителей и/или других родственников (%)

15

Уровень материальной помощи родителей/

родственников

Да, их помощь покрывает

больше половины трат

Да, их помощь покрывает

меньше половины трат

Нет, не оказывают

помощиВсего

СОШ 1 31,6 32,8 35,6 100

СОШ 2 21,3 41,2 37,5 100

СОШ 3 17,6 31,4 51,0 100

СОШ 4 25,5 30,0 44,2 100

СОШ 5 22,4 33,3 44,3 100

СОШ 6 9,8 31,1 59,0 100

Распределение ответов выпускников школ на вопрос о предпринимательском опыте (%)

16

Варианты ответа

Да, и хочу продолжать

Да, но больше не

хочу

Нет, но хочу

заняться

Нет, и не хочу

Затрудняюсь ответить

Всего

СОШ 1 19,7 3,4 37,5 34,1 5,3 100,0

СОШ 2 27,3 1,8 32,7 30,9 7,3 100,0

СОШ 3 12,0 6,8 26,5 40,2 14,5 100,0

СОШ 4 17,4 6,0 29,9 38,6 8,2 100,0

СОШ 5 15,6 7,4 26,2 39,3 11,5 100,0

СОШ 6 16,1 2,8 33,2 34,6 13,4 100,0

Распределение респондентов по возрасту развода

19-22 23-26 27-30 после 300.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

1 2 4 5 3 6

Фактор школы в жизни выпускников

школа 1 школа 2 школа 3 школа 4 школа 5 школа 60

50

100

150

200

250

300

350

400

450

500

1 2 3 4 5 6 7 8 9 10 1112 13 14 15 16 17 18 19 20 21 22

Причины изменения специальности во время учебы в вузе

Понял, что не мое Перевелся, куда хотел Было трудно учиться Другое

0

10

20

30

40

50

60

70

школа 1 школа 2 школа 4 школа 5 школа 3 школа 6

%

Причины создания семьи

0

10

20

30

40

50

60

70

80

Школа 1 Школа 2 Школа 4 Школа 5 Школа 3 Школа 6

%

Хотели иметь детей Все женятся, и мы тоже Были готовы к созданию семьи

Нашли вторую половинку Сами не ведали, что делали Затрудняюсь ответить

Планирование рождения детей выпускниками, имеющих одного ребенка

0

5

10

15

20

25

30

35

40

45

50

Школа 1 Школа 2 Школа 4 Школа 5 Школа 3 Школа 6

%

Нет, ни при каких условиях Нет, надо вырастить тех, кто уже есть Да, непременно

Да, при улучшении мат.условий Да, если оформлю отношения с партнером

Планирование рождения детей выпускниками, не имеющими детей

0

10

20

30

40

50

60

70

80

90

100

Школа 1 Школа 2 Школа 4 Школа 5 Школа 3

%

Нет, ни при каких условиях Да, непременно

Да, при улучшении мат.условий Да, если оформлю отношения с партнером

Уровень удовлетворенности обучением в учебном заведении

0

10

20

30

40

50

60

70

шк.1 шк.2 шк.3 шк.4 шк.5 шк.6

%

Высокий Средний Низкий

Уровень удовлетворенности работой

0

20

40

60

80

100

120

шк.1 шк.2 шк.3 шк.4 шк.5 шк.6

%

Высокий Низкий

Уровень удовлетворенности материальным доходом

0

5

10

15

20

25

30

35

40

шк.1 шк.2 шк.3 шк.4 шк.5 шк.6

%

Высокий Низкий

Уровень удовлетворенности семейной жизнью

0

10

20

30

40

50

60

70

80

90

100

шк.1 шк.2 шк.3 шк.4 шк.5 шк.6

%

Высокий Средний Низкий

Уровень удовлетворенности здоровьем

0

10

20

30

40

50

60

70

80

90

100

шк.1 шк.2 шк.3 шк.4 шк.5 шк.6

%

Высокий Средний Низкий

17.4.12

Мотивационная насыщенность у выпускников Гимназии «Универс» и других

школ

реализованные актуальные потенциальные общее количество связей0

100

200

300

400

500

600

700

Средняя мотивационная насыщенность

«Универс»Другие школы

Причинные Целевые

0

50

100

150

200

250

300

350

400Количество причинных и целевых связей

Гимназия «Универс»

Другие школы

Некоторые выводы относительно выпускников школы «Универс»

•более высокие по сравнению с выпускниками других школ ожидаемые показатели продолжительности жизни;•высока значимость школы с точки зрения достижений в настоящем; •демонстрируют самостоятельность в принятии решения в ситуации неопределенности;

•большая удовлетворенность различными аспектами жизни

•показатели большей осмысленности жизни, с точки зрения собственных содержательных достижений, событие выступает при этом поводом для внутренних изменений и описывается в связи с произошедшими с изменениями.

17.4.12

Лонгитюдные исследования в образовании: преимущества

• «Классические»• Динамическая картина• Установление причинно-следственных связей между

образованием и жизненной траекторией

• «Опциональные»• Возможность изучать социальные и культурные

процессы в формировании • Возможность реконструкции устойчивых комплексов

выборов и последствий (чтобы показать «как работает картина мира» требуется временная перспектива)

30

Лонгитюдная инициатива ВШЭ в международном контексте

Страна США ФРГ

Исследование

National Survey of Youth 1979 (NLSY 1979)

National Education Longitudinal Study (NELS 88)*

National Educational Panel Study (NEPS)

Финансирование

Бюро трудовой статистики США

Национальный центр статистики образования США

Федеральное министерство образования и научных исследований ФРГ

Цели исследования

Изучение опыта возрастной когорты на рынке труда, а также в области образования, семьи и т.д.

Сбор информации широкого спектра: обучение, работа, личная жизнь и т.д.+ тестирование успеваемости

Собрать данные об образовании на протяжении всего жизненного цикла

Структураи количество респондентов

Молодежь 14-22 года при первом интервью в 1979 году.N= около 12,5 тысЕжегодные опросы, затем – раз в 2 года.

Ученики 8 классов опрошены в 1988 году. N= почти 25 тыс.Затем еще 4 волны до 2000 года.

6 возрастных когорт:•МладенцыВыборка около 3 тыс.•Дети в возрасте 4 лет Выборка около 3 тыс.•5классникиВыборка около 6 тыс.•9классникиВыборка около 13,5 тыс.•Студенты 1 курсаВыборка около 32 тыс.•ВзрослыеВыборка около 12 тыс.

*NELS 88 Входит в группу из 5 лонгитюдов Центра статистики для изучения учеников старших классов школы и студентов университетов, запущенных с 1972 по 2009 год.

31

• Траектории в переходных обществах• Парадоксальное влияние «нарушений

норм»• Только 33% без нарушений норм• 8% - устойчивые нарушители• Небольшой отрицательный эффект на

социальное положение в начале 90-х, положительный – в конце 90-х

Исследование Титма (1983-1999)

32

Исследование образовательных и трудовых траекторий

(ИнОбр НИУ ВШЭ, 2009-2027) N респ. 2009 2010 2011 2012 2013 2014 2015Ярославль-1 (школьники)

2 000 1 волна9 классN=2000

2 волна11 класс и=N=«Меченый атом» n=30

follow-up

?←3 волна3-4 курсникиN=«Меченый атом» n=30

Татарстан-1 (школьники)

2 000 1 волна9 классN=2000

2 волна11 класс и=N=

follow-up«Меченый атом» n=30 ?←

3 волна3-4 курсникиN=«Меченый атом» n=30

Ярославль-2 (студенты)

2 000 1 волна4 курсN=2000

2 волнавыпускники 2гN=М.А. n=30

?←3 волнаВыпускники 5лN=«Меченый атом» n=30

Татарстан-2 (студенты)

2 000 1 волна4 курсN=2000

2 волнавыпускники 2гN=

«Меченый атом» n=30

?←3 волнаВыпускники 5лN=«Меченый атом» n=30

Нац. панель (PISA/TIMSS)

5 000 1 волна (зима 2011-12)9 класс N=3800

2 волна11-классникиN=5000;«Меченый атом» n=120

3 волна1-курсники и =N=5000«Меченый атом» n=120

Москва (студенты)

2 000 1 волна1 курсN=2000

2 волна4 курсN=3000 (?);«Меченый атом» n=40

СПб (студенты) 4 000 1 волна1 курсN=4000

2 волна4-курсникиN=4000;«Меченый атом» n=40

Москва (9 класс)

4 000 1 волна9-классN=4000;“Меченый атом” n=40

2 волна11-классникиN=4000«Меченый атом» n=40

Москва (5 класс)

3 000 1 волна9-классникиN=3000«Меченый атом» n=30

33

Уникальность лонгитюда НИУ ВШЭ

• Контекст переходного общества и переходной экономики

• Региональная дифференциация• Уникальная панель, девятиклассников,

прошедших через исследования PISA и TIMSS одновременно

34

Проблема достижимости респондентов: международный опыт

• Проблема достижимости респондентов (осыпание панели) – ключевая проблема лонгитюдных исследований

• Наибольшие потери происходят во второй волне, когда отсеиваются не склонные к сотрудничеству респонденты

• Примеры:

1. NLSY79 (National Longitudinal Survey of Youth, США). Эталонное исследование по этому показателю. Группа: молодежь 14- 21 год, достижимость 78% за 25 лет (1979-2004).

2. NLS (National Longitudinal Survey, США), Группа: молодежь 14-21 год, достижимость 65% за 25 лет (1966-1981).

3. NEPS (National Educational Panel Survey, Германия). Группа: первокурсники университетов, достижимость во 2 волне 80% от количества респондентов в 1 волне (2010 - 2012).

4. Исследование группы Д.Л. Константиновского (Новосибирская обл., 1998-2008): 49% за 10 лет.

5. «Пути поколения» М. Титмы (СССР, бСССР): от 20% (Литва) до 68% (Эстония) за 10 лет.

35

Базовые гипотезы

• Траектория рассматривается как осмысленное целое, которое, тем не менее, может меняться во времени (один и тот же участник исследования может демонстрировать различные представления о собственной траектории в разных волнах).

• Понимание отдельных шагов, событий, решений в рамках одной траектории возможно только с учетом шагов, событий, решений, им предшествоваших, а также планов, представлений о возможном будущем.

• Существуют более или менее массовые, устойчивые и воспроизводимые – типичные жизненные траектории.

• За каждой типичной траекторией стоит «форма жизни», набор взаимосвязанных способов действия и образцов поведения, культурные структуры, «картина мира», словом, особая «рациональность».

36

Исследовательский фокус

•

БЛОКИ ВОПРОСЫБлок 1: Типичные траектории, траектории как «формы жизни»

Реконструкция социальных смыслов и культурных структур основных типичных траекторий. Каковы основные сценарии того, как люди производят важные выборы в жизни? Как формируется «авторитет» типичной траектории, ее убедительность?

Блок 2: Взросление и этапы формирования траектории

Как изменяются процессы взросления в современном мире? Каковы доминирующие сценарии взросления? Как существующие формы образования и профессионализации связаны с возрастными периодами и переходами между ними (подростковый возраст, emerging adulthood, взрослость)?

Блок 3: Факторы и барьеры формирования траектории

Каковы основные ресурсы и барьеры, способствующие или препятствующие получению качественного образования? Насколько устойчив декларируемый выбор образовательной траектории? Как личностные характеристики влияют на успех в образовательных и профессиональных траекториях?

Блок 4: Влияние образования на профессиональную траекторию

Каково влияние образования, условий его получения и факторов контекста на профессиональную карьеру? На семейные роли? Какую роль образование играет в формировании компетенций людей?

Блок 5: Портрет поколения Какова общая картина судеб поколения с точки зрения образовательно-профессиональных траекторий? Какова образования с диффузностью траекторий и устойчивостью траекторий?

Блок 6: Формирование классов Как существующие типичные траектории связаны с классовыми отношениями? Иными словами, в каких случаях и в какой степени траектории молодых людей обладают существенной преемственностью по отношению к характеристикам социальной группы, к которой относятся их родительская семья?

37

Исследовательский фокус

• Основной для исследования является Национальная панель. • Тем не менее, она не позволяет делать репрезентативные

сравнения внутри регионов. Поэтому есть несколько региональных панелей (Ярославль, Татарстан, Москва – студенты и школьники).

• Для того, чтобы более подробно отследить сюжеты выбора образовательной траектории и роли различных факторов (семейных, личностных, культурных, экономических) в выборе образовательной траектории, запущено исследование Московских пятиклассников.

• Каждая панель сопровождается сбором глубинных интервью «Меченый атом» для получения более насыщенных описаний траекторий.

38

Предварительные результаты

1. География респондентов2. Траектории

1. Планы и их реализация среди школьников2. Планы и их реализация среди студентов

3. Успех, взросление и этапы формирования траектории1. Уровень образования2. Переезд

39

1. Текущая География респондентов

40

Планы и их реализация (Ярославль, 2 волна, 2012г.)

16,4%

6,6%

«Продолжу обучение в учрежденииНПО»

42,4%

«Продолжу обучение в 10м классе»

44%

Ушли в НПО

Остались в школе

92,6%

83,2%

41

Успех, взросление и этапы формирования траектории

• Школьники (две волны) и студенты (1 волна) о необходимых для успеха

1. географической мобильности

• Пример анализа траектории с введением категорий (в данном случае «Успех»), отражающий возможные жизненные ориентиры.

42

Успех в жизни связан со сменой места жительства

Внутри региона В другой регион В другую страну0

5

10

15

20

25

30

25.4

23.2

17.817.7

27.7 26.9

Ярославль

9 класс 11 класс

%

43

Внутри региона В другой регион В другую страну0

5

10

15

20

25

30

35

40

45

50

43.8

18.113.4

32.4

2723.6

Татарстан

9 класс 11 класс44

Успех в жизни связан со сменой места жительства

Успех и смена места жительства

• Школьники Татарстана больше привязаны к своему региону. 43% ответили, что успех связан с переездом внутри республики Татарстан. К 11 классу уже сопоставимые доли респондентов считают, что для успеха необходим переезд внутри региона (32,4%) и внутри страны (27%). На 10% выросла доля тех, кто считает, что для успеха необходим переезд в другую страну.

• Хотя даже среди них при переходе в 11 класс растет доля тех, кто считает переезд внутри страны и из страны необходимым условием успеха.

• В Ярославле сопоставимые доли старшеклассников считают необходимым для успеха переезд внутри страны (27,7%) и из страны (26,9%).

45

Аналитические планы

• На основе анализа качественных интервью в качестве тестовых было выделено несколько типов траекторий (среди студентов), к примеру

- Ориентированные на содержание профессиональной деятельности и приоритизация профессиональной деятельности

- Ориентация на принцип («Главное, быть честным с самим собой»)

- Ориентация на маскимизацию материального благосостояния при низких стартовых условиях

- …

46

Аналитические планы

• В отношении всех выделяемых типов траекторий будет производится выделение факторов, (как социально-экономических, так и культурных, т.е. смысловых и символических), их обусловивших.

• Для каждой траектории будет проанализирована роль образования (основного, дополнительного, неформального), значимых персон (родителей, друзей, педагогов), символических ресурсов (книги, фильмы, музыка) в формировании ресурсов принятия решений и представлений о возможностях.

47

Интересные факты о выборе специальности

• Экономическую специальность выбирают скорее те, кто ищут интересную и высокодоходную работу. При этом девушкам, выбирающим экономическую специальности, не важен интерес.

• Гуманитарные специальности выбирают скорее те, кто ищут интересной работы и легкого обучения.

• Независимо от пола, те, кто отмечает интерес в качестве важного фактора, не выбирают инженерные специальности. Кроме того, студенты инженерных специальностей имеют слабую уверенность в будущем трудовом пути, хотя они отмечали, что при выборе специальности легкость нахождения работы была для них важна.

48

Интересные факты о выборе специальности

• С/х направление характеризуется тем, что при его выборе сильна мотивация «это была единственная специальность, куда я смог поступить» (регрессионный коэффициет выше 3).

• Сходной силы фактор мотивации наблюдается только среди медиков – для них оказывается важная мотивация «найти работу, имеющую общественное признание».

• А также строители – для них важным оказалось соответствие выбранной специальности желаниям родителей.

49

Предложение совместного проекта

• Консорциум школ, собирающих и аккумулирующих информацию о траекториях учеников

• Консорциум школ, собирающих и аккумулирующих информацию о траекториях выпускников

• Регионы-партнеры по проведению представительных мониторингов траекторий

• Консорциум университетов, собирающих и аккумулирующих информацию о траекториях выпускников

50