Влияние характеристик образовательной среды на

результаты обучения вначальной школе (на основе SAM - Student Achievement Monitoring)

Карданова Е.Ю.

НИУ ВШЭ2013

Цели презентации

• Рассказать про SAM• Представить психометрические характеристики

тестовых заданий и тестов• Представить свидетельства валидности • Описать методику оценивания и шкалирования

участников тестирования SAM• Проанализировать факторы, влияющие на

результаты

Цель SAM: оценивание предметных компетенций учащихся начальной школы по математике и русскому языку

Отличительная черта SAM :

модель оценивания основана на теории Л. Выготского и предполагает оценивание компетенций учащихся на трех базовых уровнях: формальном, рефлексивном и функциональном

Особенности инструмента SAM:• SAM выполняет две функции: а) измерения учебной

успешности и б) диагностики уровня освоения материала

• Для каждого раздела учебного предмета разрабатываются задачи, соответствующие критериям трех уровней (формального, рефлексивного и функционального)

• Каждый такой блок выполняет функцию детектора, определяющего качественный уровень усвоения соответствующего раздела учебной программы

• Разработка блоков опирается на систему индикаторов (типологию задач), соответствующую обобщенным критериям уровней освоения способа действия

Реализация теоретической модели SAM

• В рамках модели SAM разработаны тесты по двум предметам – математике и русскому языку – имеющие общую структуру

• Тесты рассчитаны на выпускников начальной школы и могут выполняться учащимися 4-го и 5-го классов.

• Тест включает основные разделы содержания, представленные в программах для начальной школы

• Структурной единицей теста является блок из трех заданий (1 го, 2 го и 3 го ‑ ‑ ‑уровня), соответствующий одному разделу предметного содержания. Задачи предъявляются блоками.

• Используются задания открытой формы с кратким ответом, закрытой с выбором одного ответа из 4-5 предложенных, задания на установление соответствия, требующие построений и другие.

• Для оценивания заданий используется дихотомическая оценка: за правильный ответ ученик получает 1 балл, за неправильный ответ (или отсутствие ответа) – 0 баллов.

Структура теста

Проверка качества: апробационное тестирование

• Цель – проверка функционирования заданий (анализ тестовых заданий) и всего теста в целом, исследование системообразующих свойств теста, оценивание его надежности и валидности

Характеристики заданий в классической теории тестирования

• Трудность задания (коэффициент решаемости): доля испытуемых, выполнивших задание верно (получивших 1 балл за выполнение задания для дихотомических заданий определяется)

• Дискриминативность (дифференцирующая способность задания): способность задания различать испытуемых с различным уровнем подготовки.

•

Связь между надежностью и валидностью

Надежность – характеристика точности и устойчивости результатов оценки

Валидность – характеристика пригодности оценочной информации для принятия правильных решений на ее основе

Анализ данных апробации (весна 2012 г.)(КТТ, Математика, бланковая форма, более 5000 учащихся)

• все задания имеют удовлетворительные показатели• коэффициенты решаемости заданий находятся в промежутке от

0,16 до 0,98• 4 задания 1-го уровня обладают низкой дискриминативностью (это

объясняется их легкостью - эти задания выполняют более 90% испытуемых).

1 вариант 2 вариант

Число испытуемых 3018 2941Средний первичный балл 26 27Стандартное отклонение 8.37 8.55Коэффициент асимметрии -0.21 -0.37Коэффициент эксцесса -0.56 -0.36Средний коэффициент решаемости 0.59 0.61Средний индекс дискриминативности 0.44 0.46Средний скор. коэф. точ.-бис. корреляции 0.39 0.39Показатель надежности (KR20) 0.90 0.91Стандартная ошибка измерения 2.61 2.61

Иерархия заданий по уровню трудности (математика)

М-С-01-1-1

М-С-01-1-3

М-С-03-1-2

М-M

-02-1-1

М-М

-02-1-3

М-М

-03-1-2

М-М

-06-1-1

М-М

-06-1-3

М-М

-11-1-2

М-R

-02-1-1

М-R

-02-1-3

М-R

-05-1-2

М-G

-01-1-1

М-G

-01-1-3

М-D

-03-1-2

М-D

-05-1-1

М-D

-05-1-3

М-D

-08-1-2

М-R

-03-1-1

М-R

-03-1-3

М-С-05-1-2

М-М

-08-1-1

М-М

-08-1-30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Задания трех уровней, относящиеся к одному блоку, должны образовывать иерархию по трудности

Коэффициенты решаемости тестовых заданий в зависимости от их уровня

(математика)

Кол-во заданий

Уровень трудности

Среднее значение

Ст. отклон.

Миним.значение

Максим. значение

Задания 1-го уровня 15 0,86 0,07 0,73 0,98

Задания 2-го уровня 15 0,60 0,09 0,46 0,73

Задания 3-го уровня 15 0,30 0,09 0,16 0,45

Всего 45 0,59 0,25 0,16 0,98

Содержательная область Весь тест 1-й уровень 2-й уровень 3-й уровень

Числа и вычисления 0,61 0,91 0,64 0,29Измерение величин 0,59 0,85 0,58 0,35Закономерности 0,59 0,86 0,61 0,29Зависимости 0,58 0,85 0,64 0,25Элементы геометрии 0,51 0,82 0,49 0,20

Совместное распределение коэффициентов решаемости и показателей дискриминативности (математика, вариант 1)

Анализ дистракторов заданий закрытой формы с выбором ответа

Задание М-М-03-1-2Варианты ответов А Б* В ГРаспределение ответов испытуемых

11% 66% 7% 6%Коэффициент корреляции

-0,22 0,54 -0,29 -0,23

Задание L- F-2-02-1-2Варианты ответов А Б В* ГРаспределение ответов испытуемых

17% 8% 61% 12%Коэффициент корреляции

-0,09 -0,29 0,25 0,01

Анализ в современной теории тестирования IRT

• тесты могут быть признаны существенно одномерными• тесты оптимальны по трудности и хорошо центрированы

относительно контингента тестируемых• абсолютное большинство заданий демонстрируют хорошие

психометрические показатели и хорошее согласие с используемой моделью измерения

Таким образом, тесты SAM могут быть признаны качественными измерительными инструментами математической и языковой компетенций учащихся начальной школы.

Карта переменных (математика, вариант 1)

Характеристические кривые двух заданий

Задание 2-го уровня, средней трудности

Задание очень трудное, 3-го уровня (выполнили 19% участников тестирования)

Выравнивание вариантов

• Метод общих заданий

• Процедура: отдельная калибровка с фиксацией общих параметров и отражением всех параметров на общей шкале

Обоснование валидности SAM: основные направления

• Валидность по содержанию, • Валидность конструкта• Критериальная валидность

(текущая и прогностическая)

Характеристика различных показателей валидности

• показатель валидности по содержанию характеризует меру адекватности тестовых материалов проверяемой компетенции

• показатель валидности конструкта устанавливает меру согласованности результатов тестирования с психологической моделью тестируемой способности

• показатель критериальной валидности фиксирует меру согласованности результатов тестирования с известными объективными критериями

Валидность конструкта

• В модели SAM основным конструктом, подлежащим верификации, является трехуровневая таксономия освоения учебного содержания, вписанная в возрастной контекст.

• Этот конструкт связан как минимум с двумя гипотетическими утверждениями, требующими проверки: 1) Задания трех уровней, относящиеся к одному блоку и отвечающие теоретически заданным критериям трех уровней, должны обнаруживать соответствующую иерархию по трудности.2) В начальной школе предметный материал в норме может и должен усваиваться на втором (рефлексивном) уровне, т.е. на уровне понимания. Освоение этого материала на третьем (функциональном) уровне может и должно происходить в рамках основной школы.

Проверка второй гипотезы

• Исследование проводилось в 2011-2012 гг. • В 2011 г. тесты по математике и русскому языку

были предложены учащимся 4-х возрастных групп – 4-х, 6-х, 8-х и 10-х классов (тестировались по две параллели в каждой школе). Через год, в 2012 г. те же тесты были предложены тем же учащимся, которые в тот момент были учащимися 5-х, 7-х, 9-х и 11-х классов. Тестирование проходило весной, в конце учебного года

• Выборка включала около 100 человек в каждой параллели

Оценивание участников тестирования: ступени мастерства

• Ниже первой ступени – не освоен даже первый: учащийся выполняет менее 50% заданий 1-го уровня

• Первая ступень – освоен первый уровень: учащийся выполняет не менее 50% заданий 1-го уровня

• Вторая ступень – освоен второй уровень: учащийся выполняет не менее 50% заданий 2-го уровня

• Третья ступень – освоен третий уровень: учащийся выполняет не менее 50% заданий 3-го уровня

Распределение участников тестирования по ступеням достижений в зависимости от класса

(математика)

11 grade

10 grade

9 grade

8 grade

7 grade

6 grade

5 grade

4 grade

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

1

1

2

1

4

7

10

16

15

17

24

29

44

55

60

64

84

82

74

70

53

38

30

18

Level 1

Level 2

Level 3

Распределение участников тестирования по ступеням достижений в зависимости от

класса (русский язык)

Исследование прогностической валидности SAM

• Исследование проводилось на базе данных апробации тестов SAM в одном из регионов РФ весной 2011 г.

• Общий объем выборки составил 941 человек из 12 школ. • Тестирование проходило в конце 4-го класса, т.е. по окончании

начальной школы. • Были собраны оценки по математике этих же учащихся в 5-м классе (т.е.

через год после проведения тестирования).

•

Распределениеучастников тестирования по ступеням достижений (математика)

Распределение оценок учащихся в зависимости от ступени достижений (математика)

Коэффициенты корреляции между тестовым баллом учащихся и их школьными оценками, а также между ступенью, к которой был отнесен учащийся, и его школьной оценкой соответственно равны 0,6 и 0,56.

Распределение учащихсяпо ступеням достиженийв зависимости от оценки(математика)

Оценивание участников тестирования

• Нормативно-ориентированный подход позволяет сравнить результаты различных участников между собой, а также с ранее полученными результатами. С этой целью каждому участнику тестирования в результате математической обработки результатов присваивается интегральный тестовый балл. Тестовые баллы всех участников тестирования находятся на единой шкале, независимо от времени прохождения теста и конкретного набора выполненных заданий.

• Критериально-ориентированный подход – обеспечивает возможность качественной оценки усвоения предметного содержания через указание ведущего типа ориентировки в решении задач. Для его реализации был разработан ступенчатый вариант шкалы достижений, основанный на интегральных баллах участников тестирования и пороговых значениях, делящих всех участников на группы, соответствующие различным качественным ступеням достижений .

Разработка методики оценивания участников тестирования

• Выбор модели для оценивания участников тестирования• Выбор базовой выборки для создания единой шкалы

представления результатов тестирования• Создание единой шкалы для представления результатов

тестирования• Установление пороговых оценок (benchmarks) и интерпретация

отдельных уровней достижений• Выравнивание результатов последующих тестирований

(нанесение всех результатов на созданную ранее единую шкалу)

• Представление результатов тестирования

Создание единой шкалы для представления результатов тестирования

• Специальное исследование (объем выборки 939 учащихся)

• Получение оценок мер испытуемых в логитах• Выбор подходящего линейного преобразования для

перехода на 1000-балльную шкалу• Все результаты будущих тестирований будут

преобразовываться на эту шкалу с помощью того же линейного преобразования

Шкала математической компетенции

Ступень 3

Ожидается, что ученик А выполнит, по крайней мере, 50% заданий 3-го уровня

Ученик A

Ступень 2

Ступень1

Ниже 1-ой ступени

Ожидается, что ученик В выполнит, по крайней мере, 50% заданий 2-го уровня Ученик B

Ожидается, что ученик С выполнит, по крайней мере, 50% заданий 1-го уровня

Ученик C

Ожидается, что ученик D не сможет выполнить даже 50% заданий 1-го уровня

Ученик D

500

570

430

Задания3-го

уровня

Задания1-го

уровня

Задания2-го

уровня

Интерпретация пороговых оценок

Пороги:

430 (граница между 0 и 1 ступенями) 500 (граница между 1 и 2 ступенями) 570 (граница между 1 и 2 ступенями)

Распределение участников апробации 2012г. по ступеням достижений (математика,

около 5000 человек)

• В настоящее время установлены следующие пороговые оценки для математики: переход со ступени 0 на ступень 1 – 430 баллов; со ступени 1 на ступень 2 – 500 баллов; со ступени 2 на ступень 3 – 570 баллов.

Различная степень достижения ступеней• Степень достижения ступени может

быть различной: учащийся может только-только достигнуть ступени, «зацепиться» за нее, а может уже ее освоить, т.е. стоять на ней уверенно.

• Ступень считается достигнутой, если, по крайней мере, 50% заданий данного уровня выполнены правильно.

• Будем считать, что ступень не только достигнута, но и освоена, если правильно выполнены не менее 75% заданий данного уровня.

• Такая интерпретация результатов тестирования позволит выделить учащихся, уверенно стоящих на ступени и готовых к переходу на следующую ступень.

Распределение участников тестирования по ступеням (математика)

Ступень

Всего человек

ПроцентСтепень освоения

Всего человек

Процент от общего

Процент от ступени

11725 29 достиг 665 11 39

освоил 1060 18 61

22974 50 достиг 1864 32 63

освоил 1110 18 37

31124 19 достиг 760 13 68

освоил 364 6 32

Первичный анализ данных тестирования- был проведен на базе данных апробации тестов SAM в одном из регионов РФ весной 2012 г. - были протестированы практически все учащиеся 4-го класса начальной школы данного региона: общий объем выборки составил 4406 человек по математике и 4385 по русскому языку.

Распределение учащихся по ступеням достижений в зависимости от предмета

Профиль образовательныхрезультатов по математике для данной выборки учащихся (средние процентырешенных задач в зависимости от уровня).

Нормы выполнения теста• Среднестатистическая групповая норма – средний по

школам показатель выполнения теста и его стандартное отклонение

• Социокультурная норма – средний показатель группы школ-лидеров

Среднее значение Стандартное отклонение

Математика 517 34

Русский язык 499 36

Тестовый балл

Математика 561

Русский язык 543

Сравнение показателей школ

Descriptives   РУССКИЙ ЯЗЫК МАТЕМАТИКА

 социокультурнаянорма

остальные школы

социокультурная норма

остальные школы

тестовый балл МАТЕМАТИКА

Mean558 507 568 504

Std. Deviation 29,8 31,1 20,7 27,0Minimum 491,5 429,1 543,0 429,1Maximum 639,1 584,0 639,1 542,3

тестовый балл РУССКИЙ

Mean549,9 483,3 541,2 486,2

Std. Deviation 16,6 30,3 25,9 33,8Minimum 532,6 338,0 480,0 338,0Maximum 606,1 531,8 606,1 576,7

Распределение учащихся разных школ по ступеням достижений (математика)

Некоторые результаты исследования :

• Результат SAM статистически значимо зависит от типа населенного пункта: учащиеся городов и поселков выполняют тест лучше, чем учащиеся сельской местности

• Результат SAM статистически значимо зависит от пола участника: девочки выполняют тест лучше, чем мальчики

• Результат SAM статистически значимо зависит от типа учебного заведения: учащиеся гимназий выполняют тест лучше, чем учащиеся общеобразовательных школ

• Русский язык (вверху)

• Математика (справа)

Сравнение достижений

учащихся различных классов

одной школы

Исследование характеристик образовательной среды

Выборка:Один регион РФвесна 2012

Учащиеся 4-го класса:Математика - 4406 Русский язык - 4385

Размер класса и образовательные результаты

below 1 * 1 level 2 level 3 level**

20

40

60

Распределение учащихся по ступеням (в %)

large classessmall classes <11 students

* Asymp. Sig. (2-tailed) <0.05** Asymp. Sig. (2-tailed) < 0.01

• Малые классы более однородны – больший процент учащихся на ступенях 1 и 2

• Большие классы имеют больший процент в крайних категориях

Correlation -,204** is significant at the 0.05 (2-tailed)

Traditional

Constructivist

 Конструкти-

висткий Традицион-

ныйЗадания 22 16KR-20 надежность 0,82 0,69Среднее значение 1,54 -,23Станд. отклонение 1,075 ,667

Педагогические подходы к преподаванию

Педагогические подходы и образовательные результаты

Pearson Correlation

Test score

Russian language Test score

MathematicsBelow 1 level 1 level 2 level 3 level

Constructivist ,235** ,256** -,117 -,226** ,065 ,294**

Traditional -,163* -,110 ,006 ,138* -,079 -,126

**. Correlation is significant at the 0.01 (2-tailed)*. Correlation is significant at the 0.05 (2-tailed)

• Конструктивистский подход ассоциируется с лучшими образовательными результатами

• Традиционный подход имет отрицательную связь или не имеет связи с результатами

Кластеризация классов

Small classes

1 2 3

5

10

15

20Ступени внутри кластеров

below 1

1 level

2 level

3 level

Small classes

1 2 30

20406080

10075

5278

23

Размер кластера

Кластер Подход Кластер

3

> Constructivist, < Traditional 2

> Constructivist 1> Constructivist Малые классы

2> Constructivist 1

= Малые классы

1 = Малые классы*. The mean difference is significant at the 0.05 level

Сравнение кластеров

Благодарю за внимание!

Карданова Елена Юрьевна:

e_kardanova@mail.ru