Особенности проведения международного исследования ...

Российская академия образования


Особенности проведения международного исследования

PISA-2012 в регионах России

Ковалева Г.С.


Основные цели и задачи исследования PISA

Основная цель: оценка способности 15-летних учащихся использовать приобретенные в школе знания и опыт для широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений. Дополнительная инновационная цель в 2012 году: оценка чтения электронных текстов, решение интерактивных задач в ходе компьютерного тестирования, оценка сформированности учебных стратегийПолитическая цель: оценка качества и эффективности образования, равенства доступа к образованию

3


Основные цели и задачи исследования PISA

Основные задачи:• Оценить функциональную

грамотность 15-летних учащихся в области чтения, математики и естествознания (приоритетная область – математика)

• Выявить динамику результатов (2000, 2003, 2006, 2009, 2012)

• Выявить факторы, позволяющие объяснить различия в результатах

4


Характеристика российских участников исследования PISA-2012

• 42 субъекта Российской Федерации (было 45)• 227 образовательных учреждений• Около 7000 учащихся 15-летнего возраста,

обучавшихся по программам:- основного общего образования (7-9 классы), среднего общего образования (10-11 классы);

- начального и среднего профессионального образования Их них: около 5000 – основное исследование; из них 50% - компьютерное тестирование; + 1750 – финансовая грамотность.

Дополнительно проводится исследование PISA-2012/TIMSS-2011 (около 5000 уч-ся).


Оценка функциональной грамотности

• Письменное тестирование– Математика– Естествознание– Чтение– Финансовая грамотность

• Компьютерное тестирование– Решение проблем– Математика– Чтение электронных текстов

6


Структура теста PISA-2012

7

An easier set of 13 booklets:Booklets

8 to 13 and Booklets 21

to 27

A standard set of 13 booklets: Booklets 1 to 13

21 test booklets

comprised of 20 regular

booklets, each with two hours worth of test material (four

30-minute clusters) …

… and one UH (“une heure” -

one-hour) booklet for

students with special

educational needs



8

The regular two-hour

booklets are made up of 9 mathematics

clusters, Booklet 12 is a complete link to PISA 2009.and 3 science

clusters,

and 3 reading clusters.

The UH booklet is made up of •one cluster’s worth of mathematics items; •half a cluster of reading items; and •half a cluster of science items.



9

Every booklet includes at least one cluster of

mathematics items

Every cluster appears in every block (position)



10

Standard mathematics

clusters PM6A and PM7A appear in Booklets

1 to 7.Easier

mathematics clusters PM6B

and PM7B appear in Booklets

21 to 27.


11

Использование двух комплектов тестов для повышения валидности шкалы на

низшем уровне• Значительное число учащихся демонстрирует

результаты ниже уровня 1.• Введение достаточно легких заданий повысит

возможность описать уровень математической деятельности учащихся с низкими результатами.

• Повышается качество теста для оценки математической грамотности слабых учащихся.

• Слабые учащиеся более мотивированы при выполнении заданий, соответствующих их уровню подготовки.


12

• Чем отличаются? – «Стандартные» тестовые тетради

включают 2 кластера с более трудными заданиями

– «Легкие» тестовые тетради включают 2 кластера с наиболее легкими заданиями

• Что общего?– Оба комплекта тетрадей содержат 5

общих кластеров по математике, включающих задания разной трудности.

– Общие кластеры по математике включают 3 якорных кластера, включающих задания по математике, используемые в PISA 2000, PISA 2003, PISA 2006 и PISA 2009.

– Каждая из 13 тетрадей соответствует основным характеристикам дизайна теста в одинаковых пропорциях.

Характеристика «стандартных» и «легких «тестовых тетрадей


«Стандартный» / «легкий» тестПравило выбора:«Стандартный» тест:Страны со средними результатами по

читательской грамотности более 480 в исследовании PISA-2009 (России – 459)

Право выбора «стандартный» или «легкий « тест:

Страны со средними результатами по читательской грамотности менее 480 в исследовании PISA-2009

Страны, не участвовавшие в PISA-200913


Дизайн компьютерного тестирования

Все кластеры для компьютерного тестирования рассчитаны на 20 минут. Все варианты компьютерного теста включают 2 кластера.

Ротация кластеров в компьютерном тесте основана на тех же принципах, что и в письменном тесте (Принципы позиционной и количественной эквивалентности).

14


Структура компьютерного теста

15


Структура компьютерного теста

4 кластера решения проблем 4 кластера по математике 2 кластера по чтениюВсего 24 варианта Каждый кластер появляется дважды в каждом

положении для решения проблем, математики и чтения.

Каждый кластер появляется дважды вместе с кластером из другой области: первый раз в начале, второй раз – в конце теста.

Каждая область появляется одинаковое число раз в 24 вариантах и на нее отвечает одинаковое счисло учащихся.

16


17

Характеристики теста

Способность учащихся выполнить данный тест

Трудность задания

Средний результат страны


Анализ результатов тестирования

Анализ шкалы на многомерность по отдельным шкалам, новым и якорным заданиям

Анализ шкалы на надежность

Анализ DIF (дифференцированное функционирование заданий): гендерные различия, языковые различия, различия в результатах стран

Анализ пропущенных заданий, отсутствия ответов

Анализ дистракторов

18


Графическое представление DIF

• Соответствие модели гендерных различий

19

Кривые для девушек и юношей почти совпадают, что демонстрирует отсутствие гендерных различий DIF

Соответствие данных модели


База данных национальных отчетов

20


Статистические характеристики заданий с выбором ответа

21

Fit of data to model: 1.0 perfect; 0.8 – 1.2 generally acceptable

Below 0.2 is dodgy

Easy item. Students with ability 0.84 standard deviation below mean have

probability 0.5 of correct answer

Multiple choice

The more able students get the answer

correct

The more able students get the answer

correct


Статистические характеристики политомических заданий

22

• Обязательное требование: возрастание уровня способности группы учащихся при увеличении балла за выполнение задания


Графическое представление статистики


Сравнение национальной и международной статистики

24

Проблемы в задании (в данном примере нет проблем)

Национальная статистики в сравнении с международной


Проблемы в национальной статистике


Проблемы в международной статистике

В базе данных результаты из 58 стран


Изучение контекстной информации с целью выявления факторов, объясняющих

результаты• Концептуальные основы• Основные анкеты

– Анкета для учащихся– Анкета для администрации ОУ– Анкета о системе образования

• Практическая реализация анкетирования– Ротационная модель анкеты для учащихся– Компьютерная анкета для администрации ОУ

• Дополнительные анкеты– Использование ИКТ– Образовательные траектории– Анкета для учителя– Анкета для родителей – Анкета о здоровье – Анкета о режиме дня и использовании свободного времени

27


Соответствие целям исследования и политическим установкам

Сравнительный мониторинг систем образования

Выявление эффективных систем образования

Формирование базы данных Оценка доступности и качества

образования Условия формирования математической

грамотности Совершенствование дизайна сбора

контекстной информации28

Российская академия образования Antecedents Processes Outcomes

Students Gender, grade level, SES

Attendance/truancy mathematics achievement

Educational career; grades

outside class activities - e.g., participation in after school programs

mathematics-related attitudes, beliefs and motivation

Immigration background

Motivation, engagement general school-related attitudes and behaviour, e.g. commitment, truancy

family environment and support

learning and thinking strategies Learning motivation, educational aspirations

ICT experience, attitudes, skills

Learning time (including homework and private tuition)

Classrooms Class size; SES & ethnic composition

quality of instruction: structure, support, challenge

aggregated student variables

Teacher education /training, experience, expertise, beliefs

Opportunity to learn: implemented curriculum, assigned tasks, mathematics-related activities

instructional time; grouping, assessment and feedback

Содержание контекстной информации


Содержание контекстной информации Antecedents Processes Outcomes

Schools SES and ethnic composition

Affluence of the community

Achievement orientation, shared norms, leadership, teacher morale and cooperation; professional development


school funding, public vs. private

School size

admission and recruiting policies, tracking, course offerings/school curriculum, evaluation

promotion/retention and graduation rates

parental involvement

Teacher-student relations, supportive environment

attendance

Countries Economic wealth, social (in)equality

School funding, tracking and allocation, policies for professional teacher development, support for special needs and language minority students, hiring and certification policies


Immigration policies accountability and evaluation policies, locus of decision making,

average graduation level

cultural norms and values., teacher status

Curriculum, graduation requirements, standards. shadow education

% in STEM disciplines


Ротационная модель анкеты для учащихся

Форма A Форма B Форма C

Общий блок (8 мин)

Rotated questions A Rotated questions A missing

Rotated questions A

Rotated questions B Rotated questions B Rotated questions B missing

Rotated questions C missing

Rotated questions C Rotated questions C

31-> Увеличение содержания на 1/3

11 min

11 min

11 min 11 min

11 min

11 min


Форма адаптации инструментария (MAS)

32


33

Обеспечение качества исследования PISA

Объективные и сравнимые базы

данных

Результаты

Результаты PISA должны быть

релевантны для национальных

политиков в образовании

Цель

PISA Технические стандарты качества

Начальные требования

Верификация перевода

Контроль за качеством печати

Анализ данных апробации и основного исследования

Адаптация руководств

TAS, BAS, QAS,

Оптическая проверка инструментария

Выборка Keyquest…

Наблюдения за проведением тестирования в ОУ

Посещение национального центра+

Мер

опри

яти

яРуководства по

проведению

Данные, подтверждающие

качества

Конечные данные

Анализ данных



Вопросы и комментарии

Ковалева Галина Сергеевна, руководитель Центра оценки качества образования Института содержания и методов обучения РАО

Тел./факс: (499)-246-24-21e-mail: [email protected] сайт: www.centeroko.ru

Особенности проведения международного исследования ...

Documents