Саммит 2011. Тихомиров

1

Проверка знаний: как делать тесты и что можно делать кроме

них?

Ю.В.Тихомиров,

профессор кафедры физики Московского государственного технического университета

гражданской авиации

2

ВВЕДЕНИЕ

Мы слышим: хочу сделать тест!Кто это мог сказать?1. Преподаватель, стремящийся улучшить учебный процесс и облегчить участие в нем.2. Педдизайнер, желающий улучшить качество учебного курса, сделать его «красивым» для заказчика.3. Чиновник от образования, стремящийся проконтролировать участников учебного процесса.

3

ЭТО РАЗНЫЕ ТЕСТЫ

Тест у преподавателя - обучающий, встроенный в учебный процесс, повышающий его эффективность.

Тест у педдизайнера - идеальный, украшающий курс, удовлетворяющий нужным критериям.Тест у чиновника от образования - нормативный, креативный, дифференцирующий ...

Дальше только о первом!

О других пусть расскажут другие специалисты.

4

Учебный тест. Учебный процесс

Учебный тест является частью учебного процесса, обеспечивающей проверку его хода.

обучаемый (исх.

состоян.)

обучаемый (состояние

i)

обучаемый (кон.

состоян.)

воздействие 1

воздействие i+1

нач.проверка

проверка i

кон.проверка

уровни обученности

5

Воздействие в учебном процессе

1. Предъявление элемента учебной информации.

2. Освоение данного элемента.

Элемент учебной информации есть минимальная ее часть, сохраняющая вложенный в нее смысл.

6

Учебная информация

Учебная информация это часть информационного содержания

науки,

общечеловеческого опыта,

коллективного опыта,

индивидуального опыта.Информационное содержание как правило формализовано.

7

спецкурс

Основное содержание

(ядро знаний)определения объектов и

явлений

определения характерист

ик

законы

алгоритмы

логические связи

УТВЕРЖДЕНИЯ

Место учебного материала (информации)

8

Освоение, а не усвоение

Освоение информации все больше осознается, не как «усвоение пищи» (положили в рот и можешь глотать, а оно само переварится), а как самостоятельный и наиважнейший этап процесса обучения.

9

Как обеспечить процесс освоения информации?

Это очень объемная тема, нуждающаяся в отдельном разговоре.

Решаемая здесь проблема - проверить результат этого процесса. А что есть «результат»?

Достижение требуемого уровня освоения для каждого элемента учебной информации!

10

Освоение учебной информации

Деятельностный подход (бихевиоризм, таксономия Блума для обучения с некоторыми дополнениями).Начальные уровни освоения элемента

учебной информации1. представление

2. знание

3. понимание

4. умение

5. навык

6. креативный

Есть более высокие

11

Уровни освоения учебного материала

Представление - способность воспроизвести с подсказкой (поддержкой).

Знание - способность воспроизвести без подсказки.

Понимание - способность воспроизвести, преобразовать, аппроксимировать.

Умение - способность воспроизвести и использовать при решении задачи в знакомой ситуации за разумное время.

Навык - способность воспроизвести и использовать в знакомой ситуации за очень короткое время, автоматически

Элементы творчества - способность воспроизвести и использовать в незнакомой ситуации.Более высокие: анализ, синтез, оценка (по Блуму).

12

1-й шаг. Детализация учебной информации

Преподаватель разрабатывает учебный курс, отбирая и перерабатывая информацию науки.

Множительное число от уровня освоения - совокупность элементов, освоенных на этом уровне.

Информационное содержание курса - совокупность логических элементов (утверждений) с указанием уровня освоения каждого.

13

Примерный состав учебного курса

представления45%знания 25%

понимание 15%

умения 5%

навыки 3%

остальное 2%

Курс физики около 500 элементов (50 лекций).

14

Поэтапное достижение уровней освоения

45% ПРЕДСТАВЛЕНИЕ

25% ПРЕДСТАВЛЕНИЕ

ЗНАНИЕ

15% ПРЕДСТАВЛЕНИЕ

ЗНАНИЕ ПОНИМАНИЕ

5% ПРЕДСТАВЛЕНИЕ

ЗНАНИЕ ПОНИМАНИЕ

УМЕНИЕ

Л Е К Ц И И предъявлен

ие

ПРАКТ., ЛАБОРАТ., ИГРЫ освоение

все возможно в электронной форме (eL)

15

Электронное обучение (eL).

Под электронным обучением подразумевается система обучения, основанная на использовании последних достижений электроники и информационных технологий (IT).

Компьютер (и управляемые им устройства, в частности, информационные сети) является основным техническим средством системы электронного обучения.

16

«Проверка знаний» - главный для студента элемент процесса обучения

Как организована «проверка знаний», так и будут действовать обучаемые в процессе обучения.

Студенты часто говорят: «Что будут спрашивать на экзамене, то мы и будем учить!».

Тест (кратко) - инструмент «проверки знаний».

Компьютерный тест использует компьютер для предъявления задания, его выполнения и оценки.

ПроверкаКонфигурация Word: Сервис, Макрос, Безопасность, Низкая

17

2-й шаг. Разработка заданий для компьютерного теста

Наилучшее соотношение: один элемент учебной информации - одно задание, определяющее, освоен это элемент, или не освоен.Этому требованию удовлетворяют задания на конструирование ответа (рассмотрим позже).

Возможно ли это? Да! Есть 20 летний опыт их разработки и применения в разных компонентах учебного процесса по курсу физики.

Эффективность не вызывает сомнений.

18

База заданий охватывает ядро курса

Все задания группируются в несколько файлов, например по разным разделам.

Разработанная система позволяет в один файл группировать до 100 заданий.

Физика - 16 разделов и оптимальная структура базы заданий - 16 файлов по 30 заданий.

19

3-й шаг. Определение количества заданий в тесте

Нужны модели студента, задания и теста, позволяющие заранее сравнить разные тесты.

«Абсолютно серый студент» - равновероятно осваивает любое количество элементов учебной информации (пунктов). Из них состоит группа.Модель задания - одно задание

стопроцентно проверяет уровень освоения одного элемента.

Модель теста - задания выбираются машиной из базы абсолютно случайным образом.

20

)]!jq()iK[()!jq()!ji(!K!j)!iK()!qK(!q!i

N

NP

i

ijij

Студент освоил i пунктов и выполнил j заданий теста.

Результат теоретического анализа

.1K

NN СТ

i

Задача. Пусть в контролируемом разделе К пунктов, в тесте q заданий.

Нам известны K, q и j. Надо найти неизвестное i.

21

Количество студентов Nij, освоивших i пунктов и выполнивших j заданий равно вероятности Рij, умноженной на количество студентов в i-й выборке:

Nij = Ni Рij = Рij.1KNСТ

Часть студентов группы, выполнивших j заданий

.1K

P

N

N

N

N

K

jiij

СТ

K

jiij

СТ

j

22

Pij j=q=5 1.2- 1.0- 0.8- 0.6- 0.4- 0.2-       + +-+-+-+-+-+-+-+-+-+-  i/K      100   70   40   10 %

освоено

выполнено 100%

·        55% это те, кто освоил 100% материала,·        27,5% те, кто освоил 90%,·        12% те, кто освоил 80%,·        4% те, кто освоил 70%.

Из выполнивших 100% заданий

В тесте 5 заданий (50%)

23

0.6- 0.5- 0.4- 0.3- 0.2- 0.1-       + +-+-+-+-+-+-+-+-+-+-+  i/K       100    70   40   10 %

Pij j=q-1=4 (80%)

5 заданий (50%)

выполнено

освоено

27.5% это те, кто освоил 90% материала,

31% те, кто освоил 80%,

23% те, кто освоил 70%,

13% те, кто освоил 60%.

Из выполнивших 80% заданий

24

0.6- 0.5- 0.4- 0.3- 0.2- 0.1-ов       + +-+-+-+-+-+-+-+-+-+-+  i/K       100  70   40   10 %

Pij j=q-2=3 (60%)

выполнено

5 заданий (50%)

освоено

•12% это те, кто освоил 80% материала

•23% те, кто освоил 70%,

•26% те, кто освоил 60%,

•21,7% те, кто освоил 50%.

Из выполнивших 60% заданий

25

 6543210      100        90        80        70        60         50 %,  i/K 

  j выполнено

В тесте 5 заданий (50%)

освоено

26

43210       100       90        80        70        60         50  %, i/K

освоено

выполнено

В тесте 3 задания (33%)

  j

27

4-й шаг. Использование заданий в курсе

Первоначально - на лекциях для совместного контроля внимания и понимания.

Пример 1.

При самостоятельной работе по освоению материала с помощью обучающей программы.

Пример 2.

При рубежном контроле освоения материала раздела (база около 30 , в тесте 12-15 заданий).

Пример 3.

28

Тестирование блочное и предварительное на экзамене (5 - 6 разделов, база более 150 заданий).

Тестирование при допуске к лабораторным работам (база до 30 заданий по каждой).

Пример 5.

Пример 4.

29

Как простой человек сделает задание?

Можно ли за 5 минут сделать задание, которое потом можно эффективно использовать 20 лет? Ответ - да!

Пример 6.Пример 7.

30

Как простой человек сделает тест?

Можно ли за 5 минут сделать тест для рубежного контроля, который смогут использовать 15 студентов одновременно? Ответ положительный

Пример 8.

31

Уровни освоения и способы проверки

Представление - задание на КО с шаблоном.

Знание - задание на КО без шаблона.

Понимание - задание на КО без шаблона (слова + формула).

Умение - задание на КО (формула + решение задачи в знакомой ситуации за разумное время).

Навык - задание на КО (формула + решение задачи, решенной ранее, за очень короткое время, автоматически).

Элементы творчества - задание на КО (формула + решение задачи, не встречавшейся ранее).

32

Вместо «теста» - настоящий обучающий компьютерный тест

Разработчики стандартных тестов, использующих в основном задания с выбором ответа, всегда избегают вопросов о том, как заранее определить достоверность контроля.

Поскольку априори определить качество стандартного теста невозможно, он по сути не является тестом, когда вы его сделали.

33

Стандартно: принимать решение о качестве теста только после анализа результатов его применения (лучше многократного).Ясно, что такой подход практически невозможно реализовать в условиях реально происходящего учебного процесса.

Стандартно: для повышения достоверности надо использовать несколько тестовых заданий для проверки одного элемента информации.

Относительно так называемых «тестов»

34

Вопрос: Что можно делать вместо таких «тестов»?

Ответ: Настоящие контролирующие задания и настоящие обучающие тесты.

35

Наши рекомендации, как сделать тест

Откажитесь, наконец, от стандартных заданий с выбором ответа, которые контролируют только умение что-то выбрать (например, товар в магазине).

Разрабатывайте и применяйте эффективные обучающие задания, например, на конструирование ответа.

Тщательно структурируйте учебный материал, выделяя его элементы и уровень их освоения.

Формируйте тесты, состоящие из обоснованного количества заданий.

36

РАЗРАБОТАННЫЕ БАЗЫ ЗАДАНИЙ

•Элементарная математика (200 заданий DOS)

•Элементарная физика (DOS и Win по 400 заданий)

•Высшая математика (300 заданий DOS)

•Физика для ВТУЗов (DOS и Win по 400 заданий)

•Физ.практикум ВТУЗ (Win 450 заданий)

ВСЕГО около 2000 заданий

37

МОИ ВОПРОСЫ

•Оценка уровня освоения учебного материала по крайней мере так же важна, как и предъявление информации обучаемому в учебном курсе.

•Компьютерные системы, используемые при оценке (тестировании), должны по возможности использовать опыт, полученный при традиционном обучении.

•Регулярность тестирования должна быть максимально возможной.

Проблемы компьютерного тестирования, которые мне казалось целесообразным обсудить:

38

•Что контролирует одно задание? Какой критерий Вы используете, при определении количества заданий в тесте?

•Можете ли Вы заранее определить качество разработанных заданий?

•Ограничивает ли программное обеспечение ваш выбор формы применяемого задания?

•Процент заданий с множественным выбором (МВ) в курсах, которые Вы разрабатывали, превышает 90%.

•Хорошо ли Вы знакомы с тестовыми заданиями других форм. Хотели бы Вы более широко их использовать ?

39

•Трудоемкость составления преподавателем заданий с МВ при контроле теоретических знаний слишком велика.

•У студентов возникают излишние затруднения при работе с заданиями на выбор ответа.

•Как Вы относитесь к тому, что при контроле теоретических знаний задания с множественным выбором (МВ) содержат от 70% до 90% ложной информации?

•Считаете ли Вы что эта ложная информация существенно ухудшает качество учебного процесса?

40

•Считаете ли Вы целесообразным рекомендовать по возможности не использовать задания с множественным выбором при тестировании теоретических знаний, поскольку они неэффективны, содержат слишком много ложной информации и создают излишние затруднения?

•Поддерживаете ли Вы широкое использование заданий на конструирование ответа?

41

профессор кафедры физики

Московского государственного технического университета

гражданской авиации

http:\\sites.google.com\site\yutixtestum

E-mail: yutix@ya.ru- для запроса на дополнительный материал

Skype: yury.tikhomirov

Тихомиров Юрий Валентинович

Проверка знаний: как делать тесты и что можно делать кроме

них?

Спасибо за внимание и терпение!