Взаимное оценивание студентов: от идеи к реализации...
TRANSCRIPT
Взаимное оценивание студентов:от идеи к реализации
Незнанов Алексей Андреевич, доцент департамента анализа данных и искусственного интеллекта ФКН НИУ ВШЭМаксименкова Ольга Вениаминовна, старший преподаватель департамента программной инженерии ФКН НИУ ВШЭКоломиец Андрей Ильич, студент бакалаврской программы «Программная инженерия» ФКН НИУ ВШЭ
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 1
Кто мы такие и чем занимаемся?• Ольга Максименкова
• Департамент Программной инженерии, ФКН НИУ ВШЭ, Москва, Россия
• E-mail: [email protected]• Web-site: http://hse.ru/staff/maksimenkova• Blog: http://stoptoscale.blogspot.ru (RU)
• Алексей Незнанов• Департамент Анализа данных и искусственного интеллекта, ФКН НИУ ВШЭ, Москва, Россия
• E-mail: [email protected]• Web-site: http://hse.ru/staff/aneznanov• Blog: http://siberianshamanssongs.blogspot.ru (RU)
• Коломиец Андрей Ильич• Образовательная программа «Программная инженерия» ФКН• E-mail: [email protected]
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 2
Что мы будем делать?•Методы активного обучения
• Технологии активного обучения• Взаимное оценивание в курсах различных областей• Представление PASCA (нашей программы)
• Изучение документации и репозитория• Пробный прогон
• Познание себя в роли преподавателя• Создание сессии взаимного оценивания• Создание оценочного листа
• Познание себя в роли студента• Что может пойти не так?
3© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ
Идея и методологииФормы активного обученияТехнологии и компьютерная поддержкаВзаимное оценивание
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 4
Активное обучение:Идея и методологии• Центрированный на ученике подход
• Ученик активно участвует в формировании собственных знаний, умений, навыков, компетенций…
• В качестве учебных используются задачи из профессиональной практики
• Использование и обучение коллаборативным техникам
• Адаптивная организация учебных материалов и учебного процесса
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 5
Клод Адриан Гельвеций(1715-1771)
Вильгельм фон Гумбольдт(1767-1835)J. M. Carroll (ed.), Innovative Practices in Teaching Information Sciences and Technology,
DOI 10.1007/978-3-319-03656-4_1
Активное обучение:Формы
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 6
Работа в парахДебаты
Взаимное оценивание
Работа в группах
Самооценивание
Активное обучение:Взаимное оценивание• Плюсы
• Повышение вовлечённости студентов в учебный процесс• Формирования навыков конструктивной критики
• Минусы• Ресурсоёмкость при организации в ручном режиме• Необходимость уточнения соглашений об оценивании между студентами и преподавателями
• Читинг• Подробности:
• Falchikov N, Goldfinch J. Student Peer Assessment in Higher Education: A Meta-Analysis Comparing Peer and Teacher Marks. Review of Educational Research, 70(3), 2000. pp. 287-322
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 7
Взаимное обучение в программировании:О компетенциях разработчиков ПОПрограммист должен:• Уметь самостоятельно проводить анализ кода (code review)• Уметь работать в команде при проведении анализа кода небольших компонентов
• Применять разнообразные стратегии отладки и тестирования программ
• Анализировать степень соответствия чужого кода документации и профессиональным стандартам разработки
Computer Science Curricular 2013 “Software development fundamentals” (SDF)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 8
Взаимное обучение в программировании: ВО при обучении разработчиков ПО• Плюсы усиливаются
• Будущие программисты учатся писать текст на естественном языке• Формируются навыки работы с чужим кодом• Вырабатываются навыки анализа кода [code review]• Формируются навыки командной работы
(при групповом взаимном оценивании)• Повышается объективность обратной связи
(в анонимизированном варианте)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 9
Взаимное оценивание:Обзор КПСУН для взаимного оценивания• Cистема с открытым кодом MyPeerReview, разработанная для обучения компьютерным наукам (computer science)
• Hamalainen, H., Hyyrynen, V., Ikonen, J., and Porras, J. Applying peer-review for programming assignments. International Journal on Information Technologies & Security, 1 (2011), 3-17.
• Одна из наиболее популярных систем Aropӓ, успешно применяется в курсах компьютерных наук.
• Hamer J, Purchase H, Denny P, Luxton-Reilly A. Quality of Peer Assessment in CS1. 5th International Workshop on Computing Education Research, Berkeley, 2009. pp. 27-36.
• ...
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 10
Взаимное оценивание:Проблемы существующих КПСУН•Методологические
• Как правило, ограничивают оценочные листы некоторым «достаточным» минимумом, не допуская полёт фантазии при создании схем оценивания
• Процедурные• Массово не поддерживают анонимизацию• Требуют дополнительной аутентификации и авторизации студентов и преподавателей
• Хотя сейчас наблюдается прогресс в интеграции web-служб поддержки учебного процесса
• Технологические• Расширяют стек используемых технологий• Не поддерживают передачу комплексных артефактов
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 11
Никто не виноват, но что делать?!
Основные терминыБизнес-процессы и подводные камниНекоторые интересные решения
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 12
Основные термины:Взаимное оценивание• Взаимное оценивание [Peer Assessment (PA)] – процедура оценивания, организованная в форме рандомизированного взаимного рецензирования [Peer Review (PR)] артефактов, трактуемых как результат выполнения учебного задания с предварительно формализованной схемой оценивания
• Сессия взаимного оценивания (СВО) [PA session] – процессвзаимного оценивания результатов одного задания, то есть одного артефакта
• Оцениваемый артефакт может быть комплексным• Например, результат курсового проектирования в виде набора артефактов проектирования и конструирования ПО
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 13
Основные термины:Оцениваемые артефакты• Артефакт [Artifact] –
• В общем: сущность, созданная человеком с определённой целью
• В нашем случае:сущность, созданная студентом с целью получить рецензию?J
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 14
Основные термины:Роли1. Преподаватель [Teacher] – любой организатор
взаимного оценивания, имеющий полный доступ к данным текущей СВО
2. Студент [Student] – любой студент, потенциально имеющий возможность участвовать в текущей СВО
3. Автор [Initial Author] – студент, зарегистрированный в качестве будущего отправителя артефакта в текущей СВО
4. Податель [Submitter] – студент, направивший артефакт на рецензирование в рамках СВО
5. Рецензент [Reviewer] – студент, отославший валидыйоценочный лист в рамках СВО
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 15
Основные термины:Элементы данных СВО1. Параметры СВО [PA parameters] – набор параметров СВО2. Оценочный лист [PR form] – таблица, специфицирующая поля
рецензии для конкретного типа артефакта и конкретного задания; содержит понятные рецензенту описания полей, примеры заполнения и правила валидации значений полей
• Адекватный оценочный лист всегда содержит дополнительное текстовое поле «свободный комментарий» для неформальных впечатлений рецензента
3. Подача [Submission] – артефакт, направленный на рецензирование конкретным Подателем
4. Рецензия [Review] – заполненный оценочный лист, отосланный Рецензентом
5. Обратная связь [Feedback] – любая дополнительная информация от Студента, отличная от Подачи и Рецензии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 16
Основные стадии сессии ВО:Начало и конец каждой стадии№ Объект рассмотрения Начальное событие Конечное событие
1 Подготовка сессии Создание новой сессииОкончание
конфигурирования сессии
2 Сбор подач Рассылка заданияДедлайн «Окончание
подачи» [Submission_end]
3 Сбор рецензий Рассылка артефактов рецензентам
Дедлайн «Окончаниерецензирования»
[Review_end]
4Анализ и рассылка
результатовСбор итоговых рецензий
Дедлайн «Получениерезультатов» [Result_msg]
5[Дополнительно]Организация обратной связи
Отправка первого сообщения в рамках обратной связи
Завершение курса/блока/модуля
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 17
Основные стадии сессии ВО:BPMN-диаграмма
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 18
Основные стадии сессии ВО:Акценты на действиях преподавателя
• Установка параметров сессии• Подготовка задания• Рассылка задания
• Сбор подач• Рассылка подач рецензентам
• Сбор рецензий• Оценивание подач через оценивание и усреднение рецензий• Рассылка оценок и обратной связи
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 19
Peer-Assessment Sytem for Complex Artifacts PASCAАрхитектураТребованияВозможностиРазвитие
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 21
PASCA:Где лежит?• Открытый репозиторий PASCA
(https://bitbucket.org/SiberianShaman/pasca)• Документация в формате Wiki
(https://bitbucket.org/SiberianShaman/pasca/wiki/ru/About)• Эта презентация (http://www.slideshare.net/alexneznanov)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 22
Требования к ПО:Основание разработки и приоритеты• Основание разработки очевидно из вышеизложенного• При разработке PASCA авторами были поставлены приоритеты:
1. Поддержка произвольных оцениваемых артефактов2. Поддержка формализованных оценочных листов [peer-review form]
любой сложности1. Автоматическое вычисление общей оценки по оценочному листу2. Автоматическая валидация оценочного листа
3. Минимизация взаимодействия студента с новым ПО4. Минимизация влияния инструментов взаимного оценивания на
смежные бизнес-процессы с точки зрения преподавателя
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 23
Требования к ПО:Базовые функциональные требования• Простое импортирование исходного списка студентов• Автоматическое преобразование и рассылка файла с описанием задания
• Поддержка нескольких адресов одного студента• Базовая анонимизация артефактов• Ослепление участников СВО для поддержки двойного слепого рецензирования
• Рандомизация рецензентов• Независимая подготовка оценочных листов любой сложности• Интегрированная валидация оценочного листа (перед отправкой рецензии)
• Автоматический расчёт первичного балла по формализованным полям оценочного листа
• Автоматическая подготовка отчётов по состоянию СВО и финального отчёта
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 24
Требования к ПО:Некоторые нефункциональные требования• Использование только стандартных компонентов Microsoft
Office 2010+ или Office 365 на клиентах• Поддержка серверных технологий:
• IMAP-совместимых почтовых серверов• Microsoft Exchange
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 25
Требования к компьютеру:Преподаватель• Установлен Microsoft Office 2010+ или развёрнут клиент
Microsoft Office 365• Необходимые компоненты: Excel, Word, Outlook
• В Microsoft Office разрешён запуск макросов• В Microsoft Outlook настроен необходимый почтовый ящик
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 26
Требования к компьютеру:Студент• Возможность:
• Работы с электронной почтой• Чтения PDF-файла• Редактирования Excel-файла (*.xlsm) для версии Microsoft Office 2007+
þMicrosoft Office на компьютере студента не обязателен!
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 27
PASCA: Главный лист рабочей книги
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 28
Основные стадии (начало)
Точка в стадии!Общие настройки
PASCA: Практические проблемы и перспективы• Организационные
• Интеграция с учебными планами, программами, процессами, отчётами….• Технологические
• Интеграция КПСУН взаимного оценивания с существующими средствами поддержки учебного процесса
• Как минимум – с Microsoft OneNote Class Notebook (https://www.onenote.com/classnotebook)
• Проблемы в контексте обучения разработчиков ПО• Составные схемы оценивания (rubric + grading rule + scale)• Отсев однозначно неверных работ (не компилируются, завершаются аварийно)
• Как направить (поддержать) студентов при проверке работ?• Как поставить итоговую оценку?
• Формализация перехода от первичного балла к итоговой оценки• Что делать с «халтурщиками»?
• Особенно «халтурными» рецензиями. Вариант – межсессионная связь
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 29
PASCAВсе стадии одной сессии взаимного оценивания
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 30
1. Стадия подготовки сессии:Сценарии1.1. Подготовка задания (файл описания задания)1.2. Подготовка оценочного листа с правилами валидации и
критериями оценивания • Варианты: чек-лист [check-list], список шкал [scale list], рубрика [rubric], другое
1.3. Подготовка исходного списка участников СВО (Авторов) с адресами электронной почты
1.4. Заполнение параметров сессии и её расписания1.5. Анонимизация участников СВО и построение
схемы рандомизации Подач и Рецензий • Отображение пар < Податель, Рецензент > в пространство идентификаторов рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 31
1. Стадия подготовки сессии:Список студентов (авторов)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 32
Идентификатор участника СВО
1. Стадия подготовки сессии:Параметры сессии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 33
1. Стадия подготовки сессии:Оценочный лист (PR-Form)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 34
1. Стадия подготовки сессии:Оценочный лист: анонимизация
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 35
Идентификатор рецензии
1. Стадия подготовки сессии:Оценочный лист: валидация рецензии
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 36
Сообщение об ошибке заполнения
2. Стадия сбора артефактов:Сценарии2.1. Рассылка файла описания задания Авторам2.2. Отслеживание присылаемых Подач до даты окончания
подачи2.3. [Необязательно] Переопределение отображения Авторов и
Рецензентов после анализа поступивших Подач• Контроль числа Подач (% от числа Авторов)• Ручная проверка соответствия пар < Податель, Рецензент >и имеющихся Артефактов
• [в работе] Адаптивные алгоритмы отбора будущих Рецензентов
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 37
3. Стадия сбора рецензий:Сценарии3.1. Рассылка оценочных листов
• По имеющемуся отображению Авторов и будущих Рецензентов3.2. Отслеживание присылаемых Рецензий до даты окончания
рецензирования3.3. Подсчёт первичного балла по присланным Рецензиям и
проверка статуса всех Авторов• Правила:
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 38
Mark Sense-3 Invalid PR form (by ValidateForm func)-2 Invalid call to assessment func (AssessmentResult func)-1 Invalid calculation inside assessment func
>=0 Result of normal execution of assessment func
4. Стадия анализа и рассылки результатов:Сценарии4.1. Рассылка результатов СВО студентам4.2. Получение дополнительной обратной связи от студентов4.3. Построение итогового отчёта
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 39
4. Стадия анализа и рассылки результатов:Письмо с результатом рецензирования
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 41
4. Стадия анализа и рассылки результатов:Первичные баллы после автоматической обработки рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 41
Постоянно-доступные сценарии
• Проверка состояния СВО• Отчёт о Подачах• Отчёт о Рецензиях
• Рассылка информационных писем студентам• С комментариями к заданию• С запросом обратной связи• Произвольные письма
• Архивирование:• Почтового ящика• Загруженных артефактов и рецензий
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 42
Но это ещё не конец?!Спасибо за внимание!
Контакты:• Алексей Незнанов
• Департамент Анализа данных и искусственного интеллекта, Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия
• E-mail: [email protected]• Web-site: http://hse.ru/staff/aneznanov• Blog: http://siberianshamanssongs.blogspot.ru (RU)
• Ольга Максименкова• Департамент Программной инженерии, Факультет компьютерных наук, НИУ ВШЭ, Москва, Россия
• E-mail: [email protected]• Web-site: http://hse.ru/staff/maksimenkova• Blog: http://stoptoscale.blogspot.ru (RU)
© 2016, Максименкова О.В., Незнанов А.А., ДПИ и ДАДиИИ ФКН НИУ ВШЭ 43