1

Как сделать учебную аналитику полезной?

Максим Скрябин

2

Немного о себеОбразование:• прикладная математика, к.ф.-м.н.• психология развития• сравнительное образованиеОпыт работы:• занимаюсь анализом данных в Stepic.org• работал 10 лет в вузах (МАИ, РУДН, ИТМО)• в дистанционном обучении с 2009 годаИнтересы:• учебная аналитика и анализ данных в образовании• математическое моделирование в поведенческих науках

3

Термины

Учебная аналитика

Академическая аналитикаАналитика талантовАналитика продукта Educational

Data Mining (EDM)

4

Типовой диалог

• У нас есть много данных! Можете их проанализировать?

• Расскажите немного поподробнее.• Ну… эээ… мы хотим улучшить качество

обучения.

5

Диалог получше

• У нас есть много данных! Можете их проанализировать?

• Расскажите про то, как у вас устроено обучение.

6

Процесс обучения

1. Анализ потребностей и условий обучения2. Проектирование обучения3. Подготовка обучения4. Проведение обучения5. Сопровождение после обучения6. Оценка обучения

7

План интервью

• Контекст– программы обучения– целевая аудитория

• Процесс обучения– вопросы «как?» по каждому этапу обучения– подробно про оценку обучения на основе модели

Киркпатрика: реакция, обучение, поведение, результат

• Первичный запрос («как есть»)• Текущее состояние и желаемые изменения

8

Типовые запросыТема Ключевой вопрос

Анализ умений учащихся Что учащиеся знают и умеют?

Анализ поведения учащихся

Как поведение учащихся сказывается на их обучение? Какая мотивация у учащихся?

Анализ опыта учащихся Довольны ли учащиеся своим опытом обучения?

Сегментирование учащихся Какие группы учащихся можно выделить?

Моделирование предметной области

Как должен быть организован учебный контент?

Анализ средств обучения Какой учебный контент эффективен для обучения?

Анализ трендов Что меняется со временем и как?

Персонализация Что можно порекомендовать учащемуся далее?

Источник: https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf

9

Озарение • Ба! Так формализация запроса – это первая

часть процесса аналитики по CRISP-DM

10

Методология: CRISP-DM или собственная?

Источник: http://www.kdnuggets.com/2014/10/crisp-dm-top-methodology-analytics-data-mining-data-science-projects.html

11

Процесс аналитики

1. Понимание бизнеса/контекста2. Понимание данных3. Подготовка данных4. Анализ данных (в оригинале – создание

модели)5. Оценка результатов (внешняя!)6. «Внедрение»

12

Кейс 1: анализ заданий

13

1. Понимание бизнеса

• Определить бизнес-цели• Определить задачи аналитики• Подготовить план проекта

Кейс: • Какие задания можно улучшить? • Посчитать статистики по заданиям

14

2. Понимание данных

• Определить источники данных• Собрать данные• Описать данные• Оценить качество данных

Кейс: • Структура курса, решение заданий

15

3-4. Подготовка и анализ данных

• «Почистить» и преобразовать данные• Обработать данные и оценить качество

обработки

Кейс: • Результат решения при первой попытке• Статистики по заданиям

16

5-6. Оценка и «внедрение»

• Оценить результаты относительно бизнес-потребности

• Подготовить финальный отчет и, возможно, план внедрения

• Оценить успешность проекта

Кейс: • Сбор обратной связи от преподавателей

17

Кейс 2: адаптивное обучение

Критерии качества системы адаптивного обучения:• качество заданий• качество рекомендаций• пользовательские

метрики

18

С чего начать?

• Анализ учебного контента• Анализ умений и поведения учащихся• Персонализация и рекомендации

19

Контакты

Максим СкрябинСтарший аналитик данных Stepic.orgE-mail: ms@stepic.org Facebook: mskryabin