cee secr-2013-smirnova-volga
DESCRIPTION
This report describes tutoring systems, which offer students to enter full solutions of the problems instead of completing tests with multiple-choice questions. Students solve problems by entering steps, after the student enters a step, he/she can ask if the step is correct or not. Also students are able to get hints (what to do as a next step) and get marks for their solutions. This report describes experience of construction of this sort of systems fulfilled by our research group, as well as known results and possible future research directions.TRANSCRIPT
![Page 1: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/1.jpg)
Девятая независимая научно-практическая конференция «Разработка ПО 2013»23 - 25 октября, Москва
Наталия Смирнова
Опыт разработки интеллектуальной обучающей системы «Волга»
![Page 2: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/2.jpg)
Структура доклада
• Введение
• Постановка задачи измерения прогресса в решении
• Алгоритм Andes Physics Tutor
• Алгоритм ИОС «Волга»
• Выводы. Дальнейшая работа
2
![Page 3: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/3.jpg)
Структура доклада
3
Введение
![Page 4: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/4.jpg)
Интеллектуальные обучающие системы
Можно ли сделать их умнее?
Да!
4
![Page 5: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/5.jpg)
Интеллектуализация распознавания ответа студента
Студент вводит решение задачи:
А программа — ему:
5
![Page 6: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/6.jpg)
«Следящие» интеллектуальные обучающие системы: Andes Physics Tutor
6
Еще более продвинутое распознавание ответов студентов:
![Page 7: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/7.jpg)
«Следящие» интеллектуальные обучающие системы: ИОС «Волга»
7
Мы тоже сделали «умную» систему:
![Page 8: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/8.jpg)
Интерфейс ввода решения ИОС «Волга» и пользователи-гуманитарии: пример
8
Условия задачи:• решило: 10 из 11 чел.,• учились интерфейсу: 8 чел.
Ср. время обучения интерфейсу (мин)
Ср. % незасчитанных системой шагов
![Page 9: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/9.jpg)
Структура доклада
9
Постановка задачи
![Page 10: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/10.jpg)
Предположения и ограничения
10
Используются только обозначения
!системы
Используются только обозначения
!системы
Только однострочные
, формулы без!объяснений
Только однострочные
, формулы без!объяснений
LaTeX- подобныйсинтаксис
LaTeX- подобныйсинтаксис
![Page 11: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/11.jpg)
Этапы проверки шага решения
11
Верификация шага
Расчет прогресса в решении
?
Вопрос к студенту
Обновление инф. В БД(для подсказок и оценки за задачу)
Сообщение о статусе шага
![Page 12: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/12.jpg)
Верификация шага: примерный алгоритм
z = 1 + y
Пусть студент ввел шаг:
В шаг подставляются известные системе значения переменных:
5 = 1 + 4
Полученное выражение упрощается и сравнивается с 0:
if simplify(5 – (1 + 4)) == 0://студент ввел правильный шаг решения…
![Page 13: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/13.jpg)
13
Верификация шага: библиотеки
Для упрощения выражений можно использовать библиотеку SymPy:
![Page 14: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/14.jpg)
14
Измерение прогресса в решении
Измерение прогресса в решении – нетривиальная проблема.
«Наивный» способ не годится: даже для самой простой задачи требуется внести слишком много формул и решений. Решение 1
Этап 1Этап 2…
Этап m
шаг решения студента
и вычислительно это не выгодно…
Image courtesy of Keattikorn at FreeDigitalPhotos.net
![Page 15: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/15.jpg)
Структура доклада
15
Алгоритм измерения прогресса в решенииAndes Physics Tutor
![Page 16: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/16.jpg)
16
Измерение прогресса в решении: примерЗадача: вычислить расстояние между векторами a и b
Возможные решения генерируются на основе формул:
Пусть студент ввел формулу:
![Page 17: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/17.jpg)
17
Измерение прогресса в решении: пример
Очевидно, что формула получена на основе формул (1) и (3)
Т.е. прогресс студента = 2/6 = 33%
![Page 18: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/18.jpg)
18
Измерение прогресса в решении в Andes Physics Tutor
Одна из систем:
![Page 19: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/19.jpg)
19
Измерение прогресса в решении в Andes Physics Tutor: недостатки
Непонятно, как обрабатывать формулы с векторами и матрицами типа
Не защищен от имитации правильно введенных шагов решения:
Имитации: Правильный шаг:
увы, для него это одно и то же
![Page 20: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/20.jpg)
Структура доклада
20
Алгоритм измерения прогресса в решенииИОС «Волга»
![Page 21: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/21.jpg)
21
Измерение прогресса в решении в ИОС «Волга»: отношения вычислимости
![Page 22: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/22.jpg)
22
Измерение прогресса в решении
Рассмотрим случай, когда в левой части формулы студента только одно обозначение:
и
Чем больше обозначений в проверяемом шаге заменено на числа, тем труднее нашему алгоритму выявить имитацию, ср.:
получится выявить имитацию не получится
Измерение прогресса в решении в ИОС «Волга»: текущие ограничения
![Page 23: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/23.jpg)
Пусть студент ввел формулу:
Пусть имеется такой граф спускаемся в нем от (c,c) вниз,пока не вып. условие:
23
Измерение прогресса в решении в ИОС «Волга»: нахождение зависимостей
«текущее состояние», список обозначений
Обозначим
![Page 24: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/24.jpg)
Пусть студент ввел формулу:
Получим три пути с
и выражение 24
Измерение прогресса в решении в ИОС «Волга»: нахождение зависимостей
![Page 25: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/25.jpg)
Итак, формула студента:
и сгенерированное системой выражение
Заменим в его правой части все обозначения, кроме тех, что присутствуют в , получим:
25
Измерение прогресса в решении в ИОС «Волга»: выявление имитаций
эквивалентно формуле студента, не имитация
![Page 26: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/26.jpg)
Что было бы, если бы студент ввел формулу
Мы получим выражение
В его правой части заменять нечего. Сравниваем формулы:
26
Измерение прогресса в решении в ИОС «Волга»: выявление имитаций
?
и
Не эквивалентны, это имитация правильного шага
![Page 27: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/27.jpg)
Что было бы, если бы студент ввел формулу
Мы получим выражение
В его правой части заменять нечего. Сравниваем формулы:
27
Измерение прогресса в решении в ИОС «Волга»: выявление имитаций
?
и
Эквивалентны, имитация не выявляется (хотя она есть)
![Page 28: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/28.jpg)
Т.е. прогресс в решении = 3/(3+2) или 4/(4+2) 28
Измерение прогресса в решении в ИОС «Волга»: расчет прогрессаПусть студент ввел формулу:
Получили три пути:
![Page 29: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/29.jpg)
29
Измерение прогресса в решении в ИОС «Волга»: автоматическое построение графа
Сначала строим отдельные ребра графа,потом получаем более сложную структуру
![Page 30: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/30.jpg)
• Среди преподавателей нет согласия о том, чем должен заниматься студент: выводом формул или арифметикой
• Всегда найдутся неординарные студенты
Надо учиться обрабатывать разные «не идеальные» случаи:
30
Измерение прогресса: остальные случаи
-4=1-5
(1-3)^2+(2-4)^2=8
x_a*x_b+y_a*y_b=3*7+4*8
c_1*c_2=4
![Page 31: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/31.jpg)
31
Выводы
![Page 32: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/32.jpg)
32
Выводы
• Проверять развернутые решения студентов – возможно!
• Необходимо рассмотреть и другие крайние случаи видов вводимых студентами формул
• … другие задачи, не только по линейной алгебре
• Не стоит забывать об ограничениях и оставлять студенту возможность для «жалобы» на систему
![Page 33: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/33.jpg)
33
Использованные источники и полезные ссылкиСлайд 1
http://habrahabr.ru/post/194240/
Слайд 5
1.https://moodle.org/plugins/view.php?plugin=qtype_stack
2.Левинская М.А. «Продукционная модель интерактивной компоненты обучающей системы». http://www.mce.su/archive/doc15643/doc.pdf
3.Левинская М.А. «Построение интеллектуальных обучающих систем по математике с использованием языка Tree-Refal» // Перспективные информационные технологии и интеллектуальные системы». Т. 3. № 15. 2003
![Page 34: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/34.jpg)
34
Использованные источники и полезные ссылкиСлайд 5
4.S. Klai, T. Kolokolnikov, and N. Van den Bergh, “Using Maple and the web to grade mathematics tests,” in Proceedings of the International Workshop on Advanced Learning Technologies, 2000.
5.M. Mavrikis and A. Maciocia, “Wallis: a web-based ILE for science and engineering students studying mathematics,” in Workshop of Advanced Technology for Mathematics Education in the 11th International Conference on Artificial Intelligence in Education, 2003, pp. 505–512.
6.“Maple T.A.” http://www.maplesoft.com/products/mapleta/
7.C. J. Sangwin, “Assessing Elementary Algebra with STACK,” International Journal of Mathematical Education in Science and Technology, vol. 38, no. 8, pp. 987–1002, 2008.
8.C. J. Sangwin, “Automating the marking of core calulus and algebra: eight years on.” http://web.mat.bham.ac.uk/C.J.Sangwin/Publications/2009-12-mmg.pdf
4.Левинская М.А. «Продукционная модель интерактивной компоненты обучающей системы». http://www.mce.su/archive/doc15643/doc.pdf
5.Левинская М.А. «Построение интеллектуальных обучающих систем по математике с использованием языка Tree-Refal» // Перспективные информационные технологии и интеллектуальные системы». Т. 3. № 15. 2003
![Page 35: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/35.jpg)
35
Использованные источники и полезные ссылкиСлайд 5
9.Answer tests.” https://github.com/maths/moodle-qtype_stack/blob/master/doc/en/Authoring/Answer_tests.md#EqualComAss.
10.E. Melis and J. Siekmann, “ActiveMath: An Intelligent Tutoring System for Mathematics,” Artificial Intelligence and Soft Computing – ICAISC 2004, vol. 3070, pp. 91–101, 2004.
Слайд 6VanLehn K. (et al.) The Andes Physics Tutoring System: Lessons Learned. International Journal of Artificial Intelligence in Education. Vol. 15. № 3. 2005. http://oli.cmu.edu/wp-oli/wp-content/uploads/2012/05/VanLehn_2005_Andes_Physics_Tutoring_System.pdf
![Page 36: Cee secr-2013-smirnova-volga](https://reader035.vdocuments.pub/reader035/viewer/2022081414/54c2e5834a7959896c8b45a6/html5/thumbnails/36.jpg)
Слайд 13
http://sympy.org/ru/index.html
Слайд 16
Shapiro J.A. An Algebra SubSystem for Diagnosing Students’ Input in a Physics Tutoring System. http://www.physics.rutgers.edu/~shapiro/tutor/submission3.pdf
36
Использованные источники и полезные ссылки
Слайд 29https://github.com/indra-uolles/solution_tracer