⼭梨⼤学⼤学院医学⼯学総合研究部豊浦正広2017/3/15

質問にMOOCsの映像とスライドで解答するシステムの構築

⼈⼯知能研究振興財団助成研究報告

MOOCs (Massive Open Online Courses)

MOOCs ~ ⼤規模公開オンライン講座の解析を想定した「全世界に等しく教育機会が与えられるように」

2012/4~ 2012/5~

2012/2~ 2014/4~

(技術的でない)問題：MOOCsのデータ利⽤は権利上難しい映像⾃体・アクセスログの所有権確保⼈⼿でメタデータ付与・構造化⼀般映像ではメタデータ・構造化はほとんどない

2

⼭梨⼤学アクティブラーニング教室

3

Rear camera

Fish-eye cameraCeiling mic

Screen (Whiteboard)

Movable chair x80

N

Movable whiteboard x10

Screen (Whiteboard)

Screen (Whiteboard)Sc

reen

(W

hite

boar

d)

Front cameraCeiling mic

⼭梨⼤学アクティブラーニング教室

4

⽬的：授業間⽐較によるPDCAサイクル講師はアクティブラーニング型の新⼿法を導⼊する個々の⼿法(tips)は個々の状況・⽬的に対応して⽂献に記載される試⾏錯誤(trial and error)の負担は講師が負う結果・効果はすべての講義が終了してから成績によって分析される

講師が通常知らないこと：他の講師の授業との違い・⾃⾝の前の週の授業との違い

→ 授業間⽐較によるPDCAサイクルを回して授業改善に役⽴てる5

具体的な⽬標

アクティブラーニング授業の内容を認識して可視化する機械学習で映像内容を⾃動で推定する

従来研究には⾃動処理やアクティブラーニングの⽂脈が⽋けていたビデオリフレクション(振り返り) [Pellegrino 12, Rich 09, Tripp 12]

ビデオエスノグラフィ(参与観察) [Harris 05, Krammer 06, Piki 10]

メタデータ，アノテーション，映像へのコメント付与[Rich 12, Fathi 11, Chandra 07, Paro 15]

6

最終結果Timelines

7

最終結果

Matrix-based histogram8

授業内容を5つに分類グループワーク(Group work)−複数学⽣による活動学⽣発表(Student presentation)−学⽣による発表・質疑講義(Lecture)−講師による解説や指導⾃主学習(Private work)−試験・個別演習移動(Movement)−講義室への⼊退室，教材の受け取り，他の活動に分類されないすべての活動

9

Feature from Video

映像から3チャンネルの提⽰情報を算出

⼿持ちマイク

天井マイク

フレーム間差分 −活動の多寡

−講義室の雰囲気，各時刻での話者

フレーム間差分10

提案⼿法：映像からの授業内容推定Bag-of-Words

Histogram

Feature space

Handy mic

Ceiling mic

Frame differential

k-means

学習段階Tagged movie data

11

Histogram

GW

Lecture

Presentation

GW

Lecture

Presentation

Bag-of-Words

提案⼿法：映像からの授業内容推定

Tagged movie data学習段階

12

k-NN

Target movie data (Unknown)

Set of histogram(Learning dataset)

Bag-of-Words

提案⼿法：映像からの授業内容推定

実⾏段階13

最終結果Timelines

14

カテゴリの時間配分の可視化

15

各分類の時間配分の⽐較を容易にする

実験推定精度検証:

2講師の各5授業に対する⼿動タグ付け

各講師に対して，Leave-one-out 交差検証 (LOOCV)を⾏った

Tagged movie data

16

実験結果

Man

ual T

ag(G

roun

d tr

uth)

76.0%(Good)

Est

imat

ed

平均推定精度: 72.4% (min: 54.5%, max: 86.8%)

17

実験結果

Man

ual T

ag(G

roun

d tr

uth)

70.3%

Est

imat

ed

18

平均推定精度: 72.4% (min: 54.5%, max: 86.8%)

56.5%(Worse)

実験結果

Man

ual T

ag(G

roun

d tr

uth)

Est

imat

ed

19

平均推定精度: 72.4% (min: 54.5%, max: 86.8%)

実験結果可視化効果の検証 (8講義 79 授業)：いくつかの傾向を観察〜Tue1 ではグループワークに多くの時間を費やしているMon4 と Tue3 は同じ講師による授業であるが，Mon4 の⽅がグループワークが多く，Tue3 の⽅が解説が多いMon3 や Fri2 では毎回の時間の使い⽅に⼀貫性があるその他の授業では，毎回の時間の使い⽅が変わっているものがある

20

研究成果まとめ

アクティブラーニング型授業に対して：

機械学習によって内容分類を⾃動化した内容推定では平均して72.4%の正解率

TimelinesとMatrix-based histogramにより内容可視化した可視化することによって 90 分の授業の展開が⼀覧できた複数授業の傾向を⾒るための⼿掛かりを得られた

21