最先端nlp勉強会“learning language games through interaction”sida i. wang, percy liang,...
TRANSCRIPT
![Page 1: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/1.jpg)
最先端NLP勉強会 “Learning Language Games
through Interaction” Sida I. Wang, Percy Liang, Christopher D.
Manning
(株)Preferred Networks 海野 裕也
2016/09/11 第8回最先端NLP勉強会
![Page 2: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/2.jpg)
2
startからgoalになるような「指⽰」を⾃由に書く
![Page 3: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/3.jpg)
3
きっと茶⾊を消したんだろう
![Page 4: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/4.jpg)
4
完全に無視!!
![Page 5: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/5.jpg)
5
候補の中から正しい⾏動の結果を選
択
![Page 6: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/6.jpg)
6
指⽰と操作のペアを学習
![Page 7: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/7.jpg)
同じようにして何問か教える
7
![Page 8: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/8.jpg)
8
さっき⾒たやつだ!
![Page 9: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/9.jpg)
9
ちゃんと学習されてる!
![Page 10: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/10.jpg)
概要
l ⾔語理解関わる⾔語ゲームを設計した l 理解を促進するための排他的な理解を⾏うため
のモデルを提案実装した l クラウドワーカーに⾔語を教えるタスクをやっ
てもらい、⾔語を教えてもらった l どのように⼈間が教えるのかも含めて興味深い
データを取った
10
![Page 11: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/11.jpg)
所感
l 設計が優れている l ⾔語の理解に関わるタスクはbAbIなど⾮現実的な⽂
か、難しい「⼤⼈」の⽂が中⼼だった
l 「簡単なタスク+⾃然な⽂」の設計にすることで、現実的な⽂でありながら複雑な知識を利⽤しないタスクができた
l ⾃⼰完結的である l これまでの、「まずデータを作る、そして問題を解
く」というタイプではなくて、「データを作りながら問題を解く」
l 学習する過程そのものに焦点があたっている11
![Page 12: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/12.jpg)
SHRDURNゲーム
l 初期状態: s \in Y l ⽬的状態: t \in Y (⼈間だけに⾒せる) l 指⽰: x (⼈間が出す e.g. “remove red”) l 候補: Z = [z1, …, zK] K個提⽰
l zは後述する⽂法から⽣成、例えば remove(leftmost(with(red)))
l 次状態: Y = [y1, …, yK] ただし、yi = [zi]s l ⼈間が正しいyiを選択
12
![Page 13: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/13.jpg)
Semantic parsing model
l x(指⽰)とz(⾏動)の対応は対数線形モデル
l 特徴(φ)はありがちなもの l 指⽰x中のn-gram(skip-gram含む)
l ⾏動z中のtree-gram l 特別な⼯夫はない
13
![Page 14: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/14.jpg)
論理形式zの⽣成
l p(z|x)に基づいてzを⽣成する必要がある l 上記⽂法規則を使って⽣成する
l ビームサーチを利⽤する
14
![Page 15: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/15.jpg)
学習
l AdaGradで最適化
15
![Page 16: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/16.jpg)
排他的な理解のモデル化
l “remove red”のあとに、”remove cyan”が来ると、⼈は両者は別の指⽰だと思う
l 現状の、特徴ベースの学習の場合、類似の特徴が発⽕するため両者を同じと判定してしまう
l 「指⽰は排他的である」という判断ができるようにしたい
16
![Page 17: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/17.jpg)
事前分布による排他性の実現
l Speaker(ユーザー)とListener(システム)の発話xと理解zの事前分布を⼊れる
l p(x)とp(z)のおかげで、各発⾔が別々の意味を持つように、補正される
l 雑な印象は受ける・・・
17
![Page 18: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/18.jpg)
事前分布がuniformだとしたときの効果の例
18
1になるよう正規化
1になるよう正規化
![Page 19: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/19.jpg)
学習⽅法
19
![Page 20: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/20.jpg)
更新式の詳細
20
zをサンプリングしたい
xは無視
p(z)を近似: P
正規化係数を近似: 1/Q
正規化係数
p(z)
![Page 21: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/21.jpg)
実験⽅法
l Amazon Mechanical Turkで、100⼈に3ドルずつ l ゲームは5段階の難易度で、10タスクずつ
l 100⼈全部で6時間しかかからなかった l 1⼈1時間程度
l 20⼈位は何したら良いのかわからなかった
21
![Page 22: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/22.jpg)
⼈間の観察
l だいたい英語だが、⼈によってバリエーションが有る l 5⼈だけ、謎の⾔語を開発
l 別の⾔語の⼈も l 多くは、⼀貫性のある表現を使う(removeだけ使う、
など)
22
![Page 23: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/23.jpg)
⾯⽩い例
23
コマンドライン⾵
暗号
![Page 24: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/24.jpg)
⼿法の⽐較
l memorize: 発⾔xと⾏動zそのものを特徴にする l half: 発⾔xだけ特徴をとるが、⾏動zはそのものを特徴
l prag: 排他性を考慮した学習
24
![Page 25: 最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy Liang, Christopher D. Manning](https://reader034.vdocuments.pub/reader034/viewer/2022042619/586f70cb1a28ab10258b4d27/html5/thumbnails/25.jpg)
まとめ
l ⾔語理解のための新しいタスクを作った l 簡単なタスクに対して、⼈間に指⽰を出させる
l オンラインで学習して、データを作りながら学習を⾏う実験を⾏えるようにした
l 排他制御のモデルを作って実装した l ⼈間の反応を含めて興味深い傾向があった
l 実験結果や⼿法そのものよりも、タスク設計や実験のやり⽅が⾮常に興味深かった
25