mathematical foundation of statistical learningwatanabe-自動生成 しよう 「くだもの」の...
Post on 20-May-2020
1 Views
Preview:
TRANSCRIPT
情報学習理論
渡辺澄夫
東京工業大学
教師なし学習
学習データ
X1, X2, …, Xn
テストデータ
X
真の情報源
情報源の構造を発見するそれは真実か幻想か
2015/12/7 Mathematical Learning Theory 3
教師なし学習 : 代表例を見つける
p(x|w)
q(x)
「くだもの」の代表・・・
代表例の自動生成
2015/12/7 Mathematical Learning Theory 4
競合学習
xi i=1,2,3,…,n
(2) xi に一番近い bk を選ぶ
(1) bk ; k=1,2,…,K 初期化
(3) bk := bk + ε( xi – bk )
xi
bk
bk
(2), (3) を繰り返す (ε→0)
2015/12/7 Mathematical Learning Theory 5
競合学習の様子
初期値
競合学習は k-means とは異なるアルゴリズムであるが目標とする学習結果はほぼ同じである
2015/12/7 Mathematical Learning Theory 6
教師なし学習の目標の例
高次元空間にたくさんの例が与えられたとき
(1) 代表例をあげる ← 先週まで
K-Means, 競合学習
(2) 空間の地図を作る ← 今日はここ
自己組織化写像
(3) 情報源の確率分布を知る ← 来週以後
混合正規分布 ボルツマンマシン
2015/12/7 Mathematical Learning Theory 7
情報空間に地図を作る
物語の空間 物語の地図
変化 成長
勝利実現
絶望無情
帰無 不変
人魚姫
浦島太郎
桃太郎
ゲゲゲの鬼太郎
千と千尋の神隠し
鶴の恩返し
のび太くん
フランダースの犬
2015/12/7 Mathematical Learning Theory 8
教師なし学習 : 地図を作る
p(x|w)
q(x)
「くだもの」の空間の地図?
地図を自動生成しよう
「くだもの」の空間の座標
2015/12/7 Mathematical Learning Theory 9
高次元空間内のデータ
高次元空間のデータが低次元多様体におおよそ乗っていることはよく起こる
2015/12/7 Mathematical Learning Theory 10
自己組織化写像
「となり同志」の情報があるものの学習
KohonenSelf Organizing Map (SOM)
2015/12/7 Mathematical Learning Theory 11
SOM 学習法
データ { xi i=1,2,3,…,n}
(2) 番号 i をランダムに選んでxi に一番近い bk を選ぶ
(1) bk ; k=1,2,…,K 初期化
(3) bk-1 := bk-1 + ε( xi – bk-1 ) bk := bk + ε( xi – bk ) bk+1 := bk+1 + ε( xi – bk+1 )
(2), (3) を繰り返す (ε→0)
SOM { b1, b2, …, bk }
xi
bk
bk+1
bk-1
2015/12/7 Mathematical Learning Theory 12
学習の様子
初期点
2015/12/7 Mathematical Learning Theory 13
1次元SOMの学習例
初期点
学習結果 学習の経過
データSOM
代表点
2015/12/7 Mathematical Learning Theory 14
高次元化
x
y
z
2次元のSOMでは「隣どうし」を縦横として学習する
2015/12/7 Mathematical Learning Theory 15
3次元以上でもできるが・・・
球面やトーラスやメビウスの帯でもできるが・・・
2015/12/7 Mathematical Learning Theory 16
データの密度
データが密集しているところには、比例して多くの点が自動的に集まる
2015/12/7 Mathematical Learning Theory 17
次元が異なると
2次元を1次元で埋めるとこのようになる
データに相応しい次元を知る方法は確立していない
2015/12/7 Mathematical Learning Theory 18
問題1次の情報に1次元のSOMをあてはめるとどのような学習結果が得られるか。二つ以上の異なる結果が得られたときには両方を描きなさい。
(1) (2)
2015/12/7 Mathematical Learning Theory 19
地図を見て世界を考える
2015/12/7 Mathematical Learning Theory 20
どんな役にたつか?
xy
z 高次元空間に埋め込まれた曲がった地図
低次元空間なので人間が理解できる
情報解析
2015/12/7 Mathematical Learning Theory 21
情報工学への応用
48
48
48×48 次元の空間
認識中間の自体の生成
2015/12/7 Mathematical Learning Theory 22
発見科学への応用
自動車の空間
(車高,車幅,CC,馬力,…)
10次元の空間
ミニバン
乗用車
ジープ
ワゴン
これに昨年と今年の売上を重ね合わせると流行の変化がわかる→商品プラン支援
2015/12/7 Mathematical Learning Theory 23
時系列予測への応用
x(t) t=1,2,…,10000
10 次元の空間(x(t),x(t+1),…,x(t+9))
起こりやすい時系列と変化の具合がわかる
現在がどれに近いかわかれば明日が予測できる?
t
x(t)
2015/12/7 Mathematical Learning Theory 24
神経科学への応用
?
外界に対応する脳内情報地図が存在?
ライオン
トラ
2015/12/7Mathematical Learning Theory 25
心理学への応用
夢・神話・伝説・物語に出てくる女性像の地図
(応用例)夢のシリーズが地図内でどのように変化するかを調べて夢見手の心の変化を考える
育てる
飲み込む
狂わせる
知恵を与える
カーリー
ソフィア
山姥
マリア
デーメーテル
魔女(白雪姫)
魔女(お菓子の家)
雪女
恐怖の館
(夢は夢見手と相補的であると言われている)
2015/12/7 Mathematical Learning Theory 26
重要注意1
SOMなどの低次元空間への写像は人間とのVisualなインターフェースに適しデータからの知識発見に役立つが
パターン認識・予測・制御において高精度なシステムには結びつかないことが多い。
⇔ 高精度なものは高次元になることが多く、完全に言語化・知識化することは難しい。
2015/12/7 Mathematical Learning Theory 27
重要注意2
予測誤差
表現次元
人間が理解できる構造の発見
精度のよい予測ができる
「構造の発見」と「最高の予測」は両立しない
数理情報学の基礎的な事実
2015/12/7 Mathematical Learning Theory 28
問題2
市区町村
1
2
3
4
5
6
・
・
人口 転入 結婚
3000 200 60100 500 105000 100 30
2000 200 20
3000 100 10
1000 200 20
3000 300 20
謝辞: 独立行政法人統計センターのデータを用いた。http://www.e-stat.go.jp/SG1/estat/eStatTopPortal.doデータの著作権は独立行政法人統計センターのページをご覧ください。このデータは2012年の市区町村の人口等である。
SOM学習結果を見てできた地図について
基本となる2軸の意味は何かを考察せよ。
音威子府村
会津若松市
渋谷区
町田市永平寺町
枚方市
阿波市
香美市
沖縄市
1人口 2子供 3労働者 4老人 5出生 6死亡 7転入 8転出 9昼人口 10結婚 11離婚
top related