mathematical foundation of statistical learningwatanabe-自動生成しよう「くだもの」の...

情報学習理論

渡辺澄夫

東京工業大学

教師なし学習

学習データ

X1, X2, …, Xn

テストデータ

X

真の情報源

情報源の構造を発見するそれは真実か幻想か

2015/12/7 Mathematical Learning Theory 3

教師なし学習 : 代表例を見つける

p(x|w)

q(x)

「くだもの」の代表・・・

代表例の自動生成


競合学習

xi i=1,2,3,…,n

(2) xi に一番近い bk を選ぶ

(1) bk ; k=1,2,…,K 初期化

(3) bk := bk + ε( xi – bk )

xi

bk

bk

(2), (3) を繰り返す（ε→０）


競合学習の様子

初期値

競合学習は k-means とは異なるアルゴリズムであるが目標とする学習結果はほぼ同じである


教師なし学習の目標の例

高次元空間にたくさんの例が与えられたとき

(1) 代表例をあげる ← 先週まで

K-Means, 競合学習

(2) 空間の地図を作る ← 今日はここ

自己組織化写像

(3) 情報源の確率分布を知る ← 来週以後

混合正規分布ボルツマンマシン


情報空間に地図を作る

物語の空間物語の地図

変化成長

勝利実現

絶望無情

帰無不変

人魚姫

浦島太郎

桃太郎

ゲゲゲの鬼太郎

千と千尋の神隠し

鶴の恩返し

のび太くん

フランダースの犬


教師なし学習：地図を作る

p(x|w)

q(x)

「くだもの」の空間の地図？

地図を自動生成しよう

「くだもの」の空間の座標


高次元空間内のデータ

高次元空間のデータが低次元多様体におおよそ乗っていることはよく起こる


自己組織化写像

「となり同志」の情報があるものの学習

KohonenSelf Organizing Map (SOM)


SOM 学習法

データ { xi i=1,2,3,…,n}

(2) 番号 i をランダムに選んでxi に一番近い bk を選ぶ

(1) bk ; k=1,2,…,K 初期化

(3) bk-1 := bk-1 + ε( xi – bk-1 ) bk := bk + ε( xi – bk ) bk+1 := bk+1 + ε( xi – bk+1 )

(2), (3) を繰り返す（ε→０）

SOM { b1, b2, …, bk }

xi

bk

bk+1

bk-1


学習の様子

初期点


１次元SOMの学習例

初期点

学習結果学習の経過

データSOM

代表点


高次元化

x

y

z

２次元のＳＯＭでは「隣どうし」を縦横として学習する


3次元以上でもできるが・・・

球面やトーラスやメビウスの帯でもできるが・・・


データの密度

データが密集しているところには、比例して多くの点が自動的に集まる


次元が異なると

2次元を1次元で埋めるとこのようになる

データに相応しい次元を知る方法は確立していない


問題１次の情報に1次元のSOMをあてはめるとどのような学習結果が得られるか。二つ以上の異なる結果が得られたときには両方を描きなさい。

（１）（２）


地図を見て世界を考える


どんな役にたつか？

xy

z 高次元空間に埋め込まれた曲がった地図

低次元空間なので人間が理解できる

情報解析


情報工学への応用

48

48

48×48 次元の空間

認識中間の自体の生成


発見科学への応用

自動車の空間

(車高,車幅,CC,馬力,…)

１０次元の空間

ミニバン

乗用車

ジープ

ワゴン

これに昨年と今年の売上を重ね合わせると流行の変化がわかる→商品プラン支援


時系列予測への応用

x(t) t=1,2,…,10000

10 次元の空間(x(t),x(t+1),…,x(t+9))

起こりやすい時系列と変化の具合がわかる

現在がどれに近いかわかれば明日が予測できる？

t

x(t)


神経科学への応用

？

外界に対応する脳内情報地図が存在？

ライオン

トラ

2015/12/7Mathematical Learning Theory 25

心理学への応用

夢・神話・伝説・物語に出てくる女性像の地図

（応用例）夢のシリーズが地図内でどのように変化するかを調べて夢見手の心の変化を考える

育てる

飲み込む

狂わせる

知恵を与える

カーリー

ソフィア

山姥

マリア

デーメーテル

魔女(白雪姫）

魔女(お菓子の家）

雪女

恐怖の館

（夢は夢見手と相補的であると言われている）


重要注意１

SOMなどの低次元空間への写像は人間とのVisualなインターフェースに適しデータからの知識発見に役立つが

パターン認識・予測・制御において高精度なシステムには結びつかないことが多い。

⇔ 高精度なものは高次元になることが多く、完全に言語化・知識化することは難しい。


重要注意２

予測誤差

表現次元

人間が理解できる構造の発見

精度のよい予測ができる

「構造の発見」と「最高の予測」は両立しない

数理情報学の基礎的な事実


問題２

市区町村

１

２

３

４

５

６

・

・

人口転入結婚

3000 200 60100 500 105000 100 30

2000 200 20

3000 100 10

1000 200 20

3000 ３00 ２0

謝辞：独立行政法人統計センターのデータを用いた。http://www.e-stat.go.jp/SG1/estat/eStatTopPortal.doデータの著作権は独立行政法人統計センターのページをご覧ください。このデータは２０１２年の市区町村の人口等である。

ＳＯＭ学習結果を見てできた地図について

基本となる２軸の意味は何かを考察せよ。

音威子府村

会津若松市

渋谷区

町田市永平寺町

枚方市

阿波市

香美市

沖縄市

１人口２子供３労働者４老人５出生６死亡７転入８転出９昼人口１０結婚１１離婚

mathematical foundation of statistical learningwatanabe-自動生成 しよう 「くだもの」の...

Documents

mathematical foundation of statistical learningwatanabe-自動生成しよう「くだもの」の...