グラフィカルモデル機械学習プロフェッショナルシリーズ

@St_Hakky

本書の構成• 1 章

• グラフィカルモデルの導入

• 2 章• 確率論の基礎的な事項 ( 条件付き確率、条件付き独立 )

• 3,4 章• ベイジアンネットワーク / マルコフ確率場

• 5 章• 因子グラフ

• 6,7,8 章• 確率推論

• 9,10,11 章• パラメタ学習

• 12, 13 章• MAP 推定

• 14 章• 構造学習

グラフィカルモデルの1 章をやります

グラフィカルモデルとは

ベイジアンネットワーク マルコフ確率場

大きく分けて 2 種類ある

確率的な因果関係を有効非循環グラフで表現

確率的な依存関係を無向グラフで表現

ベイジアンネットワーク

A B

C

DE

ベイジアンネットワーク

確率的な因果関係をグラフで表現

・変数がノード

・辺が因果関係を表す

・非循環グラフである

条件付き独立などをグラフで表現

P(A, B, C, D, E) = 　　 P(A)P(B)P(C|A, B)P(D|C)P(E|C)

ベイジアンネットワークの例

ベイジアンネットワークの構造学習

ベイジアンネットワークの構造を、データから推定

構造

出力

構造学習

入力

データ

A B

0 0

1 1

1 1

0 1

1 1

1 1

……

確率変数間の因果関係の有無を学習し、推定する

サンプル

マルコフ確率場

マルコフ確率場

確率的な依存関係をグラフで表現

・変数がノード

・辺が依存関係を表す

・無向グラフである

A B

C

DE マルコフ確率場においても、

ベイジアンネットワークと同じく、学習が必要。

Ising model

マルコフ確率場の例Ising model

格子状にスピンと呼ばれる量があり、それぞれ ±1 を取る。

・ +1 がスピンが上向き、 -1 が下向き

・ P(x) =

→ とは同じ値をとる確率が高くなる → とは同じ値を取らない確率が高くなる

格子点 i 上のスピン はその周囲のスピンの値によって確率的に決まる

グラフ構造を考える利点

精巧なモデルに於いて推論や学習を実行するためには複雑な計算が必要となるが、これを数学的な表現を暗に伴うグラフ上の操作として表現することができる

グラフの構造を調べることにより、条件付き独立性などのモデルの性質に関する知見が得られる

確率モデルの構造を視覚化する簡単な方法を提供し、新しいモデルの設計方針を決めるのに役立つ

おしまい