グラフィカルモデル機械学習プロフェッショナルシリーズ

@St_Hakky

本書の構成• 1 章

• グラフィカルモデルの導入

• 2 章• 確率論の基礎的な事項 ( 条件付き確率、条件付き独立 )

• 3,4 章• ベイジアンネットワーク / マルコフ確率場

• 5 章• 因子グラフ

• 6,7,8 章• 確率推論

• 9,10,11 章• パラメタ学習

• 12, 13 章• MAP 推定

• 14 章• 構造学習

グラフィカルモデルの２章をやります

確率論の基礎

定義 2.1 : σ- 加法族

集合 Ω その部分集合族 が以下の𝙁 3 つの条件を満たすとき、 σ- 加法族という。

1. Ω ∈ 𝙁

2. 𝐴 ∈ 𝙁 ならば Ω ＼ ∈ が成立 𝐴 𝙁3. 𝙁 の加算個の元 , , に対して、 ∈ が成立𝙁

組 (Ω, )𝙁 は可測空間、 の元は可測集合と呼ばれる。𝙁

確率論の基礎

定義 2.2 : 確率空間

集合 Ω と、その部分集合族 からなる𝙁 σ- 加法族が与えられているとする。 から実数への写像𝙁 P が確率であるとは、以下の 3 つの条件 ( コルモゴロフの公理 ) を満たすことである。

1. 任意の ∈ に対して、𝐴 𝙁 0 1

2. P(Ω) = 1

3. 互いに素な , , に対して、 P( ∈ 𝙁 が成立

集合 Ω は標本空間、三つ組 (Ω, , P)𝙁 は確率空間と呼ばれる

離散と連続に本質的に大きな違いはない。以下では、まず離散について説明し、その後連続について説明する

確率論の基礎

定義 2.3 : 離散的な確率変数

写像 X が確率変数であるとは、任意のに対して、写像が可測集合であることをいう。

確率変数の分布関数

確率分布関数 ( 確率質量関数 )𝑃 (𝑋=𝑥 )

同時確率分布関数 ( 同時確率質量関数 )

𝑃 (𝑋=𝑥 ,𝑌=𝑦 )

周辺化

∑𝑦𝑃 (𝑋=𝑥 ,𝑌=𝑦 )=𝑃 (𝑋=𝑥 )

2.2 確率変数の独立性

定義 2.4 確率変数の独立性

確率変数が任意のに対して、

𝑃 (𝑋 1∈𝐵1 , 𝑋 2∈𝐵2)=𝑃( 𝑋 1∈𝐵1)𝑃 (𝑋 2∈𝐵2)

を満たすとき、 X1, X2 は独立であるといい、以下のように表記する。

2.3 条件付き確率確率空間 (Ω, , P)𝙁 とその上の確率変数 X があるとします。今、「確率変数 X の値が B の中に入っている」という条件付けを考える。すなわり、 Ω の部分集合

𝑋−1(𝐵)={𝜔∈Ω∨𝑋 (𝜔)∈𝐵}

の確率を 1 に規格化し直し、 X(ω) B 以外の確率を 0 にする。

式このことを表現すると、条件つき確率は QB の定義は、

で与えられます。

2.3 条件付き確率

𝑃 (𝑋=𝑥|𝑌=𝑦 )= 𝑃 (𝑋=𝑥 ,𝑌=𝑦 )𝑃 (𝑌=𝑦 )

X,Y が離散的な確率変数の場合、 Y=y の事象が観測されたとすると、 X=x の確率は、以下のように表現される

2.5 連続的な確率変数の取り扱い

まぁ、難しいことはごちゃごちゃありますが、基本的には積分にすればオッケーです ( 雑 )

おしまい