PRML勉強会鈴木雄登

だれ？

• 氏名：鈴木雄登　@moc_yuto

• facebook: yutosuzu

• 大学院で自然言語処理を研究

• 現職：CyberZの開発エンジニア

アジェンダ

• ガウス分布の特徴

• ガウス分布と最尤推定

• ガウス分布とベイズ推論

• 混合ガウス分布

ガウス分布の特徴• 正規分布とも呼ばれる

• 単峰形（極大値が１つ） 確率密度関数

ガウス分布が使われる場面• 変数が1つの時のエントロピーを最大化する分布

• 確率変数の和における変数の数が増えるにしたがって近づく分布はガウス分布（中心極限定理）

• ガウス分布を用いたマルコフ確率場

• 時系列データのモデル化に用いられる線形動的システム

１変数のガウス分布平均

分散

変数：スカラー値x パラメータ：平均と分散

１変数のガウス分布

ｘに依存している部分

この２次形式部分が定数 ＝ガウス分布の密度が一定

（ユークリッド距離という）

多変量ガウス分布平均ベクトル 共分散行列

多変量ガウス分布

ｘに依存している部分

この２次形式部分が定数 ＝ガウス分布の密度が一定

（マハラノビス距離という）

分散と精度

• 分散の逆数は精度

• 共分散行列の逆数は精度行列

２次形式の特徴固有ベクトルを用いると

ただし、yは次のように定義

x-μが定数の面は 楕円体になる

平行移動回転

ガウス分布における制限• パラメータの総数はDに対して2乗に増加し、計算が困難

• 共分散行列Σには、D(D+1)/2個の自由パラメータ

• μにはD個の独立パラメータ

• 対応策：共分散行列を対角化⇒独立パラメータが２Dに

一般のもの 対角行列 単位行列に比例

ガウス分布における制限その２

• 単峰性（極大値が１つ）

• パラメータが多すぎて、柔軟すぎる

• 適切に表現できる分布の範囲が制限され過ぎ

• 対応策：潜在変数を導入する（ガウス混合分布など）

条件付きガウス分布

• 同時分布がガウス分布なら条件付き分布もガウス分布

• 平方完成を使うことで、導出可能

周辺分布（復習）

X\Y 0 1 P(X)0 1/4 1/4 1/21 0 1/2 1/2P(Y) 1/4 3/4

周辺ガウス分布• 同時分布がガウス分布⇒周辺分布もガウス分布

p(xa,xb)の等高線 赤線は断面図 p(xa)は横からみたもの

ガウス分布に対するベイズ• ベイズの定理を求める

p(x)とp(y|x)が既知のとき、p(y)とp(x|y)を求めたい

２次形式を用いると、 上の式から変形してp(y)とp(x|y)を求めることができる。

ガウス分布の最尤推定• ガウス分布の最尤推定も偏微分を行えば、求められる

求める パラメータ

観測値

逐次推定一括処理できないくらいデータ集合が大きい時に利用

更新時の修正分

Nが増えるに連れ 影響は小さくなる

ガウス分布によるベイズ推論

• ガウス分布を用いると、以下を求めることができる

• 分散が既知の場合の平均の推定

• 平均が既知の場合の分散の推定

• 分散、平均ともに未知の場合の推定

分散が既知、平均の推定尤度関数が以下であったとき、

であるので事前分布p(μ)にガウス分布を選べば

と推定できる

　共役事前分布に！

考察• 事後分布の平均＝事前分布の平均～最尤推定解の平均

• N＝０　⇒　事前分布の平均

• N→∞　⇒　最尤推定解の平均

平均が0の事前分布

平均が既知、分散の推定• 便利なので分散を精度でもって計算 • 精度は分散の逆数 • 共役事前分布はガンマ分布があてはまる

平均、分散ともに未知

• 事前分布：ガウス―ガンマ分布

• ガウス分布とガンマ分布の積だが、パラメータは依存している

スチューデントのt分布• 平均は同じだが、精度が異なるようなガウス分布を無限個足しあわせたもの

• ガウス分布より分布の「すそ」が長い→ロバスト！

• 外れ値に強い

• 実運用では、このようなすその重い分布を使うと外れ値に強いのでおすすめとのこと。

周期関数• 周期になっている変数を扱う際、原点の選択で平均の値が変わってしまう。そこで極座標を使おうよという話。

θ1

θ2

混合ガウス分布

通常のガウス分布 混合ガウス分布

混合分布：ガウス分布のような基本的な分布を線形結合

混合ガウス分布

ガウス分布

個別に平均と共分散のパラメータを持つ

混合係数

混合ガウス分布

ガウス分布

個別に平均と共分散のパラメータを持つ

混合係数

xで積分

混合ガウス分布のパラメータ推定

• 単純には解けない！！

• みんな大好きEMアルゴリズムで！！！！

おわり