p67-p71 第2章始まりから2.1.1節前まで

宋

第２章の目的

• 第1章：確率理論、決定理論、情報理論

• 第2章：具体的な確率分布＆性質

–複雑なモデルに必要

–統計概念（例えばベイズ推論）を考えるとき必要

密度推定

• 観測値 =>

• 仮定 : independent and identically distributed (IID)

• 注意点：密度推定問題は不良設定 (ill-

posed) な問題

–無限な分布について可能性がある

{x1, . . . ,xN} p(x)

p(x1, . . . ,xN ) = ΠNi=1p(xi)

モデル選択問題

パラメトリック分布

• 離散：二項分布、多項分布

• 連続：正規分布

• 密度推定問題場合のパラメータ推定方法

– 頻度主義：ある基準（例えば尤度関数）について最適化

– ベイズ：事前分布を導入して、事後分布を計算

共役事前分布

• 事前分布と事後分布は同じ形の分布の場合、事前分布を共役事前分布と呼ぶ

• 目的：ベイズ解析をより簡単にする

• 例：

• 指数型分布族

ディリクレ分布多項分布

ノンパラメトリック密度推定

• パラメトリック・アプローチ：特定な分布を仮定

• ノンパラメトリック：分布の形はデータに依存–パラメータ ＝＞ モデルの複雑さをコント

ロール

– ヒストグラム法、最近傍法、カーネル法

二値変数

• 例：コインを弾いた場合–表: 、裏:

• 表裏は半々の確率で出ないと仮定、また

に関する分布は以下のとおり

)1.2()|1( 　　　µµ ==xp

x = 1 x = 0

x

)2.2()1()|(Bern 1 　　xxx

−−= µµµ

ベルヌーイ分布

ベルヌーイ分布

• 平均：

• 分散：

)2.2()1()|(Bern 1 　　xxx

−−= µµµ

)4.2()1(][var

)3.2(][E

　　

　　　　　

µµµ

−=

=

x

x

尤度関数

• 観測データ

• 尤度関数

)5.2()1()|()|(1 1

1 　　　　 ∏ ∏= =

−−==N

n

N

n

xx

nnnxpp µµµµ

)6.2()}1ln()1(ln{)|(ln)|(ln1 1

　　　　 ∑ ∑= =

−−+==N

n

N

n

nnn xxxpp µµµµ

ln関数

=Nln(1− µ) + (lnµ− ln(1− µ))∑

n xn

十分統計量

最尤推定

)7.2(1

1

　　　∑=

=N

n

nML xN

µ

)6.2()}1ln()1(ln{)|(ln)|(ln1 1

　　　　 ∑ ∑= =

−−+==N

n

N

n

nnn xxxpp µµµµ

∂ln p(D|µ)∂µ

= 0

)8.2(　　　N

mML =µ

m : の回数x = 1

最尤推定の欠点

• ３回の試行を行い、全部表が出た場合

• 解決方法：事前分布を導入

1,3 === MLmN µ　

先もずっと表が出続ける?

二項分布

• 変数：

• 正規化係数 ：Nから m個の表を得るすべて

の通りの数

m （ の回数）x = 1

)5.2()1()|()|(1 1

1 　　　　 ∏ ∏= =

−−==N

n

N

n

xx

nnnxpp µµµµ

=µ∑

nxn(1− µ)N−

∑nxn

=µm(1− µ)N−m

)10.2(!)!(

!　　

mmN

N

m

N

−≡

二項分布：図

)9.2()1(),|(Bin 　　mNm

m

NNm

−−

= µµµ

25.0,10 == µN

二項分布：期待値と分散

• 計算する際、以下の性質を利用（Ex.1.10）

• またそれぞれの は独立

)129.1(][var][var][var

)128.1(][E]E[][E

　　

　　　　

zxzx

zxzx

+=+

+=+

x と z が相互独立な変数

Nxxxm +++= ...21 nx

)12.2()1(),|(Bin])[E(][var

)11.2(),|(Bin][E

0

2

0

　　

　　　　　　　　　

µµµ

µµ

−=−=

==

∑

∑

=

=

NNmmmm

NNmmm

N

m

N

m