ベイズ統計学cse.naro.affrc.go.jp/minaka/cladist/bayesianstatistics... ベイズの定理...

ベイズ統計学̶ ベイズの定理からベイズ的推論へ ̶

三中信宏MINAKA Nobuhiro

独立行政法人農業環境技術研究所生態系計測研究領域上席研究員

東京大学大学院農学生命科学研究科生物・環境工学専攻教授［生態系計測学］

東京農業大学大学院農学研究科客員教授［応用昆虫学］

mailto:[email protected]

http://twitter.com/leeswijzer

http://cse.niaes.affrc.go.jp/minaka/

http://d.hatena.ne.jp/leeswijzer/

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」（1763）

全事象条件付き事象の確率

事象 B 事象 A

事象 R

事象 A

事象 B

R

R積事象の確率 ��

�

��

�

��

��

�

��

��

�


条件付き確率の定義より：

��

�

��

�

��

��

�

��

��

�

� ��

�

� ��

�

右辺の分母について：

} 事後確率事前確率尤度

ベイズの定理

全事象＝ 1となる

（∵Aと Bは排反事象）

基準化定数


尤度

仮説 B 仮説 A

データR

仮説 A

仮説 B

R

R事象 Rを「データ」，事象 Aと Bを対立する「仮説」とみなすと，条件付き確率は，それぞれの仮説がデータに対して与える「尤度」を意味する．

尤度


仮説 B 仮説 A

データR

ベイズの定理の「事後確率」はデータ Rによる仮説 AとBの条件付き確率である．

仮説 B 仮説 A

データR

事後確率

ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である．

データR


一般に，全事象が互いに排反な n事象H1～Hnに分割されるとき：

��

�

事後確率事前確率尤度

ベイズの定理（一般）全事象

H1 Hn

事象 R

H2

Rをデータ，H1～Hnを対立仮説とすると，ベイズの定理から，データによって各仮説が支持される程度を事後確率の値で示すことができる．仮説の事後確率は仮説の事前確率と尤度に比例する．

基準化定数


大学全体条件付き確率の仮定

男性 =2/3 女性 =1/3

長髪

女性

男性

長髪

長髪

Pr( 長髪｜女性 )=3/4

Pr( 長髪｜男性 )=1/2

［数値例］

事前確率

尤度

尤度


［問題］「長髪の人がいた」というデータ Rがあるとき，仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか？

事前確率

��

�

��

�

��

� ��

�

�

��

� ��

�

�

尤度

��

��

��

��

��

�

��

� ��

��

��

��

��

�

��

� ��

��

��

��

��

�

事後確率

基準化定数

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

��

� ��

��

��

��

��

�

��

� ��

��

��

��

��

�

事前確率尤度事後確率事後確率の大小からは，「長

髪の人がいた」というデー

タ Rのもとで，仮説 H2「そ

の人は男性である」が選択

される．尤度の大小からは，同じデータ Rであっても，対立仮説H1「その人は女性である」が選択される．

ベイズ推定

最尤推定

＜＜

ベイズ法と最尤法のいずれを用いればいいのか？

ベイズ法をめぐる論争あれこれ主観的確率と計算複雑性

【哲学的問題】

伝統的にベイズ主義者は，「主観的確率概念」を信奉する統計学者が多

く，「頻度的確率概念」を支持する他の統計学者との間で，激しい論争

が長年にわたって続いている．現在もなお進行中（かな）．

【実践的問題】

事前確率をどのように与えるのか，また，事後確率の算出にともなう計

算量の増大にどのように対処すればいいのかという問題が未解決だっ

たので，つい最近までベイズ法は実践的な統計ツールではなかった．

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

��

�

事後確率事前確率尤度

ベイズの定理をパラメトリック確率分布にあてはめる：

��

�

事後分布事前分布尤度

データ xに関する確率密度関数のパラメータθがある事前確

率分布πに従うと仮定する．xの尤度をfとするとき，パラメー

タθの事後確率分布はベイズの定理により与えられる．

説明仮説はデータに関す

る統計モデルのパラメー

タによって決定される．

基準化定数


［例］ベータ事前分布をもつ二項分布パラメータの事後分布

��

�

�

��

�

��

� �

��

�

二項分布（期待値 np）

ベータ分布（期待値 a/(a+b)）

二項分布を決めるパラメータ pがベータ分布に従う事前分布をすると考える．そのココロは，pに関する事前情報（または背景仮定）を推定に組み込もうとするベイズ主義の精神の発露である．

例）オモテの出る確率が pであるコインを n回投げたときに，オモテの x回出る確率は，この二項分布に従う．

ベータ分布の二つのパラメータ aと bを変えると，二項分布のパラメータ pの分布が変化する．a=b=1 のとき一様分布（無情報事前分布）となる．



��

��

�

�

��

� �

��

�

� ��

�

��

�

��

� �

��

��

�

事後分布

尤度（二項分布）事前分布（ベータ分布）

基準化定数

事後分布 ��

�

データ xのもとでの pの事後分布はベータ分布であり，そのパラメータは x+a, n-x+b である．



事前分布事前分布

事後分布事後分布

事前分布が a=b=1 のとき事前分布が a=b=2 のとき

n=10, x=6


データ「n=10, x=6」から，最尤法でパラメータ pを推定してみる．

��

��

��

�

��

� ��

�

��

��

�

�

1) 尤度関数をパラメータ pで微分する．

2)尤度方程式を解く．

3) 最尤推定値が得られる．

0 13/5p

p̂最尤推定値

��

��

��

��

��

��

�

その標本分散は近似的に：標本誤差3/125


［例］正規事前分布をもつ正規分布の平均パラメータの事後分布

��

��

��

�

��

�

��

�

正規分布

μの正規事前分布

��

�

� � ��

�

��

��

��

��

�

��

��

��

�

ある正規分布に従う母集団から n個の独立な標本を取ると仮定する．

その正規分布の平均μは別のある正規分布を事前分布としてもつと仮定する。

得られた標本データのもとで，μの事後分布はどうなるか？



��

��

��

��

��

�

��

�

��

��

��

��

�

��

��

��

�

��

��

��

�

��

��

��

�

� � ��

�

��

� � ��

��

��

��

�

μの事後分布

事後分布の確率密度関数

事前分布尤度

ただし∴

μの事後分布もまた正規分布となることがわかる．



μの事前分布N(0,10)

平均パラメータμ

標本平均 5.132

μの事後分布N(5.08, 0.099)

μの事前分布N(0,10)

平均パラメータμ

標本データ＝｛4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792｝

標本データ

ベイズ事後分布を求めるモデルが複雑になると計算量が膨大になる

［例］分子系統樹のベイズ推定

v1

v2

v3v4

v5 v6

パラメータ群　樹形：τ　枝長：v　置換遷移確率：θ　サイト間変異：α

��

��

�

��

��

�

�

�

�

��

�

樹形の事後分布

推定対象

対象外（撹乱母数）

撹乱母数は期待値計算で消去

樹形の尤度

樹形の事前分布

配列データ X

多重積分の重荷

組合せ論的爆発

ベイズ事後分布を求めるマルコフ連鎖モンテカルロ法（MCMC）という最終兵器

��

��

�

事後確率分布

事後確率

パラメータ 1

パラメータ2

パラメータ初期値を無作為に与え，マルコフ過程を用いて事後確率分布を系統的にサンプリングし，定常状態になるまで探索させる．

マルコフ連鎖モンテカルロ法（Markov chain Monte Carlo: MCMC）

初期値

定常状態

酔歩状態

慣らし過程（burn-in）

事後確率分布計算


100ステップ 1,000 ステップ 10,000 ステップ


事後確率分布

事後確率

マルコフ連鎖ステップ数二項分布パラメータ p


MCMCは福音か，それとも災厄かベイジアン最終兵器の光と影

【光】「ベイジアンMCMC」が登場して，まだ 10年ほどしか経っていない．にも

かかわらず，その実用性はすでに生物学・医学の広い領域に浸透しつつある．生

物統計学はもちろん，これから進化学・生態学・バイオインフォマティクスなど

を学ぶとき，たいへん有効なツールである．とくに，現実に即した複雑なモデル

を用いるとき，ベイジアンMCMCは現時点でほとんど唯一の計算手段である．

【影】以下の問題点が指摘される：１）事前分布をどのように設定するのか，そ

の妥当性あるいは結果への影響はどのようにして評価されるのか；２）マルコフ

連鎖が収束したかどうかはいつどのようにして判定すればいいのか；３）ベイズ

主義をめぐる“哲学的”な問題点は何一つ解決していない．ユーザーは眼前の問

題解決に役立つ分析ツールのひとつとして使っているだけだから．

ベイズ統計学cse.naro.affrc.go.jp/minaka/cladist/bayesianstatistics... ベイズの定理...

Documents