ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/r/tearless_bayes1.pdfベイズの定理 thomas...

82
ベイズ統計学 (1) 「ベイズの定理」の周辺を徘徊する

Upload: others

Post on 27-Jan-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ統計学(1)「ベイズの定理」の周辺を徘徊する

Page 2: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

Page 3: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

全事象

事象 R

Page 4: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

全事象

事象 B 事象 A

事象 R

Page 5: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

全事象

事象 B 事象 A

事象 R

積事象の確率 ���� � ��

���� � ��

Page 6: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

全事象

事象 B 事象 A

事象 R

事象 A

事象 B

R

R積事象の確率 ���� � ��

���� � ��

Page 7: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

全事象条件付き事象の確率

事象 B 事象 A

事象 R

事象 A

事象 B

R

R積事象の確率 ���� � ��

���� � ��

������� ����� � ��

�����

������� ����� � ��

�����

Page 8: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

Page 9: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

������� �������������

�����

} 事後確率事前確率尤度

Page 10: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

������� �������������

�����

} 事後確率事前確率尤度

ベイズの定理

Page 11: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

������� �������������

�����

����� � ������ � �� ����� � �� � ���

���� � ��

右辺の分母について:

} 事後確率事前確率尤度

ベイズの定理

全事象 = 1となる基準化定数

Page 12: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

������� �������������

�����

����� � ������ � �� ����� � �� � ���

���� � ��

� ���� � �� � ���� � ��

右辺の分母について:

} 事後確率事前確率尤度

ベイズの定理

全事象 = 1となる

(∵Aと Bは排反事象)

基準化定数

Page 13: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

条件付き確率の定義より:

���� � �� � ������������

���� � �� � ������������

������� �������������

�����

����� � ������ � �� ����� � �� � ���

���� � ��

� ���� � �� � ���� � ��

� ������������ � ������������

右辺の分母について:

} 事後確率事前確率尤度

ベイズの定理

全事象 = 1となる

(∵Aと Bは排反事象)

基準化定数

Page 14: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

事象 B 事象 A

事象 R

Page 15: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

データR

事象 Rを「データ」,事象 Aと Bを対立する「仮説」とみなすと,

Page 16: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

尤度

仮説 B 仮説 A

データR

仮説 A

仮説 B

R

R事象 Rを「データ」,事象 Aと Bを対立する「仮説」とみなすと,条件付き確率は,それぞれの仮説がデータに対して与える「尤度」を意味する.

尤度

Page 17: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

Page 18: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である.

Page 19: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

データR

ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である.

Page 20: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

データR

ベイズの定理の「事後確率」はデータ Rによる仮説 AとBの条件付き確率である.

仮説 B 仮説 A

データR

ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である.

データR

Page 21: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

仮説 B 仮説 A

データR

ベイズの定理の「事後確率」はデータ Rによる仮説 AとBの条件付き確率である.

仮説 B 仮説 A

データR

事後確率

ベイズの定理の「事前確率」はデータ Rがないときの仮説 Aと Bの確率である.

データR

Page 22: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:

Page 23: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:

全事象

事象 R

Page 24: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:

全事象

H1 Hn

事象 R

H2

Page 25: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:

�������� �������������������� ��������������

事後確率事前確率尤度

ベイズの定理(一般)全事象

H1 Hn

事象 R

H2

基準化定数

Page 26: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

一般に,全事象が互いに排反な n事象H1~Hnに分割されるとき:

�������� �������������������� ��������������

事後確率事前確率尤度

ベイズの定理(一般)全事象

H1 Hn

事象 R

H2

Rをデータ,H1~Hnを対立仮説とすると,ベイズの定理から,データによって各仮説が支持される程度を事後確率の値で示すことができる.仮説の事後確率は仮説の事前確率と尤度に比例する.

基準化定数

Page 27: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

大学全体

男性 =2/3 女性 =1/3

長髪

[数値例]

事前確率

Page 28: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

大学全体条件付き確率の仮定

男性 =2/3 女性 =1/3

長髪

女性

男性

長髪

長髪

Pr( 長髪|女性 )=3/4

Pr( 長髪|男性 )=1/2

[数値例]

事前確率

尤度

尤度

Page 29: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

[問題]「長髪の人がいた」というデータ Rがあるとき,仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか?

Page 30: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

[問題]「長髪の人がいた」というデータ Rがあるとき,仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか?

事前確率

������ ���

������ ���

�������

� ��

�������

� ��

尤度

Page 31: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

[問題]「長髪の人がいた」というデータ Rがあるとき,仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか?

事前確率

������ ���

������ ���

�������

� ��

�������

� ��

尤度

����� ���� �

��

��� �

��

���

基準化定数

Page 32: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズの定理Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763)

[問題]「長髪の人がいた」というデータ Rがあるとき,仮説H1「その人は女性である」と仮説H2「その人は男性である」の事後確率はそれぞれどうなるか?

事前確率

������ ���

������ ���

�������

� ��

�������

� ��

尤度

����� ���� �

��

��� �

��

���

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事後確率

基準化定数

Page 33: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

Page 34: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率

Page 35: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率

Page 36: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率

Page 37: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率 事後確率の大小からは,「長

髪の人がいた」というデー

タ Rのもとで,仮説 H2「そ

の人は男性である」が選択

される. ベイズ推定

Page 38: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率 事後確率の大小からは,「長

髪の人がいた」というデー

タ Rのもとで,仮説 H2「そ

の人は男性である」が選択

される.尤度の大小からは,同じデータ Rであっても,対立仮説H1「その人は女性である」が選択される.

ベイズ推定

最尤推定

<<

Page 39: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ推論によるアブダクション事後確率を最大化する仮説を選べという基準

�������� ���������������

� ����

��� �

�� ��

��

��

�������� ���������������

� ����

��� �

�� ��

��

��

事前確率尤度事後確率 事後確率の大小からは,「長

髪の人がいた」というデー

タ Rのもとで,仮説 H2「そ

の人は男性である」が選択

される.尤度の大小からは,同じデータ Rであっても,対立仮説H1「その人は女性である」が選択される.

ベイズ推定

最尤推定

<<

ベイズ法と最尤法のいずれを用いればいいのか?

Page 40: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ法をめぐる論争あれこれ主観的確率と計算複雑性

Page 41: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ法をめぐる論争あれこれ主観的確率と計算複雑性

【哲学的問題】

伝統的にベイズ主義者は,「主観的確率概念」を信奉する統計学者が多

く,「頻度的確率概念」を支持する他の統計学者との間で,激しい論争

が長年にわたって続いている.現在もなお進行中(かな).

Page 42: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ法をめぐる論争あれこれ主観的確率と計算複雑性

【哲学的問題】

伝統的にベイズ主義者は,「主観的確率概念」を信奉する統計学者が多

く,「頻度的確率概念」を支持する他の統計学者との間で,激しい論争

が長年にわたって続いている.現在もなお進行中(かな).

【実践的問題】

事前確率をどのように与えるのか,また,事後確率の算出にともなう計

算量の増大にどのように対処すればいいのかという問題が未解決だっ

たので,つい最近までベイズ法は実践的な統計ツールではなかった.

Page 43: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

Page 44: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

ベイズの定理をパラメトリック確率分布にあてはめる:

Page 45: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

�������� �������������������� ��������������

事後確率事前確率尤度

ベイズの定理をパラメトリック確率分布にあてはめる:

Page 46: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

�������� �������������������� ��������������

事後確率事前確率尤度

ベイズの定理をパラメトリック確率分布にあてはめる:

������ ���������������� ����������

事後分布事前分布尤度

説明仮説はデータに関す

る統計モデルのパラメー

タによって決定される.

基準化定数

Page 47: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

�������� �������������������� ��������������

事後確率事前確率尤度

ベイズの定理をパラメトリック確率分布にあてはめる:

������ ���������������� ����������

事後分布事前分布尤度

データ xに関する確率密度関数のパラメータθがある事前確

率分布πに従うと仮定する.xの尤度をfとするとき,パラメー

タθの事後確率分布はベイズの定理により与えられる.

説明仮説はデータに関す

る統計モデルのパラメー

タによって決定される.

基準化定数

Page 48: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

Page 49: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ��

����� � �����

二項分布(期待値 np)

Page 50: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ��

����� � �����

二項分布(期待値 np)例)オモテの出る確率が pであるコインを n回投げたときに,オモテの x回出る確率は,この二項分布に従う.

Page 51: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ��

����� � �����

���� �� �� ������� � �����

� �

������� � �������

二項分布(期待値 np)

ベータ分布(期待値 a/(a+b))

例)オモテの出る確率が pであるコインを n回投げたときに,オモテの x回出る確率は,この二項分布に従う.

Page 52: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ��

����� � �����

���� �� �� ������� � �����

� �

������� � �������

二項分布(期待値 np)

ベータ分布(期待値 a/(a+b))

例)オモテの出る確率が pであるコインを n回投げたときに,オモテの x回出る確率は,この二項分布に従う.

ベータ分布の二つのパラメータ aと bを変えると,二項分布のパラメータ pの分布が変化する.a=b=1 のとき一様分布(無情報事前分布)となる.

Page 53: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ��

����� � �����

���� �� �� ������� � �����

� �

������� � �������

二項分布(期待値 np)

ベータ分布(期待値 a/(a+b))

二項分布を決めるパラメータ pがベータ分布に従う事前分布をすると考える.そのココロは,pに関する事前情報(または背景仮定)を推定に組み込もうとするベイズ主義の精神の発露である.

例)オモテの出る確率が pであるコインを n回投げたときに,オモテの x回出る確率は,この二項分布に従う.

ベータ分布の二つのパラメータ aと bを変えると,二項分布のパラメータ pの分布が変化する.a=b=1 のとき一様分布(無情報事前分布)となる.

Page 54: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

事後分布

Page 55: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

事後分布

尤度(二項分布)

Page 56: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

事後分布

尤度(二項分布) 事前分布(ベータ分布)

Page 57: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

� �� �

��

����� � ����� � ������ � �����

� �

������� � �������

��

事後分布

尤度(二項分布) 事前分布(ベータ分布)

基準化定数

Page 58: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

� �� �

��

����� � ����� � ������ � �����

� �

������� � �������

��

事後分布

尤度(二項分布) 事前分布(ベータ分布)

基準化定数

事後分布 ������ � � � � �������� � ���������

Page 59: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

������ ���

��

����� � ����� � ������ � �����

� �

������� � �������

� �� �

��

����� � ����� � ������ � �����

� �

������� � �������

��

事後分布

尤度(二項分布) 事前分布(ベータ分布)

基準化定数

事後分布 ������ � � � � �������� � ���������

データ xのもとでの pの事後分布はベータ分布であり,そのパラメータは x+a, n-x+b である.

Page 60: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]ベータ事前分布をもつ二項分布パラメータの事後分布

事前分布 事前分布

事後分布 事後分布

事前分布が a=b=1 のとき 事前分布が a=b=2 のとき

n=10, x=6

Page 61: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

Page 62: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

1) 尤度関数 をパラメータ pで微分する.

Page 63: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

Page 64: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

�� �����

���

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

3) 最尤推定値 が得られる.

Page 65: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

�� �����

���

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

3) 最尤推定値 が得られる.

������������

��������

�����

��

�� � �����

����

その標本分散は近似的に:

Page 66: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

�� �����

���

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

3) 最尤推定値 が得られる.

0 1p

������������

��������

�����

��

�� � �����

����

その標本分散は近似的に:

Page 67: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

�� �����

���

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

3) 最尤推定値 が得られる.

0 13/5p

p̂最尤推定値

������������

��������

�����

��

�� � �����

����

その標本分散は近似的に:

Page 68: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

データ「n=10, x=6」から,最尤法でパラメータ pを推定してみる.

������ ��

���

����� � ���

���������

� ������� � ����� � ��� � �

�� �����

���

1) 尤度関数 をパラメータ pで微分する.

2)尤度方程式 を解く.

3) 最尤推定値 が得られる.

0 13/5p

p̂最尤推定値

������������

��������

�����

��

�� � �����

����

その標本分散は近似的に:標本誤差3/125

Page 69: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

Page 70: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������� ��� ������

���

���

��� � �

���

正規分布 ��� ��� � � � � �� � ���� ���

ある正規分布に従う母集団から n個の独立な標本を取ると仮定する.

Page 71: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������� ��� ������

���

���

��� � �

���

正規分布

μの正規事前分布

��� ��� � � � � �� � ���� ���

� � ����� ����

���� ���

����

���

���

�� � ��

��

���

ある正規分布に従う母集団から n個の独立な標本を取ると仮定する.

その正規分布の平均μは別のある正規分布を事前分布としてもつと仮定する。

Page 72: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������� ��� ������

���

���

��� � �

���

正規分布

μの正規事前分布

��� ��� � � � � �� � ���� ���

� � ����� ����

���� ���

����

���

���

�� � ��

��

���

ある正規分布に従う母集団から n個の独立な標本を取ると仮定する.

その正規分布の平均μは別のある正規分布を事前分布としてもつと仮定する。

得られた標本データのもとで,μの事後分布はどうなるか?

Page 73: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������ ���

���

�����

���

���

��� � �

���� ��

����

���

���

�� � ��

��

���

μの事後分布 事前分布尤度

Page 74: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������ ���

���

�����

���

���

��� � �

���� ��

����

���

���

�� � ��

��

���

������ � ������

���

���

�� � ��

��

���

μの事後分布

事後分布の確率密度関数

事前分布尤度

Page 75: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������ ���

���

�����

���

���

��� � �

���� ��

����

���

���

�� � ��

��

���

������ � ������

���

���

�� � ��

��

���

� � ����� ����

���� � � � ���

� � �� � ����

��

���

�� � ���� ���

μの事後分布

事後分布の確率密度関数

事前分布尤度

ただし∴

Page 76: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

������ ���

���

�����

���

���

��� � �

���� ��

����

���

���

�� � ��

��

���

������ � ������

���

���

�� � ��

��

���

� � ����� ����

���� � � � ���

� � �� � ����

��

���

�� � ���� ���

μの事後分布

事後分布の確率密度関数

事前分布尤度

ただし∴

μの事後分布もまた正規分布となることがわかる.

Page 77: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

Page 78: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}

Page 79: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

標本平均 5.132

標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}

Page 80: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

標本平均 5.132

μの事後分布N(5.08, 0.099)

μの事前分布N(0,10)

平均パラメータμ

標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}

Page 81: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

標本平均 5.132

μの事後分布N(5.08, 0.099)

μの事前分布N(0,10)

平均パラメータμ

標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}

Page 82: ベイズ統計学(1)cse.naro.affrc.go.jp/minaka/R/tearless_bayes1.pdfベイズの定理 Thomas Bayes曰く「事後確率∝尤度×事前確率」(1763) 仮説B 仮説A データR

ベイズ事後分布を求める確率分布のパラメータが事前分布をもつと考える

[例]正規事前分布をもつ正規分布の平均パラメータの事後分布

μの事前分布N(0,10)

平均パラメータμ

標本平均 5.132

μの事後分布N(5.08, 0.099)

μの事前分布N(0,10)

平均パラメータμ

標本データ={4.348, 5,461, 4.609, 4,351, 4.347, 5.754, 6.088, 5.998, 5.572, 4.792}

標本データ