web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/bs19/bs19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4...

18
R#"(3'/. 8,/./. 9/./. :&/.0%* ;&/.0/%* !2+7 1)75-$/) 46%*

Upload: others

Post on 06-Jun-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

���������

����• R�#�"(�3 '/.

8,�/.����/.9����/.� ��/.:&�/.�0���%*;&�/.�0��/���%*

!���…•2+�7•���1)�75-$/��)•4��6����%*

Page 2: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

��������

3

線形回帰モデル

一般化線形モデル

一般化線形混合モデル

階層ベイズモデル

推定方法

最小二乗法

最尤推定法

確率分布

ベイズ推定

正規分布

正規分布以外の分布も可能

個体差/地域差

あり

なし

自由に設定可能

マルチレベルモデル

���� ���� ����� �

0.0 0.2 0.4 0.6 0.8 1.0

01

23

4

密度

確率

事前分布尤度関数事後分布

Page 3: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

����� ������ �����

0 2 4 6 8 10

0.0

0.1

0.2

0.3

0.4

0.5

0.6

得点

確率

事前分布尤度関数事後分布

�����������������

-40 -20 0 20 40 60

0.00

0.01

0.02

0.03

0.04

0.05

0.06

得点差

確率

事前分布尤度関数事後分布

Page 4: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�����������������

0 20 40 60 80 100

5.42

5.44

5.46

5.48

5.50

5.52

5.54

5.56

Index

post.mu

��� �����������������

0 20 40 60 80 100

5.42

5.48

5.54

更新回数

事後平均

0 20 40 60 80 100

13

57

更新回数

事後標準偏差

Page 5: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�������• B

() • )) ( •

データ

事前分布 尤度関数 事後分布ベイズ更新

��(precision)

•(�0/�������&+�!��0"��'�), ��.� ���

! = 1$%

•���-����),���$2���•0"�%��⇔),� �•#�(�0/�),��#*(�0/�), ����),�3•#�(�0/�1���#*(�0/�), ����),�1�

τ =1σ2

Page 6: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�����������•������ ���������

!"#$

%& '"|), +, ∝!

"#$

% 120+,

1'2 − '" − ) ,

2×+,

∝ 1+,

%, 1'2 −∑"#$

% '" − ) ,

2×+,

•���α − 1 = ⁄9 2, : = ⁄∑"#$% '" − ) , 2��������!"#$

%& '"|), +, ∝ 1

+,;<$

1'2 − :2×+,

�����������•���� ! = #

$% &����

&'(#

)* +'|-, /0 ∝ ! 23#4+5 −7 8 !

•�������!9: α, 7 �)/�

9: α, 7 ∝ ! 23#4+5 −7 8 !

•���#+*�"'!�%��� $�-�#+* �����+*�.��� (��,���

Page 7: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�����•�� ��Γ " ������

Γ " = $%

&'()*+), -'

" > 0

•�� ��Γ " ������������

Γ " = " − 1 !Γ " + 1 = "Γ "Γ ⁄1 2 = 6

�����•�������! ���! " �������

! " = $% &, ( = ()Γ & ")+,-+./, " ≥ 0

•�������!�� 2��������3 2 ���4 2 �����

3 2 = &(

3 2 = &(5

Page 8: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�����������•�������)076�7(!"�2��*1&;)076���%�"!76�=�����5#9����•%�"!76��/$76� ��-4����=����

•� ���)076�7(�)076��%�"!76�=���3�7(�%.����<��+'���=:,8)076

������•�����

!"#$ %, '

•�•��� ⁄' % − 1 , % > 1•���

',% − 1 , ' − 1' > 1, % > 2

Γ−1 0.1, 5.0( )

Page 9: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�������•��! ������"#����

(hierarchical Bayes)�����•��! ������ ������•����! �!�(����! ���)������ �����

超パラメータ

事前分布 尤度関数 事後分布

ベイズ更新Γ(α,λ)

N(μ,σ2)正規分布の平均と分散

���������� •�"('����� �,)#('�������•���� ����"('����&�+��$���('�%������•$��"('������ *#�!��$���('�%������

Page 10: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�����������������

データX1

データX2

データXn

:パラメータθ2

尤度関数f1=P(X|θ1)

パラメータθ1

尤度関数f2=P(X|θ2)

����•<1�����!�+2�����=3�!/� ����.��*9�>����)&���6@"#���=3",����4�(-87�0�4�+A$ �5���

•���+2:�=3%?�; �•'=+2:�=3%?�; ��

Page 11: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

����•6 9• 1 !"

!" #|% = "'()%) 1 − % , ∝ %) 1 − % ,

• 6 9 0 0!.

!. #|% = 10 − 16 − 1 %)1" 1 − % , ∝ %) 1 − % ,

• 1 1 0!" #|% ∝ !. #|%

����•����$"��#���������%� !"!'� !#�� �����

!": % = 0.5, !#: % > 0.5

•�%� !"�&���5%�����

, - ≥ 6|!" = 1234

#"

#"52 6 0.52 6 1 − 0.5 #"92

= 210 + 120 + 45 + 10 + 12#" ≈ 0.377 > 0.5

Page 12: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�������•h d ( ( ( (• ! ∀! ∈ Ω g %&, %(

b ) !|%& = ) !|%( elh %& ≡ %(

• d ()(• - e c. h

e i f a h

���������•%.87�������>:487��� ����+6�%.87�*"� ��)81�! ����2=�3<���5%#87�(/�

•��-�-'�&��������;4�%.,9�0$�&���

Page 13: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

���������

•"�/;�����3�����*'�2:5���$>! ⁄1 2� �������• $0�*'!)�� ��5�*-�*3����+)�(����•3�����*'�2:9>�,4� ���•3�����*'�2:5���$>�

⁄1 $ + 1

•1%6&7<���.=#8

���������• ! = 1����%��• ! > 1����! + 1�#&��& = 0,… , ! + 1��"������'�����!��&��"��� ���! + 1�&����� ��������[(! − &) + 1]/[(! + 1)(! + 2)]���•����& − 1��"��� ����� ������������'�� [(& − 1) + 1]/[(! + 1)(! + 2)]���•�$ �!��1/(! + 2)��� �

Page 14: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

����������• 2

•1

•/

����������•�������!�����������"•������#�����������$•� �����

% $|" = % "|$ % $% " = ⁄1 ! +# + 1

⁄1 ! + 1 = ! + 1! +# + 1

Page 15: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�������� ���• ! → ∞�$ → ∞���%('|)) → 0•���2�"�,������$�'�"�,��� ������*.�+;��•#))�/���34� ��!6����

•#-�:�0(�81����•#-�:�%�������5���7�&9

��������(Principle of insufficient reason)

•��$(�3�2� ���$(�3�����!�����&"�+/���$(�3�-�����

•4�•'�����#��)�#����3= 1/2•0�, 0���&"��0�*2�.��%1���3= 1

Page 16: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

���������• )= 5

! "#, "%, "&, "', "(∝ ℓ "#|, - ℓ "%|, - ℓ "&|, - ℓ "'|, - ℓ "(|,∝ .

/

#,( 1 − , (2(! , 3,

• ) (! "#,⋯ , "5 ∝ .

/

#,5 1 − , 526! , 3,

�������•• 5 4 ℓ "|$ = $• 5 ℓ &"|$ = 1 − $

•• ) $ = 1• ℓ "*|$ + ) $ ∝ $×1 = $

•• ) $|"* = 2$ ∵ ∫1

* 2$2$ = 2 + ⁄1 2 $4 1* = 1• ℓ "4|$ + ) $ = $ + 2$ = 2$4

Page 17: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

�������• ������•����� ! "|$% = 3"% ∵ ∫*

+ 3"%," = 3 - ⁄1 3 "0 *+ = 1•����� ℓ $0|" - ! " = " - 3"% = 3"0

• ������•����� ! "|$0 = 4"0 ∵ ∫*

+ 4"0," = 4 - ⁄1 4 "3 *+ = 1•����� ℓ $3|" - ! " = " - 4"0 = 4"3

•� ���������•����� ! "|$3 = 5"3 ∵ ∫*

+ 5"3," = 5 - ⁄1 5 "5 *+ = 1•����� ℓ $5|" - ! " = 30 1 − " - "3

y3 |θ( )× p θ( ) =θ × 3θ 2 = 3θ 3

�������• ����! > 0.5������

&'.(

)30 1 − ! - !./! = 30 - ⁄1 5 !( − ⁄1 6 !3 '.()

= 6!( − 5!3 '.() = 1 − 764 =

5764 ≈ 0.89

• ����������������

Page 18: web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/BS19/BS19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4 0.5 0.6 得点 確率 事前分布 尤度関数 事後分布 -40 -20 0 20 40 60 0.00

���(������)

• 1 ⁄1 2•• $

12

%= 132 = 0.03125

1 − 12

%≈ 0.9697