web.sfc.keio.ac.jpweb.sfc.keio.ac.jp/~maunz/bs19/bs19-09.pdf · 0 2 4 6 8 10 0.0 0.1 0.2 0.3 0.4...
TRANSCRIPT
���������
����• R�#�"(�3 '/.
8,�/.����/.9����/.� ��/.:&�/.�0���%*;&�/.�0��/���%*
!���…•2+�7•���1)�75-$/��)•4��6����%*
��������
3
線形回帰モデル
一般化線形モデル
一般化線形混合モデル
階層ベイズモデル
推定方法
最小二乗法
最尤推定法
確率分布
ベイズ推定
正規分布
正規分布以外の分布も可能
個体差/地域差
あり
なし
自由に設定可能
マルチレベルモデル
���� ���� ����� �
0.0 0.2 0.4 0.6 0.8 1.0
01
23
4
密度
確率
事前分布尤度関数事後分布
����� ������ �����
0 2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
0.5
0.6
得点
確率
事前分布尤度関数事後分布
�����������������
-40 -20 0 20 40 60
0.00
0.01
0.02
0.03
0.04
0.05
0.06
得点差
確率
事前分布尤度関数事後分布
�����������������
0 20 40 60 80 100
5.42
5.44
5.46
5.48
5.50
5.52
5.54
5.56
Index
post.mu
��� �����������������
0 20 40 60 80 100
5.42
5.48
5.54
更新回数
事後平均
0 20 40 60 80 100
13
57
更新回数
事後標準偏差
�������• B
() • )) ( •
データ
事前分布 尤度関数 事後分布ベイズ更新
��(precision)
•(�0/�������&+�!��0"��'�), ��.� ���
! = 1$%
•���-����),���$2���•0"�%��⇔),� �•#�(�0/�),��#*(�0/�), ����),�3•#�(�0/�1���#*(�0/�), ����),�1�
τ =1σ2
�����������•������ ���������
!"#$
%& '"|), +, ∝!
"#$
% 120+,
1'2 − '" − ) ,
2×+,
∝ 1+,
%, 1'2 −∑"#$
% '" − ) ,
2×+,
•���α − 1 = ⁄9 2, : = ⁄∑"#$% '" − ) , 2��������!"#$
%& '"|), +, ∝ 1
+,;<$
1'2 − :2×+,
�����������•���� ! = #
$% &����
&'(#
)* +'|-, /0 ∝ ! 23#4+5 −7 8 !
•�������!9: α, 7 �)/�
9: α, 7 ∝ ! 23#4+5 −7 8 !
•���#+*�"'!�%��� $�-�#+* �����+*�.��� (��,���
�����•�� ��Γ " ������
Γ " = $%
&'()*+), -'
" > 0
•�� ��Γ " ������������
Γ " = " − 1 !Γ " + 1 = "Γ "Γ ⁄1 2 = 6
�����•�������! ���! " �������
! " = $% &, ( = ()Γ & ")+,-+./, " ≥ 0
•�������!�� 2��������3 2 ���4 2 �����
3 2 = &(
3 2 = &(5
�����������•�������)076�7(!"�2��*1&;)076���%�"!76�=�����5#9����•%�"!76��/$76� ��-4����=����
•� ���)076�7(�)076��%�"!76�=���3�7(�%.����<��+'���=:,8)076
������•�����
!"#$ %, '
•�•��� ⁄' % − 1 , % > 1•���
',% − 1 , ' − 1' > 1, % > 2
Γ−1 0.1, 5.0( )
�������•��! ������"#����
(hierarchical Bayes)�����•��! ������ ������•����! �!�(����! ���)������ �����
超パラメータ
事前分布 尤度関数 事後分布
ベイズ更新Γ(α,λ)
N(μ,σ2)正規分布の平均と分散
���������� •�"('����� �,)#('�������•���� ����"('����&�+��$���('�%������•$��"('������ *#�!��$���('�%������
�����������������
データX1
データX2
データXn
:パラメータθ2
尤度関数f1=P(X|θ1)
パラメータθ1
尤度関数f2=P(X|θ2)
����•<1�����!�+2�����=3�!/� ����.��*9�>����)&���6@"#���=3",����4�(-87�0�4�+A$ �5���
•���+2:�=3%?�; �•'=+2:�=3%?�; ��
����•6 9• 1 !"
!" #|% = "'()%) 1 − % , ∝ %) 1 − % ,
• 6 9 0 0!.
!. #|% = 10 − 16 − 1 %)1" 1 − % , ∝ %) 1 − % ,
• 1 1 0!" #|% ∝ !. #|%
����•����$"��#���������%� !"!'� !#�� �����
!": % = 0.5, !#: % > 0.5
•�%� !"�&���5%�����
, - ≥ 6|!" = 1234
#"
#"52 6 0.52 6 1 − 0.5 #"92
= 210 + 120 + 45 + 10 + 12#" ≈ 0.377 > 0.5
�������•h d ( ( ( (• ! ∀! ∈ Ω g %&, %(
b ) !|%& = ) !|%( elh %& ≡ %(
• d ()(• - e c. h
e i f a h
���������•%.87�������>:487��� ����+6�%.87�*"� ��)81�! ����2=�3<���5%#87�(/�
•��-�-'�&��������;4�%.,9�0$�&���
���������
•"�/;�����3�����*'�2:5���$>! ⁄1 2� �������• $0�*'!)�� ��5�*-�*3����+)�(����•3�����*'�2:9>�,4� ���•3�����*'�2:5���$>�
⁄1 $ + 1
•1%6&7<���.=#8
���������• ! = 1����%��• ! > 1����! + 1�#&��& = 0,… , ! + 1��"������'�����!��&��"��� ���! + 1�&����� ��������[(! − &) + 1]/[(! + 1)(! + 2)]���•����& − 1��"��� ����� ������������'�� [(& − 1) + 1]/[(! + 1)(! + 2)]���•�$ �!��1/(! + 2)��� �
����������• 2
•
•1
•/
����������•�������!�����������"•������#�����������$•� �����
% $|" = % "|$ % $% " = ⁄1 ! +# + 1
⁄1 ! + 1 = ! + 1! +# + 1
�������� ���• ! → ∞�$ → ∞���%('|)) → 0•���2�"�,������$�'�"�,��� ������*.�+;��•#))�/���34� ��!6����
•#-�:�0(�81����•#-�:�%�������5���7�&9
��������(Principle of insufficient reason)
•��$(�3�2� ���$(�3�����!�����&"�+/���$(�3�-�����
•4�•'�����#��)�#����3= 1/2•0�, 0���&"��0�*2�.��%1���3= 1
���������• )= 5
! "#, "%, "&, "', "(∝ ℓ "#|, - ℓ "%|, - ℓ "&|, - ℓ "'|, - ℓ "(|,∝ .
/
#,( 1 − , (2(! , 3,
• ) (! "#,⋯ , "5 ∝ .
/
#,5 1 − , 526! , 3,
�������•• 5 4 ℓ "|$ = $• 5 ℓ &"|$ = 1 − $
•• ) $ = 1• ℓ "*|$ + ) $ ∝ $×1 = $
•• ) $|"* = 2$ ∵ ∫1
* 2$2$ = 2 + ⁄1 2 $4 1* = 1• ℓ "4|$ + ) $ = $ + 2$ = 2$4
�������• ������•����� ! "|$% = 3"% ∵ ∫*
+ 3"%," = 3 - ⁄1 3 "0 *+ = 1•����� ℓ $0|" - ! " = " - 3"% = 3"0
• ������•����� ! "|$0 = 4"0 ∵ ∫*
+ 4"0," = 4 - ⁄1 4 "3 *+ = 1•����� ℓ $3|" - ! " = " - 4"0 = 4"3
•� ���������•����� ! "|$3 = 5"3 ∵ ∫*
+ 5"3," = 5 - ⁄1 5 "5 *+ = 1•����� ℓ $5|" - ! " = 30 1 − " - "3
€
y3 |θ( )× p θ( ) =θ × 3θ 2 = 3θ 3
�������• ����! > 0.5������
&'.(
)30 1 − ! - !./! = 30 - ⁄1 5 !( − ⁄1 6 !3 '.()
= 6!( − 5!3 '.() = 1 − 764 =
5764 ≈ 0.89
• ����������������
���(������)
• 1 ⁄1 2•• $
12
%= 132 = 0.03125
•
1 − 12
%≈ 0.9697