数理統計学 ( 第五回）統計的推測とは？

数理統計学第５回 1

数理統計学 ( 第五回）統計的推測とは？

浜田知久馬


確率分布数理統計学で確率分布を勉強．確率分布は便利確率分布がわかれば , 様々な事象を確率的に

記述できる．（同時 , 周辺 , 条件付）確率分布は母数によって定まる．母数をどう求めればよいのか？


• ある目的で , ある確率変数 Y をｎ回観測し ,

　標本 Y=(Y1, Y2, ・・・ , Y ｎ ) を得る .・標本 Y の分布はある分布族に属している .　「分布を規定する母数は未知である」• 「標本 Y の実現値ｙに基づいて未知母数の真

の値がいくらであるか評価 , 断定する問題を「推定の問題」という .

推定の問題


ダーウィンの植物の丈のデータ（単位インチ）

─────────────────────────────── 　Ｎｏ．自家受精　他家受精Ｎｏ．自家受精　他家受精 ─────────────────────────────── 　 1 　　　 17.375 　　　 23.5 　　 9 　　 16.5 　　 18.25 　 2 　　　 20.375 　　　 12 　　　 10 　 18 　　　　 21.625 　 3 　　　 20 　　　　　 21 11 　 18.25 　　 23.25 　 4 　　　 20 　　　　　 22 12 　 18 　　　　 21 　 5 　　　 18.375 　　　 19.125 13 　 12.75 　　 22.125 　 6 　　　 18.625 　　　 21.5 14 　 15.5 　　　 23 　 7 　　　 18.625 　　　 22.125 15 　 18 　　　 12 　 8 　　　 15.25 　　　 20.375 ─────────────────────────────── 　平均　　 17.708 　　　 20.192 標準偏差　 2.024 　　　 3.617 ───────────────────────────────


母数推定の前提

自家受精群と他家受精群に別々の正規分布をあてはめ

ｎ個（ｎ＝１５）の確率変数Ｙｉが互いに独立に同一の正規分布にしたがう

Ｙ１ , Ｙ２ , Ｙ３ , ・・・，Ｙｎ～Ｎ（ μ,σ２）

i.i.d. （ independent identically distributed ）


• 　ある未知母数の真の値を推定したいという問題を考える．

一つの答え方：• 　観測変数 Y の統計量 t(Y) を一つ用意• 　観測値がデータ y として得られたら，その

データを代入して得られる関数値 t(y) が　　　「母数の真の値である」　と断定• このような方式を「（点）推定」 estimation

と言う，

点推定


• 　推定に使う関数 t(Y) を「推定量」 estimator ，データを代入して得られる値 t(y) を「推定値」 estimate という．

• 推定の問題において，数理統計学が問題にすることは，どんなやり方が良いかである．

• どんな推定量が良い推定量？

推定と推定量


区間推定• 別の答え方• 2 つの統計量 tL(Y), tU(Y) を用意する .

• Y の実現値ｙを得たら , それを代入して得られる値 tL( ｙ ) ～ tU( ｙ ) の範囲に真の値があるとする .

• このような形式を「区間推定」　 interval 　 estimation という .


良い推定量の規準

• 良さを議論するには規準 criterion が必要• 一つの視点：定性的，資格条件を限定し

ておいて，その中である規準量が最大（あるいは最小）となるものを良いものとする．

たとえば？• 定性的条件：不偏性，線形性• 定量的規準：分散最小性

• 不偏性とは？分散最小性とは？


精度 , 偏り，正確さ

不偏だけど精密でない　　　　偏りありかつ　　　　　　　　　　　　　　　　　　精密でない

不偏で精密偏りあるけど精密


点推定の良さの基準• β の推定量ｂがあるとする .

• 推定量の良さの基準で最も一般的なのは平均二乗誤差 (Mean Square Error ： MSE)

• MSE=E[(b － β)2]

= E[(b － β)2] ＝ E[(b －Ｅ [b] － β ＋Ｅ [b])2]

= E[(b －Ｅ [b])2]+ E[( Ｅ [b] － β)2]

　 +2( Ｅ [b] － β) E[b －Ｅ [b]] 　


ＭＳＥMSE=E[(b －Ｅ [b])2]+ E[( Ｅ [b] － β)2]

　　　　　　Ｖ [b] 　　　　　　　　ｂｉａｓ　　　　推定量の分散　推定量の偏り

両方を同時に最適化できるか？

分散を 0 　→　常にｂ＝ 0 　　Ｖ [b]=0 　　　　　　


推定での方法論的課題どんな推定量が良い推定量？定性的条件 , 例えば　不偏性＝期待値が未知母数に一致　線形性＝推定量が Y の線形式を　満たすものの中である規準量 , 例えば分散を最小 ( 最良 , 有効）にす

るものを良いとする⇒最良線形不偏推定量


最良線形不偏推定量を求める方法はあるか？

• 一般的な方法はない .

　存在しないことも多い .

• 原理的に良い推定量を導きやすい原理は？　・最尤法　・最小 2 乗法　・モーメント法


クラメル・ラオ (Cramer-Rao) の不等式

IV

d

YfdE

d

YfdEUEI

1][

),(log

),(log][

2

2

22



不偏推定量の分散の下限についての不等式( 不偏推定量の分散はこれより小さくならな

い）θ を不偏推定量とするとV[θ] 1/I≧I ：フイッシャーの情報量 (Fisher information)

等号が成り立つ場合は , 不偏推定量の中で分散が最小（有効）となる .

＾＾

22 ),(log][

d

YfdEUEI


証明にあたって利用すること

1) 不偏推定量の定義　 E[θ （ Y)]=θ2) 確率密度関数の和は１　∫ｆ ( ｙ ,θ) ｄｙ =13) E[B]=0 のとき , E[A ・ B]=Cov [A,B] ,V[B]= E[B2] 　　　｛ Cov [A,B] = E[A ・ B] － E[A] E[B] ｝4)

5 ）微分と積分の交換可能性6 ）　 Cov [A,B] V[A] V[B]≦　　相関係数の絶対値は１を越えない

＾

d

yfdyf

d

ydf

d

ydf

yfd

yfd ),(log),(

),(),(

),(

1),(log



不偏であるためには θ が 1 単位増加すれば期待値も 1 増加する

d

yfdYE

dyyfd

yfdY

dyd

ydfY

d

dyyfYd

d

d

dyyfYYE

)(log)(

)()(log

)(

)()(

)()(1

)()()(

の不偏推定量とするとを


クラメル・ラオ (Cramer-Rao) の不等式積分と微分の交換可能性，傾きの期待値は 0

θ を動かしても確率密度の和は不変

d

yfdYE

d

yfdY

BAEBABE

d

yfdE

dyyfd

yfd

dyd

ydf

d

dyyfd

dyyf

)(log)(

)(log),(Cov

],[],[Cov0][

0),(log

),(),(log

),(0

),(

1),(

　

のとき，

　なので，



12

2

)(log1)(

)()(log

)(

)(log)(

)(log),(Cov1

d

yfdE

IYV

IYVd

yfdEYV

d

yfdVYV

d

yfdY 　

を越えないので相関係数の絶対値は１



不偏推定量 θ の分散が ,

V[θ] ＝ 1/I

を満たせば , θ は一様最小分散不偏推定量(Uniformly Minimum Variance Unbiased

estimator, UMVU)

である .

＾＾

＾


2 項分布の場合

d

ynyCdd

yfdU

Cyf

npV

pn

npE

n

Yp

yn

ynyyn

)1log()(loglog

),(log

)1(),(

)1(][

][,

の不偏推定量は

　　


2 項分布の場合

UMVUp

pV

n

nnyEUEI

nyynyynyd

ynyCd yn

は

][

1

)1(

)1(

)1(

)1(

)(][

)1()1(

)()1(

1

)1log()(loglog

2222

22


最尤法 (Maximum Likelihood method ）

•確率（密度）関数を未知母数の関数とみなしたものが ,尤度 (likelihood)

•確率が最大の母数の値は ,観測値 Yの関数　これを未知母数の推定量とする .•最尤法 ,得られる推定量が最尤推定量　確率が最大になるように推定　 (MLE： Maximum Likelihood Estimator)


最小二乗法• 観測変数 Y の値と , モデルから予測される

差の 2 乗和を最小にする母数の値を推定量とする方法

　 Σ （ Yi － β0 － β1Xi ） 2

を最小にするように β0 と β1 を推定


最小 2 乗法の模式図

Ｙ

Ｘ0

××

ＸＸ

×

Y=β0+β1X


モーメント法

分布のモーメントを , 次数の低い方から未知母数の数ｐだけ求め , それを対応する標本モーメントと等しいとおき , 母数の推定量を構成する方法を“モーメント法” (moment 　 method) という

分布の期待値＝データの平均E[X] ＝ μ 　： Σ ｘ i ／ N分布の２次モーメント＝データの２乗和E[X2] ＝ μ2 +σ2 ： Σ ｘ i

2 ／ N　　　　　　　　　　　　


用語

最尤原理（ maximum likelihood principle ）最尤法（ maximum likelihood method ）最尤推定量（ maximum likelihood

estimator ）尤度（ likelihood)

対数尤度 (log likelihood)

Fisher の情報量（ Fisher's information ）


尤度，最尤推定量， Fisher の情報量

尤度（ likelihood) : 尤（もっともらし）さの程度

　　　　　　　を確率で評価した指標最尤推定量 : 尤度が最大になるように母数　　　　　を推定する原理Fisher の情報量：最尤推定量の推定精度を　　　　　　　測る指標　　　　　


最尤推定の例コインを 10 回投げて 7 回表が出たとする .このような事象が起きる確率は？確率分布として2 項分布 B( ｎ＝ 10,π ）を仮定するとｐ＝ 10C ｙ π ｙ（ 1 － π ） 10- ｙ

確率ｐは母数 π の関数である . 確率を母数の関数と考えたのが尤度（ L ： likelihood)

確率関数： π を固定したｙの関数尤度関数：ｙを固定した π の関数　


最らしい π は？　　 π 確率 1 0.1 0.00001 2 0.2 0.00079 3 0.3 0.00900 4 0.4 0.04247 5 0.5 0.11719 6 0.6 0.21499 7 0.7 0.26683 8 0.8 0.20133 9 0.9 0.05740


尤度の計算プログラムdata q6;do phi=0.10 to 0.90 by 0.02;l=10*9*8/(3*2*1)*phi**7*(1-phi)**3;output;end;proc gplot;plot l*phi/href=0.7;symbol1 i=spline v=none h=4 w=4;run;


π の関数の尤度


最尤推定

尤度 (L ）を最大にするように母数を求める .

尤度の最大化　⇒　対数尤度の最大化母数空間の全ての π について L を計算するか？山の頂上では傾き 0

対数尤度を π で微分して導関数を求め ,

導関数が 0 になる π を求める .


西遊記ひたすら西を目指す．


最尤法ひたすら山の頂上を目指す．


山の頂上にいるのは？


最尤推定量の誘導１

n

y

nyyny

ynyC

d

dL

CL

ynyynyyn

ynyyn

00)()1(

])1()()1([

0

)1(

11


最尤推定量の誘導２

n

y

nyyny

d

Ld

ynyCL

CL

yn

ynyyn

0)1(1

log

)1log()(logloglog

)1(


コインを 100 回投げて 70 回表が出たときの尤度


演習問題　ポアソン分布の推測

ポアソン分布の確率関数ｐ ( ｘ ) は，ｐ ( ｘ ) ＝ λ ｘ・ exp( － λ) ／ｘ！となる .λ が母数であり，ｘは確率変数の実現値で０、１、２・・・の値をとるものとする．

1)λ ＝１のとき，Ｘが１以上の値をとる確率を計算せよ．ヒント　ｅｘｐ（ 1)=2.718

2) お年玉付年賀状の当たり数がｘ＝ 5 となった . 当たり数の分布にポアソン分布を仮定して，このようなデータが得られた場合の尤度と対数尤度を計算せよ．

3) 対数尤度を， λ で微分せよ．また１次微分関数の値が 0 になるように λ を求めよ．

数理統計学 ( 第五回） 統計的推測とは？

Documents

数理統計学 ( 第五回）統計的推測とは？