統計学 回帰分析、最小二乗法2 - keio...
TRANSCRIPT
11
統計学回帰分析、最小二乗法2
担当： 長倉 大輔
（ながくら だいすけ）
22
回帰分析、最小二乗法2
単回帰分析
説明変数が定数項以外に一つしかない以下のような回帰モデルは単回帰モデルと呼ばれ、単回帰モデルを用いた分析は単回帰分析と呼ばれる。
Yi = α + β Xi + ui, i = 1, …, n .
以下では単回帰モデルにおける α と β の最小二乗推定量の(確率的)性質について見て行く。
33
回帰分析、最小二乗法2
確率的モデル
このモデルにおいて、誤差項 uiは定数項 α と説明変数Xiだけでは説明しきれない被説明変数 Yi の変動を表すものであり、
E [ui] = 0, var(ui) = σ2
を満たす確率変数であると仮定する(より正式な仮定は後程述べる)。
44
回帰分析、最小二乗法2
確率的モデル
よって Yi も確率変数であり (以下では Xiを確率変数でないと仮定するので) 、
E(Yi) = E(α + βXi + ui) = α + βXi + E(ui)
= α + βXi
var(Yi) = var (α + βXi + ui ) = var(ui) = σ2
となる。
Yi が確率的に決まるこのようなモデルを確率的モデルと呼ぶ。
55
回帰分析、最小二乗法2
回帰モデルの標準的仮定
さらに、最小二乗推定量 と は Yi (と Xi) の関数であるので、これらも確率変数である。これら最小二乗推定量の確率的性質を導くために、先ほどの単回帰モデルは以下の条件を満たすと仮定する。
仮定1: 説明変数 Xi は確率変数ではない。
仮定2: nが大きくなるにつれて、 は∞に近づく
n
ii XX
1
2)(
66
回帰分析、最小二乗法2
回帰モデルの標準的仮定
仮定3: E[ui] = 0
仮定4: var (ui) = E[ui2] = σ2
仮定5: cov(ui, uj) = E[ui uj] = 0 (ただし i ≠ j)
仮定6: ui は正規分布に従う。
77
回帰分析、最小二乗法2
最小二乗推定量の期待値
以上の仮定のもので、まず最小二乗推定量の期待値を求めてみよう。
最小二乗推定量は(以前のスライド参照)
と
で与えられる。
XY ˆˆ 2
1
2
1ˆ
XnX
YXnYX
n
ii
n
iii
88
回帰分析、最小二乗法2
最小二乗推定量の期待値
まず、
であり、Yi = α + βXi + ui である事に注意すると、
と書き直せる(ここで確率変数は ui だけである事に注意)。
n
ii
n
iii
n
ii
n
iii
XX
YXX
XnX
YXnYX
1
2
1
2
1
2
1
)(
)(
n
ii
n
iii
n
ii
n
iii
n
ii
n
ii
XX
uXX
XX
XXX
XX
XX
1
2
1
1
2
1
1
2
1
)(
)(
)(
)(
)(
)(ˆ
99
回帰分析、最小二乗法2
最小二乗推定量の期待値
この第1項は より 0 であり、第2項は
である事に注意すると β である。
0)(1
n
ii XX
n
iii
n
ii
n
iii
n
iii
n
ii
XXX
XXXXXX
XXXXXX
1
11
11
2
)(
)()(
))(()(
1010
回帰分析、最小二乗法2
最小二乗推定量の期待値
よって は
と表すことができる。この両辺の期待値を取ると
を得る。これより は βの不偏推定量である事がわかる。
n
ii
n
iii
XX
uXX
1
2
1
)(
)(ˆ
n
ii
n
iii
XX
uEXXE
1
2
1
)(
)()()ˆ(
1111
回帰分析、最小二乗法2
最小二乗推定量の期待値
同様に の期待値も求めることができる。今、
であり(ここで である)、 であるので、
が得られる。これより は αの不偏推定量である事がわかる。
uXXuXXY )ˆ(ˆˆˆ
n
iiunu
1
10)( uE
)()ˆ()ˆ( uEEXE
1212
回帰分析、最小二乗法2
最小二乗推定量の分散
また、 の分散は、
となる。
n
ii
n
i
iin
ii
n
i
iin
ii
n
ii
n
iii
XX
uXX
XX
uXX
XXXX
uXX
1
2
2
1
2
2
1
2
12
1
21
2
1
)(
)var()(
)(
1
)(var
)(
1
)(
)(var)ˆvar(
1313
回帰分析、最小二乗法2
最小二乗推定量の分散
同様に の分散も求めることができる。今、
であるので
0)(
)(
,)(cov)(
1
1,
)(
)(cov),ˆcov(
1
2
1
2
111
2
11
2
1
n
ii
n
ii
n
i
i
n
i
iin
ii
n
i
in
ii
n
iii
XXn
XX
uuXXXXn
unXX
uXXu
1414
回帰分析、最小二乗法2
最小二乗推定量の分散
の分散は、
2
2
で与えられる。
n
ii
n
ii
n
ii XXn
X
nXX
X
uXn
X
uXuX
uX
1
2
1
222
1
2
22
22
)()(
),ˆcov()ˆvar(
],)ˆcov[(]var[])ˆvar[(
])ˆ(var[)ˆvar(
1515
回帰分析、最小二乗法2
最小二乗推定量の期待値と分散
まとめると、
となる。
,)ˆ(,)ˆ( EE
,)(
)ˆvar(
1
2
2
n
ii XX
n
ii
n
ii
XXn
X
1
2
1
22
)()ˆvar(
1616
回帰分析、最小二乗法2
最小二乗推定量の分布
先ほどは最小二乗推定量の期待値と分散を求めた。
これらを求める際に「仮定6： ui は正規分布に従う」は実は使っていない(使用した仮定は仮定1, および仮定3 – 5 である)。
もし仮定6 が満たされるならば、最小二乗推定量は正規分布に従う事を示す事ができる。 これは以下のように確かめられる。
1717
回帰分析、最小二乗法2
最小二乗推定量の分布
最小二乗推定量 は
であるので、正規分布に従う確率変数 ui, i =1,…., nの
線形の和になっている。よって正規分布の性質より、の分布も正規分布になる。
nn
ii
n
n
ii
n
ii
n
iii
uXX
XXu
XX
XX
XX
uXX
1
21
1
2
1
1
2
1
)(
)(
)(
)(
)(
)(ˆ
1818
回帰分析、最小二乗法2
最小二乗推定量の分布
同様に、 についても
であり、第2項と第3項は正規分布に従うのでその和である も正規分布に従う。
uX )ˆ(ˆ
1919
回帰分析、最小二乗法2
最小二乗推定量の分布
まとめると、
ここで
および
である。
),(~ˆ),,(~ˆ 22 NN および
n
ii XX
1
2
22
)(
n
ii
n
ii
XXn
X
1
2
1
22
2
)(
2020
回帰分析、最小二乗法2
σ2 の推定
ここまでは単回帰モデルにおいて係数 α と βの最小二乗法による推定法を見てきた。
単回帰モデルには ui の分散 σ2 という、もう一つ未知パラメーターがある。これを推定する方法を考えよう。
2121
回帰分析、最小二乗法2
σ2 の推定
もし ui が直接観察できるのであれば、σ2 を推定する自然な方法として、E(ui
2) = σ2 である事に注意すると、
が考えられる。これは
であるので、σ2 の不偏推定量になっている。
n
i
iun
1
22 1
22
1
22 )(1
)(
n
nuE
nE
n
i
i
2222
回帰分析、最小二乗法2
σ2 の推定
しかしながら実際には ui は直接観測できない。
よく用いられる方法は、ui の代わりに、残差
を用いて、
という推定量によって推定する方法である。これはσ2 の最小二乗推定量と呼ばれる。
iii XYu ˆˆˆ
n
i
iun
1
22 ˆ2
1
2323
回帰分析、最小二乗法2
σ2 の推定
ここで、和を nではなく n –2 で割っているのは推定量の不偏性を保つためである。これを見てみよう。まず
より
であるのでこの両辺を二乗し和をとると
ii
iii
iii
Xu
XuX
XYu
)ˆ()ˆ(
ˆˆ
ˆˆˆ
iii Xuu )ˆ()ˆ(ˆ
2424
回帰分析、最小二乗法2
σ2 の推定
を得る。さらに最小二乗法の1階の条件より
であるので
n
iii
n
ii
n
ii
n
ii
n
i
n
ii
n
ii
Xu
Xu
Xuu
1
11
1
22
1
2
1
2
1
2
ˆ)ˆ(2
)ˆ)(ˆ(2ˆ)ˆ(2
)ˆ()ˆ(ˆ
0ˆ,0ˆ11
n
iii
n
ii Xuu
2525
回帰分析、最小二乗法2
σ2 の推定
となる。この両辺の期待値を取ると
を得る。
n
ii
n
ii
n
i
n
ii
n
ii
X
Xuu
1
1
22
1
2
1
2
1
2
)ˆ)(ˆ(2
)ˆ()ˆ(ˆ
n
ii
n
ii
n
ii
X
XnuEn
1
1
2
1
22
)ˆ,ˆcov(2
)ˆvar()ˆvar(ˆ
2626
回帰分析、最小二乗法2
σ2 の推定
ここで はすでに導出してあり(演習問題、問題2も参照)、それらを代入すると
となる。よってこれを先ほどの式に代入して
)ˆ,ˆcov(),ˆvar(),ˆvar(
2
1
2
11
22
1
2
1
2
1
2
1
22
1
2
1
22
11
2
2)(
2
)(
2
)()(
)ˆ,ˆcov(2)ˆvar()ˆvar(
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
XX
XXX
XX
XX
XX
X
XX
X
XXn
2727
回帰分析、最小二乗法2
σ2 の推定
となる。これより
となる。 はσ2の不偏推定量である。
2
1
2
2
1
22
)2(ˆ
2ˆ
nuE
uEn
n
ii
n
ii
22
1
22
2
)2(ˆ
2
1)ˆ(
n
nuE
nE
n
i
i
2
28
演習問題
問題 1
の不偏性を、まず
である事を示し、次に の別表現である。
の期待値を取る事よって示しなさい。
)()( XXYYE ii
2
1
1
)(
))((ˆ
XX
XXYY
n
ii
n
iii
29
演習問題
問題 2
最小二乗推定量 の共分散が
である事を確認しなさい。(ヒント: である事と、
である事を用いると簡単に求められます)。
ˆˆ と
uX )ˆ(ˆ
0),ˆcov( u
n
ii XX
X
1
2
2
)()ˆ,ˆcov(