Quan_reg2 1

常見涉及誤差變異之問題

• 若誤差項不符合變異數相同的假說，則可能產生異值變異

(heteroskedasticity）的問題

• 如何發現資料有異值變異現象？

最快的方法是觀察殘差圖，再以統計檢定確定

• 如何修正？

採用WLS法替代OLS法 (或用異質穩健推論 8.2節)

Chapter8 異質性

Quan_reg2 2

資料散佈圖 殘差圖

當 對 X 之殘差圖呈現梯形，顯示殘差的變異數非固定值，

模式中的 ζ 值隨著 X 增加而增加。

Quan_reg2 3

•配適度的 R-square 不會受到異質的影響

•用OLS得到的估計量仍是不偏的，但不是最佳的

•其變異數是偏誤的，OLS的 t-統計量不再是t-分布。

•即使是大樣本，也不是有效的估計量

8.1 異質性使用OLS的結果

Quan_reg2 4

8.3 異值性的檢定

•迴歸分析時，資料違背同變異性，稱為異值變異(Heteroskedasticity)

•觀察對x 之殘差圖呈現喇叭形時，可能有異值變異，即標準差與x 相關

•也可以由下列三種檢定法檢定資料是否存在異值變異：

–White test

–Breusch-Pagan/Godfrey test

–Goldfeld-Quandt test

Quan_reg2 5

BP 檢定法

• Breusch-Pagan 檢定

•原理說明：

–假設誤差項跟 X 相關

– ε2t = δ0+ δ1X 1t +νt

–利用誤差項變異數為應變數進行迴歸分析，以 F-test 檢定顯著性

• Keonker 提出 LM 統計量，可以卡方檢定執行

註：LM統計量：Likelihood Maximun estimator 是統計上認為較佳的估計量

Quan_reg2 6

White test

• 原理說明：

– 誤差項可能會跟 X 或 X平方相關

– ε2t = δ0+ δ1X 1t + δ2X

21t +νt

– 利用誤差項變異數為應變數進行迴歸分析，若判定係數(R2)很高時，表示具有異值變異。

• White 證明nR2 服從自由度q 的卡方分配，q=(k-

1)(k+2)/2

• 以卡方檢定執行

• SAS中使用 White test

Quan_reg2 7

Test of First and Second Moment Specification

DF Chi-Square Pr > ChiSq

5 4.87 0.4316

SAS tip 分析 → 迴歸 → 線性

統計值 → 診斷 → V異質檢定

社區相館例之 White test 報表 :

Test of First and Second Moment Specification

DF Chi-Square Pr > ChiSq

2 11.99 0.0025

年齡血壓關係例之 White test 報表 :

未違背同值變異

違背同值變異

Quan_reg2 8

• 針對異質性資料，可用8.2節的穩健異質統計法

• 傳統的方法是用加權最小平方法， WLS

• 加權最小平方法是廣義最小平方法 (GLS) 的特例

• GLS 能得到最佳線性不偏估計式 (BLUE)

• 現代大部分的迴歸中體都能處理 WLS

8.4 加權最小平方估計 (WLS)

Quan_reg2 9

廣義最小平方法

• Yt = β0+ β1X 1t +…….+ βkX kt +εt

ε ~ N( 0, Σ)

•廣義的變異數矩陣：

NN

N

N

.........

............

...

...

)var(22212

11211

•根據上列變異數矩陣得到的最小平方估計量稱為廣義最小平方法 (generalized least square method), 簡稱為 GLS

Cov(εi, εj)

Var(εi)

Quan_reg2 10

•獨立時變異數矩陣： ζij =0, for i ≠ j

•同值時變異數： ζii2 = ζ2

•假設誤差項是獨立且同變異數時，

Iσ)var( 2

•之前在假設ε是獨立且同變異數之下的最小平方估計量稱為一般最小平方法 (ordirnary least square method), 簡稱為 OLS

•對異質性資料，可假設ζij =0， 指定ζii2 為x 之

函數, 或 x-平方 之函數，如此得到迴歸式的方法稱為 加權最小平方法 (WLS)

Quan_reg2 11

加權最小平方法（WLS）

• 假設模式為：

Yt = β 0+ β 1X 1t +ε t , var(ε t)= Ztσ2

Zt是Xt，或是Xt 的函數

• 此模式滿足獨立性，但不滿足同變異性

• 當變異數與 Zt成正比時，則以 1/Zt 為權重，求出使加權之誤差平方和最小的直線

註：權重的觀念是：對變化小的個案，加權重，對變化大

的個案，加權輕，這將使迴歸式的估計較精確。

Quan_reg2 12

原理 :

求得βi，使下式達到最小的方法稱為加權最小平方

法 (WLS)

2

1,1110 )....( ptptttw XXYwQ

矩陣解 :

•Normal Equation: (X’WX) bw = X’WY

•估計量 : bw = (X’WX)-1 X’WY

•共變異矩陣 : σ{bw} = (X’WX)-1 X’WY

Nw

w

w

...00

............

0...0

0...0

2

1

W

Quan_reg2 13

實作 :

1. 先以不加權最小平方配適迴歸模式。

2. 由殘差圖判斷誤差變異數隨何變數正變，可能是下列情況

之一。然後決定 wt 值。

/1 ,

/1 ,

/1 ,

11

22

2

1

2

1

22

11

22

tttt

tttt

tttt

XwX

XwX

XwX

也可能是分段增加或減少

3. 以 wt 加權得到 WLS 迴歸模式。

4. 進一步測試模式適合性及其它。

喇叭形

梯形

弧形

SAS tip 將 wt資料輸入為 relative weight 變數

Quan_reg2 14

Root MSE 0.18918 R-Square 0.5005

Dependent Mean 74.87714 Adj R-Sq 0.4908

Coeff Var 0.25266

Parameter Estimates

Variable Label DF Parameter Estimate

Standard Error

t Value Pr > |t|

Intercept

Intercept

1 55.83104 2.78093 20.08 <.0001

age age 1 0.58883 0.08158 7.22 <.0001

Test of First and Second Moment Specification

DF Chi-Square Pr > ChiSq

2 2.52 0.2838

Root MSE 8.14575 R-Square 0.4077

Dependent Mean 79.11111 Adj R-Sq 0.3963

Coeff Var 10.29659

Parameter Estimates

Variable Label DF Parameter Estimate

Standard Error

t Value Pr > |t|

Intercept

Intercept

1 56.15693 3.99367 14.06 <.0001

age age 1 0.58003 0.09695 5.98 <.0001

Test of First and Second Moment Specification

DF Chi-Square Pr > ChiSq

2 11.99 0.0025

(OLS法 報表 ) (WLS法 報表, X-2為加權 )

Quan_reg2 15

說明：

• 報表中的 MSE 為 σ 2 之估計值

• X-2加權時，變異數為 X2(MSE)，標準誤為為 X(Root MSE)

• 也可以用其它函數型式估計 σ 2 ，先求出殘差，再用迴歸法得到 σ 2 之函數，做為權重之倒數

(參考 p337 必須估計的異質性函數)