1

Chapter 2簡單迴歸模型

2

簡單迴歸模型的定義

bull y = β0 + β1x + u 它代表變數 x 及 y 之間的關連因此也可將它稱為ldquo兩變數線性迴歸模型rdquo或 ldquo二元線性迴歸模型rdquo

bull 在方程式中變數 y 及 x 常常交替使用幾種不同的名稱

3

簡單迴歸的術語

y x

應變數 自變數被解釋變數 解釋變數反應變數 控制變數被預測變數 預測變數被迴歸項 迴歸項

4

簡單迴歸模型的定義

bull 在計量經濟中ldquo應變數rdquo與ldquo自變數rdquo是很常用的不過要注意自變數的英文ldquo independentrdquo 在這裡並不是代表隨機變數間獨立性的統計概念

5

簡單迴歸模型的定義bull 變數 u 稱為誤差項 (error term) 或干擾項

(disturbance) 它代表除了 x 之外其他會影響 y 的因素簡單迴歸分析將除了 x 以外所有影響y 的因素都視為不可觀察你可以把 u 想成代表ldquo不可觀察項rdquo

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

2

簡單迴歸模型的定義

bull y = β0 + β1x + u 它代表變數 x 及 y 之間的關連因此也可將它稱為ldquo兩變數線性迴歸模型rdquo或 ldquo二元線性迴歸模型rdquo

bull 在方程式中變數 y 及 x 常常交替使用幾種不同的名稱

3

簡單迴歸的術語

y x

應變數 自變數被解釋變數 解釋變數反應變數 控制變數被預測變數 預測變數被迴歸項 迴歸項

4

簡單迴歸模型的定義

bull 在計量經濟中ldquo應變數rdquo與ldquo自變數rdquo是很常用的不過要注意自變數的英文ldquo independentrdquo 在這裡並不是代表隨機變數間獨立性的統計概念

5

簡單迴歸模型的定義bull 變數 u 稱為誤差項 (error term) 或干擾項

(disturbance) 它代表除了 x 之外其他會影響 y 的因素簡單迴歸分析將除了 x 以外所有影響y 的因素都視為不可觀察你可以把 u 想成代表ldquo不可觀察項rdquo

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

3

簡單迴歸的術語

y x

應變數 自變數被解釋變數 解釋變數反應變數 控制變數被預測變數 預測變數被迴歸項 迴歸項

4

簡單迴歸模型的定義

bull 在計量經濟中ldquo應變數rdquo與ldquo自變數rdquo是很常用的不過要注意自變數的英文ldquo independentrdquo 在這裡並不是代表隨機變數間獨立性的統計概念

5

簡單迴歸模型的定義bull 變數 u 稱為誤差項 (error term) 或干擾項

(disturbance) 它代表除了 x 之外其他會影響 y 的因素簡單迴歸分析將除了 x 以外所有影響y 的因素都視為不可觀察你可以把 u 想成代表ldquo不可觀察項rdquo

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

4

簡單迴歸模型的定義

bull 在計量經濟中ldquo應變數rdquo與ldquo自變數rdquo是很常用的不過要注意自變數的英文ldquo independentrdquo 在這裡並不是代表隨機變數間獨立性的統計概念

5

簡單迴歸模型的定義bull 變數 u 稱為誤差項 (error term) 或干擾項

(disturbance) 它代表除了 x 之外其他會影響 y 的因素簡單迴歸分析將除了 x 以外所有影響y 的因素都視為不可觀察你可以把 u 想成代表ldquo不可觀察項rdquo

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

5

簡單迴歸模型的定義bull 變數 u 稱為誤差項 (error term) 或干擾項

(disturbance) 它代表除了 x 之外其他會影響 y 的因素簡單迴歸分析將除了 x 以外所有影響y 的因素都視為不可觀察你可以把 u 想成代表ldquo不可觀察項rdquo

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

6

簡單迴歸模型的定義bull (21) 式同時也指出了 y 和 x 之函數關係的議題若在 u 之

中的其他因素固定不變因此 u 的變動為 0Δu=0 則 x 對 y 有一線性效果

bull 因此 y 的變動就只是 β1 乘 x 的變動這代表在其他因素 u 固定不變下 y及 x 之關係的斜率參數 (slope parameter) 為 β1 它是應用經濟中我們最感興趣的部分截距參數(intercept parameter) β0 有時也被稱為常數項 (constant term) 亦有其作用不過它在分析之中並不是最重要的

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

7

簡單迴歸模型的定義bull 假設不可觀察的 u 和解釋變數 x 的關係下

才能得到隨機樣本中 β0 和 β1 之可靠估計式若沒有這種假設我們就不能估計其他條件不變的效果 β1 由於 u 及 x 為隨機變數我們需要機率中的概念

bull 陳述 x 和 u 如何相關連的假設之前有一個關於 u 的假設是我們永遠可以做的只要截距項 β0 包含在方程式中假設 u 的母體平均值為 0 總是可以的

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

8

簡單迴歸模型的定義bull 回到 u 和 x 如何相關連之重要假設上一個

對兩個隨機變數之關係的衡量方式即為相關係數 (correlation coefficient)

bull 由於 u 和 x 是隨機變數我們可以定義在任何 x 的值之下 u 的條件分配特別是就任何 x 我們可以得到 u 的期望值 ( 或平均值 )重要的假設即為 u 的平均值並不取決於 x 的值

bull 其中第二個等式即為 (25) 式 (26) 式中第一個等式為一新的假設我們稱為條件平均為 0 的假設 (zero conditional mean assumption)

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

9

簡單迴歸模型的定義

bull 將 (21) 在 x 的條件下取條件期望值並且利用

可得

bull (28) 式顯示母體迴歸函數 (population regression function PRF) 是 x 的線性函數

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

10

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

11

推導普通最小平方估計

bull 迴歸的基本概念就是從樣本中估計母體參數bull 令 (xi yi) i =1hellipn 代表一由母體中所得之大小為 n 的隨機樣本由於這些資料來自 (21) 式我們可以對每一個 i 寫出

bull 由於 ui 包含除了 xi 之外所有影響的 yi 因素因此它為觀察值 i 之誤差項

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

12

bull 在母體中 u 之平均數為 0 且和 x 無相關因此看到 u 之期望值為 0 且 x 和 u 之共變異數為 0

bull 使用可觀察的變數 x 和 y 及未知參數 β0和 β1 (210) 和 (211) 式可被寫為

推導普通最小平方估計

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

13

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

14

在某一個資料樣本中我們選擇 和 以解(212) 和 (213) 式之樣本對應

此為估計之動差法 (method of moments)

推導普通最小平方估計

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

利用相加因子之基本特性 (214)式可重寫成

其中 為 yi 之樣本平均而 之定義亦類似於 此方程式使我們得以將

用 來表示

推導普通最小平方估計

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

推導普通最小平方估計將 (215) 式之 n-1 剔除 (由於它並不影響結果 )以及將 (217) 式代入 (215) 式中得到

移項重組之後可得

再利用相加因子之基本特性

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

因此在以下的條件成立下

估計的斜率為

推導普通最小平方估計

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

18

bull 斜率估計為 x 和 y 之樣本共變異數除以 x 之樣本變異數

bull 若 x 和 y 正相關則斜率為正 bull 若 x 和 y 負相關則斜率為負bull 我們只要求 x 在樣本中必須有變化

推導普通最小平方估計

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

19

bull 在 (217) 和 (219) 式之估計稱為 β0 和 β1 的普通最小平方 (ordinary least squares OLS) 估計

bull 任何 和 定義一個當 x=xi之 y 的配適值(fitted value) 如

bull 真正的 yi 及其配適值之差異即為觀察值 i 之殘差(residual)

推導普通最小平方估計

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

20

bull 假設我們選擇 和 使得殘差平方和 (sum of squared residuals)

極小化bull 決定了 OLS 估計之截距和斜率我們就可得出

OLS 迴歸線 (OLS regression line)

推導普通最小平方估計

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

21

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

22

bull 由於它是母體迴歸函數 的估計版 (223) 式亦被稱為樣本迴歸函數 (sample regression function SRF) 我們應該記住 PRF 是在母體中固定且未知的

bull 大多數情況下的斜率估計可被寫為

bull 它告訴我們當 x 變動一單位時 變動的數量

bull 所以在 x 任意變動之下 ( 無論正或負 ) 我們可以計算 y 的預測變動

推導普通最小平方估計

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

23

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

24

OLS 統計量的代數特性bull 對 OLS 估計和它們相關的統計量有一些有用的

代數特性我們現在提出三個最重要的 (1) OLS 殘差之總和以及樣本平均為 0 數學上

(2) 自變數和 OLS 殘差之樣本共變異數為 0 此特性是從 (215) 式之一階條件而來它可用殘差來表示

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

25

OLS 統計量的代數特性

(3) 永遠會在 OLS 迴歸線上換句話說如果我們把 在 (223) 中替換 x 則OLS 預測值為

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

26

bull 將總平方和 (total sum of squares SST) 被解釋平方和 (explained sum of squares SSE) 殘差平方和(residual sum of squares SSR) 定義如下

OLS 統計量的代數特性

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

27

bull 異性可被表示為被解釋變異性 SSE 和不可被解釋變異性 SSR 之加總故

bull 我們可證明 (237) 式則 (236) 式即可成立

OLS 統計量的代數特性

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

28

bull 假定總平方和 SST 不等於 0 ( 除了所有 yi 的值都相等之外此必定成立 ) 我們可以將 (236) 除以SST 以得到 1 = SSESST + SSRSST 則迴歸之R2 有時稱為判定係數 (coefficient of determination) 其定義為

bull 由於 SSE 不會大於 SST 所以 R2 必定在 0 和 1 之間在解釋 R2 時我們通常將它乘 100 以將其轉換成百分比 100 R2為 y 之樣本變異可被 x 解釋的百分比

配適度

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

29

配適度bull 如何衡量我們的樣本迴歸線配適樣本資料

之好壞bull 可計算總平方和 (SST) 可被模型解釋之比例我們稱此為迴歸的 R2

bull R2 equiv SSESST = 1 ndash SSRSST

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

30

表 23 有對數的函數形式之總結模型 應變數 自變數 β1的解釋

Level-level y x Δy=β1Δx

Level-log y log(x) Δy=(β1100)Δx

Log-level log(y) x Δy=(100β1) Δx

Log-log log(y) log(x) Δy=β1Δx

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

31

假設 SLR1 參數線性

在母體模型中應變數 y 和自變數 x 相關連且誤差項 ( 或干擾項 )u 為

在母體模型中應變數 y和自變數 x 相關連且誤差項 (或干擾項 )u為

其中 β0 和 β1 為母體之截距和斜率參數

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

32

假設 SLR2 隨機抽樣

由 (247) 式母體模型中可得一大小為 n 的隨機樣本 (xi yi) i =12n

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

33

假設 SLR3 解釋變數的樣本變異性x 的樣本結果 xi i= 1 n其值不全部相同

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

34

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

35

假設 SLR4 條件平均為 0

在任意既定的解釋變數值之下誤差項 u 的期望值為 0換句話說

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

36

OLS 的不偏性

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

37

OLS 的不偏性

211

21

2

ˆ

0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

所以

為因此我們可將分子寫

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

38

OLS 的不偏性

1211

21

1ˆ

1ˆ

iix

iix

i

ii

uEds

E

uds

xxd

則

故令

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

39

bull 利用假設 SLR1 至 SLR4 對任何 β0 和β1 而言

bull 換句話說 為 β0 之不偏估計式以及 是 β1 之不偏估計式

定理 21 OLS之不偏性

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

40

假設 SLR5 同質變異性

bull 在任意既定的解釋變數任意值之下誤差項 u 有相同的變異數換句話說

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

41

OLS估計式之變異數bull 現在我們知道估計的抽樣分配是集中於真實參數的

bull 要了解該分配的分散程度bull 需要另一假設bull 假設 Var(u|x) = σ2 ( 同質變異性 )

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

42

OLS估計式之變異數

bull Var(u|x) = E(u2|x)-[E(u|x)]2

bull E(u|x) = 0 所以 σ2 = E(u2|x) = E(u2) = Var(u)

bull 故 σ2 亦為非條件變異數稱為誤差變異數(error variance) 或干擾項變異數

bull σ 為誤差變異數的平方根稱為誤差標準差

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

43

OLS估計式之變異數

12

222

22

22

2222

2

2

22

2

2

2

211

ˆ1

11

11

1ˆ

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

44

bull 我們可用 y 的條件平均和條件變異數的形式寫假設 SLR4 和 SLR5

bull 當 取決於 x 誤差項即存在異質變異性(heteroskedasticity) 或是非常數的變異數由於

每當 為 x 的函數時異質變異性就會存在

OLS估計式之變異數

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

45

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

46

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

47

估計誤差變異數

bull 因為我們無法觀察到 ui 因此我們不知道誤差變異數 2 的值

bull 我們只能觀察到殘差 ucirci

bull 我們可以使用殘差來估計誤差變異數

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

48

估計誤差變異數

2ˆ2

1ˆ

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSSRun

u

xux

xyu

i

i

iii

iii

的不偏估計式為故

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

49

估計誤差變異數

稱為迴歸的標準誤 (standard error of the regression SER)

由於 之一個自然的估計式為

此稱為 之標準誤 (standard error of )1048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048642104864210486421048642 104864210486421048642104864210486421048642 104864210486421048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 104858510485851048585104858510485851048585104858510485851048585104858510485851048585 104858510485851048585104858510485851048585 10485851048585

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

50

通過原點的迴歸bull 選擇一個斜率估計式稱為 且其迴歸線的形式

為

bull 其中在 和 之上的符號是用來區別斜率和截距同時存在的估計式由於 (263) 式通過 x = 0 和 稱之為通過原點的迴歸(regression through the origin)

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸

51

要獲得 (263) 式之斜率估計可利用普通最小平方的方法即殘差平方和極小化

利用微積分可證明 必須是一階條件的解

由此可解 在不是所有 xi 為 0 之下

通過原點的迴歸