1 1 CH15_ CH15_

第 第 15 15 章章複迴歸複迴歸

© © 滄海書局滄海書局

2 2 CH15_ CH15_

第 第 15 15 章章複迴歸複迴歸

複迴歸模型複迴歸模型 最小平方法最小平方法 複判定係數複判定係數 模型假設模型假設 顯著性檢定顯著性檢定 利用迴歸方程式進行估計與預測利用迴歸方程式進行估計與預測 定性自變數定性自變數 殘差分析殘差分析

3 3 CH15_ CH15_

複迴歸模型複迴歸模型

複迴歸方程式複迴歸方程式

估計複迴歸方程式估計複迴歸方程式

E(E(yy) = ) = 00 + + 11xx1 1 + + 22xx2 2 + . . . + + . . . + ppxxpp

yy = = 00 + + 11xx1 1 + + 22xx2 2 + . . . + + . . . + ppxxpp + +

複迴歸模型複迴歸模型

yy = = bb00 + + bb11xx1 1 + + bb22xx2 2 + . . . + + . . . + bbppxxpp^̂

4 4 CH15_ CH15_

最小平方法最小平方法

最小平方法準則最小平方法準則

計算相關係數計算相關係數計算迴歸係數 計算迴歸係數 bb00, , bb11, , bb22, . . . , . . . bbp p 的公式涉及矩的公式涉及矩

陣代數。我們將運用統計軟體處理其計算式。陣代數。我們將運用統計軟體處理其計算式。 係數的解釋係數的解釋

係數 係數 bbi i 代表當其他自變數固定不變時，代表當其他自變數固定不變時， xxi i 變變動一單位， 動一單位， y y 的變動量。的變動量。

2i )(min iyy ^̂

5 5 CH15_ CH15_

複判定係數複判定係數

SST, SSR SST, SSR 與 與 SSE SSE 的關係的關係SST = SSR + SSESST = SSR + SSE

複判定係數複判定係數

R R 22 = SSR/SST = SSR/SST

調整複判定係數調整複判定係數

222 )()()( iiii yyyyyy ^̂^̂

11

)1(1 22

pnn

RRa

6 6 CH15_ CH15_

模型假設模型假設

誤差項 誤差項 的假設的假設• 誤差項 誤差項 是平均數為零的隨機變數。是平均數為零的隨機變數。• 對所有自變數而言，對所有自變數而言，的變異數恆等於的變異數恆等於 22 。。• 值相互獨立。值相互獨立。• 誤差 誤差 為反應值 為反應值 y y 與 與 y y 的期望值的期望值 00 + + 11xx1 1 + +

22xx2 2 + . . . + + . . . + ppxxp p 之間的離差之常態分配隨機之間的離差之常態分配隨機變數。變數。

7 7 CH15_ CH15_

顯著性檢定： 顯著性檢定： F F 檢定檢定

假設假設 HH00 ：： 11 = = 2 2 = . . . = = . . . = p p = 0= 0

HHaa ：：至少有一個參數不為至少有一個參數不為 00 檢定統計量檢定統計量

FF = MSR/MSE = MSR/MSE 拒絕法則拒絕法則

若 若 FF > > FF ，則拒絕，則拒絕 HH00

其中，其中， FF 是由分子自由度為 是由分子自由度為 pp ，，分母自由度為 分母自由度為 nn - - pp – 1 – 1 的 的 F F 分配，查表可得。分配，查表可得。

8 8 CH15_ CH15_

顯著性檢定： 顯著性檢定： t t 檢定檢定

假設假設 HH00: : ii = 0 = 0

HHaa: : ii 0 0 檢定統計量檢定統計量

拒絕法則拒絕法則若 若 tt < - < -tt 或 或 tt > > tt ，則拒絕 ，則拒絕 HH00

其中， 其中， tt 係根據自由度 係根據自由度 nn - - pp – 1 – 1 的 的 t t 分配而得。分配而得。

ib

i

s

bt

9 9 CH15_ CH15_

顯著性檢定顯著性檢定：：多重共線性多重共線性

我們以我們以 多重共線性多重共線性 這個名詞來表示自變數之間的相這個名詞來表示自變數之間的相關。關。

當自變數之間是高度相關（亦即當自變數之間是高度相關（亦即 ||r r | > 0.7| > 0.7 ），它無），它無法明確地分辨此特殊的自變數在相依變數之上的影響法明確地分辨此特殊的自變數在相依變數之上的影響。。

迴歸模型中應該避免高度相關的自變數。迴歸模型中應該避免高度相關的自變數。

10 10 CH15_ CH15_

利用迴歸方程式進行估計與預測利用迴歸方程式進行估計與預測

估計迴歸方程式中 估計迴歸方程式中 y y 的平均數及個別 的平均數及個別 y y 的預測值所的預測值所用的程序，與含一自變數的迴歸分析情況類似。用的程序，與含一自變數的迴歸分析情況類似。

我們將給定的一組我們將給定的一組 xx11, , xx22, . . . , , . . . , xxpp 值代入估計迴歸方值代入估計迴歸方程式裡，再以對應的 程式裡，再以對應的 y y 值作為點估計值。值作為點估計值。

y y 的平均數及個別 的平均數及個別 y y 區間估計的公式超出本書討論之區間估計的公式超出本書討論之範圍。範圍。

複迴歸分析的統計軟體通常可提供區間估計值複迴歸分析的統計軟體通常可提供區間估計值。。

^̂

11 11 CH15_ CH15_

範例範例

巴特勒貨運公司巴特勒貨運公司 ((Butler Trucking Company)Butler Trucking Company) 所面所面臨的問題作為介紹複迴歸分析的範例。巴特勒貨運公臨的問題作為介紹複迴歸分析的範例。巴特勒貨運公司位於南加州，主要業務為區域性的貨運服務。為使司位於南加州，主要業務為區域性的貨運服務。為使工作排程更理想，管理階層想對駕駛員的每日行駛總工作排程更理想，管理階層想對駕駛員的每日行駛總時數做估計。時數做估計。

12 12 CH15_ CH15_

範例範例

巴特勒貨運公司的原始資料巴特勒貨運公司的原始資料駕駛指派駕駛指派 xx11 = = 行駛哩數行駛哩數 yy = = 行駛時間行駛時間 (( 小時小時 ))

11 100100 9.39.322 50 50 4.84.833 100100 8.98.944 100100 6.56.555 50 50 4.24.266 80 80 6.26.277 75 75 7.47.488 65 65 6.06.099 90 90 7.67.61010 90 90 6.16.1

13 13 CH15_ CH15_

複迴歸模型複迴歸模型假設簡單線性迴歸模型假設簡單線性迴歸模型

yy = β = β00 ＋＋ ββ11xx11 ＋＋ ε ε

其中，其中， yy = = 總行駛時數總行駛時數 xx11 = = 行駛哩程數行駛哩程數

範例範例

14 14 CH15_ CH15_

範例範例

複迴歸方程式複迴歸方程式運用 運用 EE(() = 0) = 0 ，，可得可得

E( E( y y ) = ) = 00 + + 11xx1 1

估計複迴歸方程式估計複迴歸方程式為了估計為了估計 ββ00 與與 ββ11 ，，用最小平方法建立如下的估計迴歸用最小平方法建立如下的估計迴歸方程式。方程式。

yy = = bb00 + + bb11xx1 1

^̂

15 15 CH15_ CH15_

範例範例

解解 00, , 1 1 的估計值的估計值

MinitabMinitab 軟體軟體解解

複迴歸複迴歸問題問題

MinitabMinitab 軟體軟體解解

複迴歸複迴歸問題問題

bb00 = = bb11 = =

…… 等等等等

bb00 = = bb11 = =

…… 等等等等

輸入資料輸入資料 輸出輸出xx11 yy

100 9.3100 9.3 50 4.850 4.8 . .. . . .. .90 6.190 6.1

xx11 yy

100 9.3100 9.3 50 4.850 4.8 . .. . . .. .90 6.190 6.1

16 16 CH15_ CH15_

範例範例

Minitab Minitab 電腦報表電腦報表

The regression equation isThe regression equation is

Time = 1.27 + 0.0678 MilesTime = 1.27 + 0.0678 Miles

Predictor CoefPredictor Coef Stdev t- Stdev t-ratio p ratio p

ConstantConstant 1.2741.274 1.4011.401 0.910.910.3900.390

MilesMiles 0.067830.06783 0.017060.01706 3.983.980.0040.004

ss = 1.002 = 1.002 R-sqR-sq = 66.4% = 66.4% R-R-sq(adj) sq(adj) = 62.2% = 62.2%

17 17 CH15_ CH15_

範例範例

Minitab Minitab 電腦報表電腦報表 (continued)(continued)

Analysis of VarianceAnalysis of Variance

SOURCESOURCE DF SS MS DF SS MS F PF P

RegressionRegression 11 15.87115.871 15.87115.871 15.8115.810.0040.004

ErrorError 88 8.0298.029 1.0041.004

TotalTotal 99 23.90023.900

18 18 CH15_ CH15_

範例範例

FF 檢定檢定• 假設假設 HH00: : 11 = = 2 2 = 0= 0

HHaa: : 11 及及 22 至少有一個不為至少有一個不為 00• 拒絕法則拒絕法則

對於對於 = 0.01= 0.01 ，自由度為，自由度為 2, 172, 17 時： 時： FF0.010.01 = = 9.559.55 ， ， 若 若 FF > 9.55 > 9.55 ，，則拒絕則拒絕 HH00 。。

• 統計檢定量統計檢定量FF = MSR/MSE = 10.8/0.328 = 32.9 = MSR/MSE = 10.8/0.328 = 32.9

• 結論結論由於由於 32.9 32.9 > 9.55> 9.55 ，，所以拒絕 所以拒絕 HH00 。。

19 19 CH15_ CH15_

範例範例

個別顯著性的 個別顯著性的 tt 檢定檢定• 假設假設 HH00: : ii = 0 = 0

HHaa: : ii 0 0

• 拒絕法則拒絕法則對於 對於 = 0.01= 0.01 ，自由度為，自由度為 77 的情況下，的情況下， tt0.0050.005 = = 3.4493.449 ，，若 若 tt > 3.449 > 3.449 ，，則拒絕 則拒絕 HH00 。。

• 統計檢定量統計檢定量

• 結論結論由於 由於 6.18 > 3.4496.18 > 3.449 ，所以拒絕，所以拒絕 HH00: : 11 = 0 = 0 ，，同理，同理，由於 由於 4.18 > 3.4994.18 > 3.499 ，所以拒絕 ，所以拒絕 HH00: : 22 = 0 = 0 。。

18.6009888.0061135.0

1

1 bsb

t 18.42211.09834.0

2

2 bsb

t

20 20 CH15_ CH15_

定性自變數定性自變數

但是在很多情況裡，我們必須處理的變數是定性的，但是在很多情況裡，我們必須處理的變數是定性的，例如，性別例如，性別 (( 男、女男、女 )) 、付款方式、付款方式 (( 信用卡、現金、支信用卡、現金、支票票 )) 等等。等等。

例如，例如， xx22 可代表性別，其中可代表性別，其中 xx22 = 0 = 0 表示男性而表示男性而 xx22 = 1 = 1 表示女性。表示女性。

在此情況下在此情況下，，我們稱 我們稱 xx2 2 為為虛擬變數虛擬變數或者是或者是指示變數指示變數。。 若定性變數有 若定性變數有 kk 個水準，則必須定義 個水準，則必須定義 k - k - 11 個虛擬變個虛擬變

數，每個虛擬變數的值不是 數，每個虛擬變數的值不是 0 0 就是 就是 11 。。 例如，例如， 變數有 變數有 A, B A, B 及 及 C C 三種水準，即分別以 三種水準，即分別以 xx1 1

和 和 xx2 2 為 為 (0, 0), (1, 0) (0, 0), (1, 0) 和 和 (0,1) (0,1) 來表示。來表示。

21 21 CH15_ CH15_

範例範例

強生公司在佛羅里達州的南部提供濾水系統的維修服強生公司在佛羅里達州的南部提供濾水系統的維修服務。客戶需要維修服務時就會與強生公司聯絡。為了務。客戶需要維修服務時就會與強生公司聯絡。為了評估服務時間與服務成本，該公司的經理人想要預測評估服務時間與服務成本，該公司的經理人想要預測客戶每次服務的維修時間。因此，以小時為單位的維客戶每次服務的維修時間。因此，以小時為單位的維修時間是應變數。根據經理人的判斷，維修時間與兩修時間是應變數。根據經理人的判斷，維修時間與兩種因素有關，分別是本次叫修與上次叫修的時間間隔種因素有關，分別是本次叫修與上次叫修的時間間隔，以及濾水器的維修問題類型是機械問題或是機電問，以及濾水器的維修問題類型是機械問題或是機電問題。題。

22 22 CH15_ CH15_

顧客編號　距離上次叫修　維修問題類型　維修所需時顧客編號　距離上次叫修　維修問題類型　維修所需時 時間時間 ((月月 )()(xx11)) ((xx22) ) 間間 (( 小小

時時 )()(yy))　　 11 　　 22 　　 11 　　　　 2.92.9　　 22 　　 66 　　 00 　　　　 3.03.0　　 33 　　 88 　　 11 　　　　 4.84.8　　 44 　　 33 　　 00 　　　　 1.81.8　　 55 　　 22 　　 11 　　　　 2.92.9　　 66 　　 77 　　 11 　　　　 4.94.9　　 77 　　 99 　　 00 　　　　 4.24.2　　 88 　　 88 　　 00 　　　　 4.84.8　　 99 　　 44 　　 11 　　　　 4.44.4　　 1010 　　 66 　　 11 　　　　 4.54.5

範例範例

* * xx22 = 0 = 0 如果維修問題的類型屬於機電型，如果維修問題的類型屬於機電型， xx22 = 1 = 1 如果維修問題的類型屬於機械型。如果維修問題的類型屬於機械型。

23 23 CH15_ CH15_

範例範例

複迴歸方程式複迴歸方程式E(E(y y ) = ) = 00 + + 11xx1 1 + + 22xx22

估計複迴歸方程式估計複迴歸方程式 yy = = bb00 + + bb11xx1 1 ++ bb22xx2 2

其中其中 yy = = 維修所需時間維修所需時間 (( 以小時為單位以小時為單位 )) xx11 = = 本次叫修與上次叫修的時間間隔本次叫修與上次叫修的時間間隔 (( 以月為以月為單位單位 ))

xx22 = 0 = 0 如果維修問題的類型屬於機電型如果維修問題的類型屬於機電型 1 1 如果維修問題的類型屬於機械型如果維修問題的類型屬於機械型

附註：附註： xx22 稱為虛擬變數或指示變數稱為虛擬變數或指示變數

^̂

24 24 CH15_ CH15_

Minitab Minitab 電腦報表電腦報表

The regression isThe regression is

Salary = 0.930 + 0.388 Months + 1.26 TypeSalary = 0.930 + 0.388 Months + 1.26 Type

Predictor CoefPredictor Coef Stdev Stdev t-ratio p t-ratio p

ConstantConstant 0.93050.9305 0.46700.4670 1.991.99 0.0870.087

MonthsMonths 0.387620.38762 0.062570.06257 6.206.20 0.0000.000

TypeType 1.26271.2627 0.31410.3141 4.024.02 0.0050.005

ss = 0.4590 = 0.4590 R-sqR-sq = 85.9% = 85.9% R-sq(adj) R-sq(adj) = 81.9%= 81.9%

範例範例

25 25 CH15_ CH15_

範例範例

MinitabMinitab 電腦報表 電腦報表 (continued)(continued)

Analysis of VarianceAnalysis of Variance

SOURCESOURCE DF SS MS F DF SS MS F P P

RegressionRegression 22 9.00099.0009 4.50054.5005 21.3621.360.0010.001

ErrorError 77 1.47511.4751 0.21070.2107

TotalTotal 99 10.476010.4760

26 26 CH15_ CH15_

殘差分析殘差分析

第 第 i i 個觀察值的殘差個觀察值的殘差yyii - - yyii

第 第 i i 個觀察值的標準化殘差個觀察值的標準化殘差

其中其中

有關複迴歸分析中的第 有關複迴歸分析中的第 i i 個觀察值標準化殘差個觀察值標準化殘差的運算稍嫌複雜，但是運用統計軟體，可以很容易得的運算稍嫌複雜，但是運用統計軟體，可以很容易得到。到。

^̂

ii yy

ii

s

yy

^̂

^̂

iyy hssii

1^̂

27 27 CH15_ CH15_

殘差分析殘差分析

偵測離群值偵測離群值• 離群值離群值是指與其他資料相比較不尋常的觀察值。是指與其他資料相比較不尋常的觀察值。• Minitab Minitab 將標準化殘差 將標準化殘差 < -2 < -2 或 或 > +2 > +2 的觀察值的觀察值視為離群值。視為離群值。

• 有時候標準化殘差可能沒有大到讓我們可以偵測出有時候標準化殘差可能沒有大到讓我們可以偵測出離群值的存在。離群值的存在。

• 我們可以使用我們可以使用 StudentStudent 化刪除殘差化刪除殘差來取代原來的標來取代原來的標準化殘差的計算方式。準化殘差的計算方式。

• || 第 第 ii 個觀察值的個觀察值的 StudentStudent 化刪除殘差化刪除殘差 | | 將大於將大於 ||第 第 ii 個觀察值的標準化殘差個觀察值的標準化殘差 || 。。

28 28 CH15_ CH15_

End of Chapter 15End of Chapter 15