第 14 章複迴歸與相關分析

第第 14 14 章章複迴歸與相關分析複迴歸與相關分析14-1

14-2

目標目標1.使用複迴歸分析，描述多個獨立變數與一個相依變數間的關係。2.建構、解釋，以及應用 ANOVA 表格。3.計算與解釋複迴歸的估計標準誤、複判定係數與調整複判定係數。4.進行迴歸係數是否不為 0 的假設檢定。5.進行每一個迴歸係數的假設檢定。6.使用殘差分析去評估複迴歸分析的假設。7.計算相關獨立變數的影響。 8.了解與使用屬性獨立變數。

複迴歸分析複迴歸分析任意多個獨立變數（ k），其公式如下所示：

14-3

此方程式是由最小平方法建立。因為判斷 b1 、 b2 等係數的過程非常繁雜，因此建議採用 Excel 或 MINITAB 軟體計算。

kk XbXbXbXbaY 332211ˆ

複迴歸與相關分析複迴歸與相關分析兩個獨立變數，其複迴歸方程式的一般形式為：

14-4

2211ˆ XbXbaY

其中X1 與 X2 是兩獨立變數。a 是截距，亦即方程式通過 Y 軸的點。b1 是當 X2 保持不變時， X1 每變動一單位 Y' 的淨改變量。它被稱為偏迴歸係數、淨迴歸係數或迴歸係數。b2 是 X1 當保持不變時， X2 每變動一單位 Y' 的淨變動量。

Regression Plane for a 2-Independent Regression Plane for a 2-Independent Variable Linear Regression EquationVariable Linear Regression Equation

14-5

範例範例 Salsberry 不動產公司專門銷售位於美國東岸的房子。該公司最常接到的問題之一是：冬天時需要花多少錢在房屋的暖氣上？研究部門被要求建立一套有關房屋暖氣花費的指導方針。有三個變數與暖氣的成本有關：(1) 每天戶外的平均溫度（℉）、 (2) 屋頂天花板厚度（以英寸為單位）和 (3) 暖氣爐的使用年數。研究部門隨機選擇最近剛賣出的 20 棟房屋為樣本。根據樣本 1 月份的暖氣花費，以及該地區 1 月份的平均室外溫度、屋頂天花板厚度、暖氣爐使用年數等進行研判。表 14-1 列示了相關樣本資料。

14-6

範例範例 continuedcontinued

表 14-1 20 棟房屋之樣本 1 月份影響暖氣花費的因子

14-7


請計算複迴歸方程式。哪些變數是獨立變數？哪些變數是相依變數？請討論迴歸係數。為什麼有些為正、有些為負呢？截距值是多少？假設平均室外溫度是 30 度、天花板的厚度為 5 英寸且暖氣爐的使用年數為 10 年，請估計這間房屋的暖氣花費是多少？

14-8


相依變數是 1 月份的暖氣花費，用 Y 表示。此外，有三個獨立變數：平均室外溫度，用 X1 表示。屋頂天花板厚度，用 X2 表示。暖爐使用年數，用 X3 表示。

用來估計 Y 。具有三個獨立變數之複迴歸方程式的一般式為：Y

332211ˆ XbXbXbaY

Multiple Linear Regression – Multiple Linear Regression – Minitab ExampleMinitab Example

14-10


14-11


複迴歸方程式的估計式為假若知道平均室外溫度、屋頂天花板厚度、以及暖爐使用年數，則我們就可以預估 1 月份的暖氣花費。舉例說明，如果平均室外溫度是 30 度（ X1 ），屋頂天花板厚度是 5 英吋（ X2），暖爐使用年數是 10 年（ X3），把這些值代入上式的獨立變數中而得到：

14-12

321 101.6831.14583.4194.427ˆ XXX

56.27610101.65831.1430583.4194.427ˆ


平均室外溫度的迴歸係數－ 4.583 是負數，表示暖氣花費與室外溫度呈現反向關係。這樣的結果並不令人感到意外，隨著室外溫度增加，房屋的暖氣花費則減少。如果平均室外溫度每增加 1 度，而固定另外兩個獨立變數，可預期房屋每月的暖氣花費將減少 $4.583 。如果波士頓的平均室外溫度為 25 度，而費城的室外平均溫度為 35 度，在其他條件不變的情況下，預期在費城的暖氣花費將比波士頓少 $45.83 。 14-13


至於「屋頂天花板厚度」這個變數也是反向關係，代表天花板厚度愈厚，房屋的暖氣花費就愈少，所以係數為負號也合乎邏輯。假設固定平均室外溫度與暖氣爐使用年數，那麼每增加 1 英寸的天花板厚度，預期每月的房屋暖氣花費將減少 $14.83 。 14-14


變數「暖氣爐使用年數」則為正向關係，亦即使用年數愈多，房屋的暖氣成本也就愈高。暖氣爐的使用年數每增加 1 年，預期每個月房屋的暖氣成本會增加 $6.1 。

14-15

複迴歸的估計標準誤複迴歸的估計標準誤複迴歸估計標準誤是描述在迴歸線周圍的變異程度。

其衡量單位與獨立變數相等。其不能判斷哪一個標準誤較大或較小。

14-16

複迴歸的估計標準誤複迴歸的估計標準誤計算公式為：

14-17

1

ˆ 2

...12

knYYS ky

複迴歸與複相關的假設複迴歸與複相關的假設相依變數與獨立變數具有線性關係：

1. 獨立變數與相依變數間必須具有線性關係。2. 相依變數必須是連續變數，且觀測資料至少是區間尺度。3. 所有 Y 值的實際值與預估值間的變異程度皆相同。也就是，所有 Y 值的每個 (Y － )必須要接近相等。這種情形下的差距稱為等差

(homoscedasticity) 。4. 由 Y －所計算出來的殘差必須服從平均數為

0 的常態分配。

例子例子既然有三個獨立變數，複迴歸估計標準誤寫為

要如何解釋估計標準誤 51.05 這個值呢？這表示當使用這個方程式預測花費時所出現的誤差。首先，估計標準誤的單位與相依變數的單位相同，所以單位是元。第二，如果殘差近似常態分配，大約有 68% 的殘差是在 ±51.05 之間，以及大約有 95% 落在 (±2 51.05) = ±102.1 之間。

14-19

05.511320

58.41695)1(

)ˆ( 2

123.

knYYs y

Excel solutionExcel solution

14-20

ANOVA ANOVA 表表 ANOVA 表格可分析獨立變數的變異度。此變異可分為兩部分：

可以由複迴歸所解釋的變異，亦即由獨立變數解釋的變異。殘差誤差，或稱不可解釋的變異。

14-21

ANOVA ANOVA 表表表頭為 SS 的欄位代表平方和，或稱變異程度

總變異 = SS total 誤差變異 = SSE 迴歸變異 = SSR = SS total － SSE

表頭為 MS （均方）的欄位，是將 SS 項除以 df 而得。所以，均方迴歸 MSR 等於 SSR/k

MSE 等於 SSE/[n － (k + 1)]

14-22

複判定係數複判定係數複判定係數（ coefficient of multiple

determination ）在相依變數 Y 之總變異中，可由獨立變數 X1, X2, X3, ……, Xk 來解釋的部分。

14-23

複判定係數複判定係數複判定係數的性質如下：1.標示為 R2。2.值介於 0 到 1 之間。值接近 0 代表獨立變數與相依變數之間的相關性很小。值接近 1 代表獨立變數與相依變數之間的相關性很大。3.不能為負數。因為平方的數不可以是負數。4.因為 R2 的值介於 0 到 1 之間，很容易解釋與比較。

14-24

複判定係數複判定係數計算公式如下：

14-25

調整複判定係數調整複判定係數在複迴歸方程式中獨立變數的個數會使得判定係數變大，每增加一個新的獨立變數皆會使得預測更為精確。造成 SSE 更小， SSR 更大。因此， R2 的增加是因為獨立變數的總個數，而不是因為新增的獨立變數是相依變數的好預測因子。事實上，若變數個數與樣本數相等，則判定係數為 1 。這種情形是有問題的。為平衡獨立變數的個數所造成複判定係數的影響，統計軟體使用調整複判定係數。

14-26

調整複判定係數調整複判定係數計算公式如下：

14-27

例子例子用公式 [14-3] 計算複判定係數：

如何解釋這個值？我們說：獨立變數（平均室外溫度、屋頂天花板厚度、暖爐使用年數）可解釋暖氣花費總變異的 80.4% 。換句話說， 19.6% 的變異是由於誤差或是由沒考慮的變數所造成。 ANOVA 表格中， 19.6% 是誤差的平方和除以平方總和。

14-28

804.0916,212220,1712

SStotalSSRR

196.02129164169511 2

SStotalSSE

SStotalSSRR

例子例子 continuedcontinued 暖氣花費的範例，調整複判定係數如下：

請比較判定係數 R2 為 0.8 ，而調整複判定係數為 0.77 。 14-29

77.023.011120626061

1-20212916

)13(2041695

12 adjR

2adjR

聯合檢定：檢定複迴歸模式是否有效聯合檢定：檢定複迴歸模式是否有效能夠檢定獨立變數對相依變數 Y 的解釋能力有多少。以問句的方式詮釋：可以不依賴獨立變數來估計相依變數嗎？這個檢定稱為聯合檢定（ global

test ）。

14-30

聯合檢定聯合檢定檢定統計量為 F 分配，其自由度為

k 與 n － (k + 1) ，其中 n 為樣本個數。

14-31

找尋找尋 FF 臨界值臨界值

14-32

找出計算之找出計算之 FF 值值

14-33

解讀解讀

14-34

計算出 F 值為 21.90 ，在拒絕域內，故拒絕 H0 。虛無假設之所有複迴歸參數皆為 0 ，故拒絕之。解讀：某些獨立變數

(amount of insulation, etc.) 具有解釋相依 (heating cost) 變異能力。

個別迴歸係數的檢定個別迴歸係數的檢定個別檢定為對個別變數進行檢定，判斷哪些迴歸係數為 0 哪些不為 0 。如果一個 β 值等於 0 ，則代表該獨立變數無法解釋相依變數的任何變異。因此，當發現係數不能拒絕時，就必須將它從迴歸方程式中剔除。檢定統計量為 t 分配，以及其自由度為

n － (k + 1) 。14-35

個別迴歸係數的檢定個別迴歸係數的檢定公式如下：

其中 bj 為任何一個迴歸係數， sbi 為迴

歸係數 bj 之分配的標準差。

14-36

斜率之臨界斜率之臨界 t-statt-stat

14-37

計算斜率之計算斜率之 t-statt-stat

14-38

斜率顯著性結論斜率顯著性結論

14-39

殘差分析殘差分析殘差為實際變數 Y 與預測變數 Y' 間的差異。

想要了解殘差是否服從常態分配，可以使用直方圖來表示。繪製殘差與相對應的 Y' 值可以顯示在這些殘差中是否出現某種趨勢或型態。

14-40

殘差圖殘差圖

14-41

殘差直方圖殘差直方圖

14-42

評估複迴歸的假設評估複迴歸的假設 1. 線性關係：獨立變數與相依變數間必須具有線性關係。2. 大與小的值產生相同的殘差變異：不管的大小，是不相關的。3. 殘差服從常態機率分配：殘差是實際值 Y 與估計值的差異，它近似常態分配，且平均數為 0 。

14-43

Y)ˆ( YY

Y)ˆ( YY

評估複迴歸的假設評估複迴歸的假設4.獨立變數之間不應該有相關。5.殘差是獨立的。即相依變數的相鄰觀測值是不相關的。但當時間因素被考慮進樣本觀測值，則這項假設經常不滿足。

14-44

變異膨脹因子變異膨脹因子變異膨脹因子（ variance inflation factor ）公式如下：

是判定係數，挑選的獨立變數被使用作為相依變數，剩下的獨立變數仍然作為獨立變數。若 VIF > 10 ，則顯示獨立變數應被刪除。 14-45

211

jRVIF

2jR

獨立的觀測獨立的觀測迴歸分析與相關分析的第五個假設是：殘差應該是獨立的。即殘差應該沒有固定的形式，它們應該不會相關。如果殘差有相關，這種情況稱為自相關

（ autocorrelation ）。自相關經常發生在資料蒐集的過程持續一段時間。

14-46

質變數質變數通常希望在分析中使用名目尺度的變數──例如：性別區分、房屋是否有游泳池、或是球賽在主客場等。因為它們描述了一個特定的性質，所以稱為質變數（ qualitative variables ）。

14-47

虛擬變數虛擬變數為了將質變數利用在迴歸分析中，使用虛擬變數來表示兩個可能的條件，並將之編碼為 0 或 1 。虛擬變數（ dummy variables ）：一種只有兩個可能結果的變數。進行分析時，將其中一個結果編碼為 1 ，另一個結果編碼為 0 。

14-48

範例範例表 14-1 的範例，有三個獨立變數與暖氣的成本有關：戶外溫度、天花板厚度、暖氣爐的使用年數。為所有獨立變數建立相關矩陣。是否有多重共線性的問題？為每個獨立變數求出變異膨脹因子，並解釋之。

14-49

範例範例 continuedcontinued 運用 MINITAB 套裝軟體來建立相關矩陣。部分輸出如下：

14-50

範例範例 continuedcontinued 沒有一個獨立變數的相關性超過－ 0.7 與 0.7 以外，所以沒有多重共線性的問題。獨立變數最大的相關性是－ 0.486 出現在使用年數與戶外溫度。為了確定這個結論，我們為每個獨立變數求出變異膨脹因子。首先考慮戶外溫度。把戶外溫度當作相依變數，把天花板厚度與暖氣爐使用年數當作獨立變數，求戶外溫度的複判定係數。部分 MINITAB 輸出如下頁所示。

14-51

範例範例 continuedcontinued 部分 MINITAB 輸出：

14-52

範例範例 continuedcontinued 判定係數是 0.241 ，代入 VIF 公式，得到

因為 VIF < 10 ，表示戶外溫度這個獨立變數與其它變數沒有很強的相關。求天花板厚度的 VIF ，把天花板厚度當作相依變數，把戶外溫度與暖氣爐使用年數當作獨立變數。再求判定係數，代入公式 [14-7] ，得到 VIF 。實際上， MINITAB 可求出每個獨立變數的 VIF ，其值請見上表 MINITAB 輸出最右邊一行，兩個值皆是 1 。因此，這題並沒有多重共線性的問題。

14-53

32.1241.01

11

12

1

R

VIF

22R

第 14 章 複迴歸與相關分析

Documents

第 14 章複迴歸與相關分析