Handout 4 Handout 4 回歸分析回歸分析

中興大學生物系統工程研究室

陳加忠

一、相關性與迴歸一、相關性與迴歸

1. 二元（bivariate）與多言（multivariate）資料

2. 二元數值資料的散佈圖問題：A. 兩變數是否相關？

B. 相關的形式為河？C. 如何求出相關程度？D. 能否從某一變數預測另一變數？

3. 相關係數（Y ,correlation coefficient）A. -1 ≦ r ≦ 1B. r的大小與符號代表相關強度與相關的

方向

C. 五種狀況：r > 0，r < 0，r = 1，r = -1，r = 0

4. 相關系數的計算

yyxx

xy

sss

r =

( )( )( )( )∑

∑∑

−=

−=

−−=

2

2

YYs

XXs

YYXXs

yy

xx

xy

5. r值的問題A. 可能來自不同的樣本（P.106）B. 兩者的相關可能是假性相關，因第三個

變數所引起。

例如：一個城市每年上教堂的總人數與犯罪

事件。

6. 以一個變數預測另一個變數（迴歸）線性公式 XBByXbby ˆˆ, 1010 +=+=

XBy截距s

斜率xx

xy101

ˆB,s

B −==

二、線性迴歸二、線性迴歸

二(多)個變數的資料，他變數與獨立變數的關係1. 回歸分析的目的a. 因果關係b. 參數的數值與正負c. 篩選重要變數d. 預測例如：y = b0 + b1X1 + b2X2 + b3X3 + b4X4

y：香菸的感官分數Xi：不同香料的濃度

結果：y = 35.0 + 1.7 X1 - 6.8 X2 + 0.001X3 + 5.2 X4

2. 符號說明X：獨立變數，或投入變數（independent

variable）Y：反應或相依變數（dependent

variable）3. 直線迴歸模式

：誤差值，彼此獨立，平均值為0，變異數σ

nieXBBY iii ,....2,100 =++=

ie

4. 最小平方法

求min（D）

以二項偏微分 ，

得到

iii Xbby ε++= 10( )∑∑ −−== 2102 iii XbbyD ε

10, b

Db

D∂

∂∂

∂

XByBss

Bxx

xy101

ˆˆ,ˆ −==

5. 殘差

殘差平方和

模式的標準差

6. 統計檢定

a. 對B1檢定

iii XBBye 10 ˆˆˆ −−=

∑= 2ieSSE

2

22

−= ∑

ne

s i

( ) ( )00

1

1ˆˆ

BSEB

torBSE

Bt ==

7. B0，B1之信賴區間的信賴區間

8. 預測的特殊性，數據範圍內插值與外插值之相異

ŷ

9. 直線關係的強度

線性解釋部份 線性不能解釋部份

y的總變異 線性關係解釋的變異 殘差無法解釋的變異

( ) ( )

SSEss

XBByXBBy

xx

xyyy

iii

s

ˆˆ ˆˆ

2

11010

+=

−−++=

10. R2：相關係數（Coefficient of determination）

11. 如果R2很小，不見得y與X不相關，而是不是直線相關

yyxx

xy

sss

ry

R == , 2的總平方和

迴歸平方和

1. 多重相關模式

以最小平方法求解

三三、、多重相關多重相關

nieXBXBBy iii ,....2,1,.....21 210 =++++=

( ):

2

.....2

22110

i

i

kki

Be

XBXBXBBye

∂

−−−−=

三、多重相關三、多重相關

2. Bi值之顯著性檢定

( )BiSEBit =

四、殘差檢定四、殘差檢定

1. 殘差圖：殘差值對預測值（P.532）2. 如何處理：A. 顯著曲線分布：a. 轉換（ ）

b. 多項式c. 非線性函數

B. 發散分布：a. 轉換（ ）b. 加權迴歸

......, 1−Xnl

,..., iXnl

五、非線性關係五、非線性關係

1. 多項式2

210 XbXbby ++=

五、非線性關係五、非線性關係

2. 可線性轉換的非線性模式

( )

bXaybXa

y

XnBAynaXybXAynbXay

b

+=+

=

+==

+==

1,1,

,expll

l

3. 非線性模式例如：微生物生長模式

五、非線性關係五、非線性關係

[ ]BtExpAy

y−+

=1

max

Handout 4 回歸分析�一、相關性與迴歸二、線性迴歸三、多重相關三、多重相關四、殘差檢定 五、非線性關係五、非線性關係五、非線性關係