一般線性迴歸模型

資料： (yi , x i1 , ……, x ip ) i=1,….,n

模式： Yi = β0+ β1X i1 +…….+ βpX ip+ εi, i=1,….,n

其中 Yi 為應變數 (dependent var.)

β0 為截距 (intercept)

β1, …, βp 為係數

Xij 為解釋變數 (independent var.)

εij 為隨機誤差項 (error)

註解 : 線性迴歸模型意指其對參數為線性的方程式，有 p 個解釋變數 , 可為數量或質性變數 。 E(Y) = β0+ β1X 1 +…….+ βp X p

估計式：Y= b0+ b1X 1 +…….+ bp X p

第十八章 迴歸分析

reg 1

特殊模式

兩個自變數的一階模式； 如: E(Y) =β0+β1X1+β2 X2

若 X1 對平均反應的效應和X2 無關， 而 X2 對平均反應的效應和 X1

無關， 則稱此兩自變數無交互作用 (no interaction)，

即自變數對反應變數的效應是可加的 , 或無交互作用的。

迴歸係數的意義

參數β1：經過 X2 調整，平均反應(Y)隨 X1 之每一單位增加而改變的量。

參數β2：經過 X1 調整，平均反應(Y)隨 X2 之每一單位增加而改變的量。

兩個自變數含交互作用項的一階模式；

如： E(Y) =β0+β1X1+β2 X2 + β3X 1 X2

reg 2

二次完全迴歸式；

如： E(Y)=β0+β1X1+ β2 X12 +β3 X2 + β4 X2

2 + β5X 1 X2

E(Y)為一曲面， 稱為 regression surface 或 response surface

多項式迴歸式； 如： E(Y) =β0+β1X1+ β2 X12

轉換變數迴歸式； 如： E(log(Y)) =β0+β1X1+β2 X2

E(Y) =β0+ β1 log(X1) + β2 X22

reg 3

變異來源 SS df MS F p-value

迴 歸 SSR p MSR F*=MSR / MSE p

誤 差 SSE n-p-1 MSE

合 計 SSTO n-1

註: F* 值用於檢定 Y 與 X 諸變數是否有迴歸關聯

i somefor 0:H

0...:H

i1

P210

p >α， 則結論為迴歸式不顯著。

p <α， 則結論為迴歸式顯著。

變異數分析表

reg 4

判定係數 (coef. of determination， R2)

SS

SS

SS

SSR 12

說明 : 1. SSTO 代表 Y 之總變異，SSR 代表迴歸式的變異。

R2表示 Y 之總變異中由 X1,…,Xp 解釋的比例

2. 0≦R2≦1

3. R2 值的大小通常代表迴歸式解釋程度的多少。

評論 :

1. 增加 X 變數個數 ， 一定使 R2 值增加 。

2. 高的 R2 值並不一定表示配套的模式適合 。

3. 有些學者建議以 X 變數個數調整後的校正判定係數( Ra2) 為比

較標準 。

1) /(

)/(12

nSSTO

pn SSER

1

reg 5

由簡單相關係數矩陣可以看出變數間相關性之強度。

由檢定 H0 : ρ= 0 vs. Ha : ρ ≠0 決定變數間是否相關；

若 p-值 < α，結論為顯著相關。

兩解釋變數的簡單相關係數相當大時，則其迴歸結果有多

元共線性的現象存在，此時迴歸式的不準度性很高，應做修

正。(p483)

相關係數與判定係數：

相關係數量測兩變數間單純的相關性強度。

判定係數量測一變數與其他多個變數間的相關性強度。

在一個自變數問題上，判定係數是相關係數的平方值。

解釋變數相關性的影響：

見例18.3b

reg 6

檢定第 i自變數(Xi)對依變數 (Y) 影響之顯著性：

H0 : βi = 0 Ha : βi ≠0

由 t-test 得到 p-值，若 p-值 < α，結論為經由其它變數

的調整後，Xi 對 Y 部份效應 (effect) 顯著。

係數之顯著性與區間估計：

係數之區間估計：

βi 估計範圍在 bi ± tα/2;n-p-1 SE{bi} reg 7

Parameter Estimates

Variable Label

D

F

Parameter

Estimate

Standard

Error t Value Pr > |t|

Intercept Intercept 1 3.82668 0.58865 6.50 <.0001

age age 1 -0.12565 0.08594 -1.46 0.1694

high high 1 0.08903 0.02789 3.19 0.0078

【例 18.3b】 研究某林區樹木之年齡(X1)，株高(X2)，以及單位面積上株數(X3) 對樹木直徑(Y)的影響。

Data : p481

SAS_相關性： 分析 → 多變量 → 相關

角色：指定 要分析的變數

相關性： v Pearson

SAS_迴歸： 分析 → 迴歸 → 線性

角色：指定 反應變數 (Y)

解釋變數 (X1，…，Xp)

SPSS_相關性：分析 → 相關 → 雙變數

選擇 Pearson相關係數

SPSS_迴歸：分析 → 迴歸方法 → 線性

指定 依變數

自變數

reg 8

變數間相關性

.

age, high 對 diam的影響較強；treeno 與 diam相關性不顯著，

age與 high 相關性很強，可能有多元共線性影響 。

Pearson Correlation Coefficients, N = 15

Prob > |r| under H0: Rho=0

Age High Treeno Diam

Age

1.00000

0.90793

<.0001

0.12458

0.6582

0.58814

0.0211

High

0.90793

<.0001

1.00000

0.17777

0.5262

0.76367

0.0009

Treeno

0.12458

0.6582

0.17777

0.5262

1.00000

0.00347

0.9902

Diam

0.58814

0.0211

0.76367

0.0009

0.00347

0.9902

1.00000

reg 9

考慮三個自變數的迴歸分析

high 的部份效應顯著 age 與treeno 的部份效應不顯著

Parameter Estimates

Variable Label

D

F

Parameter

Estimate

Standard

Error t Value Pr > |t|

Intercept Intercept 1 4.33469 0.814 5.32 0.0002

age age 1 -0.13272 0.0869 -1.53 0.1549

high high 1 0.09306 0.0284 3.27 0.0074

treeno treeno 1 -0.000837 0.000919 -0.91 0.3820

reg 10

Parameter Estimates

Variable Label DF

Parameter

Estimate

Standard

Error t Value Pr > |t|

Intercept Intercept 1 3.82668 0.58865 6.50 <.0001

age age 1 -0.12565 0.08594 -1.46 0.1694

high high 1 0.08903 0.02789 3.19 0.0078

high 的部份效應顯著 age 的部份效應不顯著

考慮 age，high 自變數的迴歸分析

reg 11

最終迴歸式：

直徑 = 3.59 + .0535 (株高) ，R2 = 0.589

(.0124)

每增高一單位，直徑平均增加0.0535單位。括號內為標準誤。

high 對 Diam 的迴歸分析

Root MSE 0.42695 R-Square 0.5889 Parameter Estimates Parameter Standard Variable Label DF Estimate Error t Value Pr > |t| Intercept Intercept 1 3.59373 0.60940 5.90 <.0001 high 株高 1 0.05350 0.01240 4.32 0.0008

註：可由 Model selection method 中的 逐步選擇 (Stepwise) 法選擇自變

數，若此例使用 stepwise 法也會得到相同結果。

reg 12

迴歸的模式配適性的檢定 ----- Lack-of-Fit F Test

.

判斷X與Y的關係式是直線或非直線。

檢定前提一：對一或多個 X 水準有重複觀測值 (replicates)

• H0：Yi =β0 + β1Xi + εi (直線關係)

H1：Yi ≠β0 + β1Xi + εi (非直線關係)

X x1 x2 … . … . xc

Y y11

… .

y1k

檢定前提二：

對觀測值 Y 的假設：1、獨立，2、服從常態分佈，

3、有相同變異數。

reg 13

ANOVA 表

變因 平方和 自由度 均方 F p-value

迴歸 SSR 1 MSR p1

誤差 SSE n-2 MSE

欠合 SSLF c-2 MSLF F* p2

純誤差 SSPE n-c MSPE

總 計 SSTO

註 : p2 < 0.05，則選用的模式欠合性顯著。

SSE = SSLF + SSPE

使用軟體執行欠合性檢定：

在 data 內增加一分組序號的分類變數 lof = 11 ..2 2.. 3 …..

Type I lof 的檢定即是欠合性的檢定 reg 14

【Exp 18.6.b】

研究年齡與血壓之關係 (p428)

reg 15

欠合性不顯著

0

50

100

150

200

0 20 40 60 80

db

p

Age

bp

bp

變因 平方和 自由度 均方 F p-值

迴歸 6229 1 6228 335 <.0001

誤差 391 21 18.6

欠合 77 4 19.25 1.04 0.4146

純誤差 314 17 18.47

總計 6620

ANOVA

表

Sum of

Source DF Squares Mean Square F Value Pr > F

Model 5 6305.705797 1261.141159 68.27 <.0001

Error 17 314.033333 18.472549

Source DF Type I SS Mean Square F Value Pr > F

age 1 6228.709640 6228.709640 337.19 <.0001

lof 4 76.996157 19.249039 1.04 0.4146

由 Lack-of-fit test 得到 F = 1.04，p-value = .4146 > 0.05，

結論為在α=.05 下，直線模式適合。

由迴歸得： 血壓 = 85.5 + 0.98 (年齡)，R2 = 0.94，

(.0536)

年齡增加一歲，估計平均血壓增加 0.98。

reg 16

Root MSE 4.31514 R-Square 0.9409

Parameter Estimates

Parameter Standard

Variable DF Estimate Error t Value Pr > |t|

Intercept 1 85.50938 2.67183 32.00 <.0001

age 1 0.97989 0.05358 18.29 <.0001

【Exp 】研究氮肥量與產量之關係

reg 17

欠合性顯著

0

2

4

6

8

10

12

14

16

60 70 80 90 100 110 120 130

Yie

ld

Amount of N

Sum of

Source DF Squares Mean Square F Value Pr > F

Model 2 66.167 33.083 20.53 0.0004

Error 9 80.667 1.611

Source DF Type I SS Mean Square F Value Pr > F

amount 1 15.12500 15.12500 9.39 0.0135

lof 1 51.04167 51.04167 31.68 0.0003

Model：

Yi = E{Yi} + εi

z

z

z

e1

1

i10e1

eii

n1,....,i , X z ,p}Y{E

此 Model 稱為 logistic regression model

邏輯迴歸模式(Logistic Regression model)

--- 以影響變因預估某狀況發生之機率 ( p487)

特性：依變數(Y) 為二分類的反應數，以 1及 0 代表。

0)prob(y

1)prob(y

10 勝算odds X,ββ) odds ( lnz 假設

reg 18

統計量 19

皮膚過敏的比例

有 %

男性皮膚過敏的比例

有 %

女性皮膚過敏的比例

有 %

女性皮膚過敏的勝算

= 。

男性皮膚過敏的勝算

= 。

二元變數交叉表與勝算比(odds ratio)

皮膚過敏 (A)

無 (A-) 有 (A+)

性別 女性 (F) 90 30

男性(M) 40 10

皮膚過敏分析調查資料

勝算(odds)= 發生率 / 不發生率

勝算比：二組勝算的比例

女對男皮膚過敏的勝算比 (風險) = 。

2011_spring

xˆˆ z ,p̂ 10e1

1

e1

ezz

z

資料圖 迴歸式之圖

reg 20

(估計發生率)

0

0.2

0.4

0.6

0.8

1

1.2

0 20 40 60 80

Y

X

迴歸式

年齡層 25 35 40 45 50 55 60 65 70

無病人數 9 14 9 9 7 4 6 4 2

有病人數 1 2 3 5 6 5 12 11 8

【Exp 18.6.1】研究年齡與患CHD之關係 (p489)

欲由年齡估計患病率

reg 21

SAS_邏輯迴歸： 分析 → 迴歸 → Logistic

角色：指定 反應變數 (可選擇設定為 1 目標項)

數值變數

分類變數

次數變數

統計值 ： v logit

SPSS_邏輯迴歸：分析 → 迴歸 → 二元 Logistic

指定 反應變數

共變數，或分類變數

方法：選 forward (Wald)

分類變數： indicator

reg 22

Testing Global Null Hypothesis: BETA=0

Test Chi-Square DF Pr > ChiSq

Likelihood Ratio 29.7851 1 <.0001

Score 27.0896 1 <.0001

Wald 22.6152 1 <.0001

Analysis of Maximum Likelihood Estimates

Standard Wald

Parameter DF Estimate Error Chi-Square Pr > ChiSq

Intercept 1 -4.6486 0.9775 22.6171 <.0001

age 1 0.0881 0.0185 22.6152 <.0001

Odds Ratio Estimates

Point 95% Wald

Effect Estimate Confidence Limits

age 1.092 1.053 1.132

SAS 報表

reg 23

(3) 勝算比(odds ratio，OR ) 或相對危險率之估計：

OR = exp(0.0881) = 1.092 .

年齡增加一歲患CHD之勝算是原來的1.092 倍

0.6132p58)0.0881-exp(4.651

(1) 因素影響的檢定：

Wald test 得 p-值 < 0.05，年齡的影響顯著。

(2) 由最大概似估計得到由迴歸分析得到

z = - 4.65 + 0.0881 (年齡)

58歲患病率估計

42歲患病率估計為 0.279

reg 24

Testing Global Null Hypothesis: BETA=0

Test Chi-Square DF Pr > ChiSq

Likelihood Ratio 24.3214 2 <.0001

Score 17.5848 2 0.0002

Wald 9.0173 2 0.0110

Analysis of Maximum Likelihood Estimates

Standard Wald

Parameter DF Estimate Error Chi-Square Pr > ChiSq

Intercept 1 -9.5083 3.2208 8.7150 0.0032

air 1 3.8737 1.4229 7.4112 0.0065

trans 1 2.6402 0.9113 8.3942 0.0038

Odds Ratio Estimates

Point 95% Wald

Effect Estimate Confidence Limits

air 48.120 2.959 782.573

trans 14.016 2.349 83.621

【Exp 18.6.3】研究不同空氣體積及傳遞速率是否引起血管收縮

(p498)

reg 25

(1) 整體因素影響的檢定：

Wald test 得 p-值 < 0.05， X1 ，X2的影響顯著。

(2) 由最大概似估計得到 z = - 9.51 + 3.87 X1 + 2.64 X2

發生率

z)exp(11p̂

(3) 勝算比：

X1： OR = 48.1，經傳遞速率調整，空氣體積增加一，

血管收縮之風險是原來的 48.1 倍

X2：OR = 14.0，經空氣體積調整，傳遞速率增加一，

血管收縮之風險是原來的14 倍

reg 26

變數預備：

目標變數為 risk，分為二類，使用的機率模式為 binary logit

成績，工作時數為數量變數

性別、主修領域為分類變數

reg 27

【Exp 】資料 Log_reg_Credit.xls 是百貨公司針對大學生信用度

的調查資料，選擇的因素有：性別(gender)、主修領域(major)、年

齡(age)、成績(gpa)、及工作時數(hrs)；主修領域分為理院

(SCI) 、商學院(BUS) 、社會學院(SOC) 、人文學院(HUM)。信用

度(risk)分為GOOD及BAD，目的是找出影響學生信用度的因

素，。

reg 28

Categorical Variables Codings

Frequency

Parameter coding

(1) (2) (3)

Major BUS 31 1.000 .000 .000

HUM 38 .000 1.000 .000

SCI 29 .000 .000 1.000

SOC 72 .000 .000 .000

Gender FEMALE 97 1.000

MALE 73 .000

以社會學院為標準

女性為1，男性為0

Dependent Variable Encoding

Original Value Internal Value BAD 0

GOOD 1

信用 good

是機率目標

變數的量化方式：

reg 29

Variables in the Equation

B S.E. Wald df Sig. Exp(B)

Step 1a HRS .592 .097 37.107 1 .000 1.807

Constant -4.966 .879 31.949 1 .000 .007

Step 2b GPA 1.965 .716 7.533 1 .006 7.138

HRS .679 .117 33.448 1 .000 1.971

Constant -11.948 2.915 16.797 1 .000 .000

Step 3c Major 10.476 3 .015

Major(1) 4.400 1.471 8.948 1 .003 81.489

Major(2) -.067 .942 .005 1 .943 .935

Major(3) 3.855 1.473 6.846 1 .009 47.210

GPA 3.182 1.034 9.465 1 .002 24.104

HRS 1.111 .257 18.714 1 .000 3.037

Constant -21.172 5.263 16.186 1 .000 .000

a. Variable(s) entered on step 1: HRS.

b. Variable(s) entered on step 2: GPA.

c. Variable(s) entered on step 3: Major.

以forwards 法選擇顯著因素，各步驟整理表：

係數估計值

OR 估計值 因素顯

著性

HUM與

SOC之信用度無顯著差異

以 forwards 法選擇影響因素，影響因素有：

Major, GPA, HRS

估計其信用度，估計式為

Z = -21.2 + 1.11 HRS + 3.182 GPA + 4.4 BUS - .067 HUM+

3.86 SCI

估計sci學生，gpa 為2，每週工作10小時信用 GOOD的機率

z = 0.156，p = 0.54

gpa 對信用的影響：經 Major, HRS 調整後，每多一分，信用勝算為原來的24倍

reg 30

z)exp(11p̂

每週工作時數對信用的影響：經 Major, GPA 調整後，每多做一小時，信用勝算為原來的3倍，每多做5小時，信用勝算為原來的257倍

各主修領域同學的信用風險：經 GPA，HRS 調整後，BUS

之信用勝算為SOC的 82倍， SCI之信用勝算為SOC的 47倍，

HUM之信用勝算與SOC的無顯著差異。

reg 31