變異數分析

Analysis of Variance

11.1 引言壹、變異數分析（ ANOVA ）

變異數分析（ ANOVA ）是一般線性迴歸模型的特例，最常用來分析由實驗實驗所蒐集的資料。

檢定某特定因子 (例如價格 )或處理 (例如新藥 )對於應變數 (銷售或治癒率 )的影響 (效果 )。

　　例子：比較實驗組新藥和對照組舊藥的治 療率是否有顯著差異 因子或處理通常是離散數值 (不連續，如高、中、低 ) 可同時檢定多個因子對於應變數的影響，以及因子間的交互

作用　　　　

貳、共變數分析（ ANCOVA ）在 ANOVA 分析中，納入一個連續 (metric) 自變數（又稱共變數）來解釋無法控制的變異

參、多變量變異數分析包含一個以上的因變數MANOVA 和 MANCOVA

11.1.1 應用案例 背景：　 Ofir 和 Simonson(2001) 研究 125 位顧客，其在特定商店消費前是否事先告知參與評是否事先告知參與評分顧客服務分顧客服務 (expecting to evaluate)(expecting to evaluate) 及購物前預期滿意度購物前預期滿意度 (the expectations of (the expectations of shopping experience)shopping experience) 對於消費後商店滿消費後商店滿意度評分意度評分的影響。

Two Factors

Evaluation expectationExpectedNot expected

Experience expectationsPositiveNegative

Positive expectations condition

The employees of the store had received special training on how to provide good customer service.

The store employed a special consultant who worked with the management to improve customer service.

A recent overall evaluation conducted by an independent expert had rated the store as excellent on various dimensions related to customer service.

Customers interviewed by the store management concurred with the independent expert’s judgment.

Negative expectations condition

The store was understaffed because of employee absenteeism.

A few new employees had been hired but were still untrained.

A recent overall evaluation conducted by an independent expert had rated the store as poor on various dimensions related to customer service.

Customers interviewed by the store management concurred with the independent expert’s judgment.

結論：　 1、正面預期的消費者對於商店滿意度的評價都高於負面預期者

2 、正面預期的消費者在事先告知參與評價時對於消費滿意度評價相對於未事先告知者顯著較低；但對於負面預期的消費者影響不顯著。

圖 11.1

11.2 如何使用 ANOVA 和 ANCOVA─ Wildt和 Ahtola(1978) 的研究壹、 ANOVA

例子：檢定在芬蘭鄉間城市實施賣酒政策對交通事故發生數目的影響。

樣本來源：選取 12個城市，隨機將其中 4個城市指派為允許有照酒店和餐廳販可售酒，隨機指派4個城市是只允許有照酒店販售，隨機指派 4個城市是不允許販售。樣本期間是一年。本例為 one factor balanced design.

資料列於表 11.1 。

對照組 只允許酒店販售 酒店及餐廳皆可販售

177 226 226225 196 229167 198 215176 206 118

.1 186.5Y .2 206.5Y .3 214.5Y

圖 11.2

表11.1

結果：1. 從表 11.1 和圖 11.2 中發現交通事故發生次數

在兩個實驗組中都較高 ( =206.5 ， =214.5) ，對照組 =186.5 。

2. 每一組的變異程度都很大， S1=26.2 、 S2=13.7 和 S3=18.7 。因此，無法直覺地判斷出應變數的變動是否受到實驗因子顯著影響。

.1Y.2Y .3Y

NOTATION: ONE-FACTOR DESIGN

i jij

iij

j

j

ij

Yn

Y

jYn

Y

jiY

nsobservatio all acrossmean sample overall the1

groupent for treatmmean sample the1

, groupnt in treatmen observatioth the

..

.

假設檢定：檢定 m組間應變數的平均是否有差異。虛無假說設定各組平均數接相等，即沒有處理的效果。 m是 number of treatments.

H0： μ1= μ2= μ3 =…..= μm (11.1)

重要假設 (assumption)─假設每一組的組內的變異程度是相同的。

假設 代表第 j組的變異數。

(11.2)

2j

2 2 2 2 21 2 3 .... m

檢定的方法：使用 F檢定。 F的分子與分母分別是應變數 y的變異數的兩種不同方法的估計。

1. 組內變異數估計 Sw2，自由度 =n-m=12-3=9 ， n是觀察值總數。

(11.3) 2. 組間變異數估計 SA

2，自由度 =m-1=3-1=2

(11.4)

1

)( 2...

2

m

YYns j

jj

A

2

.2 1

1

jijiw

j

Y YS

m n

圖 11.3

),1(~2

2

mnmFs

s

W

A

SAS 程式 DATA FINLAND; INPUT POLICY Y Z; CARDS; 1 177 190 1 225 261 1 167 194 1 176 217 2 226 252 2 196 228 2 198 240 2 206 246 3 226 206 3 229 239 3 215 217 3 188 177 ; PROC PRINT; PROC ANOVA; CLASS POLICY; MODEL Y = POLICY; RUN;

表 11.2 ANOVA table

資料來源 平方和 自由度 均方值 F-Value Pr>F跨組 1696.17 2 848.08 2.08 0.181組內 3670.75 9 407.86總計 5366.92 11

檢定結果： 1.跨組變異數 SA

2=848.1 比 SW2=407.9

大 2.08倍。 2.F(2,9)=2.08 在 0.1的顯著水準之下 是不顯著的。即無充分證據拒絕沒

有處理效果的虛無假說。三種售酒 政策對交通事故數目的效果是無差異 的。

延伸至多個因子的ANOVA： 例如：兩個因子，一個有2個水準，一個有3個水準，共有2x3=6個不同處理群組 表11.4

.11Y .12Y .13Y

.23Y.22Y.21Y

..1Y ..2Y ..3Y ...Y

.1.Y

.2.Y

NOTATION: TWO-FACTOR DESIGN

mean value overall the

2factor of levelfor Y of mean value the

1factor of levelfor Y of mean value the

2factor of level and 1factor of levelin n observatioth the

...

..

..

Y

kY

jY

kjiY

k

j

ijk

Two-FACTOR ANOVA 檢定的效果 因子 1 的主效果 (mail effect)

如果主效果顯著，表示各水準對應群組的平均數有顯著差異

因子 2 的主效果 (main effect) 如果主效果顯著，表示各水準對應群組的平均數有顯著差異

因子 1 與因子 2 的交互效果 (interaction effect) 如果交互效果顯著，表示各因子水準組合 (即處理群組 ) 對應群組的平均數有顯著差異

圖 11.5(a)部分畫出了各組組內以及跨組間的變異程度。

與迴歸的關聯

圖 11.5(b)部分呈現了組內變異數比總變異數小。

(11.5)

(11.6)

(11.7)

(11.8)

F- 檢定公式推演 (for 回歸分析 )

貳、 ANCOVA 考慮共變量 (covariate) 的原因：1.去除個別未在實驗中控制的因子對於應變數的影響效果。 (例如前例 12個芬蘭城市的人口密度或天候條件 )

2. 解釋無法在實驗中控制的跨組間系統性差異。 從表11.2中我們可以看出，組間平方和相對小於總平方和，這是造成檢定結果不顯著的原因。→導入影響交通事故數目的共變量是否可以改變組間平方和與總平方和的相對差異，而使得售酒政策的影響效果顯著？

例子：在芬蘭鄉間城市賣酒對於交通事故數目的影響的例子，加入考量實施新政策前一年的交通事故發生次數作為共變量，來分析去除此影響因子之後，售酒政策的影響效果是否顯著。

令前一年的交通事故數目為變數 Z，資料如表 11.3

Y Z Y Z Y Z177 190 226 252 226 206225 261 196 228 229 239167 194 198 240 215 217176 217 206 246 188 177

對照組 只允許酒店販售 酒店及餐廳皆可販售

表 11.3

圖 11.6 畫出實驗組 (實施年度交通事故次數 )和共變數 (前一年度交通事故次數 )的關係。

圖 11.6

在圖 11.6 中前後年度交通事故次數存在線性關係，而且跨組間的斜率是相同的，但截距是不同的。

由圖 11.6 可以看出有正的斜率，代表每一組的 Y 和 Z 有正相關，也就是說任前後年度的交通事故次數有同質性。

透過 ANCOVA 分析可以解釋系統差異。 分析結果：把共變量加入後，可發現只允許酒店販售的實驗組和控制組差異其實不大，但是允許酒店和餐廳販售的實驗組和控制組有明顯差異。

因為各組組內的差異已經有很多部份可以被解釋，跨組間 ( 因為不同的售酒政策 ) 的差異變得更顯著。

ANCOVA 檢定 方法：同 ANOVA ，比較組內變異數估計值和跨組變異數估計值

唯一不同的是必須把應變數中可以被共變量解釋的部份移除

Y對 Z的回歸分析結果如圖 11.7 和 11.8。adjY

圖 11.7

圖 11.7 和圖 11.8 結果1. 顯示 Y和 Z有正相關， R2為 0.41且顯著。2.Y和 Z的相關在組內較跨組間強

資料來源 平方和 自由度 均方值 F-Value Pr>F

組間 2401.76 2 1200.88 12.83 0.0032

組內 748.68 8 93.58

調整後總計 3150.44 10

191.17

192.46

223.62酒店及餐廳皆可販售

最小平方平均

對照組只允許酒店販售

adjY

表 11.4

透過導入 Z 可以使 Y 的總平方和、組內平方和及組間平方和都下降

自由度：因為需要估計回歸線的斜率，所以組內變異數的自由度比起ANOVA少 1 。

F 值為 12.83 ，在0.01水準下是顯著

因此，我們推論在鄉間城市販賣酒的政策對交通事故發生次數有顯著影響。

SAS 程式 DATA FINLAND; INPUT POLICY Y Z; CARDS; 1 177 190 1 225 261 1 167 194 1 176 217 2 226 252 2 196 228 2 198 240 2 206 246 3 226 206 3 229 239 3 215 217 3 188 177 ; PROC PRINT; PROC GLM; CLASS POLICY; MODEL Y = POLICY Z; MEANS POLICY; LSMEANS POLICY /PDIFF; RUN;

ANCOVA 的兩大效用1.減少組內變異2.解釋實驗組間平均數的差異

左表：假設共變量 Z只能解釋組內 Y變異，不能降低組間變異。

→Z減少了組內干擾，增加了找出對應變數有重大影響的因子的可能性

圖 11.9

右表：假設共變量 Z 只能解釋跨組 Y 變異，不能減少組內變異。→Z減少了跨組差異，減少了找出對應變數有重大影響的因子的可能性

ANCOVA 的兩大效用1.減少組內變異2.解釋實驗組間平均數的差異

Mechanics-ANOVAOne-Factor Model

Imposed constraint

Also an imposed constraint

Treatment effect associated with level j

Valid for a balanced design

E(S2w)=σ2

公式

SA2 is a biased estimator

of σ2 when H0 is true

公式 Two-Factor Model

圖 11.5

ANOVA Table for a two-factor model

Mechanics-ANCOVA

公式

公式

The estimated regression coefficient between Y and Z

11.3 例題 測試新產品的行銷 11.3.1 檢定價格和廣告的影響 目標：決定新產品定價以及所需要的廣告量。 方法：使用 ANOVA 來得知價格、廣告量對於銷售額的影響，

以及其交互效果。 實驗設計：1.價格有三個水準 ( 低、中和高 )，廣告有兩個水準 ( 低、

高 )。2. 每一個價格和廣告量的組合都有四個隨機指派的商店，因

此總觀察值是 24間商店，資料收集期間涵蓋 6 個月。 資料列在表 11.6

圖 11.10

1. 價格增加，銷貨會減少。2.廣告對於銷貨影響小，且高廣告在中價位和高價位時的銷貨反而比低廣告的銷貨少。3. 價格和廣告量可能存在交互效果─低價格和高廣告產生的銷貨大於這兩個項目個別影響的加總。

Sas 程式 DATA NEWFOOD; INPUT Y1 Y2 Y3 PRICE ADV A B SIZE; Y=Y1+Y2+Y3; CARDS; 225 190 205 1 1 1 7.3 34 323 210 241 1 1 1 8.3 41 424 275 256 1 2 1 6.9 32 268 200 201 1 2 1 6.5 28 224 190 209 1 1 2 7.3 34 331 178 267 1 1 2 8.3 41 254 157 185 1 2 2 6.9 23 492 351 365 1 2 2 6.5 37 167 163 145 2 1 1 6.5 33 226 148 170 2 1 1 8.4 39 210 134 128 2 2 1 6.5 30 289 212 200 2 2 1 6.2 27 204 200 175 2 1 2 6.5 37 288 171 247 2 1 2 8.4 43 245 120 117 2 2 2 6.5 30 161 116 111 2 2 2 6.2 19 161 141 111 3 1 1 7.2 32 246 126 184 3 1 1 8.1 42 128 83 83 3 2 1 6.6 29 154 122 102 3 2 1 6.1 24 163 116 116 3 1 2 7.2 32 151 112 119 3 1 2 8.1 36 180 100 75 3 2 2 6.6 29 150 122 101 3 2 2 6.1 24 ; PROC PRINT; PROC ANOVA; CLASS PRICE ADV; MODEL Y = PRICE | ADV; RUN;

表 11.7

我們可以發現價格對於銷貨的影響是顯著的，F(2,18)=14.8 在 <0.001之下是顯著的。

廣告效果不顯著。 F(1,18)=0.00 。 價格和廣告的交互效果不顯著。 F(2,18)=1.8

11.3.2 控制商店規模 (ANCOVA)

因為商店規模會影響銷貨量，因此把商店規模列入考量。也就是把商店大小視為共變量。

圖 11.8計算六個群組的平均商店規模低價位 中價位 高價位

廣告費低 37.5 38 35.5

廣告費高 30 26.5 26.5

圖 11.8

高廣告的商店規模都有小於低廣告的情況。

或許，廣告的效果不明顯是因為 Newfood 在小規模商店的的銷貨並不多。

Sas 程式 DATA NEWFOOD; INPUT Y1 Y2 Y3 PRICE ADV A B SIZE; Y=Y1+Y2+Y3; CARDS; 225 190 205 1 1 1 7.3 34 323 210 241 1 1 1 8.3 41 424 275 256 1 2 1 6.9 32 268 200 201 1 2 1 6.5 28 224 190 209 1 1 2 7.3 34 331 178 267 1 1 2 8.3 41 254 157 185 1 2 2 6.9 23 492 351 365 1 2 2 6.5 37 167 163 145 2 1 1 6.5 33 226 148 170 2 1 1 8.4 39 210 134 128 2 2 1 6.5 30 289 212 200 2 2 1 6.2 27 204 200 175 2 1 2 6.5 37 288 171 247 2 1 2 8.4 43 245 120 117 2 2 2 6.5 30 161 116 111 2 2 2 6.2 19 161 141 111 3 1 1 7.2 32 246 126 184 3 1 1 8.1 42 128 83 83 3 2 1 6.6 29 154 122 102 3 2 1 6.1 24 163 116 116 3 1 2 7.2 32 151 112 119 3 1 2 8.1 36 180 100 75 3 2 2 6.6 29 150 122 101 3 2 2 6.1 24 ; PROC PRINT; PROC GLMGLM; CLASS PRICE ADV; MODEL Y = PRICE | ADV SIZE; MEANS PRICE | ADV; LSMEANS PRICE | ADV / PDIFF;

RUN;

表 11.9

表 11.9

表 11.9 是調整過商店規模的 ANOVA table 我們可以發現調整後的價格、廣告量，這兩個因子都對銷貨有顯著影響。

圖11.11是在高廣告和低廣告之下，銷貨和商店數量的關係。

11.4 多變量變異數分析 (MANOVA)當存在一個以上應變數時，就必須使用可以同時檢定多個應變數的 MANOVA 。

為什麼不用一連串單一應變數的 ANOVA而要用 MANOVA呢？

圖 11.12 中單因子 (有三個水準 ) 的 Y1與 Y2邊際分配，及 Y1與 Y2的聯合分配。

由圖中我們可以發現，就邊際分配而言，無論是在 Y1還是 Y2，三個群組產生的結果都有很大的重疊部分，也就是說，因子效果不顯著。

但就聯合分配而言，因子效果卻是顯著的。

圖 11.12

MONOVA 的功用： 1. 同時考量 Y1和 Y2，讓不同群組的觀察值沒 有重疊。 2.讓組間平方和變大，以產生顯著結果。 圖 11.13

尋找一個 Y1 和 Y2 的線性組合新構面，使 Y1 和 Y2 在此新構面的投影上，組間變異相對的遠大於組內變異。

平方和： 在 ANOVA之下

在 MONOVA之下

Wilks’s 的統計量

SE代表殘差平方和矩陣， ST代表總平方和矩陣

MANOVA 的檢定統計量

Rao’s F-Test for Wilks’sRao’s F-Test for Wilks’sΛΛ

Ra近乎是具有 pq分子自由度和 1+ts-1/2pq分母自由度之 F- 分佈。

若 p=1 或 2 又 q=1 或 2 ，那麼將有 exact F分配。

pq

pqst

Ras

s 21

1/1

/1

X 變數

Y 變數

2

11

qpn

5

422

22

qp

qp

MANOVA 的檢定統計量

BBartlett’s Chi-Square approximation for Wilks’s artlett’s Chi-Square approximation for Wilks’s ΛΛ

V近乎是具有 pq自由度之 X2分佈。 V值愈大，則 reject H0 ： X 與 Y 無關。 檢定拒絕 H0 ，則才有相關，才可做典型相關。

ln2

11

qpnV

觀察值 X 變數

Y 變數取 lnΛ，因結果會是負的所以

修改來檢定特定假說：

SH代表特定假設的平方和矩陣 判定標準：1.當虛無假設 ( 例如：特定因子對於應變數是沒有影響的 )成立時， SH相對於殘差平方合是較小的，因此比率會接近 1 。

2.當虛無假設 ( 例如：特定因子對於應變數是沒有影響的 )不成立時， SH相對於殘差平方和是較大的，因此比率會接近 0 。

也就是說， H愈小，結果愈顯著。

11.5 例題：測試廣告訊息策略 目的：檢定廣告訊息策略對於兩種不同的顧客反應衡量的影響效果。

變數設定： 實驗因子 (廣告訊息策略 ) 有兩個水準

強列說服性的廣告訊息策略 (Ad1) 和緩幽默的廣告訊息策略 (Ad2)

應變數 Y1：代表顧客對產品的喜愛程度 Y2：代表顧客的購買可能性

圖 11.15

由圖 11.14 和 11.15 中可以看出，無論是 Y1還是 Y2，平均值在 Ad1 或 Ad2 都差異不大，但是變異程度卻相當不同。

圖 11.14

SAS 程式 DATA NEWFOOD; INPUT Adv Y1 Y2; CARDS; 1 6 6 1 2 4 1 4 6 1 3 3 1 6 6 1 5 6 1 4 3 1 4 5 1 7 7 1 3 4 1 6 6 1 3 4 1 5 5 1 5 6 1 5 5 1 4 4 1 4 6 1 6 5 1 6 6 1 4 5 1 5 5 1 4 5 1 3 3 1 3 4 1 4 5 1 5 4 1 5 6 1 5 5 1 3 4 1 7 6

2 6 5 2 4 4 2 5 5 2 6 6 2 5 4 2 5 4 2 6 5 2 6 5 2 4 4 2 5 5 2 4 4 2 6 5 2 4 3 2 6 6 2 4 3 2 5 6 2 5 4 2 7 4 2 4 4 2 6 6 2 7 6 2 5 4 2 4 3 2 5 5 2 5 5 2 4 4 2 4 5 2 3 3 2 6 5 2 5 4 ; PROC PRINT; PROC GLM; CLASS ADV; MODEL Y1 Y2 = ADV; MANOVA h=Adv; RUN;

表 11.10

表 11.11

從表11.10和表 11.11中也可以看出廣告訊息策略對於客戶兩種回應的影響，在 =0.05時都是不顯著的

表 11.12

圖 11.16

讓 Y1和 Y2的組合和 X是最有關聯的，來尋找 t=Ya的組合，讓在t變異的比率中可歸因於組間平均數的差異最大化。

跨組的變異比組內變異大。

圖 11.17

11.6 應用 ANOVA 的相關問題 11.6.1 在 ANOVA 檢定特定的對照對照 (contrast(contrasts)s)

檢定因子主效果及交互效果以外的特殊對照。 例子：以先前關於芬蘭城鎮售酒政策的例子，在此分析只允許酒店販售和維持現狀平均年交通事故數目的差異是否顯著。

結果資料來源 平方和 自由度 均方值 F-Value Pr>F跨組 2401.76 2 1200.88 12.83 0.0032組內 748.68 8 93.58

調整後總計 3150.44 10

表 11.13

檢定差異是否顯著

在模型中對參數加入線性限制： 假定模型的參數向量為b，給定線性限制為 Lb=0。

線性組合為 L=[-1 1 0] 結論： 因為兩者的平均 (調整共變量後)只有很小的差異，差異並不顯著(F=0.03， p=0.87)。

Sum of squares for the proposed hypothesis

SAS 程式 DATA FINLAND; INPUT POLICY Y Z; CARDS; 1 177 190 1 225 261 1 167 194 1 176 217 2 226 252 2 196 228 2 198 240 2 206 246 3 226 206 3 229 239 3 215 217 3 188 177 ; PROC PRINT; PROC GLM; CLASS POLICY; MODEL Y = POLICY Z; contrast 'control vs package only' POLICY -1 1 0;contrast 'control vs package only' POLICY -1 1 0; MEANS POLICY; LSMEANS POLICY /PDIFF; RUN;

ANCOVA 中假設共變量 Z和應變數 Y的斜率在每一個群組都是相同的。

一般的單因子 ANCOVA 的式子：

允許各組斜率不同的模型：

11.6.2 檢定 ANCOVA 中組內斜率組內斜率相等

限制模型下的 R2是 0.861 ，未受限模型則是 R2為 0.874 ，差異很小。

使用 F檢定來測試適合度的增進是否顯著：

結論： 使用不同組內斜率，並未使適合度有顯著 改善。

當在不同的時間點重複同樣實驗時，可以使用 MANOVA 或 MANCOVA 。

例子：回到先前 Newfood 的例子，在此考量在不同時間點作衡量：產品上市兩個月後、四個月後及六個月後。

結果呈現在表 11.14

11.6.3 使用 MANOVA進行重複的衡量設計

表 11.14

低價格或高廣告量在產品上市早期的確有提高產品

銷售

表 11.16

顯著

產品銷售量會隨上市時間增長而減少

價格對於銷售量的影響在六個月內都不會改變

廣告對於銷貨的影響在產品剛上市時最大

表 11.15

廣告在產品剛上市的早期，對於促銷有最大效果。

圖 11.18

Sas 程式 DATA NEWFOOD; INPUT Y1 Y2 Y3 PRICE ADV A B SIZE; Y=Y1+Y2+Y3; CARDS; 225 190 205 1 1 1 7.3 34 323 210 241 1 1 1 8.3 41 424 275 256 1 2 1 6.9 32 268 200 201 1 2 1 6.5 28 224 190 209 1 1 2 7.3 34 331 178 267 1 1 2 8.3 41 254 157 185 1 2 2 6.9 23 492 351 365 1 2 2 6.5 37 167 163 145 2 1 1 6.5 33 226 148 170 2 1 1 8.4 39 210 134 128 2 2 1 6.5 30 289 212 200 2 2 1 6.2 27 204 200 175 2 1 2 6.5 37 288 171 247 2 1 2 8.4 43 245 120 117 2 2 2 6.5 30 161 116 111 2 2 2 6.2 19 161 141 111 3 1 1 7.2 32 246 126 184 3 1 1 8.1 42 128 83 83 3 2 1 6.6 29 154 122 102 3 2 1 6.1 24 163 116 116 3 1 2 7.2 32 151 112 119 3 1 2 8.1 36 180 100 75 3 2 2 6.6 29 150 122 101 3 2 2 6.1 24 ; PROC PRINT; PROC GLM; CLASS PRICE ADV; MODEL Y1 Y2 Y3 = PRICE | ADV size; MANOVA h=price | adv; RUN;

END OF LECTURE