c h 9 canonical correlation

Ch 9Canonical Correlation

9.1 9.1 引言引言

9.19.1 引言引言多變量

關係模式

相依關係分析Analysis of interdependence

依賴關係分析Analysis of dependence

- Principal Component Analysis

- Exploratory Factor Analysis

- Confirmatory Factor Analysis

- Multidimensional Scaling

- Cluster Analysis

- Structural Equation Model with

Latent Variables

- Analysis of variance

- Discriminant Analysis

- Logit Choice Models

- Canonical Correlation

分析變數間或觀察值間的關聯

的型態。

用一組自變數 (independent variable) 的資訊來解釋另一組應變數 (dependent variable) 的變異。


PPRINCIPALRINCIPAL C COMPONENTOMPONENT CCANONICALANONICAL C CORRELATIONORRELATION

多個變數。兩組變數之間的關係。（如 : 一組測量中學學生之人格特質而另一組測量他們的職業興趣）

目的目的：資料重新表達，以少數構面儘可能捕捉更多的資訊。第一個主成分是具有最大可能變異數 (largest possible variance) 的原始變數的線性組合。

目的目的：重新表達及簡化資料。找出原始變數之兩個可顯示最大的共變異 (largest possible covariance) 之線性組合 —兩組變數各一個線性組合，稱之為 “典型變量” (canonical variates)— 。

用少數主成分來解釋整個資料群最多的變異。

用少數典型變量配對來解釋兩組變數之間最多的相依關係。


本章將：本章將：

解釋典型相關的原理。

解釋如何用典型負荷量 (canonical loadings)來解讀典型變量 (canonical variates) 。

提供檢定每一對典型變量的典型相關的顯著性 (significance) 之方法。

介紹評估典型相關分析結果的效度的方法。


在許多典型相關的應用上，兩組變數在分析中不具相等地位 (equal status) 的。

目的

以其中一組自變數的資訊去解釋令一組自變數的變異

應變數(dependent variables, Y)

被解釋變數

自變數(independent variables, X)

解釋變數


瞭解一組資料裡的依賴關係方法之一

方法

複迴歸分析

複迴歸中，應變數只有一個，因此必須重複跑模型，將所有 X（自變數）對每一個 Y （應變數）分別做迴歸。

典型相關典型相關：可同時考慮多個Y ，用少數典型變量來解釋最多X’s 與 Y’s 之間的關係。

由 Hotelling (1935, 1936)最早提出， Cooley and Lohnes (1971)、 Kshirsagar (1972)和 Mardia, Kent, and Bibby (1979) 推廣了它的應用。

ANOVA是一般線性迴歸的特例； MANOVA則是典型相關分析的特例。

兩群區別分析是迴歸分析的特例；多群區別分析則是典型相關分析的特例。


9.1.19.1.1 可能之應用可能之應用

相依及依賴性關係之探索相依及依賴性關係之探索

心理學行銷作業管理文獻突破休閒體驗研究利用典型相關確認相關性的存在之後，再作後續的分析。

•研究人格特質與職業興趣之間的關係 Cooley and Lohnes, （ 1971) ：發現三對典型變量，能夠簡便地描述會對某特定類型的工作最感興趣之類型的人。• Thorndike, Dawis, and Weiss,(1968) ：職業興趣與職業需求之間之多變量關係。作者找出兩對典型變量之證據可供交叉驗證研究。





• 瞭解行銷活動（如廣告、促銷、包裝、價格等）與消費者回應（如品牌態度、購買意向和願付價格）之間的關係是很重要的。

• Fader and Lodish (1990)：檢視不同種類產品

特徵（如購買頻率、市場滲透）與所應用的促銷策略（如特別展示、特色廣告、製造商折價券）之間的關係。但事實上他們採用因素分析、集群分析和區別分析而非典型相關的方法；在本單元我們將用典型相關來分析他們的資料。





• Pisharodi and Langley (1991) ：顧客服務與市場回應之間的關係，使用食品雜貨業之供應商－顧客資料。此研究辨識出，那些服務因素是對顧客回應的變異較具重要的解釋能力（如設計、交付與溝通）。




心理學行銷作業管理文獻冒險性的休閒體驗研究利用典型相關確認具有相關性後，再作後續的分析。

• Ewert and Hollenhorst (1994) ：個人的量測（如經驗、技巧、涉入和掌控慾望）與休閒設施（如自然性、社會取向、設備需求）之間的關係。在兩個不同樣本的分析中（泛舟群體和攀岩群體），他們發現是兩組變數間具顯著相關。




心理學行銷作業管理文獻突破休閒體驗研究利用典型相關確認具有相關性後，再作後續的分析。

9.2 9.2 典型相關典型相關 :: 原理原理

（三）典型相關分析示意圖

X1 Y1

Y2

Y3

Y4

Y5

X2

X3

X4

X5

X6

X Y

u1

u2

u3

u4

u5

t1

t2

t3

t4

t5

CanR1

CanR2

CanR3

CanR4

CanR5

9.29.2 典型相關典型相關 : : 如何運如何運作作多變量

9.2.19.2.1 IntuitionIntuition 複廻歸分析中，我們選擇模型參數值以降低觀察值與其適配值之間的誤差平方和。 ( 最小平方估計法 )

我們以不同的方式來求回歸參數：雖然結果與最小平方法是一樣的，但目標函數不同。原理 : 找出可讓與單一應變數Ｙ的相關性達到最大值之自變數Ｘ的線性組合。

9.2.19.2.1 直覺直覺


Xbvarvar

Xb,covXb,

Y

YYr

1XbX'b'1

1Xbvar

n

Y 和 X已標準化

Y 和 Xb之相關係數

= 1

(9.1)

(9.2) Xb'y1

1Xb,cov

nY

自由度

Choose b to maximize　

Such that

將 b 向量參數尺度化，使得 var(Xb) ＝ 1受限制

極大化

)11

1(-Xby

1

1 maximize '''

XbXb

nn

導入拉氏乘數

9.2.19.2.1 直覺直覺


01

2

1

1

XX'b'Xy'

nn

yX'XX'b 1λ2

yX'XX'b 1 最小平方法的估計式 (9.5)

(9.4)

(9.3)

關於 b 之一階條件

9.2.19.2.1 直覺直覺


XbY'a'ut1

1,

nr

11

1

YaY'a'

n 11

1

XbX'b'

n

t 和 u 之間的相關係數

(9.6)

此方法的好處：可簡單的擴展到一個以上應變數典型變量

它們之間的相關：典型相關

9.2.19.2.1 直覺直覺


000.1176.0168.0445.0X

176.0000.1316.0221.0X

168.0316.0000.1307.0Y

445.0221.0307.0000.1Y

XXYY

2

1

2

1

2121

Y 的相關係數矩陣

X 的相關係數矩陣XY 的相關係數矩陣

YX 的相關係數矩陣

Table 9.1 Correlation matrix for 4 variables: Y1,Y2,Y3 and Y4

四變數之相關矩陣

最高相關係數

9.2.19.2.1 直覺直覺


9.2.19.2.1 直覺直覺


• 11x11 格＝ 121

計算典型相關。具最高相關係數將是（接近）結果。

> 0.445

(0.767)2= 50% 典型變量之解釋程度。

RXY

0.221

0.445 0.168

0.316

9.2.19.2.1 直覺直覺


兩典型變量之間具有強相關性

Figure 9.2 Scatter plot ofcanonical variatesfrom illustration


找出 t 和 u 典型變量之後，再找出第二對以及隨後的幾對。

主成分：要辨認出第二個主成分，其必須與第一個主成分是無相關的。

典型相關： t2和 u2，也必須與第一對是無相關的。

9.2.19.2.1 直覺直覺

9.2.19.2.1 直覺直覺


11

122

YaY''a

n 11

122

XbX''b

n(9.7)

22 ''1

1XbYa

n選 a2 和 b2 將最大化

0, 21 ttr 0, 21 uur


最後兩個限制式確保不會得到： a2=a1 和 b2=b1

（即又回到第一對典型變量）。

當自由度以耗盡便可停止尋找典型變量。

解釋典型變量如同解釋探索性因子分析。檢視原始變數與典型變量之相關矩陣—典型負荷。與探索性因子分析不同之處，是不做轉軸來協助解釋。

由於我們較關心所能解釋的變異量，若將結果轉軸會因此改變典型的 R2值。

9.2.19.2.1 直覺直覺

22 ,ba 22 ,utr選擇將最大值化

將最大值化

t1 和 u1 典型變量之間的相關係數


9.2.29.2.2 MechanicsMechanics

11,ba 11,utr

0, 21 ttr 0, 21 uur

找出 (9.8)

(9.9)

t1=Ya1

第二組變量之第一個線性組合

u1=Xb1

第一組變量之第一個線性組合

第一對典型變量

第二對典型變量

t2=Ya2

u2=Xb2

t2 和 u2 之間的相關係數且受限於以下條件：

9.2.29.2.2 技巧技巧


bRa

XbYautut YXnn

'1

''

1

',Cov

ut

ut

varvar

,cov (9.10)

將最大值化ba, ut,r選擇

之目標函數分子

(9.11)

9.2.29.2.2 技巧技巧


1'

11

''

11

'

1var

aRa

YaYa

tt

t

YY

n

n

ut

ut

varvar

,cov (9.10)

將最大值化ba, ut,r選擇

(9.12)

1'

11

''

11

'

1var

bRb

XbXb

uu

u

XX

n

n

1'2

1'2

' bRbaRabRa XXYYYXL

9.2.29.2.2 技巧技巧


0α0

aRbRa YYYX

L

0β0

bRaRb XXXY

L

0'' aRabRa YYYX

(9.15)

(9.14)

(9.16)

(9.17)

拉氏乘數

Lagrangian

(9.11) 典型相關

前乘 a’

=1

∴α是典型相關

9.2.29.2.2 技巧技巧


bRRut

a YXYYr1

,

1

bRutbRRut

R XXYXYYXY rr

,,

1 1

butbRRRR ,211 rYXYYXYXX

(9.18)

(9.19)

(9.20)

* RXX -1 * r(t,u)

r2 = (典型相關 )2 特徵向量 - 特徵值問題

相關矩陣可分割如以下：

由於每一組只有兩個變量，因此最多只可抽取兩對典型變量。

9.2.29.2.2 技巧技巧


000.1176.0168.0445.0

176.0000.1316.0221.0

168.0316.0000.1307.0

445.0221.0307.0000.1

XX

YX

XY

YY

R

R

R

RR

RXX-1RXYRYY

-1RYX 乘積矩陣如以下：

其特徵值： 0.59 和 0.02 ；表示第一和第二對典型變量的典型相關分別為 0.77 和 0.14 。

特徵向量如下：

9.2.29.2.2 技巧技巧


313.0555.0

417.0374.0

59.0,71.0',83.0,73.0'

72.0,50.0',76.0,92.0'

21

21

bb

aa

0.92 ÷ (0.92+0.76) 60%≒ 0.76 ÷ (0.92+0.76) 40% ≒ 0.73 ÷ (0.73+0.83) 40%≒ 0.83 ÷ (0.73+0.83) 60% ≒

典型負荷典型負荷原始變量與典型變量之間的相關。 X 與 u 之間的相關性，以 f代表 :

Y 與 t 之間的相關，由 g代表 :

9.2.29.2.2 技巧技巧


bRXbXuXf XXnn

'

1

1'

1

1

aRYaYtYg YYnn

'

1

1'

1

1

(9.21)

(9.22)

9.2.29.2.2 技巧技巧


8744.04798.0Y

7260.06877.0Y

7137.07004.0X

8151.05793.0X

2

1

21

2

1

21

tt

uu

Table 9.3 Canonical loadings for simple four-variable illustration

正負荷典型相關是否顯著？

重疊指標重疊指標

典型相關平方 r2(t,u) ，只提供多少 t(Y 的一個線性組合）的變異數能被 u 所解釋 ( 或反之 ) 。

若要知道多少 Y 的變異數被 X 解釋，便可採用由Stewart and Love (1968) 學者們所發展的重疊指標(measure of redundancy):

9.2.29.2.2 技巧技巧


Y

t

t

utut

in variance

in variance

in variance

by explainedinvarianceRd (9.23)

r2 (t,u) 可由線性組合 t=Ya 解釋的 Y 變異數

9.2.29.2.2 技巧技巧


q

rRd

ggutut

',2

(9.24)

相關性高

t1 只能解釋 : (.688)2 + (.480)2 /2 =

0.352 (≒35%)

0.59 x 0.35 = 0.21

9.2.29.2.2 技巧技巧


q

rRd

ggutut

',2

(9.24)

≒65% ≒2%

典型相關係數的標準誤

1

),(1),(

n

utrutrSE ii

ii

9.3 9.3 例題例題

9.3.19.3.1 資料資料 9.3 9.3 例題例題多變量

在行銷研究中，消費者對促銷的反應一直侷限於高滲透及高購買頻率的產品類。

Fader and Lodish (1990)想瞭解不同產品類 (根據不同產品特性 ) 的促銷活動是否有差異 ?

他們從 1968 年 IRI Marketing Factbook 中，收集 331 種雜貨產品類在 10 個變數上的資料。

他們將 10 個變數分為兩個大項： Structural Variables (X) Promotional Variables (Y)

目的目的：找出結構變數 (X) 可以解釋促銷變數(Y) 的變動程度

Structural Variables (X) 結構性變數—不易因促銷活動而改變之變數

PENET 該類產品購買一次以上的家計單位的百分比—必須品

PURHH 該類產品當年平均每戶購買次數

PCYCLE 該類產品平均購買時間間隔

PRICE 該類產品平均每次消費額

PVTSH 該類產品之通路品牌的市場佔率

Promotional Variables (Y) 促銷活動之變數—因促銷活動而改變之變數

FEAT 該類產品因刊登當地報紙廣告所販賣數量佔所有銷售數量的比率

DISP 該類產品因在促銷通道陳列所販賣數量佔所有銷售數量的比率

PCUT 該類產品因暫時性降價所販賣數量佔所有銷售數量的比率

SCOUP 該類產品因使用零售商折價卷所販賣數量佔所有銷售數量的比率

MCOUP 該類產品因使用製造商折價卷所販賣數量佔所有銷售數量的比率

TABAL 9.5TABAL 9.5 變數說明變數說明

9.3 9.3 例題例題多變量

輸入各項變項名稱 $--字串

VAR指令，典型變項的命名，設定為 uWITH指令，典型變項的命名，設定為 t

繪圖指令以 t 為縱軸， u 為橫軸， catogory 為含符號之變項名稱。

Vaxis ：縱軸的單位

Haxis ：橫軸的單位

典型相關指令

9.3.19.3.1 SAS SAS 編輯檔編輯檔

VAR 變項名稱串、WITH 變項名稱串



9.3.19.3.1 SASSAS 輸出檔輸出檔

Reject H0, 前三組組合有相關

累積解釋變異，前三組達 98%

Reject H0 ，兩組變數有相關

(t1,u1)

(t2,u2)

(t3,u3)

Private label –Market share

Penetration

Purchase frequency

Purchase cycle

Private label

Category tonnage

Price

High priceStore-brands

9.3.19.3.1 SASSAS 輸出檔輸出檔 9.3 9.3 例題例題多變量

Category tonnage High price

Manufacturer's coupon

Store-brands

Retailer PromotionManufacturer

Promotion

Store coupon

???

9.3.19.3.1 SAS SAS 輸出檔輸出檔 9.3 9.3 例題例題多變量

Category tonnage High price Store-brands

Retailer PromotionManufacturer

Promotion???

9.3.19.3.1 SAS SAS 輸出檔輸出檔 9.3 9.3 例題例題多變量

0.642 0.483 0.265

Category tonnage

Retailer Promotion

Paper towel

Laundry det

CoffeeCrackers

Canned ham

Cigarettes

Magazine


高滲透率，不方便攜帶

只有特定族群購買，則促銷活動較少

EggsHigh price

Manufacturer Promotion

Diapers

Coffee

Cigarettes


無製造商品牌

製造商品牌占優勢

製造商會作大量促銷活動

SugarEggs

Milk

Store-brands

???

Canned ham


9.4 9.4 應用典型相關的問題應用典型相關的問題

複廻歸分析 :

F-statistic test ： Y 的總變異數和 Y 的誤差變異比例（即迴歸模式未解釋的數量）。

Ratio愈大，大部分的 Y 變異數可被迴歸模型解釋。 Ratio愈接近 1 ，此模型愈不顯著。

典型相關： Wilks’ Λ 來檢定模型是否顯著。 Λ愈小，代表模型愈顯著。

9.49.4 應用典型相關的問題應用典型相關的問題多變量

9.4.19.4.1 XX 與與 YY 之間的關係是否顯著？之間的關係是否顯著？


T

E

S

S

T

HT

S

SS

YYT RYYS '

XYXXYXH RRRYXXXXYXBYS 11 ''''

(9.25)

(9.26)

(9.27)

(9.28)


殘差平方和矩陣行列式值

總變異行列式值

全部變異減去被解釋的部分


XYXXYXYY

XYXXYXYYYY

YY

XYXXYXYY

RRRRI

RRRRR

R

RRRR

11

11

1

i

qp

i

λ1,min

1


(9.29)

(9.30)

(9.31)

(9.32)

SHSE

ST

特徵根 1-λ1, 1-λ2…1-λmin (p,q)

λ 愈小，解釋能力愈大

BBartlett’s Chi-Square Testartlett’s Chi-Square Test

做典型相關前的檢定。

缺點：當樣本數很大時，很難不去拒絕。



BBartlett’s Chi-Square approximation for Wilks’s artlett’s Chi-Square approximation for Wilks’s ΛΛ

V近乎是具有 pq 自由度之分佈。 V 值愈大，則 reject H0 ： X 與 Y無線性相關。檢定拒絕 H0 ，則才有相關，才可做典型相關。


ln2

11

qpnV

觀察值 X 變數

Y 變數取 lnΛ，因結果會是負的所以


2

Sample Problem 的例子

02001.

22222

Hreject soundly 3.2876.52)25(

freedom of degrees 25

3.287)41ln(.2

)155()1331(

413.)032.1)(114.1)(265.1)(483.1)(642.1(

pq

V

Null hypothesis:

no significant relationship between the structural and promotional characteristics of grocery product categories

Rao’s F-Test for Wilks’sRao’s F-Test for Wilks’sΛΛ

Ra近乎是具有 pq 分子自由度和 1+ts-1/2pq 分母自由度之F- 分佈。

若 p=1 或 2 又 q=1 或 2 ，那麼將有 exact F 分配。若 p2+q2≤5 ，則 s=1 。


pq

pqst

Ras

s 21

1/1

/1


X 變數個數

Y 變數個數

2

11

qpn

5

422

22

qp

qp

Sample Problem 的例子

0001.

71.3/1

71.3/1

22222

Hreject soundly 85.1279.1)1194,25(

5.324 ,71.3

85.1255

)2/5571.35.3241(

41.0

)41.01(

413.)032.1)(114.1)(265.1)(483.1)(642.1(

F

ts

Ra

Null hypothesis:

no significant relationship between the structural and promotional characteristics of grocery product categories

其他統計其他統計量的量的計計算公式算公式

0.7027:的最大特徵最HE為 '

097317.1）＝001032.0013151.0075463.0304946.00.702725（

＝),(－1

),(＝

7165.1)0220.01256.02611.05436.07643.0(

),(＝'

1－

12

2

1

2

rootGreatestsRoy

utr

utrtraceLawleyHotelling

utrtracesPillai

m

i ii

ii

m

iii


9.4.29.4.2 幾對典型變量是顯著的？幾對典型變量是顯著的？

One way to decide is to use a statistical test based on a sequential application of Bartlett’s chi-square testa sequential application of Bartlett’s chi-square test.

If the test is significant, then we can remove the first pair of canonical variates and retest the remaining pairs; that is, from 2 to min(p,q).

We continue until the test of the remaining variables is no longer significant.

利用 Bartlett’s Chi-Square Test 來取幾對的典型變量，則reject H0，表 λ1≠0 。

7.114703.0ln2

1441331

V



Wilks’s Λ Approx X2 df Pr > X2

1 0.4126 287.3 25 0.0001

2 0.7026 114.7 16 0.0001

3 0.9168 28.4 9 0.0009

4 0.9860 4.6 4 NS

5 0.9990 0.3 1 NS

Table 9.8 Sequential testing of pairs of canonical variates.

Test of H0: The canonical correlations in the current row and all that follow are zero

Reject H0, 表示 λ≠0 ，有相關

Do not reject H0, 表示 λ=0 ，無相關

五對典型變量



Figure 9.6Scree-type plot of canonical R2s from Fader and Lodish data


9.4.39.4.3 如何評估典型相關分析結果之如何評估典型相關分析結果之

效度？效度？複廻歸分析 :

依賴關係模式具有隨機遇而生 (capitalization on chancecapitalization on chance)之傾向。

“過度適配”：不單只解釋應變數的系統化變異(systematic variation) ，且也解釋了噪音” noise” 或其它誤差變異，使迴歸模式的配適度膨脹。

麻煩問題：當迴歸模式過度適配某特定觀察樣本時，若要使模式應用在其他樣本，則績效將會很糟。


典型相關：由於也擁有隨機遇而生 (capitalization on chance) 的問題。

評估典型相關分析結果之效度。

資料足夠大可採用 Split-sample validation 方法：分切兩“相等” 樣本（由隨機分派）：訓練樣本 (calibration sample) 和驗證樣本 (validation sample) 。

首先在訓練樣本執行典型相關分析：估計 a 、 b 係數及計算典型變量 t 、 u 。選擇 a 、 b 值將 r(t,u) 最大化。

9.4.39.4.3 如何評估典型相關分析的結果效度？如何評估典型相關分析的結果效度？


典型相關：利用驗證樣本：

估計不同係數組群： a* 、 b* 。利用 a* 、 b* 在訓練樣本計算線性組合： t* 、 u* 。 t* 、 u* 和典型變量 t 、 u 相似，除了估計係數是來至於訓練樣本外。

每一組樣本擁有兩個變異來源 (source of variation) ： 1.母體潛在的系統化變異 (systematic variation) ：兩組樣本為同樣的。

2. 抽樣誤差 (sampling error) ：兩組樣本非同樣的。



信度

效度

適配度




應 > 0.7 High reliabilityHigh reliability

The End !The End !The End !The End !

c h 9 canonical correlation

Documents