인자분석(factor analysis) -...

Statistical Analysis 1

인자분석(Factor Analysis)


1. 인자분석의 개요

1) 인자분석

데이터 축소를 통해 정보를 함축적으로 사용할 수 있게한다.

측정된 항목들의 저변에 내재된 요인들간의 다른 구조를 파악할 수 있게 한다.

단, 정보를 축소 할 경우 정보의 손실화를 최소로 해야한다.

종속변수와 독립변수를 지정하지 않고, 변수들 간의 상호작용을 분석한다.


2) 인자분석 모형

관찰변수 잠재변수 특정변수


3) 인자분석 모형의 가정

i) f 는 서로 독립이며 평균이 0 이고, 분산이 1인

관측 불가능한 변수이다.

ii) e는 서로독립이며, 분산이 인 확률 변수이다.

iii) f 와 e는 서로 독립이다.


<인자적재(패턴) 행렬(factor loading matrix)>

<인자구조 행렬 (factor structure matrix)>


여기서 이다.

4) 공통성(Communality)- 공통 분산

-공통분산은 q개의 인자들의 선형 원소들에 의해 설명되는 분산의 한 부분을 나타낸다.

- 인자 모형으로부터 각 변수들의 분산은 다음과 같이 표현된다.


5) 인자 모형의 적합 방법

A. 주성분 인자 법(principal component factoring)

<모형>

< 의 추정>1 단계: 를 가정한다. 그러면 다음과 같이 분산 공분산 행렬을 구할 수 있다.


2 단계 : 표본으로부터 를 추정한다.

3단계 : 직교 분해 법을 이용하여 인 인자의 차원을 결정한다.

4단계 : 를 추정한다.


B. 주축 인자 법 (Principal Axis factoring)

1단계: 공통분산 을 추정한다.

2 단계 : 표본으로 부터 를 추정한다.


3 단계 : 축소된 상관행렬을 추정한다.

4 단계 : 를 추정한다.


6) 인자 개수에 대한 판정기준

A. 인자 공헌도

- 전체 분산 중 j번째 인자에 의해 설명되는 비율.

- 인자 공헌도를 통해 인자 수를 결정할 때에는 전체분산의 80% 이상인 인자의 수를 선택한다.

B. 고유값의 크기- Kaiser 의 규칙

- 표본상관행렬의 고유값을 구하여 1보다 큰 고유값의 수 만큼을 인자수로 결정한다.


C. Scree plot에 의한 방법

-고유값의 크기가 큰 순서대로 나열된 2차원 좌표상에

나타낸 그림으로서 특정한 i 번째 지점부터 평평한 지

점을 이루며 적절한 인자 수는 q=i-1 로 결정한다.

D. 카이제곱 검정에 의한 방법

- 변수들이 근사적으로 정규분포를 이룰 때 사용한다.


7) 인자의 회전

-관찰변수와 인자간의 관계, 즉 상관구조를 보다 명확하게 나타내기 위해 사용된다.

- 직교회전방법(orthogonal) 과 사각회전방법(oblique)이 있다.

<Varimax 회전>

-인자 적재행렬의 열 내 제곱 적재 값들의 분산을 최대화한다.

- 인자적재행렬의 열 요소가 0 또는 +1, -1에 가까운 값으로 단순화 된다.


<Quartimax 회전>

-인자적재행렬의 행내 제곱 적재값들의 분산을 최대화한다.

<Promax 회전>

-사각회전 방법의 하나로서 직교회전 방법에 의해 인자적재행령의 단순성을 파악할 수 없는 경우에 이용한다.


8) 인자점수(factor socre)의 추정

A. 인자점수(factor score)

- 인자 모형은 관찰값들을 인자들로 표현한 것이며, 이와는 반대로 인자를 관찰값들로 표현한 것을 인자점수라 한다.


B. 인자점수의 추정방법

<회귀적 방법>

- Thompson(1951)에 의해 제안된 방법으로 인자점수를 관찰된 변수들의 값으로부터의 회귀 모형에의해 추정하는 방법이다.

<가중회귀방법>

- 표본의 변동을 고려하여 인자분석의 적합도를 검토하는데 특수인자의 분산에 대해 오차가 큰 변수에대해 가중값을 부과하는 일종의 가중회귀모형에의해 추정하는 방법이다.


2. 인자분석의 적용

1) 인자분석을 적용할 경우

- 자료의 양을 줄여 정보를 요약할 경우

- 변수들 내에 존재하는 구조를 밝히고자 할 경우

- 요인으로 그룹화 되지않는 변수들을 제거할 경우

- 동일한 개념으로 측정되는 변수들이 동일한 요인으로 그룹화 되는가를 확인할 경우

- 인자분석을 통해 얻어진 인자들을 이용하여 회귀분석이나 판별분석을 이용하고자 할 경우


2) 인자분석의 절차

연구과제의 설정• 포함되어야 할 변수?• 변수의 수 ?• 변수의 측정 ?• 표본의 수 ?

인자의 추출• 인자의 추출방법• 인자의 수 결정

상관계수행렬의 계산• R형• Q 형

인자의 회전• 직각회전• 사각 회전

분석결과의 적절성

요인점수의 계산• 회귀분석• 판별분석• 상관분석 적용

결과 의 출력 및 해석

아니오

예


3) 인자분석의 주요 5단계

A. 인자분석의 적용 가능성 검토

- 모 상관행렬이 단위행렬인지를 검토한다

귀무가설 – “모상관행렬이 단위행렬이다.”- Bartlett 검정, KMO통계량,공통변량의 점검

잔영상관행렬의 점검, 고유 값의 점검

B. 최초인자의 추출

주성분분석법, 최소제곱법, 최우추정요인 추출법, 주축요인 추출법, 알파요인 추출법, 이미지요인 추출법


C. 인자수의 결정

고유값 기준, 스크리 검정, 통계적 가설검정, 분산비율, 선행 이론

D. 요인의 회전

Quartimax회전법, Varimax회전법, Equimax 회전법, Promax회전법, Oblimin회전법

E. 결과 분석 및 적용


3. 데이터를 이용한 인자분석

<분석사례1>

대학 신문에 실린 8가지 기사의 내용의 특성을 몇 가지

요인으로 그룹화하여 나타내고자 함.

X1 : 대학문제 , X2: 학생활동, X3: 대학행정

X4 : 문화예술 , X5: 정치외교, X6: 과학기술

X7 : 경제경영 , X8: 언론


[데이터세트]


<상관계수의 계산>

상관행렬

1.000 -.067 .005 .009 -.077 -.396 .171 -.197

-.067 1.000 -.606 -.238 -.124 .106 -.658 -.675

.005 -.606 1.000 .115 .309 -.349 .294 .583

.009 -.238 .115 1.000 -.518 -.038 .330 .076

-.077 -.124 .309 -.518 1.000 -.519 .227 .417

-.396 .106 -.349 -.038 -.519 1.000 -.354 -.269

.171 -.658 .294 .330 .227 -.354 1.000 .574

-.197 -.675 .583 .076 .417 -.269 .574 1.000

X1

X2

X3

X4

X5

X6

X7

X8

상관계수X1 X2 X3 X4 X5 X6 X7 X8

- 대부분의 변수들간에 음의 상관관계가 있는 것으로 나타나고있다.


<타당성 검토>

KMO와 Bartlett의 검정

.514

44.530

28

.025

표준형성 적절성의 Kaiser-Meyer-Olkin 측도.

근사 카이제곱

자유도

유의확률

Bartlett의 구형성 검정

-KMO 값이 0.5 이상이므로 인자분석이 적절함을 나타낸다.

-Bartlett 검정통계량의 유의확률값이 <0.05 이므로 “모상관행렬이 단위 행렬이다” 라는 귀무가설을 기각한다.

- 결과적으로 데이터세트는 인자분석을 하기에 적절한 데이터이다.


<공통성의 추출>

공통성

1.000 .808

1.000 .785

1.000 .577

1.000 .768

1.000 .894

1.000 .780

1.000 .687

1.000 .834

X1

X2

X3

X4

X5

X6

X7

X8

초기 추출

추출 방법: 주성분 분석.

Communality : PCA 방법에 의해 각 변수로 부터 추출된 요인에의해 설명되는 비율을 나타내고 있다.

X1은 80.8%, X2는 78.5% … X8은 83.4%를 설명한다.


<총분산과 고유값의 계산>설명된 총분산

3.100 38.744 38.744 3.100 38.744 38.744

1.672 20.903 59.647 1.672 20.903 59.647

1.363 17.044 76.691 1.363 17.044 76.691

.679 8.490 85.181

.671 8.387 93.568

.242 3.023 96.591

.147 1.837 98.428

.126 1.572 100.000

성분1

2

3

4

5

6

7

8

전체 % 분산 % 누적 전체 % 분산 % 누적

초기 고유값 추출 제곱합 적재값


전체 8개의 성분이 전체 분산을 설명하고 있지만, 이중 고유값이1이상인 3개의 인자를 고려할 수 있고, 이들이 설명하는 총 분산의 비율은 76.69% 이다.

그러나 80%이상을 설명하지 못하므로 인자를 3개로 하는 것이타당한지를 검정해야 한다. (사회과학: 60%, 자연과학:80%)


<scree plot>

스크리 도표

성분 번호

87654321

고유값

3.5

3.0

2.5

2.0

1.5

1.0

.5

0.0

f1

f2

f3

도표로 부터 기울기가 큰 4번 까지의 성분을 인자의 개수로 결정하여, 3개의 인자를 추출한다.


<회전전의 성분행렬>

성분행렬 a

.843 7.643E-03 -.351

-.807 -.338 .137

.769 .258 .172

.749 -4.89E-03 -.131

.171 .836 .201

.498 -.795 -.119

9.713E-02 -3.60E-02 .893

-.547 .398 -.568

X8

X2

X7

X3

X4

X5

X1

X6

1 2 3

성분

요인추출 방법: 주성분 분석.

추출된 3 성분a.

요인1에 대해 X8,X2,X7,X3 가 공통적인 특성을 가지고 있으며, 요인2에 대해 X4,X5가 요인3에 대해 X1,X6이 공통특성을 가진 것으로 나타남.


<회전된 성분행렬>회전된 성분행렬 a

.883 -.202 -.119

-.869 -.169 -1.82E-02

.748 .164 .317

.742 -.151 6.820E-02

.337 -.870 .152

.291 .822 9.093E-02

-.111 .144 .881

-.315 .347 -.749

X8

X2

X7

X3

X5

X4

X1

X6

1 2 3

성분

요인추출 방법: 주성분 분석. 회전 방법: Kaiser 정규화가 있는 베리멕스.

5 반복계산에서 요인회전이 수렴되었습니다.a.

- 요인들간의 공통특성을 명확히 나타내기 위해 요인을 회전시킴.

-회전방법은 orthogonal 방법중 varimax 방법을 사용하였으며, 이는 성분점수를 이용하여 회귀분석등을 수행하고자 할때 유용하게 사용될 수 있다.


<성분 변환행렬>

성분 변환행렬

.954 -.158 .257

.206 .963 -.172

-.220 .217 .951

성분1

2

3

1 2 3


-성분변환행렬이 회전된 경우 변환 행렬 값을 나타냄.


<회전된 성분행렬>

회전 공간의 성분 도표

x7

x3x8

x5

x1

성분 2

1.01.0

-.5

x4

0.0

.5.5

.5

1.0

성분 3성분 1

0.00.0

x2

-.5-.5

x6

- 인자 1: 언론,학생활동,경제경영,

대학행정

- 인자 2: 문화예술, 정치외교

- 인자 3: 대학문제, 과학기술

인자1: 대학문화요인

인자2: 대학외부 요인

인자3: 대학문제요인


<factor score>

성분점수 계수행렬

-.119 .117 .635

-.312 -.132 .064

.251 -.062 -.029

.123 .505 .068

.074 -.502 .040

-.028 .167 -.482

.241 .137 .157

.317 -.095 -.176

X1

X2

X3

X4

X5

X6

X7

X8

1 2 3

성분


-인자점수 의 계산

-인자계수와 변수들간의 선형결합으로 인자점수를 계산할 수 있다.


<분석사례2> Smallcar.sav

출처 : http://www.spss.co.kr/sem/

소형차 구매자들이 생각하는 자동차의 특성을 파악

X1 : 내구성 , X2: 연비, X3: 보수 및 수리의 용이

X4 : 승차감 , X5: 공간확보, X6: 브레이크

<응답 값 해석>

7: 적극찬성 , 6: 상당히 찬성, 5: 찬성, 4: 보통, 3: 반대 , 2: 상당히 반대 , 1: 적극반대


<상관행렬>상관행렬

1.000 .939 .944 -.113 -.069 .026

.939 1.000 .969 -.119 -.118 -.001

.944 .969 1.000 -.136 -.116 .063

-.113 -.119 -.136 1.000 .906 -.002

-.069 -.118 -.116 .906 1.000 .014

.026 -.001 .063 -.002 .014 1.000

소형차는 내구성이 있도록 설계해야 한다

소형차의 연료효율은 최소한 갤론당 30마일은 되어야 한다

소형차는 소유자가 보수 및 수리하기가 쉬워야 한다

소형차는 4명의 성인이 편하게 탈 수 있도록 설계해야 한다

소형차는 모든 승객들에게 머리 위와 다리 공간이 충분해야 한다

소형차의 브레이크는 가장 중요한 부품이다

상관계수

소형차는 내구성이 있도록 설계해야

한다

소형차의 연료효율은 최소한 갤론당30마일은 되어야 한다

소형차는 소유자가 보수 및 수리하기가 쉬워야 한

다


소형차는 모든 승객들에게 머리 위와다리 공간이 충분해야 한

다

소형차의 브레이크는 가장 중요한 부

품이다


<분석의 적절성>

KMO와 Bartlett의 검정

.651

673.774

15

.000

표준형성 적절성의 Kaiser-Meyer-Olkin 측도.

근사 카이제곱

자유도

유의확률

Bartlett의 구형성 검정

KMO 측도 값이 0.5이상, Bartlett 검정의 유의확률이 <0.05 이므로 “모상관행렬이 단위행렬이다”라는 귀무가설을 기각한다.

즉, 인자분석에 적합한 자료로 판정한다.


<공통성>공통성

1.000 .955

1.000 .973

1.000 .976

1.000 .953

1.000 .954

1.000 1.000







초기 추출


모든 변수들의 설명력이 높음을 알 수 있다.


<총분산>설명된 총분산

2.973 49.554 49.554 2.973 49.554 49.554 2.899 48.317 48.317

1.837 30.613 80.167 1.837 30.613 80.167 1.909 31.820 80.137

1.001 16.678 96.845 1.001 16.678 96.845 1.002 16.707 96.845

.105 1.746 98.591

59E-02 .943 99.534

97E-02 .466 00.000

성분1

2

3

4

5

6

전체 % 분산 % 누적 전체 % 분산 % 누적 전체 % 분산 % 누적

초기 고유값 추출 제곱합 적재값 회전 제곱합 적재값


고유값>1 인 인자들이 3개 이므로 “주요인자”의 개수를 3개로 결정한다.

또한 각 성분의 총분산에 대한 설명력을 살펴보면, 성분1의 경우 전체분산의 49.55%, 성분2는 30.61%, 성분3은 16.68%를 설명하고 있으며, 이들 3개의 성분이 약97%를 설명하고 있음.


<스크리도표>

스크리 도표

성분 번호

654321

고유값

3.5

3.0

2.5

2.0

1.5

1.0

.5

0.0

스크리 도표로부터 인자의 수가 3개임을 확인할 수 있다.


<성분행렬>성분행렬 a

.954 .214 -2.03E-02

.967 .187 -4.89E-02

.971 .181 1.806E-02

-.314 .924 -2.13E-02

-.292 .932 -3.71E-03

4.142E-02 3.341E-02 .999







1 2 3

성분

요인추출 방법: 주성분 분석.

추출된 3 성분a.

유지관리

편리성

안전성


<회전성분행렬>

회전된 성분행렬 a

.977 -3.39E-02 8.959E-03

.984 -6.23E-02 -2.00E-02

.984 -7.04E-02 4.694E-02

-7.02E-02 .974 -6.41E-03

-4.76E-02 .975 1.192E-02

1.797E-02 4.374E-03 1.000







1 2 3

성분


4 반복계산에서 요인회전이 수렴되었습니다.a.

성분을 보다 명확하게 나타내기 위해 성분행렬을 회전시켜 나타냄.

이 경우 베리맥스 회전방법을 적용하였는데, 이 방법은 회귀분석이나 판별분석을 수행할 경우 요인들간의 공선성(colinearty)을 유발하지 않기 때문.


<인자계수행렬>성분점수 계수행렬

.340 .032 -.009

.342 .017 -.038

.340 .013 .029

.025 .514 -.012

.033 .516 .006

-.012 -.003 .998







1 2 3

성분

요인추출 방법: 주성분 분석. 회전 방법: Kaiser 정규화가 있는 베리멕스. 요인 점수.

성분1에 대해 내구성, 연비효율,수리보수 변수가 하나의 공통적인 특성을 가지는 것으로보이며, 성분2에 대해서는 편의성, 공간확보 변수가 , 성분3에 대해서는 브레이크변수가공통적인 특성을 나타낸다.


<성분점수의 공분산 행렬>

성분점수 공분산행렬

1.000 .000 .000

.000 1.000 .000

.000 .000 1.000

성분1

2

3

1 2 3


공분산 행렬로 부터 각각의 성분들간의 공분산이 존재하지 않음을 알 수 있다.

이는 베리맥스 회전으로 부터 직각회전을 수행하여 각 성분들 간의 공분산을 제거했기 때문이다.


<성분도표>

회전 공간의 성분 도표

소형차는 소유자가 보소형차의 브레이크는소형차는 내구성이 있소형차의 연료효율은

성분 2

1.01.0

-.5

0.0

.5.5

.5

1.0

성분 3성분 1

0.00.0-.5-.5

각 변수와 성분을 3차원 공간에 표현한 도표로서 앞의 요인추출결과를나타냄.


<인자를 이용한 회귀분석>

요인점수-변수로 저장-방법:회귀분석


<요인점수의 변수로 저장>

저장된 fac1_1, fac2_1, fac3_1 을 설명변수로 하고, X 변수들 중하나를 종속변수로 하여 회귀분석을 수행할 수 있다.

이때, 신뢰도 분석은 필수적인 절차이다.


<회귀분석>

X1변수를 종속변수로, 요인1,요인2,요인3을 설명변수로 하여 회귀분석을 수행해 보자.

즉, 유지관리,편리성, 안정성 요인이 내구성에 미치는 영향력을 분석해보자.


<출력결과>

모형 요약

.977a .955 .954 .27모형1

R R 제곱수정된 R

제곱추정값의 표준오차

예측값: (상수), REGR factor score 3 foranalysis 1 , REGR factor score 2 for analysis1 , REGR factor score 1 for analysis 1

a.

분산분석 b

154.250 3 51.417 686.551 .000a

7.190 96 7.489E-02

161.440 99

선형회귀분석

잔차

합계

모형1

제곱합 자유도 평균제곱 F 유의확률

예측값: (상수), REGR factor score 3 for analysis 1 , REGR factor score 2for analysis 1 , REGR factor score 1 for analysis 1

a.

종속변수: 소형차는 내구성이 있도록 설계해야 한다b.

결정계수=0.96

분산분석 결과 설정된 회귀모형은 매우 유의함.(유의확률<0.01)


<추정된 회귀계수>

계수a

3.160 .027 115.470 .000

1.247 .028 .977 45.354 .000

-4.32E-02 .028 -.034 -1.572 .119

1.144E-02 .028 .009 .416 .678

(상수)

REGR factor score1 for analysis 1



모형1

B 표준오차

비표준화 계수

베타

표준화 계수

t 유의확률

종속변수: 소형차는 내구성이 있도록 설계해야 한다a.

추정된 회귀계수에 대한 유의성 검정결과 요인1의 계수만 유의하고 나머지 요인들의 계수는 유의하지 않은 것으로 나타남.

결과적으로 내구성과 관련하여 유지관리요인이 영향을 주는 것으로 나타남.

인자분석(factor analysis) -...

Documents