marketing planning & the internetcontents.kocw.net/kocw/document/2015/chungnam/... ·...

제12장 회귀분석과 상관분석

전광희교수

[email protected]

1

2

Contents

회귀분석과 상관분석

산포도

단순선형회귀모델

최소자승법

표본회귀선의 적합도 검정

상관분석

표본회귀선의 유의성 검정

3


회귀분석(regression analysis ) 독립변수와 종속변수 사이의 함수적 관계를 나타내는 수학적

회귀식(regression equation)을 구하고 독립변수의 특정한 값에따른 종속변수의 값을 예측하려는 방법이다.

서로 영향을 주고 받는 인과관계를 갖는 두 변수 사이의 관계를분석한다.

독립변수(independent variable)란 다른 변수에 영향을 주고그 변수의 값을 예측하려는 변수 : 설명변수, 예측변수

종속변수 Y (dependent variable)란 독립변수로부터 영향을받기 때문에 수학적 방정식을 이용하여 독립변수의 특정한 값에따른 그의 값을 예측하고자 하는 변수 : 반응변수

두 변수 사이의 관계를 선형으로 나타내는 단순선형회귀분석에국한한다.

4


상관분석(correlation analysis ) 두 변수 X와 Y사이의 밀접성(선형관계)의 강도(strength)와

방향(direction)을 요약하는 수치를 구하는 기법

두 변수 사이의 인과관계 유무만 확인할 뿐 그의 원인을규명하지 않는다.

회귀분석과 상관분석의 관계 상관분석에 의해 두 변수 사이의 관계가 밀접하다는 사실을

밝히면 회귀분석에 의해 두 변수 사이의 관계를 나타내는

회귀식을 구할 수 있다.

5

산포도

산포도(scatter diagram) : 산점도 X축에 독립변수, Y축에 종속변수를 설정하고 각 변수의 값을

나타내는 점을 도표에 나타낸 것

6


단순선형회귀모델(simple linear regression model)

확정적 모델(deterministic model)

독립변수의 값을 지정하면 종속변수의 값은 함수관계에따라 정확하게 계산할 수 있다.

는 y의 절편이고 β는 직선의 기울기로서 X의 값이주어지면 y의 값은 정확하게 계산할 수 있다.

이 모델은 예측오차를 평가할 방법을 제공하지 못한다. 광고비가 계속 일정하게 지불되더라도 예상할 수

없는(설명할 수 없는)일정치 않은 확률적 요인들의영향으로 판매액은 항상 변동한다.

종속변수의 값 y에 관한 불확실성은 확률변수오차항(error term)에 기인한다.


확률적 모델(probabilistic model) 선형회귀모델

와 β는 모수이다.

종속변수의 값 y는 독립변수의 값 와 오차항 에의하여 결정된다.

가 주어지더라도 오차 항(error term) 때문에 y의정확한 값은 구할 수 없다.

는 상수이지만 y는 확률변수이다.

8


모집단 회귀모델

9



모집단 회귀선(population regression line) : 평균선

모집단의 단순회귀모델에서 확정적 부분을 말한다.

또는

독립변수 X의 값이 주어지면 종속변수 Y의 값은 평균

를 중심으로 무작위적으로 오차를 가지고

정규분포를 따른다.

오차(error)란 독립변수 X의 값이 주어질 때 종속변수

Y의 관찰치와 종속변수 Y의 기대치의 차이를 말한다.

10


표본 회귀모델

표본회귀선(sample regression line) : 추정회귀선

모집단 회귀선에서 와 β의 값을 모르기 때문에표본자료를 사용하여 추정한다.

a는 의, b는 β의, 는 의 추정치이다.

a와 b를 표본회귀계수(sample regression coefficient)라고

한다.

표본에 따라 a와 b가 달라지기 때문에 표본회귀선도 표본에

따라 달라진다.

따라서 예측치 은 실제치 y와 차이가 있게 된다.

11


표본회귀모델 잔차(殘差, residual)

독립변수 X의 값이 주어질 때 표본회귀선의 예측치 와실제치 사이에 표본오차 때문에 발생하는 차이를말한다.

12


표본회귀모델

모집단 회귀식과 표본회귀식의 차이


모집단 회귀식

표본 회귀모델

표본 회귀식

와 β는 상수인 반면 a와 b는 추출된 표본에 따라 각기값이 달라지는 확률변수이다.

표본회귀식이 모집단 회귀식에 일치하지는 않지만표본자료에 가장 잘 맞는 표본회귀선을 이용하게 된다.

13

최소자승법

최소자승법(least squares methed ) 잔차 : 종속변수 Y의 실제 관찰치 와

표본회귀식으로부터 구한 종속변수의 예측치 의

차이 =

최소자승법 : 잔차를 자승한 값들의 합이 최소가 되도록

표본회귀식의 a와 b를 구하는 방법

14

최소자승법

최소자승법: 예 12-1

회

1

2

3

4

5

광고비( ) 판매액( )

합계

15

최소자승법


16

최소자승법


17

표본회귀식의 적합도 검정

표본회귀식의 적합도 검정(goodness-of-fit test) 의미

표본자료를 사용하여 구한 표본회귀식이 종속변수의 값을

어느 정도 정확(적합)하게 예측할 수 있는가의 정도를

검정하는 것이다.

두 변수의 값들이 표본회귀선 주위에 몰려 있으면 종속변수

Y의 관찰치와 Y의 예측치의 차이인 잔차가 줄어들어 예측의

정확성은 높아진다.

표본회귀식의 평가방법 적합도 검정

유의성 검정

표본회귀식의 적합도 검정 방법 추정의 표준오차

결정계수

18


추정의 표준오차(standard error of estimate) 오차항

종속변수 Y의 값을 예측하는 데 오류를 발생시키는 것은

오차항 이다.

오차들의 평균은 이고 분산은 으로서 회귀선

주위로 흩어져 있는 잔차( )을 측정한다.

표본자료를 이용하여 오차들의 분산 대신에 추정의

표준오차 를 사용한다.

추정의 표준오차와 표준편차의 차이 추정의 표준오차 : 표본들의 실제 관찰치들이 표본회귀선

주위로 흩어진 변동을 측정한다.

표준편차 : 표본들의 실제 관찰치들이 평균 주위로 흩어진

변동을 측정한다.

19


추정의 표준오차 추정의 표준오차가 클수록 관찰치들이 표본회귀선 주위로 널리

흩어지고 작을수록 관찰치들이 표본회귀선 주위로 모여들어 그표본회귀선을 이용한 종속변수 Y의 값의 예측에 대한 정확도는높게 된다.

(Se가 작은경우) (Se가 큰 경우)

20


추정의 표준오차: 예 12-2

21


결정계수(coefficient of determination) 총편차(total deviation)

22


총변동(total variation) : 총제곱합

SST(sum of squares total) : 독립변수를 고려하지 않을 경우

실제 관차치 들이 이들의 평균 로부터 흩어진 정도

SSR(sum of squares regression) : 독립변수를 고려함으로써

회귀식으로 설명되는 변동

SSE(sum of squares error) : 회귀식으로 설명되지 않는 변동

23


결정변수

결정계수는 0부터 1까지의 값을 갖는다.

표본회귀선이 모든 자료에 완전히 적합하면 SSE=0, R²=1이된다.

R²의 값이 1에 가까울수록 표본회귀선으로 종속변수 Y의실제 관측치 를 예측하는 데 정확성이 더 높다.

24


결정계수: 예 12-3

광고비가 판매액 변동의 99.44%를 결정하고 다른 요인들이나머지 2.56%의 영향을 미친다.

25

상관분석

상관분석(correlation analysis) 회귀식은 두 변수 X와 Y의 관계를 나타낼 뿐이다.

두 변수의 연관성분석의 한 방법이다.

두 변수 X와 Y의 선형관계의 유무와 밀접성의 강도를

측정하는 척도에는 공분산과 상관계수가 있다.

공분산(covariance)

26

상관분석

공분산 공분산 계산방법

두 변수 X와 Y의 결합확률분포가 있을 때 기대값을사용하여 그 분포의 분산을 측정한다.

두 변수의 결합확률분포가 없을 때는 두 변수의 값이그들의 평균인 와 로부터 떨어진 편차의 곱을평균하여 구한다.

공분산의 특징 공분산은 분산 σ²와 달리 음수의 값을 가질 수 있다.

공분산이 양수이면 두 변수 X와 Y가 정의 선형관계이고음수이면 음의 선형관계이다.

두 변수 X와 Y가 선형관계가 아니면 공분산은 0을 갖는다.

공분산은 두 변수의 방향(선형관계)만을 밝혀준다.

27

상관분석

공분산: 예 12-4

28

상관분석

상관계수(coefficient of correlation )

29

상관분석

상관계수 표본상관계수 r의 부호는 표본회귀선의 기울기의 부호와 같다.

표본상관계수의 특징

30

상관분석

표본상관계수: 예 12-5

두 변수의 관계가 정의 선형관계이고 상당히 밀접하다.

31


표본회귀선의 유의성 검정(significance test) 통계량 b를 근거로 모수 β가 0이 아닌지, 즉 두 변수 X와 Y의

관계가 선형관계인지 검정하려는 것이다.

유의성 검정방법 t검정

F검정

t검정(t test) 표본회귀식의 기울기 b의 확률분포

오차의 표준편차인 는 그의 추정량으로 추정의 표준오차사용

32


t검정의 검정통계량

β에 대한 신뢰구간

33


모집단 회귀선의 기울기 β에 대한 검정

34


모집단 회귀선 기울기 β에 대한 t검정: 예 12-6

35


모집단 회귀선의 기울기 β에 대한 F 검정

F 검정(F test) 설명된 변동과 설명 안 된 변동의 측정을 통해서 귀무가설

을 검정하는 방법

SSR(회귀제곱합, 설명된 제곱합)

SSE(오차제곱합, 설명 안 된 제곱합)

자유도SSR : 1

SSE : n-2

SST : n-1

36


F 검정 평균제곱

회귀평균제곱(mean square regression : MSR)

- 독립변수에 의해 설명된 평균제곱

오차평균제곱(mean square error : MSE)

- 독립변수에 의해 설명 안 된 평균제곱

검정통계량

37


F 검정 MSR(독립변수에 의해 설명된 부분의 분산)이 MSE(설명 안된 오차의

분산)보다 크면 독립변수에 의해 설명된 변동이 설명 안 된 변동보다

크므로 회귀모형이 유의하지 않다는 귀무가설을 기각한다.

모집단 회귀식의 기울기 β에 대한 F검정 : 양측검정만 한다.

분산분석표

38


모집단 회귀선의 기울기 β에 대한 F 검정 : 예 12-7

39

E N D

marketing planning & the internetcontents.kocw.net/kocw/document/2015/chungnam/... ·...

Documents