hiỆn tƯỢng Đa cỘng tuyẾn (multicollinearity)

CHƯƠNG 6CHƯƠNG 6

HIỆN TƯỢNG ĐA CỘNG TUYẾNHIỆN TƯỢNG ĐA CỘNG TUYẾN(MULTICOLLINEARITY)(MULTICOLLINEARITY)

2

1. Hiểu bản chất và hậu quả của đa cộng tuyến

2. Biết cách phát hiện đa cộng tuyến và biện pháp khắc phục

MỤC TIÊU

ĐA CỘNG TUYẾN

NỘI DUNG

3

Bản chất, nguyên nhân của đa cộng tuyến1

Ước lượng các tham số2

3

Phát hiện đa cộng tuyến4

Khắc phục đa cộng tuyến5

Hậu quả

4

Thu nhập Sự giàu có Chi tiêu80 810 70

100 1009 65120 1273 90140 1425 95160 1633 110180 1876 115200 2052 120220 2201 140240 2435 155260 2686 150

Nguồn: Ramu Ramanathan

8

Khi lập mô hình hồi quy bội

Có sự phụ thuộc tuyến tính cao giữa các biến giải thích gọi là đa cộng tuyến. a. Đa cộng tuyến hoàn hảoTồn tại 2, 3,… k không đồng thời bằng 0 sao cho

2X2 + 3X3 + …+ kXk = 0Nói cách khác là xảy ra trường hợp một biến giải thích nào đó được biểu diễn dưới dạng một tổ hợp tuyến tính của các biến còn lại.

kikiii XXXY ˆ...ˆˆˆˆ33221

6.1 Bản chất của đa cộng tuyến

9

b. Đa cộng tuyến không hoàn hảo

2X2 + 3X3 + …+ kXk + vi= 0

Với vi là sai số ngẫu nhiên thì ta có hiện tượng đa cộng tuyến không hoàn hảo giữa các biến giải thích. Nói cách khác là một biến giải thích nào đó có tương quan với một số biến giải thích khác.


10

X3i = 5X2i, vì vậy có cộng tuyến hoàn hảo giữa X2 và X3 ; r23 = 1

X2 và X3* không có cộng tuyến hoàn hảo, nhưng hai biến này có tương quan chặt chẽ.

X2 10 15 18 24 30

X3 50 75 90 120 150

X*3

V

522

750

977

1299

1522


VD

11


Hình 6.1 Biểu đồ Venn mô tả hiện tượng đa cộng tuyến

12

Hình 6.1 Biểu đồ Venn mô tả hiện tượng đa cộng tuyến


13

Một số nguyên nhân gây ra hiện tượng đa cộng tuyến

- Khi chọn các biến độc lập mối quan có quan hệ nhân quả hay có tương quan cao vì đồng phụ thuộc vào một điều kiện khác.

- Khi số quan sát nhỏ hơn số biến độc lập.- Cách thu thập mẫu: mẫu không đặc

trưng cho tổng thể- Chọn biến Xi có độ biến thiên nhỏ.

6.1 Nguyên nhân của đa cộng tuyến

6.2 Ước lượng khi có đa cộng tuyến

1. Trường hợp có đa cộng tuyến hoàn hảo

Xét mô hình hồi qui 3 biến dưới dạng sau:Yi = 2 X2i + 3 X3i + ei

giả sử X3i = X2i, mô hình được biến đổi thành: Yi = (2+ 3)X2i + ei = 0 X2i + ei

Phương pháp OLS

14

22

232 )ˆˆ(ˆ

i

iio x

yx

Không thể tìm được lời giải duy nhất cho 32ˆ,ˆ

6.2 Ước lượng khi có đa cộng tuyến

Các hệ số ước lượng không xác định Phương sai và sai số chuẩn của 2 và

3 là vô hạn15

232

23

22

323232

2 )(ˆ

iiii

iiiiiii

xxxx

xxxyxxy

0

0ˆ23

23

223

23

2

333233

2

iiii

iiiiiii

xxxx

xxxyxxy

6.2 Ước lượng các tham số khi có đa cộng tuyến

Các hệ số ước lượng không xác định: chúng ta không tách rời tác động của từng biến Xi lên Y do không thể giả định X2 thay đổi trong khi X3 không đổi.

16

232

23

22

323232

2 )(ˆ

iiii

iiiiiii

xxxx

xxxyxxy

0

0ˆ23

23

223

23

2

333233

2

iiii

iiiiiii

xxxx

xxxyxxy


2. Trường hợp có đa cộng tuyến không hoàn hảo

• Đa cộng tuyến hoàn hảo thường không xảy ra trong thực tế.

• Xét mô hình hồi qui 3 biến dưới dạng sau:yi = 2 x2i + 3 x3i + ei

Giả định x3i = x2i + vi

Với 0 và vi là sai số ngẫu nhiên.

• Trong trường hợp này, các hệ số hồi qui 2 và 3 có thể ước lượng được:

17

Ta có thể ước lượng được các này nhưng s.e. sẽ rất lớn.


18

6.3 Hậu quả của đa cộng tuyến

Nếu có cộng tuyến gần hoàn hảo:

• Các ước lượng vẫn BLUE, nhưng:

1. Phương sai và hiệp phương sai của các ước lượng OLS lớn.

19

r23 là hệ số tương quan giữa X2 và X3.

Khi r23 1, các giá trị trên



2. Khoảng tin cậy rộng hơn.

• Khoảng tin cậy của 2 và 3 (với độ tin cậy 1 – ) là:

2 = t /2 se ( );

3 = t /2 se ( );

trong đó:se ( ) = se ( ) =

20

^

2

^

2

^

3

^

2^

3

22

223 )1( ixr

^

3 23

223 )1( ixr

21

Giá trị của r23 Khoảng tin cậy 95% của B2

0

0.5

0.95

0.995

0.999

A*96.1ˆ2

A*33.1*96.1ˆ2

A*26.10*96.1ˆ2

A*100*96.1ˆ2

A*500*96.1ˆ2

22

2

ixA



3. Tỉ số t "không có ý nghĩa".

Khi kiểm định giả thuyết H0: 2 = 0, chúng ta sử dụng tỷ số t.

và so sánh giá trị ước lượng của t với giá trị tra bảng (tới hạn) của t.

Trong trường hợp cộng tuyến cao thì sai số chuẩn sẽ rất lớn và do đó làm cho giá trị t sẽ nhỏ đi, kết quả là sẽ làm tăng chấp nhận giả thuyết H0.

22

)ˆ(se

ˆt

2

2



4. R2 cao nhưng tỉ số t ít có ý nghĩa.

• Đa cộng tuyến cao:

• - một hoặc một số tham số tương quan (hệ số góc riêng) không có ý nghĩa về mặt thống kê

• - R2 trong những trường hợp này lại rất cao (trên 0,9).

• - kiểm định F thì có thể bác bỏ giả thuyết cho rằng 2 = 3 = … = k = 0.

23



5. Các ước lượng OLS và sai số chuẩn của chúng trở nên rất nhạy với những thay đổi nhỏ trong dữ liệu.

6. Dấu của các ước lượng của các hệ số hồi qui có thể sai

7. Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về dấu hoặc thay đổi về độ lớn của các ước lượng.

24

Ví dụ: Bảng 2 do nhập sai số liệu nên xảy ra đa cộng tuyến

25

Bảng 1Y X2 X31 2 42 0 23 4 124 6 05 8 16

Bảng 2Y X2 X31 2 42 0 23 4 04 6 125 8 16

00868.0)ˆ,ˆcov(;5523.0;81.0

003.0446.0193.1ˆ

32232

32

rR

XXY iii

Se (0.7736) (0.1848) (0.0850)t (1.543) (2.415) (0.0358)

0282.0)ˆ,ˆcov(;8285.0;81.0

027.0401.0210.1ˆ

32232

32

rR

XXY iii

Se (0.7480) (0.2720) (0.1252)t (1.618) (1.4752) (0.2152)

26

Đa cộng tuyến là một hiện tượng theo mẫu, nghĩa là cho dù các biến độc lập Xi không tương quan tuyến tính trong tổng thể nhưng chúng có thể tương quan tuyến tính trong một mẫu cụ thể nào đó. Do đó cỡ mẫu lớn thì hiện tượng đa cộng tuyến ít nghiêm trọng hơn cỡ mẫu nhỏ

27

1. Hệ số R2 lớn nhưng tỷ số t nhỏ2. Tương quan cặp giữa các biến giải thích cao3. Sử dụng mô hình hồi qui phụ 4. Sử dụng yếu tố phóng đại phương sai (VIF)

6.4 Cách phát hiện đa cộng tuyến

28

1. R2 lớn nhưng tỷ số t nhỏNếu R2 cao, chẳng hạn, >0,8 và F test bác bỏ giả

thuyết 2 = 3 = … = k = 0, nhưng t test cho từng i lại chấp nhận H0.

2. Tương quan cặp giữa các biến giải thích cao

Trong đó X, Z là 2 biến giải thích trong mô hình

22 )()(

))((

ZZXX

ZZXXr

ii

iiXZ


29

3. Sử dụng mô hình hồi quy phụHồi qui một biến giải thích X nào đó theo các biến còn lại.

Tính R2 và F cho mỗi mô hình theo công thức:

Lập giả thiết H0: R2 = 0 ~ H0: không có đa cộng tuyếnNếu F > F(m-1,n-m): bác bỏ H0 => có đa cộng tuyếnNếu F < F(m-1,n-m): chấp nhận H0 => không có đa cộng tuyến

mikii XXX ˆ...ˆˆˆ3312

)1)(1(

)(2

2

mR

mnRF


30

VD: Cho doanh số bán (Y), chi phí chào hàng (X2) và chi phí quảng cáo (X3) trong năm 2001 ở 12 khu vực bán hàng của 1 công ty. Có hiện tượng đa cộng tuyến không?Hồi quy biến chi phí chào hàng với chi phí quảng cáo, ta có kết quả X2 =42,012 + 0,387 *X3

R2 = 0,22922 F= 2,9738Với mức ý nghĩa α=5%, tra bảng F0.05 (1,10)= 4,96. Ta thấy F < F0.05 (1,10) nên chấp nhận Ho hay không có đa cộng tuyến.


31

4. Sử dụng nhân tử phóng đại phương sai (VIF)Đối với hàm hồi quy 2 biến giải thích, VIF được định nghĩa như sau:

Đối với trường hợp tổng quát, có (k-1) biến giải thích thì:

R2j: là giá trị R2 trong hàm hồi quy của Xj theo (k-1) biến giải

thích còn lại. Thông thường khi VIF > 10, thì biến này được coi là có cộng tuyến cao

)1(

12

23rVIF

)1(

12jR

VIF


VIFx i

.)ˆvar(22

2

2

32

Giá trị của r23 VIF0 1 1A 0

0.5 1.33 1.33A 0.67B0.7 1.96 1.96A 1.37B0.8 2.78 2.78A 2.22B0.9 5.76 5.76A 4.73B

0.95 10.26 10.26A 9.74B0.97 16.26 16.92A 16.4B0.99 50.25 50.25A 49.75B

0.995 100 100A 99.5B0.999 500 500A 499.5B

)ˆ( 2Var )ˆ,ˆ( 32 Cov

23

22

2

22

2

;iii xx

Bx

A

33

1. Dùng thông tin tiên nghiệmVí dụ khi hồi quy mô hình sản xuất Cobb-Douglas

Ln(Yi)=1 + 2ln(Ki)+ 3ln(Li) + ui

Có thể gặp hiện tượng đa cộng tuyến do K và L cùng tăng theo quy mô sản xuất. Nếu ta biết là hiệu suất không đổi theo quy mô tức là 2+3=1.

Ln(Yi)=1 + 2ln(Ki)+ (1-2)ln(Li) + ui Ln(Yi) – Ln(Li) = + 2[ln(Ki) - ln(Li)] + ui

Ln(Yi /Li ) = + 2ln(Ki /Li) + ui => mất đa cộng tuyến (vì đây là mô hình hồi quy đơn).

iuiii eKALY 23

6.5 Cách khắc phục

34

1. Dùng thông tin tiên nghiệmVí dụ

Yi=1 + 2X2i+ 3X3i + ui

Biết 3=2

Biến đổi Yi=1 + 2X2i+ 2X3i + ui

Yi=1 + 2Xi+ ui

Với Xi=X2i+X3i


35

2. Loại trừ một biến giải thích ra khỏi mô hìnhB1: Xem cặp biến giải thích nào có quan hệ chặt chẽ. Giả sử X2, X3…Xk là các biến độc lập, Y là biến phụ thuộc và X2, X3 có tương quan chặt chẽ với nhau. B2: Tính R2 đối với các hàm hồi quy: có mặt cả 2 biến; không có mặt một trong 2 biếnB3: Loại biến mà giá trị R2 tính được khi không có mặt biến đó là lớn hơn.


36


3. Bổ sung thêm dữ liệu hoặc chọn mẫu mới

37

4. Dùng sai phân cấp 1

Ví dụ từ hàm hồi qui: yt = 1 + 1x1t + 2x2t + ut

ta suy ra yt-1 = 1 + 1x1,t-1 + 2x2,t-1 + ut-1

Trừ hai vế cho nhau, ta được: yt – yt – 1 = 1(x1,t – x1,t – 1) + 2(x2,t – x2,t – 1) + (ut – ut – 1) Hay:

yt = 1 x1,t + 2 x2,t + et,Mặc dù, x1 và x2 có quan hệ tuyến tính, nhưng không có nghĩa sai phân của chúng cũng như vậy.


38

5. Đổi biến

Ví dụ : yt = 1 + 1x1t + 2x2t + ut

Với Y: tiêu dùngX1: GDPX2: dân số

Vì GDP và dân số theo thời gian có xu hướng tăng nên có thể cộng tuyến. Biện pháp: chia các biến cho dân số


t

t

ttt

t

X

u

XXX

Y

22

2

1

2

1

2

39

Khảo sát chi tiêu tiêu dùng, thu nhập và sự giàu có, ta có bảng số liệu sau.Gọi Y: chi tiêu tiêu dùng (USD) X2: thu nhập (USD) X3: sự giàu có (USD)Yêu cầu:1.Ước lượng mô hình hồi quy Y= β1 + β2. X2 + β3.X3 +U 2.Mô hình có xảy ra đa cộng tuyến không? Vì sao? 3.Nếu xảy ra đa cộng tuyến, hãy tìm cách khắc phục.

Ví dụ 1

40

X2 X3 Y80 810 70

100 1009 65120 1273 90140 1425 95160 1633 110180 1876 115200 2052 120220 2201 140240 2435 155260 2686 150

Nguồn: Ramu Ramanathan

41

1. Ước lượng mô hình hồi quy Y= β1 + β2. X2 + β3.X3 +U

Nhận xét ban đầu: Theo lý thuyết kinh tế thì chi tiêu cho tiêu dùng (Y) có xu hướng tăng theo thu nhập (X2) và sự giàu có (X3) nên dấu của các hệ số hồi quy riêng là dương.

Kết quả hồi quy trên Eviews như sau:

hiỆn tƯỢng Đa cỘng tuyẾn (multicollinearity)

Documents