hỒi qui vÀ tƯƠng quan · 29/05/2017 1 bàigiảngtoáncao cấp1 nguyễnvăntiến hỒi qui...

29/05/2017

1

Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến

HỒI QUI VÀ TƯƠNG QUAN

CHƯƠNG 5c


PHÂN TÍCH TƯƠNG QUAN

• Correlation Analysis

• Dùng để đo độ mạnh của mối quan hệ tuyếntính giữa hai biến ngẫu nhiên


Hiệp phương sai (Covariance)

• Cho hai biến ngẫu nhiên X và Y. Hiệp phương saicủa X và Y, ký hiệu cov(X,Y), là kỳ vọng toán củatích các sai lệch của các bnn đó và kỳ vọng toáncủa chúng.

3

cov , X YX Y E X Y - -

cov , X YX Y E XY -


Hệ số tương quan

• Hệ số tương quan của hai biến ngẫu nhiên X, Yký hiệu và định nghĩa bởi công thức:

• Với hai biến ngẫu nhiên bất kỳ:

4

,

cov ,X Y

X Y

X Y

,1 1X Y-


Hệ số tương quan mẫu

• Với mẫu ngẫu nhiên cỡ n: (Xi, Yi) i=1,2,…,n. Hệsố tương quan mẫu ký hiệu là rX,Y được xác địnhnhư sau:

1

,2 2

1 1

1,

2 22 2

1 1

.

. .

.

n

i ii

X Y n n

i ii i

n

i ii

X Yn n

i ii i

x x y y

r

x x y y

x y n x y

r

x nx y ny

- -

- -

-

- -


Ví dụ

• Số liệu về thời gian quảng cáo trên truyền hìnhvà lượng sản phẩm tiêu thụ ở một công ty sảnxuất đồ chơi trẻ em như sau:

• Thời gian: phút/tuần

• Lượng tiêu thụ: 1000sp/tuần

• Hãy tính hệ số tương quan mẫu và cho kết luận

Thời gian 28 37 44 36 47 35 26 29 33 32 31 28

Lượng tiêu thụ 41 32 49 42 38 33 27 24 35 30 34 25

29/05/2017

2


Ví dụ

• Đáp số: r=0,63882

• Kết luận: mối liên hệ tương quan giữa thời gianquảng cáo và số sản phẩm tiêu thụ được làtương quan thuận, ở mức trung bình.


Đánh giá hiệp phương sai

• Cov(X,Y)>0: X và Y có xu hướng thay đổi cùngchiều

• Cov(X,Y)<0: X và Y có xu hướng thay đổi ngượcchiều

• Cov(X,Y)=0: X và Y độc lập (tuyến tính)


Đánh giá hệ số tương quan

• Miền giá trị:

• Nếu thì tương quan âm. rXY cànggần -1 thì mối liên hệ tuyến tính nghịch giữa X,Y càng mạnh

• Nếu thì tương quan dương. rXY cànggần -1 thì mối liên hệ tuyến tính thuận giữa X, Ycàng mạnh

• rXY càng gần 0 thì quan hệ tuyến tính càng yếu.

,1 1X Yr-

,1 0X Yr-

,0 1X Yr


Đánh giá hệ số tương quan


Kiểm định giả thuyết cho hệ số tương quan

• Ta cần kiểm định giả thuyết H0: không có mốiquan hệ tuyến tính giữa X và Y

• Ta có:

• Tiêu chuẩn kiểm định:

• T có phân phối Student (n-2) bậc tự do

0 : 0H

2

2~ 2

1

nT r t n

r

- -

-


Kiểm định hệ số tương quan

• Ta có các bài toán:

• Với mức ý nghĩa � cho trước.

0 0 0

1 1 1

: 0 : 0 : 0

: 0 : 0 : 0

H H Ha b c

H H H

29/05/2017

3


Các bước kiểm định

• Phát biểu giả thuyết H0 và đối thuyết H1

• Xác định mức ý nghĩa �

• Tính giá trị kiểm định

• So sánh với miền bác bỏ

• Kết luận bác bỏ/không bác bỏ H0

2

2

1qs

nT r

r

-

-


Miền bác bỏ

Đối thuyết Miền bác bỏ P_value

�1: � ≠ 0

�1: � > 0

�1: � < 0

1/2

nT ta-

1nT ta-

1nT ta- -

2 qsp P T T

qsp P T T

qsp P T T


Phân tích hồi quy

• Phân tích hồi quy là tìm quan hệ phụ thuộc của mộtbiến, được gọi là biến phụ thuộc vào một hoặc nhiềubiến khác, được gọi là biến độc lập nhằm mục đíchước lượng hoặc tiên đoán giá trị kỳ vọng của biến phụthuộc khi biết trước giá trị của biến độc lập.

• Một số tên gọi khác của biến phụ thuộc và biến độclập như sau:

• Biến phụ thuộc: biến được giải thích, biến được dựbáo, biến được hồi quy, biến phản ứng, biến nội sinh.

• Biến độc lập: biến giải thích, biến dự báo, biến hồiquy, biến tác nhân hay biến kiểm soát, biến ngoại sinh.


Ví dụ

• Công ty dầu ăn Tường An đang xem xét việc giảmgiá bán sản phẩm (bình 5 lít) để tăng lượng hàngbán ra đồng thời quảng bá sản phẩm của mình đếnkhách hàng. Người quản lý của công ty muốn tínhtoán xem nếu sản phẩm này được giảm giá 1000đ/l thì lượng hàng bán ra trung bình sẽ thay đổinhư thế nào.

• Nếu như giảm giá 1000 đ mà lượng hàng bán thêmđược nhiều hơn 50.000 sản phẩm thì công ty sẽtiến hành một chiến dịch khuyến mại trong mộttháng với mức giảm giá 10.000 đ/l


Ví dụ

• Để tiến hành nghiên cứu này, phòng marketing củacông ty đã dựa vào số liệu bán hàng trong 15 thángqua (n=15 quan sát) để thu thập số liệu về giá bán P vàlượng bán Q.

• Sau khi tiến hành thống kê mô tả, nghiên cứu viên đãquyết định dùng hàm cầu dạng tuyến tính để xem xétảnh hưởng của giá đến lượng bán.

• Dùng số liệu của mẫu ta được hàm hồi qui mẫu dạng:0 1i i i

Q P

6227 30, 43i i

Q P


Câu hỏi

• Khi giá giảm 1 đơn vị thì lượng bán hàng thayđổi như thế nào?

• Khi giá giảm 1000 đ/l thì lượng bán ra có lớnhơn được 50.000 sản phẩm như công ty mongmuốn không

• Giá bán quyết định bao nhiêu % trong thay đổilượng bán

• Nếu giá bán là 150.000 đồng/bình thì lượngbán dự báo là bao nhiêu

29/05/2017

4


Phân tích hồi quy

• Phân tích hồi quy được sử dụng để xác địnhmối liên hệ giữa:

– Một biến phụ thuộc Y (biến được giải thích)

– Một hay nhiều biến độc lập X1, X2, …,Xn (còn đượcgọi là biến giải thích)

• Biến phụ thuộc Y phải là biến liên tục

• Các biến độc lập X1, X2, …, Xn có thể là biến liêntục, rời rạc hay phân loại.


Hàm hồi quy tổng thể• Hàm hồi quy tổng thể

• Đối với một quan sát cụ thể ta có:

• Mô hình chỉ có một biến phụ thuộc Y và một biến giảithích X.

• �� và �� gọi là hệ số chặn (intercept) và hệ số góc(slope) của đường thẳng hồi quy.

1 2

1 2

|i

E Y X X X

Y X

1 2i i iY X


Đường hồi quy tổng thể

Hàm hồi quy tổng thể

Y= b1b2Xi

0

100

200

300

400

500

600

700

0 100 200 300 400 500 600 700 800 900

Thu nhập khả dụng, X (XD)

Tiê

u d

ùn

g, Y

(X

D)

Xi

E(Y/Xi)= b1 + b2Xi

Yi= b1 + b2Xi + i

i

Y = E(Y/Xi)

Yi

b1

b2


Hàm hồi quy mẫu SRF

• Ta ít khi có số liệu của cả tổng thể mà chỉ có sốliệu của mẫu (số liệu quan sát được)

• Ta dùng số liệu mẫu để ước lượng tổng thể

• Hàm hồi quy mẫu:

• Đối với quan sát thứ i:

1 2i i

Y X

1 2i i i

Y X e


Y

X

23

1b

2b

1b

PRF2b

SRF

Hệ số hồi quy trong hàm hồi quy PRF và SRF

PRF và SRF


PRF và SRF

Trong đó

• �� là ước lượng cho b1.

• �� là ước lượng cho b2.

• �� là ước lượng cho Y hay E(Y|Xi)

• Ta sử dụng phương pháp bình phương nhỏnhất thông thường (OLS) để tìm ��; ��

24

29/05/2017

5


Phương pháp OLS• Từ hàm hồi quy mẫu ta có:

• Tổng bình phương sai số (Sum of squares for Errors– SSE) hay tổng bình phương thặng dư cho n điểmdữ liệu :

• Nội dung của phương pháp bình phương bé nhất làtìm các ước lượng sao cho SSE đạt giá trị bé nhất.

1 2ii i i ie y y y x

2

21 2

1 1

n n

i i ii i

SSE e y x


Phương pháp OLS

• Ta lấy đạo hàm theo biến �� ; ��ta có:

1 2

11

1 2

12

2 0

2 0

n

i ii

n

i i ii

SSEy x

SSEy x x


Phương pháp OLS

• Ta được hệ phương trình sau:

1 2 1 2

1 1 1

21 2 1 2

1 1 1 1

2

1

1 2 1 2

2 21 2 1 2

0 0

0 0

. .

0

. 0

n n n

i i i ii i in n n n

i i i i i i ii i i i

y x y n x

y x x x y x x

x y x xy

ny n n x x y

n xy n x n x x x xy

22

2 22

.

x x

xy x y

x x


Phương pháp OLS

• Để thuận tiện ta ký hiệu như sau:

• Ta có:

2

12

1 1

1 1

1 1

n

in ni

xx i ii i

n n

i in ni i

xy i i i ii i

x

S x x xn

x y

S x x y y x yn

2 1 2

xy

xx

Sy x

S


Ví dụ

• Quan sát sự biến động của nhu cầu gạo Y(tấn/tháng) vào đơn giá X (ngàn đồng/kg) tađược các số liệu cho ở bảng. Hãy lập mô hìnhhôi quy mẫu biễu diễn mối phụ thuộc về nhucầu vào đơn giá gạo

Xi 1 4 2 5 5 7

Yi 10 6 9 5 4 2


Ví dụ

• Ta lập bảng sau:

• Ta có:

Stt Xi Yi XiYi X 2

1 1 10 10 1

2 4 6 24 16

3 2 9 18 4

4 5 5 25 25

5 5 4 20 25

6 7 2 14 49

sum 24 36 111 120

24 364 6

6 6X Y

29/05/2017

6


Ví dụ• Ta có:

12 2

2 2

1

. .111 6.4.6ˆ 1,375120 6.(4)

.( )

n

i iin

ii

Y X n X Y

X n X

b

--

--

-

1 2ˆ ˆ 6 ( 1,375).4 11,5Y Xb b - - -

ii XY .375,15,11ˆ -


Ví dụ

• Nhận xét:

• X và Y có quan hệ nghịch biến

• �� = 11,5 nên nhu cầu tối đa là 11,5 tấn/tháng

• �� = −1,375 nên khi giá tăng 1000 đồng/kg thì

nhu cầu trung bình sẽ giảm 1,375 tấn/tháng với

các yếu tố khác trên thị trường không đổi.

ii XY .375,15,11ˆ -

Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến 33

Giải hồi quy bằng máy tính

1. Bật tần số: Shift+Mode+↓ +4+1 (Freq On2. Chọn Mode Regression: Mode+3+2(chọn

A+Bx)3. Nhập dữ liệu theo cột4. Kiểm tra và nhấn AC thoát5. Xem kết quả: Shift +1+ 3,4,5 (tùy theo Sum,

Var hay Reg)


Bài tập 1

Thu thập số liệu về điểm học tập của học sinh vàmức thu nhập hàng năm của bố mẹ ta có bảng sốliệu sau:

Hãy tìm hàm hồi quy mẫu và tính các đặc trưngcủa nóXi: thu nhập (triệu/năm)Yi: điểm trung bình

Xi 45 60 30 90 75 45 105 60

Yi 8,75 7,5 6,25 8,75 7,5 5,0 9,5 6,5


Ước lượng OLS

• Các ước lượng �� ; �� tìm được gọi là các ướclượng bình phương tối thiểu

• Đường thẳng �� = �� + �� gọi là các ướclượng bình phương tối thiểu.

• Gọi giá trị quan sát trung bình của y và trungbình của x là:

• Ứng với xi ta gọi yi là giá trị quan sát thực tế và

• �� là giá trị ước lượng theo đường hồi quy mẫu

,y x


Ước lượng OLS

• Từ hàm hồi quy mẫu:

• Đặt:

Ta có:

ei là sự khác biệt giữa giá trị thực tế yi

và giá trị dự đoán �� theo phương trình hồi quytuyến tính SRF

1 2ii i i ie y y y x

1 2i i i

Y X e

1 2

ii

Y X

29/05/2017

7


Ước lượng OLS

• Một số tính chất:

• A) Tổng bình phương sai số đạt giá trị nhỏ nhất

• B) Tổng các giá trị thặng dư triệt tiêu.

• SE: Sum of Errors

2

1

n

iii

SSE y y

1 1

0n n

ii ii i

SE y y e


Tính chất đường hồi quy mẫu SRF

• Ứng với một mẫu cho trước thì các hệ số

�� ; �� được xác định duy nhất

• Đường hồi quy mẫu SRF đi qua điểm có tọa độgiá trị trung bình

• Giá trị trung bình của các ước lượng �� bằng giátrị trung bình các quan sát ��

;x y

1 1

1 1n n

i ii i

Y Yn n


Tính chất đường hồi quy mẫu SRF

• Giá trị trung bình của các phần dư ei bằng 0

• Các phần dư ei và �� không tương quan

• Các phần dư ei và Xi không tương quan

1

0n

ii

e

1

. 0n

i ii

e X

1

. 0n

i ii

e Y


Các tổng bình phương độ lệch• Ta có:

• Mà

• Nên ta có:

222

1 1 1 1

2

ii i i

n n n n

i ii i i i ii i i i

y y y y y y

y y y y y y y y y y

1

0n

i i ii

y y y y

222

1 1 1

n n n

ii i ii i i

y y y y y y


Đo sự biến thiên của dữ liệu a• Tổng bình phương toàn phần (Total Sum of Squares)

• Tổng bình phương hồi quy (Regression Sum ofSquares)

• Tổng bình phương sai số (Error Sum of Squares)

2

1

n

iii

ESS y y

2

1

n

iii

TSS y y

2

1

n

i i

i

RSS y y


Đo sự biến thiên của dữ liệu b• Tổng bình phương toàn phần (Total Sum of Squares)

• Explained Sum of Squares - Bình phương sai số đượcgiải thích

• Tổng bình phương sai số (Residual Sum of Squares)

2

1

n

iii

SSE y y

2

1

n

iii

SST y y

2

1

n

i i

i

SSR y y

29/05/2017

8


Ý nghĩa các độ đo

• SST: đo sự biến thiên của các giá trị �� xungquanh giá trị trung tâm của dữ liệu ��

• SSR: giải thích sự biến thiên liên quan đến mốiquan hệ tuyến tính của X và Y

• SSE: giải thích sự biến thiên của các nhân tốkhác (không liên quan đến mối quan hệ tuyếntính của X và Y)


Tính các độ đo

• Ta có:

2 2

1 1

n n

iiii i

SSE y y e

2 22

22

1

n

ii i ii

SST y y x x e

2 22

2

1

n

i i ii

SSR y y x x


Tính các độ đo

• Ta có:

2 2

2 21 1;1 1

n n

i ii i

Y X

y y x x

S Sn n

2

22 22

2 22 2

iX

Yi

x x SSSRR

SST Sy y


SSETổng chênh lệch

46

SSR

SRFY

X

Yi

Xi

iY

Ý nghĩa hình học của SST, SSR và SSE

Các tổng bình phương độ lệch

2

1

n

iii

SSE y y

2

1

n

iii

SST y y

2

1

n

i i

i

SSR y y


Hệ số xác định• Coefficient of determination

• Là tỷ lệ của tổng sự biến thiên trong biến phụthuộc gây ra bởi sự biến thiên của các biến độclập (biến giải thích) so với tổng sự biến thiêntoàn phần.

• Tên gọi: R_bình phương (R squared)

• Ký hiệu:

• Dễ thấy:

2 SSRR

SST

20 1R


Hệ số xác định

• Hệ số xác định của một mô hình hồi quy chophép ta đánh giá mô hình tìm được có giải thíchtốt cho mối liên hệ giữa biến phụ thuộc Y vàbiến độc lập X hay không

29/05/2017

9


Tính chất của hệ số xác định R2

49

• 0≤ R2≤1

• Cho biết % sự biến động của Y được giải thích bởicác biến số X trong mô hình.

• R2 =1: đường hồi quy phù hợp hoàn hảo

• R2 =0: X và Y không có quan hệ

• Nhược điểm: R2 tăng khi số biến X đưa vào mô hìnhtăng, dù biến đưa vào không có ý nghĩa.

• => Sử dụng R2 điều chỉnh (adjusted R2 -R2) để quyếtđịnh đưa thêm biến vào mô hình.


Hệ số xác định điều chỉnhR2

kn

n)R(R-

---

111 22

• Khi k > 1, R2 < R2.

• Do vậy, khi số biến X tăng,R2 sẽ tăng ít hơn R2.

• Khi đưa thêm biến vào mô hình mà làm choR2

tăng thì nên đưa biến vào và ngược lại.

50








Các giả thiết của phương pháp OLS

• Giả thiết 1: Các giá trị Xi được xác định trước và khôngphải là đại lượng ngẫu nhiên.

• VD: Mẫu 1 Mẫu 2

54

Chi tiêu Y Thu nhập X70 8065 10090 12095 140

110 160115 180120 200140 220155 240150 260

Chi tiêu Y Thu nhập X55 8088 10090 12080 140

118 160120 180145 200135 220145 240175 260

29/05/2017

10


• Giả thiết 2: Kỳ vọng hoặc trung bình số học củacác sai số là bằng 0 (zero conditional mean),nghĩa là E �� = 0

• Giả thiết 3: Các sai số �� có phương sai bằng nhau(homoscedasticity).

V �� = σ2

55



Phươngsai sai số

đồngnhất

56



Phương sai sai số không đồng nhất: var(Ui|Xi) = i

2

57



• Giả thiết 4: Các sai số �� không có sự tươngquan, nghĩa là

Cov(��, ��) = E(��) = 0, nếu i j

58



• Giả thiết 5: Các sai số �� độc lập với biến giảithích. Cov(��, Xi) = 0

• Giả thiết 6: Đại lượng sai số ngẫu nhiên có phânphối chuẩn �� ~ N(0, σ2 )

59



Sai số chuẩn của các ước lượng OLS

• Các nhiễu (sai số) �� của tổng thể có phươngsai:

• Trong thực tế ta không biết được giá trị này nênta ước lượng bằng ước lượng không chệch củamẫu:

2iV

2

2ˆ2 2

ie SSE

n n

- -

29/05/2017

11


Sai số chuẩn của hồi quy: là độ lệch tiêu chuẩn các giá trị Y quanh đường hồi quy mẫu

61

2ˆ

2

-n

ei



�� ; ��là ước lượng điểm của ��; ��tìm đượcbằng phương pháp OLS có tính chất:

• �� ; �� được xác định một cách duy nhất với ncặp giá trị quan sát (Xi , Yi)

• �� ; �� là các đại lượng ngẫu nhiên, với các mẫukhác nhau, giá trị của chúng sẽ khác nhau

• Ta đo lường độ chính xác các ước lượng bằng saisố chuẩn (standard error – se).

62

Tính chất của các ước lượng OLS


Tính chất của các ước lượng OLS

• Ta có:

• A) �� ; �� có phân phối chuẩn.

• B) Kỳ vọng và phương sai của �� ; �� lần lượt là:

2

21 11

2

2 22

1

xx

xx

xE V

n S

E VS



64

2

1

1ˆ( ) .2 xx

SSE xSE

n n Sb

-

1b

2

/ 2ˆ( )xx

SSE nSE

Sb

-2b

2

21

1

xx

xV

n Sb

2

2

xx

VS

b

V: phương sai SE: UL sai số chuẩn


Định lý Gauss-Markov

• Định lý: Với những giả thiết (từ 1 đến 5) của môhình hồi quy tuyến tính cổ điển, mô hình hồi quytuyến tính theo phương pháp bình phương tốithiểu là ước lượng tuyến tính không chệch tốtnhất, tức là, chúng là BLUE.

65 Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến

Định lý Gauss-Markov

• Một ước lượng được gọi là “ước lượng không chệchtuyến tính tốt nhất” (BLUE) nếu thỏa các điều kiện:

– Nó là tuyến tính, có nghĩa là một hàm tuyến tínhcủa một biến ngẫu nhiên,

– Nó không chệch,

– Nó có phương sai nhỏ nhất, hay còn gọi là ướclượng hiệu quả (efficient estimator).

66

jjE bb )ˆ(

i

n

iij Yk

1

b

min)ˆvar( jb

29/05/2017

12


Phân phối của các ước lượng OLS

• Ta có:

22 2

2 2 2 2

2

22

2

~ ; 0;1

~ 2

/ 22

xx

xx

N Z NS Z

t nSSSE

nSSEn

2

2 2 ~ 2/ 2

xx

t t nSSE n

S


Phân phối của các ước lượng OLS

• Tương tự ta có:

1

1 1

2~ 2

1.

2 xx

t t n

xSSE

n Sn


Khoảng tin cậy của hệ số hồi quy b1 , b2

Bài toán: Tìm khoảng (��−��; �� + ��) sao cho

xác suất của khoảng (��−��; �� + ��) chứa giá

trị thực của bi là 1 - a hay:

Với:

69

/2 2 . ii t n SEa b -

1i i i i iP b b b a- -


Khoảng tin cậy của hệ số hồi quy b1

Khoảng tin cậy của hệ số b1

Trong đó:

70

1 11 1;

2

1 /2

12 . .

2 xx

xSSEt n

n Sn


Khoảng tin cậy của hệ số hồi quy b2

Khoảng tin cậy của hệ số b2

Trong đó:

71

2 22 2;

2 /2

12 . .

2 xx

SSEt n

Sn


• (��−��; �� + ��): là khoảng tin cậy

• i : độ chính xác của ước lượng

• 1 - a: hệ số tin cậy,

• a với (0 < a < 1): là mức ý nghĩa.

• ta/2(n-2): giá trị tới hạn (tìm bằng cách tra bảng sốt-student)

• n: số quan sát

• Ví dụ: nếu a = 0,05 = 5%, ta đọc “xác suất để khoảngtin cậy chứa giá trị thực của b1 ,b2 là 95%.

72

Khoảng tin cậy của hệ số hồi quy b1 , b2

29/05/2017

13


Khoảng tin cậy của hệ số hồi quy σ2

• Phân phối xác suất của SSE:

2

2~ 2

SSEn

-

2 21 /2 /22

2

2 2/2 1 /2

2 2 1

12 2

SSEP n n

SSE SSEP

n n

a a

a a

a

a

-

-

- - -

- - -


Khoảng tin cậy của hệ số hồi quy σ2

• Khoảng tin cậy của phương sai sai số tổng thể:

2 2/2 1 /2

;2 2

SSE SSE

n na a -

- -


Ví dụ

Thu thập số liệu về điểm học tập của học sinh vàmức thu nhập hàng năm của bố mẹ ta có bảng sốliệu sau:

Hãy tìm hàm hồi quy mẫu và tính các đặc trưngcủa nóXi: thu nhập (triệu/năm)Yi: điểm trung bình

Xi 45 60 30 90 75 45 105 60

Yi 8,75 7,5 6,25 8,75 7,5 5,0 9,5 6,5


Ví dụ

• Tìm khoảng ước lượng cho các hệ số hồi quyvới độ tin cậy 95%

• Với mức ý nghĩa 5% có thể kết luận thu nhậpcủa bố mẹ có ảnh hưởng đến kết quả học tậpcủa con cái không

• Tính SSE, SST


KIỂM ĐỊNH GIẢ THUYẾT

• Do ei theo phân phối chuẩn, các ước lượngOLS của b1 và b2 cũng theo phân phối chuẩn vìchúng là các hàm số tuyến tính của ei.

• Chúng ta có thể áp dụng các kiểm định t, F, và2 để kiểm định các giả thuyết về các ướclượng OLS.

77 Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến

1. Kiểm định giả thuyết về hệ số hồi quy

78

*1

*0

:

:

ii

i

H

Hi

bb

bb

*1

*0

:

:

ii

ii

H

H

bb

bb

*1

*0

:

:

ii

i

H

Hi

bb

bb

Hai phía:

Phía phải:

Phía trái:

KIỂM ĐỊNH GIẢ THUYẾT

29/05/2017

14


Cách 1: Phương pháp giá trị tới hạnBước 1: Tính t

Bước 2: Tra bảng t-student để cóBước 3: Quy tắc quyết định

Nếu bác bỏ H0.

Nếu chấp nhận H0.

/2 2t t na -

/2 2t t na -

* *0 1: ; :

i ii iH Hb b b b

Kiểm định giả thuyết về hệ số hồi quy

/2 2t na -

)ˆ(

ˆ *

i

ii

SEt

b

bb -


-4 -3 -2 -1 0 1 2 3 4

t

f(t)

a/2a/2

-ta/2

ta/2

1-a

Miền bác bỏ HoMiền bác bỏ Ho

Miền chấp nhận Ho



Cách 2: Phương pháp khoảng tin cậyKhoảng tin cậy của bi:

với mức ý nghĩa a trùng với mức ý nghĩacủa H0

Quy tắc quyết định

- Nếu chấp nhận H0

- Nếu bác bỏ H0

)ˆ;ˆ( iiiii bbb - /2ˆ2 . ( )i it n SEa b -

)ˆ;ˆ(*iiiii bbb -

)ˆ;ˆ(*iiiii bbb -



Cách 3: Phương pháp p-valueBước 1: Tính

Bước 2: Tính

Bước 3: Quy tắc quyết định- Nếu p ≤ a: Bác bỏ H0

- Nếu p > a: Chấp nhận H0

)ˆ(

ˆ *

i

iii

SEt

b

bb -

ptTP i )(



Thực tế H0 đúng H0 saiQuyết địnhKhông bác

bỏQuyết định đúng,

xác suất 1-αQuyết định sai, xác

suất β (Sai lầm loại 2)

Bác bỏQuyết định sai,

xác suất αQuyết định đúng, xác

suất 1-β(Sai lầm loại 1)



Loại GT H0 H1 Miền bác bỏ

Hai phía βi = βi* βi ≠ βi* |t|>ta/2 (n-2)

Phía phải βi ≤ βi* βi > βi* t > ta (n-2)

Phía trái βi ≥ βi* βi < βi* t < -ta (n-2)


29/05/2017

15

Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến85

0 t

f(t)

a

ta

1-a

H0 : βi ≤ βi*H1 : βi > βi*

Miền bác bỏ Ho

Kiểm định phía phải


0

t

f(t)

a

-ta

1-a

H0 : βi ≥ βi*H1 : βi < βi*

Kiểm định phía trái

Miền bác bỏ Ho


Kiểm định giả thiết H0: R2 = 0

(tương đương H0: β2= 0) với mức ý nghĩa a hay độ tin cậy 1 - a

Bước 1:Tính

a. Phương pháp giá trị tới hạnBước 2: Tra bảng F với mức ý nghĩa a và hai bậc

tự do (1, n-2)Bước 3: Quy tắc quyết định- Nếu F > Fa(1,n-2): Bác bỏ H0

- Nếu F ≤ Fa(1,n-2): Chấp nhận H0

2

2

1

)2(

R

nRF

-

-

Kiểm định sự phù hợp của mô hình


b. Phương pháp p-valueBước 2: Tính p-value= p (Fa(1,n-2)>F)Bước 3: Quy tắc quyết định- Nếu p ≤ a : Bác bỏ H0

- Nếu p > a: Chấp nhận H0

88


Bài giảng Toán Cao cấp 1 Nguyễn Văn Tiến89

Miền bác bỏ Ho

Miền chấp nhận Ho

F

a=0,05

Fa(1,n-2)

Thống kê F



• Ta cần dự đoán giá trị của biến phụ thuộc Y ứng vớimột giá trị cho trước của biến độc lập X, chẳng hạn làX0.

• Có hai câu hỏi:• Giá trị thực của Y0 là bao nhiêu• Giá trị trung bình của Y0 là bao nhiêu

DỰ BÁO

29/05/2017

16


• Dựa vào mối quan hệ tuyến tính giữa Y và X thì:

• Trong đó: Y0 là giá trị thực của Y; X0 là giá trị của X và�0 là sai số ngẫu nhiên.

• Các hệ số �1; �2 được ước lượng từ mẫu. �0 đượcước lượng bằng 0

• Như vậy ước lượng điểm của Y0 là:

DỰ BÁO

0 1 2 0 0Y Xb b

0210ˆˆˆ XY bb


Ước lượng khoảng cho giá trị thực của Y0 với độtin cậy 1 − � là:

0 0 1 0 1ˆ ˆ;Y Y Y -

DỰ BÁO

2

0

0 0

1ˆ( ) 1xx

x xSE Y Y

n S

--

1 / 2 0 0ˆ2 . ( )t n SE Y Ya - -


Ước lượng khoảng cho giá trị trung bình của Y0 là

0 0 2 0 2ˆ ˆ( / ) ( ; )E Y X Y Y -

2 /2 0ˆ2 . ( )t n SE Ya -

2

0

0

1ˆ( )xx

x xSE Y

n S

-

Với:

DỰ BÁO


a) Tìm đường thẳng hồi quyb) Tìm ước lượng ��2

c) Tìm khoảng tin cậy 95% của các hệ số �1; �2

d) Tìm khoảng dự đoán 95% tại x=5.

Ví dụ 1


Theo số liệu quan sát sự biến động của nhu cầugạo Y (tấn/tháng) vào đơn giá X (ngàn đồng/kg)

VÍ DỤ 2

STT Xi Yi

1 1 10

2 4 6

3 2 9

4 5 5

5 5 4

6 7 2


a.Hãy lập mô hình hồi quy mẫu biễu diễn mối phụthuộc về nhu cầu vào đơn giá gạob.Tìm khoảng tin cậy của b1, b2 với a=0,05c. Hãy xét xem nhu cầu của loại hàng trên có phụ

thuộc vào đơn giá của nó không với a=0,05.d. Có thể nói rằng nếu giá gạo tăng 1.000đ/kg thì

nhu cầu gạo trung bình giảm 2 tấn/tháng không? Cho với a=0,05

96

VÍ DỤ 2

29/05/2017

17


e. Hãy kiểm định sự phù hợp của mô hình. Cho a=0,05.

f. Hãy dự báo nhu cầu trung bình và nhu cầu thựccủa loại hàng trên khi đơn giá ở mức 6.000 đồng/kg với độ tin cậy 95%.

g. Hãy viết lại hàm hồi quy nếu nhu cầu gạo đượctính theo đơn vị là tạ và giá có đơn vị là đồng.

h. Tính SST, SSE, SSR, R2

97

VÍ DỤ 2


a. Mô hình hồi quy mẫu biễu diễn mối phụ thuộc về nhu cầu vào đơn giá gạo

Stt Xi Yi XiYi Xi^2 Yi^2

1 1 10 10 1 100

2 4 6 24 16 36

3 2 9 18 4 81

4 5 5 25 25 25

5 5 4 20 25 16

6 7 2 14 49 4

sum 24 36 111 120 262

VÍ DỤ 2

98


Ví dụ 2

• Ta có: 24 364; 6

6 6

i iX YX Y

n n

2

2111 12020

6 6

i iXY XXY X

n n

2

2 220 4 4X X- -

2 2

2 2120 6.4 24xx i iS X X X n X - - -

2 2

2 2262 6.6 46yy i iS Y Y Y n Y - - -


Ví dụ 2

• Giả sử mô hình hồi quy mẫu dạng:

• Ta có:

• Chú ý sinh viên có thể tính bằng CT sau:

ii XY 21ˆˆˆ bb

2 2

2

. 111 / 6 4 .6ˆ 1, 3754

XY X Y

X Xb

- - -

-

2 22

. 111 6 .4 .6ˆ 1, 375120 6 .4

XY n X Y

X n Xb

- - -

--


Ví dụ 2

• Hệ số �1� ta tính như sau:

• Hoặc đơn giản hơn:

2

1 22

. .x y x xy

x x

5.114).375,1(6ˆˆ21 --- XY bb


Như vậy, mô hình hồi quy mẫu

=> X và Y có quan hệ nghịch biến

* = 11,5: nhu cầu tối đa là 11,5 tấn/tháng

* = -1,375: khi giá tăng 1000 đồng/kg thì nhu cầu

trung bình sẽ giảm 1,375 tấn/tháng với điều kiện

các yếu tố khác trên thị trường không đổi.

ii XY .375,15,11ˆ -

1b

2b

VÍ DỤ 2

29/05/2017

18


Ví dụ 2b

• Tìm khoảng tin cậy của b1, b2 với a=0,05

• Ta có:

2

1 1 1 1 1 1 /2

1ˆ ˆ ; 2 . .2 xx

xSSEt n

n n Sab b b

- - -

2 2 2 2 2 2 /2

1ˆ ˆ ; 2 . .2 xx

SSEt n

n Sab b b - -

-


Chú ý 1• Để thuận tiện sinh viên có thể sử dụng công thức sau:

2 22

2 22

2

2

2

;

.

.

xx i i

yy i i

xy i i

xy

yy

xx

xx

S X X X n X

S Y Y Y n Y

S X X Y Y XY nXY

SSST S

S

SSR S SSE SST SSR

b

b

- -

- -

- - -

-


Chú ý 2• Để thuận tiện sinh viên có thể sử dụng công thức sau:

2 22

2

2

1 1 /2 1

2 2 /2 2

.2 2

. 2 .

1. 2 .

xx

yy

i

xx

xx

SSSR SSE SST SSRR

SST S n n

XSE t n SE

nS

SE t n SES

a

a

b

b b

b b

-

- -

-

-


Ví dụ 2b• Ta có:

2

22 2 2

2 2

2

0,025

46

1,375 .24 45,375

0,625

0,625ˆ 0,395285

2 4

45,3750,986413

46

4 2,776

i yy

i xx

SST Y Y S

SSR X X S

SSE SST SSR

SSE

n

SSRR

SST

t

b b

-

- -

-

-


Chú ý 2• Vậy:

2

1

1 /2 1

2

2 /2 2

0,625 120. 0,360844

4 6.24

2 . 2,776*0,360844 1,001703

1 0,625 1. 0,080687

4 24

2 . 2,776*0,080687 0,223988

i

xx

xx

XSE

nS

t n SE

SES

t n SE

a

a

b

b

b

b

-

-


Ví dụ 2b – cách cũ

• Do đó:

• Vậy:

2

1

0,625 1 42,776. . 1,001702717

4 6 24

2

0,625 12,776. . 0,2239875369

4 24

1

2

11,5 1,0017 11,5 1,0017

1,375 0,22399 1,375 0,22399

b

b

-

- - -

29/05/2017

19


Ví dụ 2c

• Hãy xét xem nhu cầu của loại hàng trên có phụthuộc vào đơn giá của nó không với a=0,05.

• Bài toán kiểm định:


2

2

0 : 0

1: 0

H

H

b

b

*

2 2

2

ˆ~ 2

ˆ( )t t nSE

b b

b

- -


Ví dụ 2c

• Giá trị quan sát::

• Miền bác bỏ:

• Do nên bác bỏ H0, chấp nhận H1.

• Nhu cầu trung bình có phụ thuộc vào đơn giá

0,025: 4 2,776W t t ta

qst Wa

1,375 017,0379

0,0806qst- - -


Ví dụ 2c, e

• Sử dụng kiểm định F để kiểm định hệ số R2

• Bài toán kiểm định:


2

2

0 : 0

1: 0

H R

H R

2

2

( 2)~ 1; 2

(1 )

n RF F n

R

- -

-


Ví dụ 2c

• Giá trị quan sát::

• Miền bác bỏ:

• Do nên bác bỏ H0, chấp nhận H1.

• Nhu cầu trung bình có phụ thuộc vào đơn giá

0,05: 1;4 7,71W F F Fa

qsF Wa

(6 2)0,986413290,3991

(1 0,986413)qsF

-

-


Ví dụ 2d,f,g

• d. Có thể nói rằng nếu giá gạo tăng 1.000đ/kgthì nhu cầu gạo trung bình giảm 2 tấn/thángkhông? Cho với a=0,05

• f. Hãy dự báo nhu cầu trung bình và nhu cầuthực của loại hàng trên khi đơn giá ở mức 6.000đồng/kg với độ tin cậy 95%.

• g. Hãy viết lại hàm hồi quy nếu nhu cầu gạođược tính theo đơn vị là tạ và giá có đơn vị làđồng.


Ví dụ 2f• Ước lượng điểm của nhu cầu khi giá gạo là

X0=6000

• Dự báo giá trị trung bình của Y0:

• Với:

0ˆ 11,5 1,375.6 3, 25Y -

0 /2 0ˆ ˆ( / 6) 2 . ( )E Y X Y t n SE Ya -

2

20

0

4 61 0,625 1ˆ( ) . 0, 2282184 6 24xx

x xSE Y

n S

- -

29/05/2017

20


Ví dụ 2f

• Vậy ta có:

• Do đó:

0 3, 25 0,6335; 3, 25 0,6335E Y X -

0 2,6165; 3,8835E Y X

/2 0ˆ2 . ( ) 2,776 * 0, 228218 0,633532t n SE Ya -


Ví dụ 2f• Dự báo giá trị thực của Y0:

• Với:

0 0 /2 0 0ˆ ˆ2 . ( )Y Y t n SE Y Ya - -

2

0

0 0

2

0 0

1ˆ(Y ) 1

4 60,625 1ˆ(Y ) . 1 0, 4564354 6 24

xx

x xSE Y

n S

SE Y

-

-

--


Ví dụ 2f

• Vậy ta có:

• Do đó:

• Vậy, khi đơn giá là 6.000 đồng/kg ở một thángnào đó thì nhu cầu sẽ dao động từ 2-4,5 tấn.

0 3, 25 1, 2671; 3, 25 1, 2671Y -

0 1,9829; 4,5171Y

/2 0 0ˆ2 . (Y ) 2,776 * 0, 456435 1, 267065t n SE Ya - -


Ví dụ 3

• Cho số liệu chi tiêutiêu dùng Y(USD/tuần) và thunhập hàng tuần X(USD/tuần) của 10 hộgia đình. Giả sử X và Ycó quan hệ tuyến tínhtrong đó Y là biến phụthuộc

Yi Xi70 8065 10090 12095 140

110 160115 180120 200140 220155 240150 260


Ví dụ 31. Viết hàm hồi quy Y theo X. Ý nghĩa các hệ số hồi

quy2. Tính khoảng tin cậy của �2. Ý nghĩa của khoảng tin

cậy này là gì? Cho độ tin cậy 95%.3. Nếu thu nhập của hộ gia đình tăng 1 USD/tuần thì

chi tiêu trung bình của hộ gia đình có tăng 0.7USD/tuần không? Cho mức ý nghĩa 5%.

4. Mô hình có phù hợp không? Cho mức ý nghĩa 1%.5. Dự báo chi tiêu và chi tiêu trung bình của hộ gia

đình khi thu nhập là 300 USD/tuần. Cho mức ýnghĩa 5% và X trung bình là 170 USD/tuần.

0 ,025 0 ,018 2,306 (1,8) 11, 26t F


Chạy số liệu trên Eviews, ta có kết quả sau

VÍ DỤ 2

29/05/2017

21


Ví dụ 3

• Tính toán các giá trị có thể và kiểm tra với kếtquả chạy phần mềm ở trên.

)000,0)(005,0(

)243,14)(813,3(

)0357,0)(4138,6(

5091,04545,24ˆ

p

t

se

XY ii

)ˆ(

ˆ

j

j

jse

tb

b

)0000,0(

87,202)8,1(

8

9621,02

p

F

df

R

hỒi qui vÀ tƯƠng quan · 29/05/2017 1 bàigiảngtoáncao cấp1 nguyễnvăntiến hỒi qui...

Documents