االرتباط الخطي المتعددMulticollinearity

مقدمــة) ١(

ال ، ال االعم ي مج ات ف ن الدراس د م ي العدی تقلة ف رات المس ل المتغی تمیا ا بینھ ة فیم ون مرتبط ي ان تك ة ، ال ة والبیولوجی وم االجتماعی اد ، والعل االقتص

ي النموذج موجودهومرتبطة مع متغیرات اخرى ذات صلة بالمتغیر التابع وغیر . فدخل : علي سبیل المثال ، في إنحدار نفقات الطعام لالسره علي المتغیرات المستقلھ

تقلھ رات المس تكون المتغی ره ، س ر رب األس ره ، وعم وفیرات االس ره ، ت االسا ا بینھ ھ فیم ا . مرتبط ھ ایض تقلھ مرتبط رات المس تكون المتغی ك س ن ذل ر م وأكثات اقتص –بمتغیرات اجتماعیة ي نفق ا عل ادیة غیر موجوده في النموذج ولھا تاثیرھ

ا . طعام االسره ، مثل حجم االسره رات المستقلھ مرتبطة فیم دما تكون المتغی وعن .بینھا یقال انھ یوجد ارتباط خطي متعدد فیما بینھا

سوف نكتب نموذج االنحدار المتعدد علي الصورة التالیة XY

nمصفوفة من الدرجة Xمن االستجابات و n x 1من الدرجة متجھ Yحیث x k رات المستقلھ و ة و من المتغی ر معلوم ت الغی متجھ من متجھ من الثواب

ة ث nX1الدرج تقلھ حی وائیة المس اء العش ن األخط ~N)0,(م 2j . وف س

ك X'Xنفترض ان المتغیرات المستقلھ واالستجابة في صورة قیم معیاریة وعلي ذلمن متجھ X'Yمن االرتباطات بین المتغیرات المستقلھ و kxkمصفوفة من الدرجة

لیكن العمود رقم . من االرتباطات بین المتغیرات المستقلھ واالستجابة kx1الدرجة i ن المص الرمز Xفوفة م ھ ب ز ل ذى نرم ك Xiوال ي ذل وعل

k21 X,...,X,XX . ك ي ذل ي Xiوعل وى عل ر nیحت تویات المتغی ن مس مة عدم االستقالسوف نعرف االرتباط الخطي . iالمستقل رقم ام بدالل دد الت لالمتع

ي دة الخط ین اعم ات . Xب k21المتجھ X,...,X,X ر ة غی ة خطی ل عالق تمثk21مستقلھ إذا وجدت فئھ من الثوابت t,...,t,t التساوي جمیعا الصفر حیث:

)١ (0Xt iik

1i

ة ن المعادل تقل ) ١(وم ر مس تقاق اي متغی ن اش p,...,2,1iیمك ھ ة خطی كتركیب :لبقیة المتغیرات المستقلھ علي النحو التالي

0 t,tXt....

tXt

tXtX 1

p

kk

1

33

1

221

٢

٢

0 t,tXt

....tXt

tXt

X 22

pp

2

33

2

112

.وھكذا لبقیة المتغیرات المستقلة X'X، فإن رتبھ المصفوفة Xبالضبط لفئھ جزئیھ من أعمدة ) ١(عندما تتحقق

مصفوفة شاذه أى أن محددھا یساوى (X'X)وتكون المصفوفة kتكون أقل من .الصفر

ان ة أي ك ة خطی تقلھ أى عالق رات المس ین المتغی ن ب م یك س إذا ل ي العك وعلدة رات بالمتعام ذه المتغی میت ھ فر ، س اویا للص ا مس اط بینھ ل االرتب معام

orthogonal أي المتغیرات التى یكون تغایرھا مساویا للصفر ولذا فال یكون ھناكة داعیا یمكن قیاسھا iعندئذ لتطبیق اسلوب االنحدار المتعدد ، حیث أن كل معلم

.علي أحد المتغیرات المستقلة Yمن خالل إنحدار بسیط للمتغیر ففي اغلب الحاالت نجد أن . صادف ایا من الحالتین السابقتیننوفي الواقع اننا ال

.ن االرتباطبین المتغیرات المستقلھ درجة م

مصادر االرتباط المتعدد) ٢(

زمن .١ ا مع مرور ال رات للتحرك مع ال –میل بعض المتغی ي سبیل المث فعلره ومرتب ھ وعم نوات خبرت ف وس ل الموظ ر ھھ الوظیفیتدخ ا تتغی ا م غالب

.سویا ویكون بینھا ارتباط خطي قويیم .٢ ي أن الق ن الطبیع أخیر وم رات ت تقلھ بفت رات المس ض المتغی تخدام بع اس

دد ھ بتح رة الحالی ي الفت دخل ف ة فال ا عالق ین یكون بینھ ر مع ة لمتغی المتعاقبذاالجزئیا عن طریق قیمتھ في الفترة إن مشكلة ا. سابقة وھك ذا ف اط ألول رتب

.یرالخطي غالبا ماتكون موجودة مؤكدا في نماذج فترات التأخذه .٣ وذج وھ ي النم رات الموجودة ف دد المتغی ة بع اھدات مقارن دد المش ة ع قل

ت خاص تح دد االش ث ع انیة حی ة واالنس اث الطبی ي االبح دث ف ة تح الحالتقلة رات المس ن المتغی ر م دد كبی ي ع ع عل ات تجم ل والمعلوم ة قلی الدراس

ة ت الدراس دم .تح لوب المق ض فاالس ذف بع و ح ة ھ ذه الحال ي ھ د ف یةالمتغ رات المستقلھ من الدراس ,Webster Mason, Gunst . ی

. اعطوا ثالثة توصیات (1975) .توصیف النموذج بداللة عدد صغیر من المتغیرات المستقلھ عادها -أ تقلة -ب رات المس ن المتغی ة م ات جزئی تخدام فئ دئي باس ث مب راء بح اج

.االصلیة . ساسیةاأللیل المكونات تح استخدام -ج

٣

٣

النتائج المترتبھ علي وجود االرتباط الخطي) ٣(

ات دیرات المربع ي تق رة عل أثیرات خطی ھ ت ي ل اط الخط ود االرتب إن وجامالت االنحدار رین مستقلین . الصغري لمع النموذج ، x1, x2بفرض وجود متغی

:یكونسوف نموذج االنحدار معیاریة ، x, Yبفرض أن قیم 2211 xxY

:المعادالت الطبیعیة للمربعات الصغرى سوف تكون

YX' b )X'X(

:أي أن

y2

1y

2

1

12

12r

r

b

b

1 rr 1

ھو معامل االرتباط r1yو x1 , x2ھو معامل االرتباط البسیط بین 12rحیث i xY, ,2,1iالبسیط بین اآلن فإن معكوسX'X سیكون:

)٣(

21212

12

212

122

121

r-11

r1r

r-1r-

r1

1

)X'X(C

:وتقدیرات معامالت االنحدار سوف تكون

)٤( )r1(

rrrb ,

)r1(

yrrrb 2

12

y112y222

12

212y11

سوف r12فإن معامل االرتباط x1 , x2عند وجود ارتباط خطي قوي بین :سوف نجد أن ) ٣(من . یكون كبیر

,1r , c)BVar( , c)B,B(Cov 122

iii2

1221

1r12وذلك باالعتماد علي أن 1أوr12 . ھذا االرتباط الخطي القويین ات x1 , x2ب ى تباین ؤدي ال غرى ی ات الص درات المربع ره لمق ایرات كبی وتغ

دار امالت االنح بب .لمع یس الس ي ل اط الخط ھ أن االرتب ارة الی در االش ا یج وممات . یرات لمعامالت االنحداراالوحید لكبر التباینات والتغ ي ان العین ؤدي إل ذا ی وھ

د نفس المستویات من ة بدرجة xالمختلفة والمأخوذة عن دیرات مختلف د تعطي تق ق

٤

٤

الم النموذج رة لمع ر مستقل ، . كبی ر من متغی د وجود أكث اط عن إن مشكلة االرتب ف = Cویمكن اثبات أن العناصر علي القطر للمصفوفة . الخطي تعطي نفس التأثیر

(X'X)-1 ھم:

k.1,2,...,i , R11c

2i

ii

2حیث iR ر وذج انحدار للمتغی اء نم ة xiھو معامل التحدید المتعدد عند بن ي بقی عل

تقلھ رات المس ین . المتغی ة ب ة قوی ة خطی د عالق دما یوج ن xiعن ة م ھ جزئی وأي فئددھا ى ع رى الت تقلھ األخ رات المس ة p-1المتغی إن القیم 2ف

iR ن رب م وف تقت سحیح د الص این . الواح ا أن تب و iBوبم 212ھ

i2

iii )R1(c)B(Var این ى أن تب ؤدي إل دراتفإن عالقة خطیة قوي ت امالت مق ات الصغرى لمع المربع

دار دا iاالنح رة ج ون كبی وف تك ـ . س ایرات ل ا التغ iiعموم ˆ , ˆ ون وف تك س'كبیرة إذا كان المتغیران

ii x, x ؤدي ا ة ایضا ی ة الخطی اط یشمالن في العالق الرتبدیر غري للتق ات الص دیرات المربع ى ان تق ي ال ة ibالخط ي القیم دا ف رة ج كبی

. المطلقة

مؤشرات لوجود خطیھ متعددة) ٤(

ر أو .١ د اضافة او حذف متغی دره عن امالت االنحدار المق ي مع تغیرات كبیرة ف .عند تعدیل أو حذف مشاھدة

ارات .٢ ة الختب ر معنوی ائج غی ة نت دار الخاص امالت االنح ول مع ة ح فردی .بمتغیرات مستقلھ مھمة

ھ .٣ ا تتوقع ا لم ھ تمام ھ معاكس ارتھا الجبری دره ، اش دار مق امالت انح مع .االعتبارات النظریھ أو الخبرة السابقة

ي مصفوفة .٤ رات المستقلھ ف ین أزواج المتغی معامالت كبیرة لالرتباط البسیط ب .االرتباط

.عامالت انحدار تمثل متغیرات مستقلھ مھمةلم فترات ثقة عریضھ .٥

)١(مثال

اط التالىیعطي الجدول بیانات ثم تولیدھا علي الحاسب اآللي بحیث یوجد ارتب)1()2()3(كما أن . x1 , x2خطي بین y,y,y تمثل عینات مختلفة.

٥

٥

)3(y )2(y )1(y 2x 1x

4.06 4.39 5.02 5.23 5.57 6.50 6.65 7.26 7.48 7.39

4.10 4.73 4.81 5.30 5.75 6.26 6.61 7.13 7.30 7.32

4.10 4.34 4.95 5.36 5.64 6.18 6.69 7.24 7.46 7.23

2.695 3.005 3.245 3.605 3.795 4.155 4.395 4.755 4.895 4.855

2.705 2.995 3.255 3.595 3.805 4.145 4.405 4.745 4.905 4.845

وبفرض النموذج 22110 xxY

:ھو Y)1(تابعللمتغیر ال bفإن تقدیرات المربعات الصغري للمتجھ 0.82)(s , )42.1(70.3b , )00.2(21.5b 21

یم ران . tحیث القیم بین االقواس تمثل ق )3()2(للمتغی Y,Y ھ دیرات المقابل إن التق ف :ھي

).14.0s(),21.0(97.0b , )12.0(54.0b

),094.0(s , )98.0(9.2b , )47.0(4.1b

21

21

.المقدره ibحیث یالحظ من النتائج السابقة اختالف كبیر في قیم

طرق الكشف عن االرتباط الخطي المتعدد) ٥(

د سوف . ھناك أسالیب عدیدة للكشف عن االرتباط الخطي المتعدد ذا البن ي ھ فدد ي المتع اط الخط ن االرتب ف ع اییس للكش ض المق ط بع اقش ونبس از . نن ك تمت تل

ات المقاییس بال دادنا بمعلوم دد وام اط الخطي المتع كشف المباشر عن درجة االرتب .سبب ھذه المشكلة تساعدنا في تقدیر اي من المتغیرات المستقلھ

٦

٦

فحص مصفوفة االرتباط) ١-٥(

ص تم فح ث ی دد حی ي المتع اط الخط ن االرتب ف ع اس للكش ط مقی ر ابس یعتبرات المستقلھ 'معامالت االرتباط الخطي البسیط بین أزواج المتغی

iir , 'ii ي والتي المصفوفة ل ( X'Xتقع فوق القطر ف ھ لك یم المعیاری ي الق دة عل المصفوفة المعتم

ین ) y, xمن قیم ا ب اط قوی اك ارتب اط إذا وجد أن ھن امالت االرتب وبمالحظة قیم مع .ذلك علي احتمال وجود ارتباط خطيكاي متغیرین مستقلین و

)٢(مثال

ي دول الیعط الىج رفي الت دخل التص س وال ي المالب اق عل ن االنف ات ع بیانعار ام لالس رقم القیاسي الع س وال ي السعار المالب رقم القیاس ائلة وال واالصول الس

ن رة م الل الفت ي 59خ وب 68ال ي والمطل رف عل اط للتع فوفة االرتب ص مص فح .وجود أو عدم وجود ارتباط خطي

االنفاق السنة(y)

الدخل التصرفى

(x1)

االصول السائلة(x3)

الرقم القیاسي (x2)السعارالمالبس

١٠٠=١٩٦٣

الرقم القیاسي (x4)لالسعار١٠٠=١٩٦٣

1959 1960 1961 1962 1963 1964 1965 1966 1967 1968

8.4 9.6 10.4 11.4 12.2 14.2 15.8 17.9 19.3 20.8

82.9 88.0 99.9 105.3 117.7 131.0 148.2 161.8 174.2 184.7

17.1 21.3 25.1 29.0 34.0 40.0 44.0 49.0 51.0 53.0

92 93 96 94 100 101 105 112 112 112

94 96 97 97 100 101 104 109 111 111

الحـل

:ھي التالىمصفوفة االرتباط للبیانات المعطاه في جدول

٧

٧

1 0.98 0.993 0.987 1 0.964 0.991

X X 1 0.973 1

اط X'Xتعكس المصفوفة x, Yتعتمد علي القیم المعیاریة لكل من X'Xحیث ارتباي . كما أن االرتباطات األخرى عالیھ. r13 = 0.993وذلك الن x1 , x3قوي بین

.یوجد ارتباطات قویة بین المتغیرات وبعضھاي رات المستقلھ الیعن ین المتغی ھ ب ة الزوجی ویجب مالحظة أن ضعف العالق

د ین اح ي ب ب خط ة او تركی ة خطی اك عالق ون ھن ن ان یك كلة إذا یمك اب المش غی .المتغیرات المستقلھ ومتغیرین أو أكثر من بقیة المتغیرات المستقلة

عوامل تضخم التباین) ٢-٥(

فوفة تسمي العناصر القطر ي المص ة ف فوفة ( X'X-1ی ي شكل مص ي عل والتاین ) االرتباط ارھم م (VIFi)عوامل تضخم التب ث یمكن اعتب ام للكشف قحی اس ھ ی

ي اط الخط ن االرتب ن . ع رى م ره اخ إن ) ٣(م م ciiف ر رق ر iالعنص ي القط عل12یمكن كتابتھ علي الشكل Cللمصفوفة

iii )R1(c ث 2، حیiR ل ھو معام

م تقل رق ر المس دار المتغی وذج انح ھ لنم ل علی ذي نحص د ال ة iالتحدی ي بقی علیكون قریب من التعامد علي المتغیرات ixعندما . k-1المتغیرات المستقلھ وعددھا

2المستقلھ الباقیھ فإن iR سوف یكون صفر وcii یقترب من الواحد الصحیح ، بینما

رات ixإذا كان ة من المتغی ات الجزئی ع بعض الفئ ھ م ة شبة خطی إن علي عالق ف2iR تقترب من الواحد الصحیحcii رة ل االنحدار . تصبح كبی این لمعام ا أن التب بمم ر 2ھو iق

iiC ى ن النظر إل ا یمك اده ciiفإنن ى زی ؤدى ال ل ی ھ biكمعام نتیج :یمكن تعریف معامل تضخم التباین كالتالي .لالرتباط الخطى القوى

12iiii )R1(cVIF

ر من . Marquardt (1970)ھذا التعریف راجع الى د أو اكث دل VIFكبر واح ییزید VIFتدل الخبره التجریبیة علي أن أي واحد من . علي وجود االرتباط الخطي

ق بسبب وجود 10عن ر دقی دیرھا غی امالت االنحدار تق ي أن مع یكون مؤشر علي اط الخط ل الت. االرتب ذ عام خمیأخ البھ أى ان ض ر س ا غی 0VIFقیم ھ ا أن كم

ن قیمتھ إة وجود إرتباط خطي تام وفي حالة التعامد فصحیح في حالالیساوى الواحد . تساوي صفر

٨

٨

ین VIFأن ي ب اط الخط رن باالرتب أثیر لمقت یس الت وذج تق ي النم د ف ل ح لكأن طول . لھ تفسیر آخر VIFایضا فإن . المتغیرات المستقلھ علي التباین لھذا الحد

:یمكن كتابتھ علي الصورة التالیة iفترة الثقة لمعامل االنحدار رقم

1kn/)ˆc(2L 21

2iii

وطول الفترة المقابلة والتي تعتمد علي تصمیم متعامد والتي تعتمد علي نفس الحجم ات .من العینة 2جذر متوسط المربع

iij )xx(( ر اس النتشار للمتغی ر مقی تعتب :ھو xiالمستقل

)1kn(tˆ2*L 2/

2النسبة 1

iii )c(*L/L . وعلي ذلك الجذر التربیعي لـVIF رقمi دي یوضح م .بسبب وجود االرتباط الخطي iكبر فترة الثقة لمعامل االنحدار رقم

0VIFiیأخذ عامل تضخم التباین فیما غیر سالبھ أى أن . وفى حالة ارتباطإن xiخطي تام بین المتغیر المستقل رات المستقلھ ف ة المتغی 1Rوبقی 2

i الي وبالتین اط خطي ب ة عدم وجود إرتب ي حال فإن عامل تضخم التباین یتخذ فیما النھایة وف

رات المستقلة xiالمتغیر المستقل إن (وبقیة المتغی د ، ف ھ التعام 0Rحال 2i ة وقیم

VIF حیح د الص اوي الواح د . تس دي بع اس م این لقی خم التب ل تض تخدم عوام تسحیث تأخذ القیمة المتوقعھ لمجموع . مقدرات المربعات الصغرى عن قیمتھا الحقیقیة

:مربعات الفروق بین معامالت االنحدار المقدره وقیمتھا الحقیقة الصیغة التالیة

)٧ (i22

iik

1iVIF)B(E

یم عوامل تضخم وكما أشرنا من قبل فإنھ في حالة عدم وجود ارتباط خطي یكون قإن ة ف ذه الحال ي ھ ا مساویا للواحد الصحیح وف رات جمیع ین المتغی ) ٧-٩(التباین ب

:تأخذ الصیغة التالیة

kVIF)B(E 2i

k

1i

22ii

k

1i

:التالیة ومن ثم یمكن حساب النسبة

kVIF

k

VIFi

ik

1i

2

امالت االنحدار . ویالحظ أن النسبة عبارة عن متوسط قیم عوامل تضخم التباین لمعذه النسبة إ إن ھ اك خطي ف ا ارتب د بینھ دة الیوج رات المستقلھ متعام ذا كانت المتغی

٩

٩

این ل تب ط عوام ة متوس ا زادت قیم ھ كلم د أن ذلك نج حیح ول د الص اوي الواح تسرات ین المتغی اط الخطي ب ك وجود االرتب ي ذل التضخم عن الواحد الصحیح دل علوس ي معك ي تعط دار والت ة باالنح اھزة الخاص رامج الج ض الب د بع تقلة وتوج لمس

ل اس بالتحم ذا المقی تم حسابھ من (Tolerance)عامل تضخم التباین ویعرف ھ وی :الصیغة التالیة

.R11/VIF Tolerance 2ii

ي ر ف دخول اى متغی ي ل د ادن رامج كح ذه الب طة ھ ي تستخدم بواس ل الت یم التحم وق .0.01 , 0.001 , 0.0001النموذج ھي

) ٣(مثال

.بیانات خاصھ بستة متغیرات مستقلھ ومتغیر استجابة التالىیعطي جدول

المشاھده j

y x1 x2 x3 x4 x5 x6

1 2 3 4 5 6 7 8 9

10 11 12

10.006 9.737

15.087 8.422 8.625

16.289 5.958 9.313

12.960 5.541 8.756

10.937

8.000 8.000 8.000 0.000 0.000 0.000 2.000 2.000 2.000 0.000 0.000 0.000

1.000 1.000 1.000 0.000 0.000 0.000 7.000 7.000 7.000 0.000 0.000 0.000

1.000 1.000 1.000 9.000 9.000 9.000 0.000

0.0000 0.000 0.000 0.000 0.000

1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000

1.0000 10.000 10.000 10.000

0.541 0.130 2.116 -2.397 -0.046 0.365 1.996 0.228 0.380 -0.798 0.257 0.440

-0.099 0.070 0.115 0.252 0.017 1.504 -0.865 -0.055 0.502 -0.399 0.101 0.432

.التالىمعطاه في جدول السابقجدول الالخاصھ بالبیانات المعطاه في VIFiقیم

١٠

١٠

X1 X2 X3 X4 X5 X6

181.83 161.4 265.49 297.11 1.74 1.44

ن دول الم ابقج ـ الس ي ل ة العظم ح أن القیم ي VIFیتض ة 297.14ھ والخاص

إن . خطيواضح وجود ارتباط . 4بالمتغیر المستقل رقم ة VIFمره اخرى ف المقابل .x5 , x5للمتغیرات الداخلھ في االرتباط الخطي كبیرة جدا عن المرتبطة بالمتغیرین

ض ال) ٣-٥( ات بع تشخیصى اط الخط كلة االرتب لمش

المتعدد

المحدد للمصفوفة . عدید من الطرق المفیده في تشخیص االرتباط الخطيالھناك X'X اط الخطي ي وجود االرتب دلیل عل ا أن المصفوفة . یمكن استخدامھ ك X'Xبم

و یم المحدد ھ دي الممكن لق إن الم اط ف ي شكل مصفوفة االرتب 1X'X0ف ،دما 1X'Xعن رات ا إن المتغی ان ف ا إذا ك دة بینم ون متعام وف تك تقلھ س لمس

0X'X تقلة رات المس ین المتغی ھ ب ة تام ة خطی د عالق ھ یوج و . فإن ورة ھ الخطھ . من الصفر X'Xقرب ق ولكن ي التطبی اس سھل ف ذا المقی إي ال یعتبر ھ دنا ب یم

ي المحناآلن سوف . معلومات علي مصدر االرتباط الخطي د عل ار یعتم ددقدم اختبX'X .

Farrar –Glauborكلوبیر –اختبار فراییر .١

اي ع ك اء مرب ي إحص ار عل ذا االختب د ھ ویعتم 2 یغة ن الص ب م ویحس :التالیة

*cn )sk2(611n2

0

ث ة و nحی م العین تقلھ و kحج رات المس دد المتغی اریتم cn*ع اللوغ :الطبیعي لمحدد مصفوفة معامالت االرتباط التالیة

١١

١١

1 r r r

r r 1 rr r r 1

*C

k3k2k1

242321

1k1312

ون وف یك دم س رض الع دیل ixف رض الب د الف ده ض دة ixمتعام ر متعام . غی2وتقارن قیمة

0 2المحسوبة مع قیمة ة ( ) الجدولیة في الملحق بدرجة حری)2/)1k(k( . رض رفض ف ھ ن ن الجدولی ر م وبة اكب ة المحس ت القیم إذا كان

.العدم وتقبل الفرض البدیل

) ٤(مثال

م وائیة حج ة عش ا (10)عین ت فیھ اھدات جمع ن مش ل م ن ك ات ع البیان1234وعالقتھ بأربعة متغیرات مستقلھ )Y( تابعالمتغیر ال x,x,x,x ي وكما ف

.الجدول التالي

.المتعدد الخطي الرتباطر وجود مشكلة اااختب: والمطلوب

y 1x 2x 3x 4x

6.0 6.0 6.5 7.1 7.2 7.6 8.0 9.0 9.0 9.3

40.1 40.3 47.5 49.2 52.3 58.0 61.3 62.5 64.7 66.8

5.5 4.7 5.2 6.8 7.3 8.7

10.2 14.1 17.1 21.3

108 94

108 100 99 99

101 97 93

102

63 72 86

100 107 111 114 116 119 121

١٢

١٢

الحــل

فوفة دد مص اب مح ب حس ة ، یج ة الخطی ار العالق راء اختب رض إج ولغ .االرتباطات الجزئیة بین المتغیرات المستقلھ

1 r r rr 1 r rr r 1 rr r r 1

*C

4342 1xx

413131

242321

141312

4

:حیث

*

1 0.879 -0.339 0.9560.879 1 0.305 0.761

C XX0.339 0.305 1 0.414

0.956 0.761 -0.414 1

C*0089.0: وبالتالي فإن

المحسوبة تساوي مربع كاىلذلك فإن قیمة

)0098.0ln()58(611102

0

606699.31 9)(-4.625372 )8333.6(

اى وبمقارنة ھذه القیمة مع قیمة ع ك مرب 2 ة مساویة ة لدرجة حری الجدولی :أذن 12.592والمساویة الى 05.0ومستوي معنویة (6)

31.606699 >12.592. )H(ومنھ نرفض فرضیة العدم )H(ونقبل الفرضیھ البدیلة 0 أي وجود مشكلة 1

.االرتباط الخطي المتعدد بین المتغیرات للنموذج الخطي المدروس

طریقة قریش المعدلھ) ٥-٥(

١٣

١٣

:وتتلخص ھذه الطریقة في الخطوات التالیة ي -١ ول عل ن الحص ل م ابع وك ر الت ین المتغی یطة ب دار البس ادالت االنح مع

.المتغیرات المستقلھ علي حدة .اختبار النتائج المتحصل علیھا في ضوء المعاییر اإلحصائیة القبلیة -٢ .اختبار المعادلة المتحصل علیھا في ضوء المعاییر اإلحصائیة القبلیة -٣افھإ -٤ ة ض ا المعیاری الم واخطائھ ي المع ا عل ار أثارھ ع اختب رات م المتغی

الم ومعامل االرتباط نتیجة إضافة المتغیر الجدید دون ان تتحول اي من المعدا ، ر مفی الى معلمة غیر مقبولة علي أساس االعتبارات القبلیھ كان ھذا التغی

ل إما إذا لم یطرأ تغییر. واضیف الى المعادلة كمتغیر مستقل علي قیمة معامر ي المتغی ؤثر عل م ی اط ، ول ذا االرتب ذف ھ الم ح یم المع ي ق اف عل المضرات المستقلة ین المتغی ي اشارات . المتغیر من ب د عل ر الجدی ر المتغی وإذا اث

ة ، صوقیم المعالم و ة القبلی ارات النظری ي اساس االعتب ارت غیر مقبولة علي اط الخط ود االرتب ي وج ك عل ن المتغیفدل ذل ھ ، ولك ھ اھمیت د ل ر الجدی

ره ار أث ال یمكن اظھ بسبب االرتباط بینھ وبین المتغیرات المستقلھ االخرى فكما الیعني ذلك ضرورى حذفھ . بإستخدام طریقة المربعات الصغرى العادیة

ل من النموذج حتى الیصل بنا ھذا الحذف الى توصیف خاطئ ولتصحیح مثمعالجة االرتباط الخطي التى سنشرحھا ھذا الوضع یمكننا اتباع إحدي طرق

.فیما بعد المطلوب إیجاد تقدیر لنموذج االنحدار) ٢(للمثال

443322110 xXxxY :وباستخدام طریقة المربعات الصغري فإننا نحصل علي النتائج التالیة

.998.0R

,x34.0x015.0x199.0x097.053.13y2

1321

والختبار فرض العدم0:H 43210

:كالتالي Fنحسب قیمة

6.155/0.334/28.15

),,,(MSE),,,(MSR

F04321

04321

ة ت قیم ة Fولما كان د درجات حری ة عن ة الجدولی د عن القیم المحسوبة تزیولذلك نرفض فرض العدم ونقبل الفرض . F.05(4, 5) =5.19حیث (4,5)

١٤

١٤

البدیل بأن العالقة بین االنفاق علي المالبس وباقي المتغیرات المستقلھ عالقة :ھي معنویة مصفوفة االرتباط

1 0.973 0.991 0.9870.973 1 0.964 0.9930.991 0.964 1 0.980.987 0.993 0.98 1

ین ادالت االنحدار البسیطة ب ة ، نحسب مع ة الخطی ار العالق وللبحث عن أثوفیما یلي نتائج . االنفاق علي المالبس وكل من المتغیرات المستقلة على حده

. ھذه المعادالت

(0.03) (3.63) (4) 0.663x-53.65y 0.977R 2.1MSE

) ( ) ( (3) 0.327x2.11y 0.967R .4MSE

) ( ) ( (2) 0.516x-38.51y 0.951R 2.4MSE

(0.37) (0.002) (1) 0.118x-1.24y 0.995R 6.2MSE

4.2

22

22

12

ة االنحدار االول ار معادل ي اختب ى ف دخل وتكون الخطوة االول ث أن ال ى حی

رات المسصالت ر المتغی ھاھم تقلھرفي یعتبر اكث رة الدراسة یعطى ی خالل فت .نتائج االضافة التالىجدول ال

0 1 2 3 4 2R >

-1.24 (0.002)

0.118 (0.37)

- - - 0.995 2.6

1.4 (4.92)

0.126 (0.01)

-0.036 (0.07)

- - 0.996 2.5

0.94 (5.17)

0.138 (0.02)

-0.034 (0.06)

-0.037 (0.05)

- -

0.996 3.1

١٥

١٥

-12.76 (6.52)

0.104 (0.01)

-0.188 (0.07)

- -

0.318 (0.12)

0.997 3.5

-13.53 (705)

0.097 (0.03)

-0.199 (0.09)

0.015 (0.05)

0.34 (0.15)

0.998 3.4

ي السابقجدول الویتضح من النتائج في رات ف ي شرح المتغی ان الدخل لھ اھمیتة ف

ي المالبس ، وبإضافة ة x2االنفاق عل الم R2زادت قیم ت اشارات المع یال وكان قلة اري للمعلم أ المعی حیحة والخط ب ان 2ص ى جان ا ال دم معنویتھ ى ع دل عل ی

ین وي ب اط الق ة x1, x2االرتب ة المعلم ي معنوی ؤثر عل م ی افة . 1ل ا اض x3ام23، فقد اثر علي تقدیرات كل من ) االصول السائلة( , فصارت غیر مقبولة مما

ین و أن x2 , x3یدل على االرتباط القوي ب ك ول ى ذل ذي أدي ال و ال أثر 1ھ م یت لین وي ب اط الق ن االرتب الرغم م ذف . x1, x2, x3ب ل ح ن االفض ان م ذا ك . x3ول

افة ائج اذ زادت x4وبإض نت النت الم R2تحس ارات المع ع اش ارت جمی یال وص قلین المتغ وي ب اط الق الرغم من االرتب رات المستقلھ صحیحة ومعنویة احصائیا ، وب ی

رة ا لیست كبی ة لمعالمھ اء المعیاری إن األخط دما .ف رات وعن حسب االنحدار للمتغیي كل من األربعة دلت ؤثر عل ا ,21النتائج علي أن االزدواج الخطي لم ی بینم

ت ذف 3كان رورى ح د ض ا یؤك ة مم ون 3معنوی ذا یك ائلة وب ول الس ، االص :احسن شكل للنموذج ھو 4422110 xxxy

معالجة االرتباط الخطي المتعدد) ٦(

رات الم ي إتقلة ، سیتوقف أسالیب معالجة االرتباط الخطي بین المتغی ذا وجد فة ات وأھمی وفر البیان دي ت اط وم ذا االرتب ة خ ي درج دار ، عل اذج االنح دي نم اح

.المتغیرات التى تسببت في ھذا االرتباط واخیرا الفرض من إیجاد تقدیر للنموذجالم ویري البعض امكان قبول المشكلة ان كان تاثیرھا بسیطا علي تقدیرات المع

ا بسبب ر تأثیرھ ، ویقترح البعض حذف المتغیرات غیر الھامة من النموذج ان ظھا . وجود االرتباط الخطي ان لالإام دیرات ذا ك ي تق ره الواضح عل اط الخطي أث رتب

.معالم المتغیرات الھمھ فال بد من اتباع احدي الطرق اآلتیة للتصحیح .زیادة حجم العینة حیث یؤدي ذلك الى قیم االخطاء المعیاریة -١ .استخدام معلومات قبلیھ حول العالقات بین المتغیرات المفسرة -٢

١٦

١٦

ل -٣ تقلھ ذات االر تقلی رات المس دد المتغی ع ع اط المرتف ل بإتب تخدام تحلی سوتھدف ھاتان الطریقتان الى تحویل . المكونات األساسیة أو التحلیل العاملي

املي ل الع ة التحلی المتغیرات المرتبطة الى عدد اقل تسمي بالعوامل في حالوبالمكونات األساسیة في حالة تحلیل المكونات االساسیة ، بحیث یكون لكل

ل ذه العوام ن ھ ل م ة ا /عام ات دال ذه لمكون ل ھ بعض أو ك ھ ب تربطرات ك . المتغی ى ذل ع ویل ة م ر المترابط دة غی رات الجدی تخدام المتغی اس

ل . بعضھا البعض لمتغیرات مفسرة جدیدة للمتغیر التابع وللمزید حول تحلیى املي یمكن الرجوع ال ل الع Mardia, kentالمكونات االساسیة والتحلی

and Bibbly (1979) ي فى ویتم Ridge regressionة فاستخدام انحدار الحا -٤ دیل ف ة تع ھذه الطریق

امالت ازة لمع درات منح مح بمق ث تس ة بحی غري العادی ات الص ة المربع طریقن . االنحدار ر م ة بكثی ر دق ط ویكون اكث دار بسیط فق در بمق از مق دما ینح وعن

.ل ضلمقدر االفا ھذا مقدر غیر منحاز فقد یكون ة من الدرجة Rbیكن ل ة المعیاری امالت انحدار الحاف kx1 ھو متجھ مع :نحصل علیھ بحل المعادلة التالیةو

R(X 'X cI)b X'y

:أوR 1b (X'X cI) X'y

ث رات X'Xحی اط المتغی فوفة ارتب اط X'yو Xمص امالت االرتب ة مع قیمین یط ب رات yالبس ن المتغی ر م ل متغی راوح cو Xوك ز وتت ت التمی و ثاب ھ

مصفوفة الوحدة بدرجة Iوالواحد الصحیح و الصفر بین قیمتھkxk . قیم معامالت االنحدار االصلي نستخدم العالقة التالیة وإلیجاد:

y Ri i

x

Sb b

S

:حیث

1n2)xx(S

,1n

2)yy(S

ix

iy

.القیم المشاھدة االصلیھ xi , yiحیث

١٧

١٧

.xb....xbyb kk110 :المصفوفة التالیة نیحسب عامل تضخم التباین لمعامالت انحدار الحانة م

11 )cIy'X(y'X)cIX'X(

درات cت بویعكس الثا ي المق از ف دار االنحی دما . مق زل c = 0وعن ة تخت المعادلفإن c > 0الى معامالت انحدار المربعات الصغرى العادیة ، وعندما یكون السابقة

ات الصغرى درات المربع را من مق ل تغی ھ تكون اق ا. معامالت انحدار الحاف بیعة د قیم ي cعلي طریقة انحدار الحافة صعوبة تحدی ز . المثل ة التحی د قیم cولتحدی

م البی ة التى تعطي أفضل نموذج یستخدم عادة الرس امالت انحدار الحاف یم مع اني لقي( ور الرأس اویة ) المح افات متس ز ذات مس ت التمی ة لثاب یم مختلف ع ق ور (م المح

ى اتج ). االفق كل الن رف الش أثرویع ل . ھالحاف ب ة عام ار قیم ي االعتب د ف ا یؤخ كم .تضخم التباین للتأكد من حل مشكلة االرتباط

در دار المق ل االنح ذب معام ة تذب ى امكانی ره ال یر الخب Rوتشib عا ذبا واس تذب

ر اشارتھا cعندما تتحرك ل یمكن أن تغی ذبات . قلیال عن الصفر ب ذه التذب اال أن ھط ا فق را بطیئ ر تغی ى التغی ل االنحدار ال دار معام ل مق الواسعة تتوقف تدریجیا ویمی

بینما تمیل قیمة معامل تضخم التباین الى الھبوط بسرعة . شیئا فشیئا cعندما یزداد ة مثل قیمةیقلیال عن الصفر و cعندما تتحرك معامل تضخم التباین بصورة تدریجی

ـ cتدال عند زیادة عایضا الى مجرد التغیر با ة ل شیئا فشیئا ولذلك تختار اصغر قیمc ة وتصبح ر الحاف ي أث تبدو معھا معامالت االنحدار وكأنھا تستقر وللمره االولى ف

ا ا ھو م. معھا قیم معامل تضخم التباین صغیرة صغرا كافی ار ھن سالة أى أن االختی .اجتھاد

)٥(مثال

ي الىجدول الالبیانات المعطاه ف واردات الت ل ال الى (y)تمث ومي االجم اتج الق والن(x1) تھلكین عار المس ام الس ي الع رقم القیاس دوالرات ، وال ین ال ا ببالی (x2)وكلھ

والمطلوب تقدیر نموذج ١٩٧٩الى عام ١٩٦٤للوالیات المتحدة االمریكیة من عام االنحدار للواردات علي الناتج القومى والرقم القیاسي لالسعار والكشف عن وجود اط الخطي ارتباط خطي بین المتغیرین المستقلین واقتراح حال مناسبا لمشكلة االرتب

.المتعدد إن وجدت

١٨

١٨

الواردات العام(Y)

الناتج القومى (x1)االجمالى

الرقم القیاسي (x2)لالسعار

1964 1965 1966 1967 1968 1969 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979

28.4 32.0 37.7 40.6 47.7 52.9 58.5 64.0 75.9 94.4

131.9 126.9 155.4 185.8 217.5 260.9

635.7 688.1 753.0 796.3 868.5 935.5 982.4 1063.4 1171.1 1306.6 1412.9 1528.8 1702.2 1899.5 2127.6 2368.5

92.9 94.5 97.2

100.0 104.2 109.8 116.3 121.3 125.3 133.1 147.7 161.2 170.5 181.5 195.4 217.4

الحــل

:نموذج االنحدار المقدر ھو

(0.3372) (0.1839) (.009) (0.76125) (0.05596) (33.083)

x758554026.0x0785346.04885.101y 21

١٩

١٩

ة دره ھى األخطاء المعیاری حیث االرقام بین االقواس اسفل معامالت االنحدار المقاظرة لكل عام (P- Value)وقیم االحتمال ة االنحدار . المن ائج معنوی توضح النت

987366.0R( 98.7%وأن النموذج یفسر (P-Value = 0.00)لكل 2 منیتضح وجود ارتباط خطي . ١٩٧٩الى ١٩٦٤التغیر في الواحدات خالل الفترة من

:وذلك لالسباب اآلتیة x2 , x1بین د اال أن ل التحدی B0 , B1بالرغم من معنویة االنحدار ككل وكبر حجم معام

وھما معامال الناتج القومى والرقم القیاسي لالسعار لیست معنویة حیث بلغت اط . علي التوالي 0.18 , 0.34قیمتا االحتمال وذلك دلیل قوي لوجود ارتب

.خطى بین المتغیرین المستقلین ین اط البسیط ب 997.0r12 ھو x1 , x2بما أن قیمة معامل االرتب ذى وال

X1 , X2یقترب من الواحد الصحیح فھذا یعني وجود االرتباط الخطي بین ر این للمتغی خم التب ل تض و 1xعام خم VIF1 = 176.64ھ ل تض وعام

.VIF2 = 176.64ھو x2التباین للمتغیر ر ر بكثی تھم اكب املى االنحدار متساویین وقیم این لمع وبما أن قیمة عامل تضخم التب

ذا 10من ا ھ اني منھ ذي یع ر ال اط الخطي الخطی م مشكلة االرتب ذا یوضح حج وھ .النموذج

ال دار ال جلع تخدم انح وف نس وذج س ذا النم ي لھ اط الخط كلة االرتب ھمش . حاف :مصفوفة االرتباط الخطي البسیط بین المتغیرات المستقلة ھى

1 0.99717X'X

0.99717 1

رین المستقلین ع المتغی ابع م وقیمة معامالت االرتباط الخطي البسیط بین المتغیر الت :ھو

992699.0993177.0

y'X

:ھي x 2 2مصفوفة وحدة من الدرجة

1001

I

:في مصفوفة الوحدة نحصل علي c = 0.5وبضرب ثابت التمیز 0.5 0

cI0 0.5

٢٠

٢٠

:وعلي ذلك

1.5 0.99717

X'X cI ,0.99717 1.5

1X'X cI X 'y

1.19459 -0.79414 0.993177

-0.79414 1.19459 0.992699

0.398102 .

0.397151

:النموذج ھووعلي ذلك فإن تقدیر انحدار الحافة لمعالم

.397151.0b , 39102.0b R2

R1

ة التالىیعطى جدول دره بإستخدام طریق واردات المق قیم معامالت نموذج انحدار الز ت التمی ة لثاب یم مختلف ة .انحدار الحافة لق امالت انحدار الحاف یم مع م رسم ق د ت وق

یسمى الشكل (مع قیم مختلفة لثابت التمیز ذات مسافات متساویة ) المحور الراسى(ة اثر الحاف ود( )ب ر موج ا غی م ھن ات و)الرس دو اثب دار تب ة االنح ي معامل ان قیمت

یم د ق ین cمستقره عن راوح ب ي تت ى 0.05الت ل . 0.09ال ویالحظ ایضا ان عوامكما . فأكبر c = 0.05تضخم التباین قد اخذت قیما اقل من الواحد الصحیح عند قیمة ـ ة ل ار اصغر قیم ھ اختب ن المرغوب فی ھ م دما cیجب مالحظة ان دث عن ي یح الت

ة ار القیم م اختی ال ت ذا المث ي ھ ز یعطى نموذجا c= 0.08االستقرار وف ت تمی كثاب . x1 x2الیعانى من مشكلة االرتباط الخطي بین

R2 VIF R2b R

1b c

0.9874 0.9873 0.9873 0.9873 0.9873 0.9873

96.328 60.8875 41.8826 30.5915 23.3397 18.4078

0.434599 0.447242 0.45546 0.461212 0.465427 0.468632

0.559251 0.546111 0.53739 0.531148 0.526437 0.522737

0.001 0.002 0.003 0.004 0.005 0.006

٢١

٢١

0.9873 0.9873 0.9873 0.9873 0.9873 0.9871 0.9869 0.9867 0.9865 0.9861 0.9858 0.9854 0.9850

0.97914 0.97048 0.959836 0.947743 0.934632 0.920823 0.906564 0.892046

14.9027 12.3222 10.3679 8.85205 2.96368 1.55767 1.01311 0.74601 0.594955 0.500867 0.438007 0.39369 0.361079 0.241302 0.204689 0.182510 0.165742 0.151942 0.140137 0.129828 0.120709

0.471136 0.473132 0.474749 0.476076 0.481778 0.482537 0.481832 0.480507 0.478869 0.477057 0.47514 0.473161 0.471143 0.45074 0.431456 0.41362 0.397151 0.38192 0.367801 0.354682 0.342463

0.519739 0.517249 0.515138 0.513318 0.502711 0.497095 0.42991 0.489554 0.486477 0.483619 0.480911 0.47831 0.475791 0.453096 0.433034 0.414807 0.398101 0.382713 0.368481 0.355278 0.342992

0.007 0.008 0.009 0.010 0.020 0.030 0.040 0.050 0.060 0.070 0.080 0.090 0.100 0.200

0.0300 0.0400 0.500 0.600 0.700 0.800 0.900