basİt doĞrusal regresyon analİzİ ( simple linear regression analysis)

11

BASİT DOĞRUSAL REGRESYON ANALİZİBASİT DOĞRUSAL REGRESYON ANALİZİ( SIMPLE LINEAR REGRESSION ( SIMPLE LINEAR REGRESSION

ANALYSIS)ANALYSIS)

Bağımsız Değişken (Independent Variable)Bağımsız Değişken (Independent Variable)

Genellikle x ile gösterilir. Başka bir değişken Genellikle x ile gösterilir. Başka bir değişken tarafından etkilenmeyen ama y’nin nedeni olan tarafından etkilenmeyen ama y’nin nedeni olan yada onu yada onu etkilediği düşünülenetkilediği düşünülen (açıklayıcı)(açıklayıcı) değişkendir.değişkendir.

Bağımlı Değişken (Dependent Variable)Bağımlı Değişken (Dependent Variable)Genellikle y ile gösterilir. x değişkenine bağlı Genellikle y ile gösterilir. x değişkenine bağlı olarak değişebilen yada ondan olarak değişebilen yada ondan etkilenen etkilenen (açıklanan) değişkendir.(açıklanan) değişkendir.

22

Bağımlı değişken sayısı tekdir. Ancak bağımsız değişken Bağımlı değişken sayısı tekdir. Ancak bağımsız değişken

sayısı birden fazla olabilir. Eğer tek bağımsız değişken var sayısı birden fazla olabilir. Eğer tek bağımsız değişken var

ise “Basit Doğrusal Regresyon” iki ve daha fazla bağımsız ise “Basit Doğrusal Regresyon” iki ve daha fazla bağımsız

değişken var ise “Çoklu Doğrusal Regresyon” adı değişken var ise “Çoklu Doğrusal Regresyon” adı

verilmektedir.verilmektedir.

Bu derste sadece “Basit Doğrusal Regresyon Analizi” Bu derste sadece “Basit Doğrusal Regresyon Analizi”

incelenecektir. incelenecektir.

33

Regresyon Analizinde, değişkenler arasındaki Regresyon Analizinde, değişkenler arasındaki ilişkiyi fonksiyonel olarak açıklamak ve bu ilişkiyi ilişkiyi fonksiyonel olarak açıklamak ve bu ilişkiyi bir modelle tanımlayabilmek amaçlanmaktadır.bir modelle tanımlayabilmek amaçlanmaktadır.

Bir kitlede gözlenen X ve Y değişkenleri arasındaki Bir kitlede gözlenen X ve Y değişkenleri arasındaki doğrusal ilişki aşağıdaki doğrusal ilişki aşağıdaki “Doğrusal Regresyon “Doğrusal Regresyon Modeli”Modeli” ile verilebilir; ile verilebilir;

Y=Y=00+ + 11X+X+Burada;Burada;X: Bağımsız (Açıklayıcı) DeğişkenX: Bağımsız (Açıklayıcı) DeğişkenY: Bağımlı (Açıklanan;Etkilenen;Cevap) DeğişkenY: Bağımlı (Açıklanan;Etkilenen;Cevap) Değişken

00: X=0 olduğunda bağımlı değişkenin alacağı değer: X=0 olduğunda bağımlı değişkenin alacağı değer

(kesim noktası)(kesim noktası)

11: Regresyon Katsayısı: Regresyon Katsayısı : Hata terimi (Ortalaması=0 ve Varyansı=: Hata terimi (Ortalaması=0 ve Varyansı=22’dir)’dir)

44

Regresyon Katsayısı (Regresyon Katsayısı (11) : ) :

Bağımsız değişkendeki bir birimlik Bağımsız değişkendeki bir birimlik değişimin, bağımlı değişkendeki yaratacağı değişimin, bağımlı değişkendeki yaratacağı ortalama değişimi göstermektedir.ortalama değişimi göstermektedir.

(Hata terimi):(Hata terimi):

Her bir gözlem çiftindeki bağımlı değişkene Her bir gözlem çiftindeki bağımlı değişkene ilişkin gerçek değer ile modelden tahmin ilişkin gerçek değer ile modelden tahmin edilen değer arasındaki farktır.edilen değer arasındaki farktır.

ii=(=(00+ + 11X) - YX) - Yii

iY

55

Tanımlanan Regresyon ModeliTanımlanan Regresyon ModeliKitleden seçilen n gözlemli örneklem için;Kitleden seçilen n gözlemli örneklem için;

Yukarıdaki Doğrusal Regresyon Modeli Gözlemler Yukarıdaki Doğrusal Regresyon Modeli Gözlemler için ;için ;

XbbY o 1ˆ

biçimindedir

iii exbby 10ˆ İ = 1 ,…, n

66

Kesim Noktası ve Regresyon Kesim Noktası ve Regresyon Katsayısının Tahmin YöntemiKatsayısının Tahmin Yöntemi

Doğru ve güvenilir bir regresyon modelinde Doğru ve güvenilir bir regresyon modelinde amaç, gerçek gözlem değeri ile tahmin amaç, gerçek gözlem değeri ile tahmin değeri arasında fark olmaması yada farkın değeri arasında fark olmaması yada farkın minimum olmasıdır. Bunun için çeşitli tahmin minimum olmasıdır. Bunun için çeşitli tahmin yöntemleri geliştirilmiştir. Bu yöntemlerden yöntemleri geliştirilmiştir. Bu yöntemlerden biri biri “En Küçük Kareler”“En Küçük Kareler” kriteridir. kriteridir.

n

iii

i

n

ii yye

1

2

1

2 ˆBu farkın en küçük olması amaçlanır

77

En Küçük Kareler Yöntemi ile En Küçük Kareler Yöntemi ile Bulunan TahminlerBulunan Tahminler

xbyb

n

yxnyx

b

n

iii

10

n

1i

22i

11

x x

88

Değişkenler birlikte artıyor artıyor yada Değişkenler birlikte artıyor artıyor yada birlikte azalıyor ise birlikte azalıyor ise “b“b11 pozitif değerli” pozitif değerli”dir.dir.

Değişkenlerden biri artarken diğeri azalıyor Değişkenlerden biri artarken diğeri azalıyor ise ise “b“b11 negatif değerli” negatif değerli”dir.dir.

99

Regresyon Katsayısının Önem Regresyon Katsayısının Önem KontrolüKontrolü

X bağımsız değişkeni ile Y bağımlı değişkeni arasında X bağımsız değişkeni ile Y bağımlı değişkeni arasında

doğrusal bir ilişkinin varlığı, her bir bireyin / birimin xdoğrusal bir ilişkinin varlığı, her bir bireyin / birimin x ii ve y ve yii

değerlerinin koordinat düzlemi üzerinde oluşturdukları değerlerinin koordinat düzlemi üzerinde oluşturdukları

noktaların dağılımına bakılarak tahmin edilebilir. Ancak, bu noktaların dağılımına bakılarak tahmin edilebilir. Ancak, bu

tahminin tutarlı olup olmadığının araştırılması gerekir. tahminin tutarlı olup olmadığının araştırılması gerekir.

Bunun için, regresyon katsayısının önem kontrolü, Bunun için, regresyon katsayısının önem kontrolü,

doğrusallıktan ayrılışın önem kontrolü yapılır.doğrusallıktan ayrılışın önem kontrolü yapılır.

1010

Önem Kontrolü Yapabilmek için Kullanılacak Önem Kontrolü Yapabilmek için Kullanılacak EşitliklerEşitlikler

n

ii

n

ii xnxxxXOAKT

1

22

1

2

X ortalamadan ayrılış kareler toplamı (XOAKT)

Y ortalamadan ayrılış kareler toplamı (YOAKT)

n

ii

n

ii ynyyyYOAKT

1

22

1

2

Serbestlik derecesi = (n-1)

Serbestlik derecesi = (n-1)

1111

XY Çarpımlar Toplamı (XYÇT)

n

iiii

n

ii nyxyyxxXYÇT

11

y x

Regresyon Kareler Toplamı (RKT)

)()ˆ( 1

2

1

2 XYÇTbXOAKT

XYÇTYyRKT

n

ii

RKT’ye ilişkin serbestlik derecesi = 1’dir.

1212

Regresyondan Ayrılış Kareler Toplamı (RAKT) - Hata yada Artık Kareler Toplamı da denir -

RKTYOAKTyyRAKTn

iii

1

2ˆ

RAKT’na ilişkin serbestlik derecesi = (n – 2)’dir.

1313

Regresyon Analizi için Varyans Regresyon Analizi için Varyans Analizi TablosuAnalizi Tablosu

Varyasyon Varyasyon (Değişim) (Değişim) KaynağıKaynağı

Serb.Der.Serb.Der.

(sd)(sd)

Kareler Kareler Toplamı Toplamı

(KT)(KT)

Kareler Kareler Ortalaması Ortalaması

(KO)(KO)

F Hesap F Hesap İstatistiğiİstatistiği

RegresyonRegresyon 11 RKTRKT RKT / 1RKT / 1

RKO / RAKORKO / RAKOHata (Artık)Hata (Artık) (n-2)(n-2) RAKTRAKT RAKT / (n-2)RAKT / (n-2)

ToplamToplam (n-1)(n-1) YOAKTYOAKT

1414

Basit Doğrusal Regresyon Basit Doğrusal Regresyon Analizinde İki Hipotez Test Edilir:Analizinde İki Hipotez Test Edilir:

Birinci Hipotez Testi :Birinci Hipotez Testi :

Doğrusallıktan Ayrılışın Önem KontrolüDoğrusallıktan Ayrılışın Önem Kontrolü

1.1. Hipotez Kurulur. Hipotez Kurulur.

HHoo: Gözlenen Noktaların Regresyon Doğrusuna : Gözlenen Noktaların Regresyon Doğrusuna

Uyumu Önemsizdir (Model geçersizdir)Uyumu Önemsizdir (Model geçersizdir)

HHaa : Gözlenen Noktalar Regresyon Doğrusu ile : Gözlenen Noktalar Regresyon Doğrusu ile

tanımlanabilir (Model Geçerlidir)tanımlanabilir (Model Geçerlidir)

1515

2.2. Bu hipotezi test etmek için RKO ve RAKO Bu hipotezi test etmek için RKO ve RAKO varyanslarının oranı uygun test istatistiğidir. İki varyanslarının oranı uygun test istatistiğidir. İki varyansın oranı F dağılımına yakınsayacağı için varyansın oranı F dağılımına yakınsayacağı için kullanılacak test dağılımı F’dir.kullanılacak test dağılımı F’dir.

FFHH=(RKO / RAKO) değeri hesaplanır.=(RKO / RAKO) değeri hesaplanır.

3.3. 1 ve (n-2) serbestlik dereceli ve belirlenen 1 ve (n-2) serbestlik dereceli ve belirlenen anlamlılık düzeyinde Fanlamlılık düzeyinde F(1;n-2;(1;n-2;)) tablo değeri bulunur. tablo değeri bulunur.

Eğer FEğer FHH=(RKO / RAKO) > F=(RKO / RAKO) > F(1;n-2; (1;n-2; )) ise ise

Ho Hpotezi RED Edilir.Ho Hpotezi RED Edilir.

1616

İkinci Hipotez Testiİkinci Hipotez TestiRegresyon Katsayısının Önem KontrolüRegresyon Katsayısının Önem Kontrolü

1.1. Hipotez KurulurHipotez Kurulur

HHoo: Regresyon Katsayısı Önemsizdir (: Regresyon Katsayısı Önemsizdir (ββ11=0)=0)

HHaa: Regresyon Katsayısı Önemlidir (: Regresyon Katsayısı Önemlidir (ββ110)0)

Burada, regresyon katsayısının önemsiz olması Burada, regresyon katsayısının önemsiz olması demek; örneklemin çekildiği kitlede, bağımsız demek; örneklemin çekildiği kitlede, bağımsız değişkende bir birimlik değişimin, bağımlı değişkende bir birimlik değişimin, bağımlı değişkende değişiklik yaratamayacağı anlamına değişkende değişiklik yaratamayacağı anlamına gelir.gelir.

1717

2.2. Test istatistiği hesaplanır ;Test istatistiği hesaplanır ;

XOAKT

RAKOS

S

bt

b

bh

1

1

11 )0(

1818

3.3. Serbestlik derecesi (n-2) ve Serbestlik derecesi (n-2) ve anlamlılık anlamlılık düzeyinde, tdüzeyinde, t(n-2; (n-2; )) tablo değeri bulunur. tablo değeri bulunur.

Eğer Eğer tthh > t > t(n-2; (n-2; )) ise Ho Hipotezi RED ise Ho Hipotezi RED edilir. edilir.

4.4. Regresyon katsayısının önemli olup Regresyon katsayısının önemli olup olmadığına karar verilir.olmadığına karar verilir.

1919

Basit Doğrusal Regresyon Basit Doğrusal Regresyon Analizinde Özel DurumAnalizinde Özel Durum

Basit Doğrusal regresyonda tek bir Basit Doğrusal regresyonda tek bir bağımsız bağımsız

değişkendeğişken olması nedeniyle t dağılımı ve olması nedeniyle t dağılımı ve

F dağılımı arasında aşağıdaki matematiksel F dağılımı arasında aşağıdaki matematiksel

eşitlik söz konusudur :eşitlik söz konusudur :

hh Ft 2

2020

Açıklama (Belirtme) Katsayısı RAçıklama (Belirtme) Katsayısı R22

Yüzde cinsinden ifade edilen açıklama Yüzde cinsinden ifade edilen açıklama katsayısı, regresyon analizinde önemlidir ve katsayısı, regresyon analizinde önemlidir ve aşağıdaki gibi hesaplanır ;aşağıdaki gibi hesaplanır ;

12

2

Ro

YOAKT

RKTR

Açıklama Katsayısı bire yakın bulunur ise, bağımlı değişkendeki değişimin büyük bir kısmı bağımsız değişken tarafından açıklanabilir yorumu yapılabilmektedir.

2121

Basit Doğrusal Regresyon Analizi Basit Doğrusal Regresyon Analizi Örnek UygulamasıÖrnek Uygulaması

12-14 yaş grubu çocukların boy uzunluğu ile 12-14 yaş grubu çocukların boy uzunluğu ile kulaç uzunluğu arasında ilişki olup kulaç uzunluğu arasında ilişki olup olmadığını incelemek için 10 çocuk üzerinde olmadığını incelemek için 10 çocuk üzerinde bir araştırma planlanmıştır. Her çocuğun boy bir araştırma planlanmıştır. Her çocuğun boy uzunluğu ile birlikte duvara yaslandırılarak uzunluğu ile birlikte duvara yaslandırılarak ve kolları açtırılarak her iki ellerinin orta ve kolları açtırılarak her iki ellerinin orta parmakları arasındaki mesafe (kulaç parmakları arasındaki mesafe (kulaç uzunlukları) ölçülmüştür. uzunlukları) ölçülmüştür.

2222

Burada amaç; çocukların kulaç Burada amaç; çocukların kulaç uzunluğundan boy uzunluklarını tahmin uzunluğundan boy uzunluklarını tahmin etmek için bir model oluşturmaktır.etmek için bir model oluşturmaktır.

Bu durumda;Bu durumda;

Bağımlı Değişken (y): Boy uzunluğuBağımlı Değişken (y): Boy uzunluğu

Bağımsız Değişken (x): Kulaç uzunluğuBağımsız Değişken (x): Kulaç uzunluğu

2323

ÇocukNo

Boyuzunluğu (cm)

Kulaçuzunluğu (cm)

1 165 162

2 161 163

3 156 158

4 158 156

5 163 161

6 166 166

7 154 153

8 156 154

9 161 161

10 159 157

2424

10

1

10

1

1591

1599

ii

ii

x

y

10

1

2

10

1

2

255825

253285

ii

ii

y

x

10

1

254538i

ii yx

1.15910

1591

9.15910

1599

x

y

Test istatistiklerini Hesaplamak için Gerekli Test istatistiklerini Hesaplamak için Gerekli İşlemlerİşlemler

2525

9.156)1.159*10(253285 2

1

22

1

2

n

ii

n

ii xnxxxXOAKT

9.144)9.159*10(255825 2

1

22

1

2

n

ii

n

ii ynyyyYOAKT

1.137)9.159*1.159*10(254538

y x 11

n

iiii

n

ii nyxyyxxXYÇT

847.20)1.159*874.0(9.159

874.09.156

1.137

x x

10

n

1i

22i

11

xbyb

n

yxnyxb

n

iii

2626

Boy Uzunluğu=20.874+0.874(kulaç uzunluğu)Boy Uzunluğu=20.874+0.874(kulaç uzunluğu)

Burada, kulaç uzunluğu 1 birim arttığında boy Burada, kulaç uzunluğu 1 birim arttığında boy uzunluğunun ortalama 0.874 birim arttığını uzunluğunun ortalama 0.874 birim arttığını görmekteyiz.görmekteyiz.

Şimdi acaba bu regresyon katsayısı Şimdi acaba bu regresyon katsayısı istatistiksel açıdan önemli midir? Sorusuna istatistiksel açıdan önemli midir? Sorusuna cevap vermemiz gerekiyor.cevap vermemiz gerekiyor.

2727

HHoo: Regresyon Katsayısı Önemsizdir (: Regresyon Katsayısı Önemsizdir (ββ11=0)=0)

HHaa: Regresyon Katsayısı Önemlidir (: Regresyon Katsayısı Önemlidir (ββ110)0)

8254.1191.137*874.0)()ˆ( 1

2

1

2

XYÇTbXOAKT

XYÇTYyRKT

n

ii

07.2583.1199.144ˆ1

2

RKTYOAKTyyRAKTn

iii

13.38

07.25

2

83.1191

83.119

1

n

RAKTRAKO

RKTRKO

2828

19.6141.0

0874.0)0(

141.09.156

13.3

1

11

1

bh

b

S

bt

XOAKT

RAKOS

tthh=6.29 > t=6.29 > t(8; 0.05)=(8; 0.05)=2.3062.306

Ho Hipotezi RED edilirHo Hipotezi RED edilir

Yorum: %95 Güven olasılığı ile regresyon katsayısının sıfırdan farklı olduğunu ve bulunan regresyon katsayısının istatistiksel açıdan önemli olduğunu söyleyebiliriz

2929

Şimdi Modelin Geçerliliğini Test Şimdi Modelin Geçerliliğini Test EdelimEdelim

HHoo: Gözlenen Noktaların Regresyon : Gözlenen Noktaların Regresyon

Doğrusuna Uyumu Önemsizdir (Model Doğrusuna Uyumu Önemsizdir (Model geçersizdir)geçersizdir)

HHaa : Gözlenen Noktalar Regresyon Doğrusu : Gözlenen Noktalar Regresyon Doğrusu

ile tanımlanabilir (Model Geçerlidir)ile tanımlanabilir (Model Geçerlidir)

3030

Varyasyon Varyasyon (Değişim) (Değişim) KaynağıKaynağı

Serb.Der.Serb.Der.

(sd)(sd)

Kareler Kareler Toplamı Toplamı

(KT)(KT)

Kareler Kareler Ortalaması Ortalaması

(KO)(KO)

F Hesap F Hesap İstatistiğiİstatistiği

RegresyonRegresyon 11 119.83119.83 119.83119.83

38.2838.28Hata Hata (Artık)(Artık)

88 25.0725.07 3.133.13

ToplamToplam 99 144.9144.9

FFHH=(RKO / RAKO) > F(1;n-2; =(RKO / RAKO) > F(1;n-2; ) ise) ise

Ho Hpotezi RED Edilir.Ho Hpotezi RED Edilir.FFHH=38.28 > F=38.28 > F(1;8;0.05)(1;8;0.05)=5.32 olduğu için Ho hipotezi red edilir. =5.32 olduğu için Ho hipotezi red edilir.

R2=119.83/144.9=0.83

3131

tthh22=(6.19)=(6.19)22=38.3=F=38.3=Fh h eşitliğinin sağlandığını da görebiliyoruz.eşitliğinin sağlandığını da görebiliyoruz.

SONUÇ: %95 güven olasılığı ile kulaç SONUÇ: %95 güven olasılığı ile kulaç

uzunluğundan boy uzunluğunu tahmin etmek uzunluğundan boy uzunluğunu tahmin etmek

için bulduğumuz modelin geçerli olduğunu için bulduğumuz modelin geçerli olduğunu

söyleyebiliriz. Boy Uzunluğundaki değişimin söyleyebiliriz. Boy Uzunluğundaki değişimin

%83’ünün (R%83’ünün (R22) kulaç uzunluğu tarafından ) kulaç uzunluğu tarafından

açıklanabildiğini, geri kalan %17’lik kısım için açıklanabildiğini, geri kalan %17’lik kısım için

başka değişkenlere ihtiyaç duyulduğunu başka değişkenlere ihtiyaç duyulduğunu

söyleyebiliriz.söyleyebiliriz.

3232

ÖNEMLİ NOT:ÖNEMLİ NOT:

Bilimsel çalışmalarda herhangi bir modelleme Bilimsel çalışmalarda herhangi bir modelleme

çalışmasında genellikle çok değişkenli çalışılır. çalışmasında genellikle çok değişkenli çalışılır.

Burada anlatılan regresyon analizinin sadece Burada anlatılan regresyon analizinin sadece

tek değişkenli olduğu ve analizlerin burada tek değişkenli olduğu ve analizlerin burada

bitmeyip modelin uygunluğuna ilişkin çok ileri bitmeyip modelin uygunluğuna ilişkin çok ileri

yöntemler olduğu unutulmamalıdır.yöntemler olduğu unutulmamalıdır.

3333

SPSS UYGULAMASISPSS UYGULAMASI

3434

3535

3636

3737

3838

3939

4040