regresi bit
TRANSCRIPT
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
PERBANDINGAN ANTARA REGRESI LOGIT,
PROBIT DAN TOBIT
1. Model Regresi Logit
Regresi logistik sering digunakan dalam menyelesaikan masalah klasifikasi pada
metode parametrik. Metode ini digunakan untuk menggambarkan hubungan variabel
dependen (variabel respon) dengan variabel independen (variabel predictor) bersifat
kategori, kontinu atau kombinasi keduanya.
Untuk menggambar kondisional mean dari Y (respon) terhadap X (prediktor)
digunakan hitungan . Bentuk dari model logistik adalah sebagai berikut:
(1.1)
dimana : ’ = (1, 2, …, p) dan X = (x1, x2, …, xp)
p = jumlah parameter
dengan menggunakan transformasi logit dari (x), maka model logistik dapat disebut
Model Logit yang ditunjukkan oleh:
(1.2)
Pada regresi linier berganda diasumsikan bahwa Y = (x) + dimana adalah
galat error dan menunjukkan selisih obyek pengamatan terhadap nilai harapannya. Galat
diasumsikan berdistribusi normal dengan rataan nol variansi tetap terhadap variabel
pengamatannya. Sehingga dengan respon yang biner dinyatakan, jika
-1-
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
Y = 0, maka = -(x) dengan probabilitas 1 - (x)
Y = 1, maka = 1 - (x) dengan probabilitas (x).
Dan dapat dinyatakan bahwa memiliki E() = 0 dan var() = (x). [1 - (x)] yang
mengikuti distribusi binomial (Hosmer,1989).
Metode pendugaan yang digunakan untuk mengestimasi parameter yang belum
diketahui adalah pendugaan likelihood Maksimum (Maximum Likelihood Estimation atau
MLE) dengan menetapkan asumsi distribusi Bernoulli dan obyek pengamatan saling
bebas, E(i, j) = 0, i j.
Pada pasangan pengamatan (xi,yi) fungsi likelihood yang dimaksimumkan adalah :
(1.3)
Karena pengamatan diasumsikan bersifat independen, maka likelihood
pengamatan mrupakan perkalian dari fungsi likelihood masing-masing, misal dinyatakan
dengan :
(1.4)
dimana yi adalah variabel random binomial yang saling bebas, i = 1, 2,…, I dengan
E(yi) = ni . (xi) dan ni = N.
Karena z = exp (ln z), maka untuk persamaan (1.4) dapat ditulis
menjadi :
-2-
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
(1.5)
kemudian dilakukan transformasi logit terhadap model regresi logistik pada persamaan
(1.5). sehingga didapatkan model :
(1.6)
Prinsip dari MLE untuk mendapatkan nilai taksiran adalah dengan
memaksimumkan fungsi likelihood. Nilai maksimim dari fungsi persamaan (1.6)
diperoleh melalui transformasi log sebagai berikut :
L() = ln (I())
(1.7)
Nilai diperoleh melalui turunan parsial pertama L() terhadap yang
disamadengankan nol, sehingga persamaan (1.7) akan menjadi :
(1.8)
dimana a = 0,1, 2, …., p dengan
menyatakan taksiran likelihood maksimum dari
(xi). Sedang terhadap varians diperoleh dari turunan parsial kedua dari persamaan (1.8)
yang hasilnya sebagai berikut :
-3-
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
(1.9)
dimana a, b = 0, 1, 2, …, p
2. Model Regresi Probit
Regresi Probit adalah suatu analisis regresi yang digunakan untuk menggambarkan
hubungan antara variabel dependen dan variabel independen. Variabel dependen (variable
respon) biasa disimbolkan Y dengan skala pengukuran dikotomus (biner) dan variabel
independent (variable prediktor) biasa disimbolkan X yang skala pengukuran bersifat
dikotomus, polikotomus atau kontinu.
Jika
Dan jika diketahui
X
Y = 1 P(y = 1x)
Y = 0 P(y = 0x)
Maka
= [0 + 1x] (2.1)
Dengan [.] adalah fungsi komulatif distribusi normal standar.
-4-
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
atau Z = 0 + 1x1 dengan Z = x)
Dengan cara yang sama jika variabel bebas lebih dari satu, maka:
Z = X + e (2.2)
Dengan Z merupakan variabel yang tidak diobservasi dan observasi kita adalah :
Y = 1 Jika Z > 0
Y = 0 jika Z 0 dengan adalah residual yang diasumsikan berdistribusi
normal dengan mean nol (0) dan varians satu (1).
Probabilitas Yi = 1 dari persamaan (2.1) adalah :
x) = (Xi) (2.3)
x) = 1 - (Xi) (2.4)
3. Model Regresi Tobit
Regresi Tobit (regrsi tersensor) merupakan analisis regresi yang digunakan untuk
menggambarkan hubungan antara variabel dependen dan variabel independen. Variabel
dependen (variable respon) biasa disimbolkan Y yang berskala campuran dengan variabel
indepeden (variable prediktor) biasa disimbolkan X. Output dari analisis regresi ini untuk
mengestimasi nilai rata-rata dari variabel dependen bila nilai variabel independen
diketahui.
Formula model tobit secara umum adalah sebagai berikut :
Y* = X + (3.1)
-5-
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
dimana :
Y* : vektor dari variabel takbebas
X : matriks dari variabel regressor atau bebas
: vektor estimasi parameter yang nilainya belum diketahui
: residual model yang mengikuti distribusi normal terpotong (0,2).
Model Tobit juga dapat terbentuk dalam dua bagian formula yang digunakan untuk
memprediksikan variabel tak bebas yaitu memprediksikan nilai dimana variabel tak bebas
adalah nol (limited) sedangkan yang lain tidak nol (unlimited). Model tobit dapat ditulis
sebagai:
(3.2)
Nilai ekspektasi dari regresi Tobit adalah :
(3.3).
Tujuan utama dari pembentukan model adalah untuk memilih variabel yang sesuai
dan memberikan hasil yang terbaik dalam menjelaskan masalah yang dihadapi. Semakin
banyak variabel yang masuk kedalam model, maka semakin kompleks model yang
dihasilkan. Begitu juga semakin banyak variabel prediktor yang diperlukan untuk
menduga respon. Hal ini diatasi dengan menyeleksi variabel yang masuk ke model secara
bertahap agar didapatkan model yang layak digunakan.
-6-
Untuk yang lain
Jika > 0
Tigas Analisis Data Kualitatif Nahiruddin (1302 201 010)Perbandingan antara Regresi Logit, Probit dan Tobit
Langka-langkah yang dilakukan untuk memilih variabel yang layak adalah pertama,
memeriksa korelasi antara variabel prediktor. Tujuannya adalah untuk mendapatkan
variabel prediktor yang independen. Jika didapatkan variabel prediktor yang saling
berkorelasi, maka hanya variabel prediktor yang mempunyai korelasi terbesar dengan
variabel respon yang akan diikutkan dalam pembentukan model, karena variabel prediktor
yang nilai korelasinya dengan variabel respon kecil sudah terwakili oleh variabel tersebut.
Selanjutnya membuat model univariat, yaitu dengan meregresikan masing-masing
variabel prediktor terhadap variabel respon. Untuk mengetahui apakah hubungan antara
variabel respon dengan prediktor signifikan atau tidak. Variabel prediktor yang tidak
mempunyai hubungan yang signifikan dengan variabel respon akan dikeluarkan dari
pembentukan model. Kemudian memodelkan secara serentak (multivariate) variabel
respon dan semua variabel prediktor yang signifikan pada pemodelan univariate.
-7-