TUGAS MATA KULIAH:

COMPUTASIONAL INTENSIVE

BAHASAN:- REGRESI NON LINIER - ESTIMASI PARAMETER DENGAN NEWTON RHAPSON

OLEH : Yenita Mirawanti NRP: 1310201705

PROGRAM MAGISTER JURUSAN STATISTIKA (KOMPUTASI STATISTIK) FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) INSTITUT TEKNOLOGI SEPULUH NOVEMBER SURABAYA 2010

I. RANGKUMAN METODE ESTIMASI REGRESI NON LINIERAnalisis regresi merupakan suatu analisis anatara variable independent (X) dengan varabel dependent (Y), dimana diasumsikan bahwa X mempengaruhi Y secara exponensial, kuadratik, kubik, logaritmik, invers ataupun bentuk lainnya. Secara umum, terdapat beberapa model regresi nonlinier, antara lain:

Jika kita dihadapkan pada pilihan beberapa model regresi yang digunakan, maka kita kita dapat mengambil model yang terbaik berdasarkan pertimbangan berikut: 1. nilai R yang besar, 2. nilai R2 yang besar, dan 3. Standard error yang kecil. Uji Deteksi Non-linearUji Ramseys RESET, Uji White dan Uji Terasvirta untuk mendeteksi apakah suatu model mengikuti pola linear atau non-linear tersedia dalam software R. Statistik uji Ramseys RESET adalah2 2 (Rnew Rold ) / p F 2 (1 Rnew ) / (n k)

(1)

dengan p jumlah variabel independen baru, k jumlah parameter pada model baru, n jumlah data. Kesimpulanya Ho ditolak bila F > F(,p,n-k) Uji White adalah uji deteksi non-linearitas yang dikembangkan dari model neural network yang ditemukan oleh White (1989). Uji white menggunakan statistik2

2 dan F. Prosedur yang

digunakan untuk adalah : a. Meregresikan yt pada 1, x1, x2, , xp dan menghitung nilai-nilai residual ut . b. Meregresikan u t pada 1, x1, x2, , xp dan m prediktor tambahan dan kemudian hitung koefisien determinasi dari regresi R2. Dalam uji ini, m prediktor tambahan ini adalah nilainilai dari hasil dari (' j

wt )

hasil dari suatu transformasi komponen utama.

c. Hitung

2 =nR2, dimana n adalah jumlah pengamatan yang digunakan.

Dengan hipotesis linearitas,

2 2 mendekati distribusi (m ) atau tolak Ho jika P-value < .

Uji Terasvirta adalah uji deteksi non-linearitas yang juga dikembangkan dari model neural network dan termasuk dalam kelompok uji tipe Lagrange Multiplier (LM) yang dikembangkan dengan ekspansi Taylor (Terasvirta, 1993). Pengambilan kesimpulan ketiga uji tersebut dapat dilihat melalui nilai P-value, yaitu tolak Ho jika kurang dari .

II. ESTIMASI PARAMETER DENGAN NEWTON RHAPSONDiketahui bahwa salah satu bagian penting dari statistika inferensia adalah estimasi titik. Estimasi titik mendasari terbentuknya inferensi statistika seperti estimasi interval dan pengujian hipotesis. Karenanya, perlu dicari suatu estimator yang sesuai untuk parameter populasi yang memiliki distribusi tertentu. Beberapa metode yang digunakan untuk mendapatkan suatu estimasi titik, yaitu: - Maximum Likelihood Estimators (MLE) Misalkan X variabel acak dengan fungsi probabilitas f(x,), dimana merupakan himpunan parameter yang tidak diketahui an saling independen, maka fungsi likelihood dapat dinyatakan dengan ( ) ( ) Langkah selanjutnya adalah mencari nilai estimator yang memaksimumkan fungsi likelihood tersebut, yaitu dengan menurunkan fungsi likelihood terhadap parameter, dan menyatakannya dengan nol. - Least Square Estimators Prinsip dari ordinary least squares adalah prosedur pendugaan dengan kuadrat terkecil. Kedua metode di atas seringkali menghasilkan estimasi dari parameter yang tidak closed-form. Maka untuk menyelesaikannya, digunakan bantuan dari algoritma Newton Rhapson. Alur dari algoritma ini pada pemecahan masalah estimasi parameter adalah: 1. Diketahui distribusi dari data 2. Terhadap distribusi itu dicari fungsi likelihood-nya 3. Untuk mempermudah penghitungan, dicari log likelihood-nya 4. Kemudian, dicari turunan pertama log likelihood terhadap semua parameternya 5. Setelah itu, dicari turunan kedua log likelihood terhadap semua parameternya 6. Misalkan adalah parameter yang akan dicari, maka: ( ) * + ( ) 7. Lakukan langkah 6 sampai batas toleransi.

CONTOH ALGORITMA NEWTON RHAPSON DALAM DISTRIBUSI EKSPONENSIAL Diketahui ( ) Langkah 1 : ( ) Langkah 2 : Langkah 3 : Langkah 4 : Langkah 5 : Langkah 6 : ( Langkah 7 : ( )

ESTIMASI PARAMETER

UNTUK

* ( )+* ( )+ * ( )+

[ )

( (

)] )

[

]

while do i = 1 : maksimum_iterasi ( enddo endwhile

)

Implementasi dalam macro minitab:

macro nrexp k1 theta0 alpha batas mcolumn theta k1 mconstant theta0 alpha iter batas i k selisih hasil rata let rata=mean(k1) let theta(1)=theta0 let i = 2 let selisih=100000 while selisih > batas let k=i-1 let theta(i)=theta(k)+alpha*(theta(k)-theta(k)**2*rata) let selisih=abs(theta(i)-theta(k)) let hasil=theta(i) let i=i+1 endwhile print hasil print I endmacro #estimasi dari theta #jumlah iterasi

CONTOH ALGORITMA NEWTON RHAPSON DALAM ESTIMASI PARAMETER DISTRIBUSI WEIBULL Diketahui ( ) ( ) ( ) ( ( ))( ) ( )

( )

(

)

[ ( )]

(

) (

)

( )

(

)

[ ( )] [ ( )]

(

(

) )

( )

( )

(

)

(

)

( ( ) [ [ ( )] [ ( )] ( ) ( (

( ) ) ( ) ( ) ) ( )

( ) )

]

( )

( ) ( ( ( ) ( )) (( ) ))

[ ( )]

[ ( )] ( ( ( ((

( ( ( ( ( ) ( ( ) ) ((

)

))

) ))

( [

)

))

) )) ( ) ( ) ]

III. PERCOBAAN DAN ANALISIS DATABerikut disajikan macro program untuk melakukan estimasi parameter dari distribusi weibull. Pada macro program berikut, dapat kita lihat bahwa untuk mempermudah proses komputasi, data di log-kan terlebih dahulu. Sehingga pada akhir program, ada perintah untuk mengembalikan nilai parameter. Macro programNama file: estimates.m X=[0.63148,0.25100,...]; n = length(X); Y = log(X); param = [0.6,1.5]'; [z,grad,H] = LogVerEV(param,Y,n); while grad > 1e-4, param = param - 0.01*inv(H)*grad; [z,grad,H] = logVerEV(param,Y,n); end alpha = exp(param(1)); beta = 1/param(2); alpha beta X = data berdistribusi weibull n = menghitung jumlah data Y = log dari X Inisiasi parameter Memanggil fungsi LogVerEV Iterasi Newton Rhapson

Deskripsi

Param = param alfa*H-1*g Mengembalikan nilai alpha Mengembalikan nilai beta Menampilkan nilai alpha Menampilkan nilai beta

Laporan Percobaan Program: 1. Dengan paket program Minitab 15, dibangkitkan 300 data berdistribusi Weibull dengan parameter 2, 0.5. 2. Data dicopy-kan ke file estimates.m untuk mengisi variabel X, dengan format data yang telah disesuaikan. 3. Input inisiasi parameter awal pada matriks param 4. Output disajikan sebagai berikut: alpha = 1.8221 beta = 0.6667