stk643 pemodelan non-parametrik nonparametrik teknik pemulusan dalam regresi nonparametrik untuk...
Post on 29-Apr-2019
226 Views
Preview:
TRANSCRIPT
STK643 PEMODELAN NON-PARAMETRIK
Regresi Nonparametrik
REGRESI NONPARAMETRIK
Model: π¦ = π π₯ + π
dengan π¦ = peubah respon
π₯ = peubah bebas (covariate)
π = galat dengan ragam 0 dan ragam Ο2
REGRESI NONPARAMETRIK
Nadaraya-Watson kernel estimator:
π π₯ = πΎ
(π₯π β π₯)β
π¦πππ=1
πΎ(π₯π β π₯)
βππ=1
= π€ππ¦π
π
π=1
π€π =1
πβ
πΎ(π₯π β π₯)
β
π (π₯)
π (π₯) =1
πβ πΎ
(π₯π β π₯)
β
π
π=1
REGRESI NONPARAMETRIK
REGRESI NONPARAMETRIK
REGRESI NONPARAMETRIK
Teknik pemulusan dalam regresi nonparametrik untuk
menduga kurva regresi :
1. Rataan bergerak (running mean);
2. Regresi sederhana (running line);
3. Regresi polinomial (running polynomial);
4. Kernel (Kernel smoothing); dan
5. Spline (spline smoothing).
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
Suatu pemulus yang sangat sederhana untuk menduga kurva regresi dengan rataan dari
k titik sekitar xi, disebut sebagai pemulus rataan bergerak atau rataan lokal dengan
pembobot Wni(x) bernilai 1
f k(xi)=1
k yj
{j:xjβN xj }
di mana N(xi) adalah tetangga terdekat simetrik (symmetric nearest neighborhood)
sekitar xi, yaitu sejumlah (k-1)/2 titik terdekat di bawah xi dan (k-1)/2 titik terdekat di
atas xi.
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
Algoritma
1. Urutkan data x dari nilai terkecil sampai dengan terbesar
2. Tentukan k titik data sekitar xi.
3. Pemulus rataan dihitung untuk setiap xi sebagai berikut:
a. Tentukan indeks batas bawah i1=maksimum{(i-(k-1)/2); 1}
b.Tentukan indeks batas atas i2=minimum{(i+(k-1)/2); n}
c. Tentukan pemulusnya:
π π π₯π =1
π1 β π2 + 1 ππ
π2
π=π1
REGRESI NONPARAMETRIK
π π₯ = π₯3si nπ₯ + 3.4
2
***
***
*
*
*
*
*
***
**
**
*
*
*
***
*
*
*
*
**
*
*
**
*
*
*
*
*
*
****
***
*
*
*
*
*
**
**
*
*
**
*
*
*
*
***
***
***
**
*
****
*****
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
*
**
*
*
***
*
**
**
*
*
**
**
*
***
*
**
*
*
*****
*
*
*
******
*
***
**
***
****
*
*
**
**
*
*
***
**
*
*
**
*
*
*
***
*
*
**
**
**
**
*
***
**
***
-3 -2 -1 0 1 2 3
-8-6
-4-2
02
4
Data Simulasi
Prediktor
Re
spo
n
REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Rataan Lokal
Prediktor
Re
sp
on
k = 15
k = 25
k = 15
k = 25
REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)
Pemulus garis bergerak pada suatu xi adalah π π π₯π
= ππ(π₯π), di mana
li x =y i+Ξ²i xβx
dengan y i, x i, dan Ξ² i adalah rataan respon, rataan prediktor, dan penduga kemiringan
garis regresi, untuk data dalam N(xi). Persamaan garis regresi sederhana lokal ini diduga
dengan metode kuadrat terkecil.
REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Garis Lokal
Prediktor
Re
spo
n
k = 15
k = 25
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
Pemulus polinomial dilakukan berdasarkan fungsi polinomial f(x)
berderajat atau berordo p berikut:
f x =b0+b1x+b2x2+β¦+bpx
p
Pendugaan fungsinya pada suatu titik tertentu x0 menggunakan metode kuadrat terkecil terboboti dengan pembobotan terhadap pengamatan-pengamatan sekitar titik x0.
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
Fungsi pembobot yang digunakan adalah fungsi tricube berikut.
π π§ = 1 β |π§|3 3 π’ππ‘π’π |π§| < 1
0 π’ππ‘π’π |π§| β₯ 1
Dalam hal ini π§π = π₯π β π₯0 /β, di mana h adalah lebar jendela (jarak terjauh dari xi) yang mencakup pengamatan-pengamatan untuk regresi lokal.
REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulus Polinomial Ordo 2
Prediktor
Re
spo
n
span = 0.1span = 0.2
span = 0.3
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
Pemulusan spline akan menghasilkan kurva yang lebih mulus daripada
pemulus-pemulus sebelumnya. Pemulus spline termasuk ke dalam
kategori pemulus linier. Metode pemulusan spline menduga fungsi f (x)
dengan cara meminimumkan ππ(π ) seperti berikut.
QΞ»(f )= Yiβf
xi2
n
i=1
+Ξ» f "(x)2
xn
x1
dx
di mana π "(π₯) adalah turunan kedua dari π π₯ , dengan data yang telah diurutkan dari terkecil (x1) sampai terbesar (xn).
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
f adalah potongan polinomial kubik pada setiap selang (xi, xi+1), yaitu
f x = h
Ξ»i+hsi(x)
n
i=1
dengan si(x) adalah interpolant dari ΞΌi untuk i=1,2,...,n.
REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Pemulusan Spline
Prediktor
Re
sp
on
knot = 5knot = 15
knot = 25
REGRESI NONPARAMETRIK SELANG KEPERCAYAAN
*
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
**
*
*
*
***
*
*
***
*
*
*
*
*
***
*****
**
*
*
*
*
**
*
*
****
*
*
*
*
*
**
*
**
*
**
*
**
*
*
*
*
**
*
**
*
*
*
*
*
*
*
*
*
*
*
***
*
*
*
***
*
**
***
*
*
**
*
**
*
*
*
*
*
*
*
**
*
**
**
*
*
**
*
*
**
*
**
*
*
**
*
**
*
*
*
*
*
***
***
*
*
**
*
***
*
***
*
*
*
*
**
**
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
-3 -2 -1 0 1 2 3
-50
5
Polinomial Lokal (Loess - derajat 2)
Prediktor
Re
sp
on
lowess dan loess (locally weighted scatterplot smoother)
top related