![Page 1: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/1.jpg)
1Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Pembangkitan Bilangan
Acak dan Resampling
Materi 5 - STK571 Komputasi Statistik
April 30, 2019
![Page 2: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/2.jpg)
2Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Pembangkitan Bilangan Acak
April 30, 2019
Des, 2017
![Page 3: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/3.jpg)
3Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Pendahuluan
• Pembangkitan bil. acak merupakan alat yang diperlukan
dalam komputasi statistik umumnya untuk simulasi
• Bilangan acak yang dibangkitkan merupakan
pseudorandom (acak yang semu)
• Bilangan acak yg dibangkitkan diharapkan memenuhi
sebaran statistik tertentu (pdf/pmf, cdf)
• Semua metode pembangkitkan bil. acak tergantung dari
pembangkitan bil. acak uniform
![Page 4: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/4.jpg)
4Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Membangkitkan Bilangan Acak
• R telah menyiapkan banyak fungsi untuk membangkitkan
data berdasarkan sebaran
• Fungsi umumnya dimulai dengan huruf r diikuti dengan
nama sebaran
Contoh:
• Data sebaran pseudo normal : rnorm
• Data sebaran pseudo seragam : runif
• Pembangkit bilangan menggunakan seed yang umumnya
mengambil waktu di komputer
![Page 5: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/5.jpg)
5Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Peluang Sebaran
• Fungsi density/mass (pdf/pmf) dimulai huruf d diikuti dengan nama
sebarannya
• dnorm
• dunif
• Fungsi kumulatif (cdf) dimulai huruf p diikuti dengan nama
sebarannya
• pnorm
• punif
• Fungsi quantile/invers cdf dimulai huruf q diikuti dengan nama
sebarannya
• qnorm
• qunif
![Page 6: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/6.jpg)
6Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Tabel Fungsi sebaran peluang dalam R
![Page 7: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/7.jpg)
7Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Bagaimana jika belum ada fungsi pembangkit bil. acak?
![Page 8: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/8.jpg)
8Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Teknik Pembangkitan Bil. Acak
• Teknik umum dalam pembangkitan bil. acak
• Inverse-transform method
• Acceptance-rejection method
• Other Special techniques: Direct Transformation
![Page 9: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/9.jpg)
9Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Inverse Transform Method
• Berdasarkan teori Probability Integral Transformation: Jika
X adalah peubah acak kontinu dengan cdf F(x), maka U =
F(X) ~ Uniform(0,1).
• Menerapkan transformasi integral peluang. Didefiniskan
transformasi invers:
F-1 (u) = inf{x : F(x) = u}, 0 < u <1
Jika U ~ uniform(0,1), maka untuk semua x anggota R
• P(F-1 X(u) ≤x) = P(inf{t : FX(t)= U} ≤ x) = P(U ≤ FX(x)) = FU(FX(x)) = FX(x)
• Akhirnya F-1 X(u) memiliki sebaran yang sama dengan X
![Page 10: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/10.jpg)
10Dr. Agus Mohamad SolehDepartment of Statistics, IPB 10
Inverse Transform Method
• Konsep:
Untuk fungsi cdf : r = F(x)
Bangkitkan r dari uniform (0,1)
Maka x:
x = F-1(r) r1
x1
r = F(x)
![Page 11: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/11.jpg)
11Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Inverse Transform Method
• Ilustrasi:
Diketahui pdf : f(x) = 3x2, 0 < x < 1
FX(x) = x3 , 0 < x < 1
F-1X(u) = u1/3,
Dalam R (misal membangkitkan 1000):
n <- 1000
u <- runif(n)
x <- u^(1/3)
#cek
hist(x, prob=TRUE)
y <- seq(0,1,.01)
lines(y, 3*y^2)
Histogram of x
x
Density
0.2 0.4 0.6 0.8 1.0
0.0
0.5
1.0
1.5
2.0
2.5
![Page 12: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/12.jpg)
12Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Inverse Transform Method
• Latihan:
X dari sebaran eksponensial dengan mean 1/λ
Jika X ~ Exp(λ), maka untuk x > 0 cdf dari X adalah
FX(x) = 1-e-λx
Bangkitkan X ~ Exp (λ) sebanyak 1000
![Page 13: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/13.jpg)
13Dr. Agus Mohamad SolehDepartment of Statistics, IPB
ITM: Sebaran Diskret
• Jika X ~ p.a. diskret dan … < xi-1 < xi < xi+1 < … adalah
titik tidak kontinu dari FX(x), maka transformasi inversnya
adalah F-1X(u)=xi dimana FX(xi-1) < u < FX(xi).
• Langkah:
Bangkitkan uniform (0,1)
Tentukan xi dimana FX(xi-1) < u < FX(xi)
![Page 14: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/14.jpg)
14Dr. Agus Mohamad SolehDepartment of Statistics, IPB
ITM: Sebaran Diskret
• Ilustrasi:
Membangkitkan bil. acak ~ Bernoulli (0.4)
FX(0) = fx(0) = 1-p dan FX(1) = 1.
F-1X(u) = 1 jika u > 0.6
F-1X(u) = 0 jika u <= 0.6
Dalam R
n <- 1000
p <- 0.4
u <- runif(n)
x <- as.integer(u>0.6)
barplot(table(x))
0 1
0100
200
300
400
500
![Page 15: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/15.jpg)
15Dr. Agus Mohamad SolehDepartment of Statistics, IPB 15
ITM: Kasus Sebaran Diskret
Ilustrasi: Misal banyaknya pengiriman, x, dari suatu
perusahaan adalah 0, 1, atau 2 kali
Data – Sebaran Peluang:
Metode– Diberikan U,
Skema pembangkit:
0.18.0
8.05.0
5.0
,2
,1
,0
U
U
U
xPerhatikan U1 = 0.73:
F(xi-1) < U <= F(xi)
F(x0) < 0.73 <= F(x1)
Maka, x1 = 1
x p(x) F(x)
0 0.50 0.50
1 0.30 0.80
2 0.20 1.00
![Page 16: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/16.jpg)
16Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Bagaimana jika sulit untuk mendapatkan cdf?
![Page 17: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/17.jpg)
17Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Acceptance-Rejection method
• Misalkan X dan Y adalah peubah acak dengan pdf/pmf f
dan g dan terdapat konstanta c sehingga
f(t) / g(t) ≤ c. Untuk semua t: f(t) > 0
• Teknik:
1. Tetapkan peubah acak Y dengan density g yg memenuhi f(t)/g(t)
≤ c. Untuk semua t: f(t) > 0.
2. Untuk setiap satu bil. acak:
a. Bangkitkan y acak dari sebaran dengan density g
b. Bangkitkan u acak dari sebaran Uniform(0,1).
c. Jika u < f(y)/(c g(y)) terima y dan x=y; selainnya tolak y dan ulangi
langkah 2(a)
![Page 18: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/18.jpg)
18Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Acceptance-Rejection method
• Ilustrasi:
Membangkitkan bil. acak sebaran beta (shape1=2, shape2=2)
Pdf dari beta(2,2) : f(x) = 6x(1-x), 0 < x < 1.
Tahap:
1. Ambil g(x) dari sebaran Uniform(0,1)
2. Maka f(x)/g(x) ≤ 6 untuk 0 < x < 1.
3. Sebuah x acak dari g(x) diterima jika
f(x)/ [c g(x)] = 6x(1-x) / [6(1)] = x(1-x) > u
![Page 19: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/19.jpg)
19Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Acceptance-Rejection method
• Dalam R:
n <- 1000
k <- 0
j <- 0
y <- numeric(n)
while (k < n) {
u <- runif(1)
j <- j+1
x <- runif(1)
if (x*(1-x) > u) {
k <- k+1 # terima x
y[k] <- x
}
}
Histogram of y
y
Density
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.5
1.0
1.5
![Page 20: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/20.jpg)
20Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Metode Lain: Direct Transformation
• Beberapa transformasi dari tranformasi invers sebaran
dapat digunakan untuk membangkitkan bil. acak:
Jika Z ~ N(0,1), maka V = Z2 ~ χ2(1)
Jika U ~ χ2(m), V ~ χ2(n), U dan V bebas, maka
F = (U/m ) / ( V/n) ~ F (m,n)
Jika Z ~ N(0,1) V ~ χ2(n) dan U dan V bebas, maka
T = Z / sqrt(V/n) ~ t-student (n)
dst
![Page 21: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/21.jpg)
21Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Resampling
April 30, 2019
Des, 2017
![Page 22: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/22.jpg)
22Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Resampling
• Bootstrap
• Jacknife
• Cross Validation
![Page 23: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/23.jpg)
23Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Why resampling?
• Fewer assumptions
Ex: resampling methods do not require that distributions be Normal or that sample sizes be large
• Greater accuracy: Permutation tests and come bootstrap methods are more accurate in practice than classical methods
• Generality: Resampling methods are remarkably similar for a wide range of statistics and do not require new formulas for every statististic.
• Promote understanding: Boostrap procedures build intuition by providing concrete analogies to theoretical concepts.
![Page 24: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/24.jpg)
24Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Use Bootstraps and Jackknives when:
• Deriving statistical model
very difficult, impossible, or tedious
• Statistical model too complicated to be useful
• Model may not be quite valid
• Accurate measure of precision under statistical model
only possible with large n
![Page 25: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/25.jpg)
25Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Bootstrap
![Page 26: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/26.jpg)
26Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The Basic Idea
The “true”
distribution
in the sky
Sample 1
Y11, Y
12… Y1
k
…Sample 2
Y21, Y
22… Y2
k
Sample 3
Y31, Y
32… Y3
k
Sample N
YN1, Y
N2… YN
k
Y1 Y3 YNY2
μ
•Any actual sample of data was drawn from the
unknown “true” distribution
•We use the actual data to make inferences about
the true parameters (μ)
•Each green oval is the sample that “might have
been”
•The distribution of our estimator (Y) depends on both the true distribution and the size (k) of our sample
Theoretical Picture
![Page 27: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/27.jpg)
27Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The Basic Idea
The actual
sample
Y1, Y2… Yk
Re-sample 1
Y*11, Y*1
2… Y*1k
…Re-sample 2
Y*21, Y*2
2… Y*2k
Re-sample 3
Y*31, Y*3
2… Y*3k
Re-sample N
Y*N1, Y*N
2… Y*Nk
Y*1 Y*3 Y*NY*2
Y
•Treat the actual distribution as a proxy for the true
distribution.
•Sample with replacement your actual distribution N
times.
•Compute the statistic of interest on each “re-
sample”.
•{Y*} constitutes an estimate of the distribution of Y.
The Bootstrapping Process
![Page 28: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/28.jpg)
28Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Procedure for bootstrapping
Let the original sample be x=(x1,x2,…,xn)
Repeat B times
Generate a sample x* of size n from x by sampling with replacement.
Compute for x*.
Now we end up with bootstrap values
Use these values for calculating alll the quantities of
interest (e.g., standard deviation, confidence intervals)
*̂
)ˆ,...,ˆ(*ˆ **
1 B
![Page 29: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/29.jpg)
29Dr. Agus Mohamad SolehDepartment of Statistics, IPB
An example
X=(3.12, 0, 1.57,
19.67, 0.22, 2.20)
Mean=4.46
X1=(1.57,0.22,19.67,
0,2.2,3.12)
Mean=4.13
X2=(0, 2.20, 2.20,
2.20, 19.67, 1.57)
Mean=4.64
X3=(0.22, 3.12,1.57,
3.12, 2.20, 0.22)
Mean=1.74
![Page 30: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/30.jpg)
30Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Cases where bootstrap does not apply
• Small data sets: the original sample is not a good approximation of the population
• Dirty data: outliers add variability in our estimates.
• Dependence structures (e.g., time series, spatial problems): Bootstrap is based on the assumption of independence.
![Page 31: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/31.jpg)
31Dr. Agus Mohamad SolehDepartment of Statistics, IPB
How many bootstrap samples are needed?
Choice of B depends on
• Computer availability
• Type of the problem: standard errors, confidence intervals,
…
• Complexity of the problem
![Page 32: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/32.jpg)
32Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The JACKNIFE
![Page 33: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/33.jpg)
33Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The Jackknife
• Data D = {X1, X2, X3, .... ,Xn} => statistic s
• Jackknife replicates miss out units (or groups of units) in
turn:
J1 = X2, X3, .... ,Xn => statistic s-1 (missing unit 1)
J2 = X1, X3, .... ,Xn => statistic s-2 (missing unit 2)
etc.
• Convert into pseudovalues:
φ1 = s-1
φ2 = s-2
Etc.
![Page 34: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/34.jpg)
34Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The Jackknife
• The Jackknifed Estimate of s is then:
sJ = mean(φ1,...,φn)
• Estimate of Bias:
(n -1) (sJ - s )
• SE(s) = SE(φ1,...,φn)
• Another methods:
• Convert into pseudovalues:
φ1 = n⋅s - (n-1)s-1
φ2 = n⋅s - (n-1)s-2
Etc.
![Page 35: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/35.jpg)
35Dr. Agus Mohamad SolehDepartment of Statistics, IPB
The Jackknife
• Jackknifed Estimate removes bias
• Jackknife SE “rough and ready”
usually “conservative” (overestimates SE)
• Jackknife on blocks of units, if data not independent
• Assumes normality for confidence intervals
• Fails when s is not “smooth”
![Page 36: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/36.jpg)
36Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Bootstraps
“Better” estimate of confidence
Variable n
Self-comparisons a problem
e.g. Mean of associations
Gives SE’s, confidence intervals and
profile of confidence
Jackknives
“Worse” estimate of confidence
Usually conservative
underestimates precision
Fixed n
Self-comparisons not a problem
Reduces Bias
Only directly gives SE
Confidence intervals need assumption of normality
![Page 37: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/37.jpg)
37Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Bootstraps and Jackknives
• Give estimates of confidence (and bias) when:
distributions unknown, approximate, or intractable
• Non-parametric bootstrap
widely applicable (except self-referencing situations)
few assumptions
• Jackknife
approximate
only standard error given directly
useful when bootstrap not applicable
![Page 38: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/38.jpg)
38Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Cross validation
![Page 39: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/39.jpg)
39Dr. Agus Mohamad SolehDepartment of Statistics, IPB
• Data partitioning method
• The jackknife could be considered a special case
• Another version: “k-fold” cross validation
![Page 40: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/40.jpg)
40Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Prosedur
• Split data menjadi k bagian
Untuk bagian 1 – (k-1) gunakan untuk menduga model
Bagian ke-k digunakan untuk menduga respons
Hitung galat prediksi: cv(-k) = 1/nk sqrt((sum(yhat-y)))
Ulangi sampai setiap bagian pernah digunakan untuk menduga galat
prediksi
Hitung RMSEP = mean(cv(-1),cv(-2), …, cv(-k))
![Page 41: Pembangkitan Bilangan Acak dan Resampling · 2019-04-30 · Department of Statistics, IPB Dr. Agus Mohamad Soleh 1 Pembangkitan Bilangan Acak dan Resampling Materi 5 - STK571 Komputasi](https://reader030.vdocuments.pub/reader030/viewer/2022040220/5e26f4b0dd757666f1577c25/html5/thumbnails/41.jpg)
41Dr. Agus Mohamad SolehDepartment of Statistics, IPB
Thank You,,,,See you next time
Selesai...