![Page 1: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/1.jpg)
John Floretta
J-PAL South Asia
Mengapa melakukan pengacakan
(Randomization)?
![Page 2: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/2.jpg)
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
![Page 3: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/3.jpg)
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Ukuran Sampel
5. Kendala dan Tantangan
6. Evaluasi dari Awal sampai Akhir
7. Analisis Keefektifan Biaya
![Page 4: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/4.jpg)
I. Latar Belakang
II. Apa itu eksperimen acak?
III.Mengapa melakukan pengacakan?
IV.Kritik dan respon pada umumnya
Ikhtisar Paparan
![Page 5: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/5.jpg)
I – Latar Belakang
![Page 6: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/6.jpg)
Dampak: Apa itu?
Waktu
Has
il U
tam
a
Dampak
Intervensi
![Page 7: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/7.jpg)
Bagaimana cara mengukur dampak?
Dampak didefinisikan sebagai suatu perbandingan antara:
1. Hasil yang diperoleh setelah beberapa waktu program dilaksanakan
2. Hasil yang dipeoleh di saat yang sama jika program tidak dilaksanakan (”counterfactual”)
7
![Page 8: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/8.jpg)
Dampak: Apa itu?
Waktu
Has
il U
tam
a
Dampak
Intervensi
![Page 9: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/9.jpg)
Dampak: Apa itu?
Waktu
Has
il U
tam
a
Dampak
Intervensi
![Page 10: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/10.jpg)
Counterfactual
• Counterfactual mewakili keadaan dimana para peserta program mengalaminya tanpa kehadiran program (yakni jika mereka tidak berpartisipasi dalam program)
• Masalah: Counterfactual tidak dapat diamati
• Solusi: Kita perlu “meniru” atau membangun Counterfactual
![Page 11: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/11.jpg)
Membangun counterfactual
• Biasanya dilakukan dengan memilih sekelompok individual yang tidak berpartisipasi dalam program
• Kelompok ini biasanya dikenal sebagai kelompok kontrol atau kelompok pembanding
• Bagaimana cara pemilihan kelompok ini menjadi pertanyaan penting dalam design evaluasi dampak
![Page 12: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/12.jpg)
Memilih Kelompok Pembanding
• Ide: Memilih sebuah kelompok yang hampir sama dengan kelompok peserta dalam segala hal kecuali satu: eksposure mereka terhadap program yang akan dievaluasi
• Tujuan: Untuk dapat menunjukkan perbedaan hasil antara kelompok peserta dan kelompok pembanding (dan bukan karena faktor lain)
![Page 13: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/13.jpg)
Metode evaluasi dampak
1. Eksperimen acak
• Dikenal juga sebagai:
– Studi Pengelompokan Acak (Random Assignment
Studies)
– Percobaan Lapangan Acak (Randomized Field Trials)
– Eksperimen Sosial (Social Experiments)
– Evaluasi Acak (Randomized Controlled Trials/RCTs)
– Eksperimen Acak (Randomized Controlled Experiments)
13
![Page 14: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/14.jpg)
Metode evaluasi dampak
2. Metode Non- atau Quasi-Eksperimental
a. Perbandingan Sebelum dan Sesudah (pre-post
comparison)
b. Perbedaan Sederhana (Simple Difference)
c. Differences-in-Differences
d. Regresi Multivariat
e. Pencocokan Statistik (Statistical Matching)
f. Interrupted Time Series
g. Variabel Instrumental (Instrumental Variables)
h. Diskontinuitas Regresi (Regression
Discontinuity)
![Page 15: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/15.jpg)
II – Apa itu eksperimen acak?
![Page 16: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/16.jpg)
Pemahaman Dasar
Dimulai dengan kasus sederhana:
• Ambil sampel para pelamar program
• Secara acak kelompokkan mereka dalam
salah satu kelompok ini:
Kelompok Perlakuan – mendapat perlakuan
Kelompok Pembanding – tidak mendapat
perlakuan (selama periode evaluasi)
![Page 17: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/17.jpg)
Manfaat utama eksperimen
Karena anggota kelompok (perlakuan dan
kontrol) secara sistematis tidak berbeda di
awal eksperimen,
perbedaan apapun yang timbul kemudian di
antara kedua kelompok dapat dikaitkan
kepada program dan bukan kepada faktor-
faktor lainnya.
17
![Page 18: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/18.jpg)
Evaluasi “Perempuan Sebagai Pembuat Kebijakan”:
desa Perlakuan vs. Kontrol pada baseline
Variabel Kelompok
Perlakuan
Kelompok
Kontrol Perbedaan
Tingkat Melek-Huruf
Perempuan 0,35 0,34
0,01
(0,01)
Jumlah Fasilitas Kesehatan
Umum 0,06 0,08
-0,02
(0,02)
Air keran 0,05 0,03 0,02
(0,02)
Jumlah Sekolah Dasar 0,95 0,91 0,04
(0,08)
Jumlah Sekolah Menengah
Atas 0,09 0,10
-0,01
(0,02)
Standard Error dalam tanda kurung. Statistik yang ditunjukkan
untuk West Bengal
*/*/***: Secara statistik signifikan pada tingkat 10% / 5% / 1%
Sumber: Chattopadhyay and Duflo (2004)
![Page 19: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/19.jpg)
Beberapa variasi dalam dasar
• Mengelompokkan mereka dalam berbagai
kelompok perlakuan
• Mengelompokkan unit-unit selain individu
atau rumah tangga
Pusat Kesehatan
Sekolah
Pemerintahan Daerah
Desa-Desa
![Page 20: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/20.jpg)
Langkah dalam melakukan evaluasi
1. Merancang penelitian secara benar
2. Memilih secara acak orang-orang kedalam
kelompok perlakuan dan kontrol
3. Mengumpulkan data baseline
4. Meverifikasi bahwa pemilihan benar
dilakukan secara acak
5. Memonitor proses sehingga integritas
evaluasi tidak dipertanyakan
![Page 21: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/21.jpg)
Langkah dalam melakukan evaluasi (lanjutan)
6. Mengumpulkan data berikutnya untuk
kelompok perlakuan dan kontrol
7. Mengestimasi dampak program dengan
membandingkan hasil rata-rata kelompok
perlakuan vs. Kelompok kontrol.
8. Menganalisa apakah dampak program
statistik signifikan dan sebenarnya
signifikan.
![Page 22: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/22.jpg)
III – Mengapa melakukan
pengacakan?
![Page 23: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/23.jpg)
Mengapa melakukan pengacakan? – Argumen
Konseptual
Jika dirancang dan dilaksanakan dengan tepat,
eksperimen acak dapat memberikan metode
paling kredibel untuk mengestimasi dampak
suatu program
23
![Page 24: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/24.jpg)
Mengapa “paling kredibel”?
Karena anggota kelompok (perlakuan dan
kontrol) tidak berbeda secara sistematis di
awal eksperimen,
Perbedaan apapun yang kemudian timbul di
antara mereka dapat dikaitkan kepada
program dan bukan kepada faktor-faktor
lainnya.
24
![Page 25: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/25.jpg)
Contoh #1: Program Balsakhi
Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program
Incorporating random assignment into the program
Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program
Incorporating random assignment into the program
![Page 26: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/26.jpg)
Program Balsakhi : Latar Belakang
• Diimplementasikan oleh Pratham, sebuah
LSM dari India
• Program ini menyediakan guru tambahan
(Balsakhi) untuk membantu anak-anak
berisiko dengan tugas sekolah mereka
• Di Vadodara, program balsakhi dilaksanakan
di sekolah-sekolah dasar negeri 2002-2003
• Para guru memutuskan anak-anak mana yang
akan mendapatkan balsakhi
![Page 27: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/27.jpg)
Balsakhi: Hasil
• Anak-anak diuji di awal tahun sekolah (pretest) dan di akhir tahun (post-test)
• PERTANYAAN: Bagaimana kita dapat mengestimasi dampak program balsakhi pada nilai/skor ujian?
![Page 28: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/28.jpg)
Metode-metode untuk mengestimasi
dampak
• Mari kita lihat berbagai cara untuk
mengestimasi dampak dengan menggunakan
data dari sekolah-sekolah yang menerima
balsakhi
1. Perbandingan sebelum dan sesudah (pre-post
comparison)
2. Perbedaan sederhana (simple difference)
3. Difference-in-differences
4. Metode non-eksperimental lainnya
5. Eksperimen Acak
![Page 29: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/29.jpg)
• Melihat rata-rata
perubahan dalam nilai
ujian sepanjang tahun
ajaran untuk anak-anak
yang mendapatkan
program balsakhi
1 – Perbandingan sebelum dan sesudah
![Page 30: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/30.jpg)
1 – Perbandingan sebelum dan sesudah
• PERTANYAAN: Dalam kondisi apakah
perbedaan ini (26,42) dapat ditafsirkan sebagai
dampak program balsakhi?
Rata-rata nilai post-test untuk anak-anak program balsakhi
51,22
Rata-rata nilai pretest untuk anak-anak program balsakhi
24,80
Perbedaan 26,42
![Page 31: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/31.jpg)
Apa yang akan terjadi jika tidak ada program
balsakhi?
Metode1: Perbandingan sebelum dan sesudah
Dampak = 26,42 poin?
75
50
25
0
0
2002 2003
26,42 poin?
![Page 32: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/32.jpg)
2 – Perbedaan sederhana (Simple Difference)
Anak-anak yang menerima
program balsakhi
Bandingkan nilai ujian dari …
Anak-anak yang tidak menerima program balsakhi
Deng-
an nilai
ujian…
![Page 33: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/33.jpg)
2 – Perbedaan sederhana (Simple Difference)
• PERTANYAAN: Dalam kondisi apakah
perbedaan ini (-5.05) dapat ditafsirkan sebagai
dampak program balsakhi?
Rata-rata nilai untuk anak-
anak program balsakhi
51,22
Rata-rata nilai untuk anak-
anak yang tidak menerima
program balsakhi
56,27
Perbedaan -5,05
![Page 34: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/34.jpg)
Apa yang akan terjadi jika tidak ada program
balsakhi?
Metode 2: Perbandingan Sederhana
Dampak = -5.05 poin?
75
50
25
0
0 2002 2003
-5.05 poin?
![Page 35: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/35.jpg)
3 – Difference-in-Differences
Anak-anak yang
mendapatkan
program balsakhi
Bandingkan perolehan dalam nilai ujian dari…
Anak-anak yang tidak mendapatkan program balsakhi
Deng-an perolehan dalam nilai ujian…
![Page 36: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/36.jpg)
3 - Difference-in-differences
Pretest Post-test Perbedaan
Rata-rata nilai untuk anak-anak dengan program balsakhi
24,80 51,22 26,42
![Page 37: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/37.jpg)
3 - Difference-in-differences
Pretest Post-test Perbedaan
Rata-rata nilai untuk anak-anak dengan program balsakhi
24,80 51,22 26,42
Rata-rata nilai untuk anak-anak tanpa program balsakhi
36,67 56,27 19,60
![Page 38: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/38.jpg)
• PERTANYAAN: Dalam kondisi apakah 6.82 dapat ditafsirkan sebagai dampak program balsakhi?
3 - Difference-in-differences
Pretest Post-test Perbedaan
Rata-rata nilai untuk anak-anak dengan program balsakhi
24,80 51,22 26,42
Rata-rata nilai untuk anak-anak tanpa program balsakhi
36,67 56,27 19,60
Perbedaan 6,82
![Page 39: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/39.jpg)
• Ada lebih banyak metode non-eksperimental yang
lebih canggih untuk mengestimasi dampak program:
– Regresi
– Pencocokan (Matching)
– Variabel Instrumental
– Diskontinuitas Regresi
• Metode-metode ini bergantung pada kemampuan
untuk “meniru” counterfactual dengan asumsi-asumsi
tertentu
• Masalah: Asumsi tidak dapat diuji
4 – Metode Lainnya
![Page 40: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/40.jpg)
• Misalkan kita mengevaluasi program balsakhi
menggunakan eksperimen acak
• PERTANYAAN #1: Apa saja yang
diperlukan? Bagaimana kita
melaksanakannya?
• PERTANYAAN #2: Apa manfaat dari
penggunaan metode ini untuk mengevaluasi
dampak program balsakhi?
5 – Eksperimen Acak
40 Source: www.theoryofchange.org
![Page 41: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/41.jpg)
Dampak Balsakhi - Ringkasan
Metode Estimasi Dampak
(1) Perbandingan sebelum
dan sesudah
26, 2*
(2) Perbedaan Sederhana -5,05*
(3) Difference-in-Differences 6,82*
(4) Regresi 1,92
*: Secara statistik signifikan pada level 5%
![Page 42: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/42.jpg)
Dampak Balsakhi - Ringkasan
Metode Estimasi Dampak
(1) Perbandingan sebelum
dan sesudah
26,42*
(2) Perbedaan Sederhana -5,05*
(3) Difference-in-Differences 6,82*
(4) Regresi 1,92
(5) Eskperimen Acak 5,87*
*: Secara statistik signifikan pada level 5%
![Page 43: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/43.jpg)
Dampak Balsakhi - Ringkasan
Intinya: Metode apa yang kita gunakan
sangatlah berpengaruh!
Metode Estimasi Dampak
(1) Perbandingan sebelum
dan sesudah
26,42*
(2) Perbedaan Sederhana -5,05*
(3) Difference-in-Differences 6,82*
(4) Regresi 1,92
(5) Eskperimen Acak 5,87*
*: Secara statistik signifikan pada level 5%
![Page 44: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/44.jpg)
Contoh #2 – Microfinance di Afrika Selatan
Metode Estimasi Dampak
(1) Perbandingan sebelum
dan sesudah
2384*
(2) Perbedaan Sederhana 1838*
(3) Difference-in-Differences 1068*
(4) Regresi 1412
(5) Eksperimen Acak
*: Secara statistik signifikan pada level 5%
![Page 45: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/45.jpg)
Contoh #2 – Microfinance di Afrika Selatan
Metode Estimasi Dampak
(1) Perbandingan sebelum
dan sesudah
2384*
(2) Perbedaan Sederhana 1838*
(3) Difference-in-Differences 1068*
(4) Regresi 1412
(5) Eksperimen Acak 292*
*: Secara statistik signifikan pada level 5%
![Page 46: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/46.jpg)
Contoh #3 – Program Read India di Pratham
![Page 47: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/47.jpg)
Contoh #3 – Program Read India di Pratham
Metode Dampak
(1) Perbandingan sebelum dan sesudah
0,60*
(2) Perbedaan Sederhana -0,90*
(3) Difference-in-Differences 0,31*
(4) Regresi 0,06
(5) Eksperimen Acak
*: Secara statistik signifikan pada level 5%
![Page 48: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/48.jpg)
Contoh #3 – Program Read India di Pratham
Metode Dampak
(1) Perbandingan sebelum dan sesudah
0,60*
(2) Perbedaan Sederhana -0,90*
(3) Difference-in-Differencess 0,31*
(4) Regresi 0,06
(5) Eksperimen Acak 0.88*
*: Secara statistik signifikan pada level 5%
![Page 49: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/49.jpg)
Contoh #4: Suatu kampanye
pemungutan suara di Amerika Serikat
Courtesy of Flickr user theocean
![Page 50: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/50.jpg)
Suatu Kampanye Pemungutan Suara
di Amerika Serikat
Metode Dampak (suara %)
(1) Perbandingan sebelum dan sesudah
-7,2 pp
(2) Perbedaan sederhana 10,8 pp *
(3) Difference-in-differences 3,8 pp*
(4) Regresi berganda 6,1 pp *
(5) Pencocokan 2,8 pp *
(5) Eksperimen Acak
![Page 51: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/51.jpg)
Suatu kampanye pemungutan suara
Metode Dampak (suara %)
(1) Perbandingan sebelum dan sesudah
-7,2 pp
(2) Perbedaan sederhana 10,8 pp *
(3) Difference-in-differences 3,8 pp*
(4) Regresi berganda 6,1 pp *
(5) Pencocokan 2,8 pp *
(5) Eksperimen Acak 0,4 pp
![Page 52: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/52.jpg)
IV – Kesimpulan
![Page 53: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/53.jpg)
• Ada banyak cara untuk mengestimasi dampak
suatu program
• Pelatihan ini membahas salah satu cara
tersebut: ekperimen acak
– Argumen konseptual: Jika dirancang dan
dilaksanakan dengan tepat, eksperimen acak
dapat memberikan metode paling kredibel untuk
mengestimasi dampak dari suatu program
– Argumen empiris: Metode-metode yang berbeda
dapat menghasilkan estimasi dampak yang
berbeda-beda
Kesimpulan – Mengapa Melakukan Acak?
53 Source: www.theoryofchange.org
![Page 54: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/54.jpg)
• Kapan RCT tidak mungkin dilakukan?
• Jika mungkin dilakukan, kapan RCT tidak
perlu dilakukan?
• Apa kritik umum yang sering didengar dari
RCT?
Kesimpulan – pertanyaan selanjutnya
54 Source: www.theoryofchange.org
![Page 55: Mengapa melakukan pengacakan (Randomization)? · Analisis Keefektifan Biaya . I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon](https://reader030.vdocuments.pub/reader030/viewer/2022020416/5c7fbdd009d3f257328bca6e/html5/thumbnails/55.jpg)
CARA PENGACAKAN
Selanjutnya …