evaluasi acak (randomized evaluation): dari awal sampai …. start to... · ikhtisar pelatihan 1....
Post on 01-Feb-2018
258 Views
Preview:
TRANSCRIPT
Evaluasi Acak (Randomized Evaluation):
Dari awal sampai akhir
1
Freida Siregar
J-PAL SEA
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Ikhtisar Pelatihan
1. Apa yang dimaksud dengan evaluasi? Mengapa
Mengevaluasi?
2. Mengapa melakukan pengacakan?
3. Cara pengacakan
4. Kendala dan Tantangan
5. Evaluasi dari Awal sampai Akhir
6. Analisis Keefektifan Biaya
Alur Evaluasi secara umum
4
Desain Evaluasi
• Konteks
• Pertanyaan penelitian/ kebijakan
• Perlakuan yang akan diujicobakan
• Metode randomization
Baseline
• Survei: Pengumpulan indikator
• Random assignment
• Pengendalian kualitas
Perlakuan
• Implementasi perlakuan
• Pengendalian kualitas internal
• Koordinasi
• Kunjungan lapangan
Midline dan/atau Endline
• Survei: Pengumpulan indikator
• Pengendalian kualitas
Analisa
• Temuan kebijakan
• Policy outreach
Evaluasi dari Awal sampai Akhir
5
1. Latar Belakang dan Desain Evaluasi
2. Implementasi: Perlakuan (Treatment)
3. Implementasi: Pengumpulan Data
4. Analisa dan Scaling up
Latar Belakang Evaluasi
6
Latar Belakang dan Desain
7
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Latar Belakang dan Desain
8
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Program: Raskin
9
• Salah satu program perlindungan sosial Indonesia yang paling
besar
– US $1.5 milyar pengeluaran tiap tahun
– 53% dari belanja APBN untuk perlindungan sosial (World Bank 2012)
• Menyediakan beras bersubsidi kepada rumah tangga miskin dan
rentan
– 15 kg beras dengan harga Rp. 1,600 per kg Titik Distribusi
– Sasaran: 30% RT paling miskin (PPLS’10)
• Nyatanya, Rumah Tangga Sasaran Penerima Manfaat (RTS-PM)
Raskin hanya menerima 32% subsidi(Raskin HH survey
Mitra: TNP2K
10
• Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K),
• Dibentuk dan berada di bawah Wakil Presiden Boediono
• Mandat TNP2K: – Menyusun kebijakan evidence-based untuk
meningkatkan keefektifan program bantuan sosial,
– Mengordinasikan aktor –aktor pemerintahan untuk tujuan ini
• Salah satu prioritas utama TNP2K adalah meningkatkan targeting dan service delivery. Raskin berada di bawah Cluster I TNP2K
Latar Belakang dan Desain
11
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Tujuan Evaluasi
12
Mengumpulkan bukti untuk memahami apakah distribusi kartu
Raskin yang diajukan TNP2K akan meningkatkan program Raskin
Percontohan bertujuan menjawab tiga pertanyaan kebijakan
kunci:
1. Akankah kartu Raskin meningkatkan targeting dan take-up
program Raskin untuk keluarga yang berhak (RTS-PM), dan
menurunkan harga?
2. Akankah kartu Raskin diterima secara sosial?
3. Apa cara paling efektif untuk mengimplementasikan kartu?
Theory of Change
DISTRIBUSI KARTU RASKIN KEPADA RUMAH
TANGA SASARAN PENERIMA MANFAAT
RASKIN (RTS-PM)
RT MENERIMA KARTU RASKIN
RT MEMPEROLEH SUBSIDI RASKIN LEBIH BANYAK
TRANSPARANSI DAN EFEKTIFITAS
PROGRAM PERLINDUNGAN
SOSIAL MENINGKAT
Asumsi sampel: Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya
Asumsi sampel: RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan
Asumsi sampel: Pengiriman kartu ke RT berhasil, tidak ada penghalangan
Asumsi sampel: Perubahan ini berlanjut, ketidakefektifan program perlindungan sosial karena kurang transparansi
Log Frame
14
Hirarki Tujuan Indikator Sumber Verifikasi
Asumsi/ Ancaman
Dampak (Tujuan/
Tujuan Umum)
Meningkatnya
transparansi dan
keefektifan program-
program distribusi sosial
Kuantitas dan harga Raskin yang dibeli
Survei RT Perubahan praktek baru berlanjut, ketidakefektifan program karena kurang transparan
Hasil (Tujuan Proyek)
Penerima manfaat
mendapat subsidi Raskin
lebih banyak
Kuantitas dan harga Raskin yang dibeli
Survei RT RTS-PM menuntut harga turun, otoritas Raskin desa mendengarkan permintaan tersebut dan mampu membuat perubahan
Output RTS-PM menerima kartu Raskin
Apakah RTS-PM menerima kartu
Survei RT Warga memahami informasi di kartu, menggunakan kartu, tidak ketukar dengan kartu/ kupon Raskin yang mungkin ada sebelumnya
Input (Kegiatan)
Distribusi kartu kepada RTS-PM Raskin
Apakah kartu berhasil dikirim
Survei RT, data administratif dari PT Pos*
Pengiriman kartu ke RT berhasil, tidak ada penghalangan
Latar Belakang dan Desain
15
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Ikhtisar Intervensi
16
Kartu Raskin
Variasi 1: Desain
Variasi 2: Konten
Variasi 3: Distribusi
Variasi 4: Sosialisasi
Kupon
Tanpa kupon
Harga di TD
Tanpa harga
Semua RTS-PM
10% plg bawah
Standar
Tambahan
Contoh Kartu Raskin
17
Kartu Raskin dengan kupon dan harga Kartu Raskin tanpa
kupon, dengan harga
Poster Sosialisasi Tambahan
18
Variasi Perlakuan
19
Variasi Kartu Sosialisasi
Standar Sosialisasi Tambahan
Semua RTS-PM
Harga Kupon Grup 1 Grup 2
Tanpa kupon Grup 3 Grup 4
Tanpa harga
Kupon Grup 5 Grup 6
Tanpa kupon Grup 7 Grup 8
10% Paling Bawah
Harga Kupon Grup 9 Grup 10
Tanpa kupon Grup 11 Grup 12
Tanpa harga
Kupon Grup 13 Grup 14
Tanpa kupon Grup 15 Grup 16
Control (Tanpa card, tanpa sosialisasi)
Pengumpulan Data
Survei Midline Okt – Des ‘12
Survei Endline Mar – Maei‘13
Implementasi Proyek
Baseline Jan – Feb ‘12
Presentasi Desember
2012
Presentasi Juni 2013
Evaluasi & Dampak Evaluasi
20
Design Evaluation
Implementasi Perlakuan Sep – Nov ‘12
Latar Belakang dan Desain
21
Konteks
• Program Raskin
• Mitra: TNP2K
Pertanyaan Penelitian/ Kebijakan
• Pertanyaan Penelitian/ Kebijakan
• Theory of change
• Log frame
Perlakuan yang akan
diujicobakan
Metode randomization
• Unit randomisasi
• Sample frame
• Stratification
Mengidentifikasi unit pengacakan
22
• Apa unit administratif
terkecil tempat
dilaksanakannya distribusi
Raskin?
• Kecamatan? Gudang bulog?
Desa? Dusun?
Source: www.bulog.co.id
Propinsi
Kota/ Kab.
Desa/K elurahan
Di bawah Kota/Kab
Di bawah Kota/Kab
Gubernur
Bupati/ Walikota
Perum Bulog (Divre/Subdivre/Kansilog)
Gudang (Satgas Raskin)
Titik Distribusi (Pelaksana Distribusi)
Pokja Warung Desa Pokmas
Rumah tangga sasaran penerima Raskin (Dibayar tunai di Rp 1.600/kg di Titik Distribusi)
Ketua Tim Raskin Nasional (Kemeko Bid Kesra)
Sample Frame
23
• 600 desa (termasuk desa control)
28 dikeluarkan dari sampel karena berisiko tinggi dan terpencil
• 572 desa di 6 Kabupaten
Pemalang dan Wonogiri (Jawa Tengan),
Palembang dan Ogan Komering Ilir (Sumatera Selatan),
Bandar Lampung dan Lampung Tengah (Lampung)
• Sampel Raskin
sama dengan
proyek sebelumnya
(Targeting II)
Stratifikasi
24
• Perlakuan distratifikasi berdasarkan
– Kabupaten
– Kelompok Perlakuan di Targeting II
– Kecamatan
– Rasio urban terhadap rural 2:3
Bentuk Pengacakan
25
Perlakuan 1: Kartu Raskin
Perlakuan 2: Kartu Raskin + Sosialisasi Tambahan
Kendali: Tak ada perlakuan
26
Secara statistik, desa-desa Perlakuan dan Control serupa
sebelum percontohan
Baseline data from February 2012
Control CardsN = 5643
03
69
By Treatment Status
Raskin purchased (in kg)
IMPLEMENTASI: PERLAKUAN
27
Implementasi: perlakuan
28
Operasionalisasi perlakuan
Tetapkan kendali kualitas internal
Persiapan, peluncuran perlakuan (kartu, sos tambahan)
Koordinasi dengan pihak pemerintah
Kunjungan lapangan
Rencana Implementasi
29
• Operasionalisasi perlakuan
– Kembangkan rencana implementasi lapangan bersama dengan
spesialis fasilitasi dan pemerintah
– Gunakan vendor pilihan pemerintah
• Tetapkan kendali kualitas internal
– Pemeriksaan acak saat pencetakan kartu
– Standar dalam perekruitan fasilitator
– Dokumentasi implementasi perlakuan dengan form yang
sudah standar
– Prosedur pelaporan yang jelas
Rencana Implementasi
30
• Koordinasi dengan pihak pemerintah – Workshop di Jakarta untuk perwakilan dari propinsi,
kabupaten/kota
– Koordinasi pra-kerja lapangan dengan pemimpin kabupaten/ kota, kecamatan dan desa
• Persiapan, peluncuran perlakuan – Penjadwalan, pelatihan, koordinasi logistik
• Kunjungan lapangan: mengamati respon terhadap
perlakuan
Variasi Perlakuan
31
Variasi Kartu Sosialisasi
Standar Sosialisasi Tambahan
Semua RTS-PM
Harga Kupon Grup 1 Grup 2
Tanpa kupon Grup 3 Grup 4
Tanpa harga
Kupon Grup 5 Grup 6
Tanpa kupon Grup 7 Grup 8
10% Paling Bawah
Harga Kupon Grup 9 Grup 10
Tanpa kupon Grup 11 Grup 12
Tanpa harga
Kupon Grup 13 Grup 14
Tanpa kupon Grup 15 Grup 16
Control (Tanpa card, tanpa sosialisasi)
32
Secara acak, kartu dibedakan berdasarkan:
• Desain: dengan atau tanpa kupon
• Isi: dengan atau tanpa harga
• Distribusi: kepada semua RTS-PM atau hanya 10%
termiskin
Distribusi Kartu Raskin kepada RTS-PM
• Sept. hingga pertengahan Okt. ‘12
• 378 desa menerima kartu;
194 desa control
Rekap: Variasi Kartu Raskin
33
Secara acak, desa dengan kartu Raskin menerima:
• Sosialisasi Standar: Surat, DPM; atau
• Sosialisasi Tambahan:
• + 3 DPM per dusun
• + 3 poster informasi per dusun
• Sosialisasi ke tokoh masyarakat
• Pengumuman melalui mesjid
Rekap: Variasi Kartu Raskin
34
• Akhir-Sept. hingga mid-Nov. ’12
• 378 desa yang menerima kartu menerima
sosialisasi
• 186 desa: Sosialisasi Standar
• 192 desa: Sosialisasi Tambahan
• 194 desa control tidak menerima
sosialisasi
Rekap: Variasi Kartu Raskin
Seorang fasilitator menjelaskan mengenai kartu Raskin kepada pemimpin kampung di OKI, Lampung Tengah
Tantangan dalam implementasi perlakuan
35
• Beberapa desa perlakuan
tidak aman dan terpencil
• Banyak kartu tidak
sampai ke penerima
manfaat
Tantangan dalam implementasi perlakuan
36
• Fasilitator tidak menerima poster daftar
penerima manfaat yang mencukupi
• Pada saat
pertemuan, peserta
mengeluhkan
aspek lain dari
program Raskin/
pemerintah
IMPLEMENTASI:
PENGUMPULAN DATA
37
Implementasi: Pengumpulan Data
38
Rancangan kuesioner
Piloting internal Koordinasi
dengan pihak pemerintah
Persiapan, peluncuran tim pengumpulan
data
Kendali kualitas, kunjungan lapangan
Rencana Pengumpulan Data
39
• Instrumen Survei: Survei RT dan masyarakat
• Baseline—gunakan endline proyek sebelumnya – Pastikan bahwa kelompok control dan perlakuan serupa secara
statistik
• Identifikasi responden – Responden:
• RTS-PM Raskin (miskin)
• RTS-PM Raskin (sangat miskin/10% paling miskin)
• Non RTS-PM Raskin
– Listing, untuk identifikasi non RTS-PM Raskin
– Gunakan data PPLS’10 , untuk identifikasi RTS-PM Raskin
Tantangan dalam Pengumpulan Data
40
• Mencocokkan data administratif dengan lapangan
– Human error, perubahan status kemistikan/ alamat
• Mengakomodasi perubahan pada area administratif
(misalnya pemekaran)
• Keterbatasan waktu
• Memperoleh SDM untuk melaksanakan pengumpulan data
• Masalah lain: sejauh mana responden dapat mengingat?
Bagaimana cara membahasakan/ menjelaskan “Titik
Distribusi”? Dsb.
Pengumpulan Data
41
Survei Sumber Responden Data yang dikumpulkan
Baseline 2011
Endline dari Targeting II, proyek sebelumnya
Penerima PKH, non-miskin
Kendalikan bahwa kelompok control dan perlakuan serupa secara statistik
Midline Oct-Des’12
5,148 RT, melalui survei RT dan survei komunitas (target: kades/ lurah)
Non-miskin, RTS-PM Raskin (miskin dan sangat miskin)
Jumlah dan harga Raskin yang dibeli, pengetahuan tentang program Raskin, tingkat kepuasan, konsumsi RT, subjective wealth/standing, dsb.
Endline Mar-Mei ’13
6,292 RT, melalui survei RT dan survei komunitas
Ibid Ibid
Tantangan dalam evaluasi program
42
• Attrition: saat evaluator gagal mengumpulkan
sata pada individu-individu yang terseleksi sebagai
bagian dari sampel asli
– ML: 9% diganti (418/4,572), EL: 9.8% (561/5,706)
– Penggantian responden diintegrasikan dalam proses
pengumpulan data
– Mengeluarkan 28 desa dari evaluasi
43
ANALISIS
44
Analisis
45
1. Rancang rencana analisis
2. Tulis STATA do.file 3. Proses data melalui program
4. Hasilkan grafik 5. Analisis: Hubungkan dengan observasi kualitatif dari lapangan
6. Diseminasi temuan
Relatif terhadap control, RT yang berhak
di desa kartu memiliki kepuasan lebih
tinggi terhadap Raskin
Peningkatan pembelian Raskin oleh
yang berhak dibandingkan control
RT yg berhak di desa perlakuan membeli beras
lebih banyak dibanding kelompok control
46
Control CardsN = 2770
02
04
06
08
0
Eligible
Control CardsN = 1362
Ineligible
By Treatment Status and Sample
HH bought raskin (pooled since oct)
Control CardsN = 2769
01
.93.8
5.7
7.6
Eligible
Control CardsN = 1362
Ineligible
By Treatment Status and Sample
Amount of raskin (kg, pooled since oct)
Dapatkah kita menghasilkan grafik “subsidi diterima” ini?
1.4kg (25%) more rice
4.5pp
HA
SIL
MID
LIN
E
47
RT yang berhak di desa perlakuan membeli
menerima lebih banyak subsidi
Tak ada perbedaan dlm hal kepuasan RT
antara perlakuan dan control
RT yang berhak di desa perlakuan membeli
lebih banyak beras
RT yang berhak di desa perlakuan
membayar dengan markup lbh kecil
0.9 kg (19%) lebih beras
Rp. 77/kg (13%) Harga markup lbh kecil
Sekitar Rp. 6000/KK/bln (21%)
Jadi apakah org yang berhak di desa kartu juga menikmati harga yang digelembungkan yang lebih kecil? Berapa besar?
HA
SIL
END
LIN
E
Perkembangan Hasil
48
Perlakuan → Hasil Midline Endline Kartu → take-up, pembelian, dan subsidi
(+) (+)
Kartu → kepuasan HH (+) yg berhak
(eligible) Tak ada efek
Sosialisasi Tambahan/ Enhanced Socialization (ES)
→ pembelian, subsidi (+) eligible (+) eligible
ES → kepuasan
(+) HHs (+) HHs
(−)Pemimpin Tak ada efek pemimpin
Harga pencetakan → markup harga
(−) (−), hanya pada ES
Kupon → subsidi (−) ineligible
(tidak berhak) (+) eligible
Distribusi kepada 10% termiskin
→ pembelian beras Tak ada efek (+), karena ES
49
• Distribusi Kartu Raskin meningkatkan program
• RTS-PM yang membeli serta jumlah pembelian RTS-PM
Raskin meningkat
• Pengelembungan harga menurun
• Secara netto, subsidi Rp. 6000 bagi yang berhak/ eligible
tanpa penurunan bagi yang tidak berhak/ ineligible.
• Sosialisasi tambahan meningkatkan subsidi dan
kepuasan penerima manfaat
• Dicapai dengan hanya fasilitasi 2-3 mandays, 3 poster per
dusun.
Masukan untuk Kebijakan
50
• Pencetakan harga Raskin pada kartu meningkatkan
keefektifannya
• Ketika digabungkan dengan sosialisasi tambahan, efek
jangka pendek tetap ada hingga jangka menengah
• Distribusi kartu hanya kepada 10% orang termiskin
mungkin menjadi cara yang efektif untuk
meningkatkan penyasaran
• Awalnya, decile penduduk termiskin melaporkan kepuasan
lebih rendah dan tidak ada perbedaan pada take-up
• Namun, pada survei terakhir mereka melaporkan subsidi
yang lebih tinggi dan kepuasan lebih tinggi di desa dengan
sosialisasi tambahan
Masukan untuk Kebijakan (lanjutan.)
51
• Penggunaan kupon berpotensi efektif ketika dilengkapi
dengan sosialisasi tambahan
• Dalam jangka menengah, efek variasi kartu tergantung
pada sosialisasi tambahan program tersebut.
• Ini berlaku untuk pencetakan harga kupon, dan
targeting 10% orang termiskin
Masukan untuk Kebijakan (lanjutan.)
Policy Scale-up
52
Kartu Perlindungan Sosial (KPS)
53
• TNP2K meningkatkan Kartu Raskin menjadi Kartu Perlindungan
Sosial (KPS).
• Hingga Juni 2013, kartu KPS telah didistribusikan secara nasional
kepada 15.5 juta keluarga (65.6 juta orang).
• Kartu dapat digunakan sebagai kartu Bantuan Langsung Sementara
Masyarakat (BLSM); kartu Bantuan Siswa Miskin (BSM); dan Raskin.
TERIMA KASIH
54
top related