Download - Psikometri Bab a27
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Bab 27
BANK BUTIR DAN PERANGKAT UJIAN
A. Pendahuluan
1. Kumpulan Butir
• Alat ukur termasuk ujian terdiri atas butir dan bahkan terdiri atas sejumlah butir
• Jika butir ini dikumpulkan maka kita memperoleh kumpulan butir
• Di dalam kumpulan butir terdapat berbagai macam kualitas butir dan pada umumnya kualitas itu tidak diketahui
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
2. Kualitas Butir
• Isi butir
Butir memiliki isi berupa materi ujian termasuk klasifikasi mereka, seperti matematika bidang persamaan kuadrat
Butir memiliki cara menjawab butir itu seperti betul-salah, pilihan ganda, dan sejenisnya
• Taraf sukar butir
Biasanya taraf sukar butir diperoleh melalui teori responsi butir yakni parameter b
• Daya beda butir
Jika diperlukan, maka daya beda butir juga diperhatikan, biasanya dalam bentuk parameter a pada teori responsi butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
3. Bank Butir
• Kita dapat mencatat kualitas setiap butir pada kumpulan butir termasuk keterangan pembuatan dan pemakaiannya serta bidang ilmunya
• Setelah itu kita juga dapat memilih butir yang memiliki kualitas yang memadai
• Kumpulan butir yang sudah dipilih ini beserta catatan tentang butir itu merupakan bank butir
• Jika isi bank butir ini sudah cukup banyak maka kita dapat menggunakannya untuk menyusun perangkat ujian
• Setelah butir digunakan di dalam perangkat ujian, maka catatan pada butir itu dapat ditambahkan dengan hasil dari penggunaan perangkat ujian itu
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
4. Catatan Butir pada Bank Butir
Bergantung kepada cara mencatatnya, banyak hal tentang butir dicatat di dalam catatan butir
Catatan butir mencakup hal-hal seperti
• Tanda pengenal butir berupa nomor butir
• Ciri butir seperti betul-salah, pilihan ganda, dan sebagainya
• Penulis butir serta saat pembuatannya atau revisinya
• Topik ilmu dari isi butir termasuk spesifikasinya• Tanggal penggunaan butir itu• Parameter butir pada waktu digunakan• Statistik yang berkenaan dengan butir itu• Kunci jawaban butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
5. Penyiapan Bank Butir
• Pertama
Menetapkan butir mana yang memadai untuk dimasukkan ke dalam bank butir
• Kedua
Perlu ada responden yang secara teratur dapat digunakan untuk menjawab butir sehingga dapat dilakukan analisis dan kalibrasi
Untuk model 1P diperlukan 100 responden sedangkan untuk model 2P dan 3P diperlukan responden lebih dari itu
• Ketiga
Perlu ditetapkan model responsi butir untuk keperluan estimasi parameter butir dan kekeliruan bakunya
Ada yang menyukai model 1P serta ada yang menyukai model 2P atau 3P
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
• Keempat
Perlu menetapkan isi paparan catatan, klasifikasi, serta kriteria penerimaan dan penolakan butir
• Untuk semua ini diperlukan organisasi yang mengurus bank butir serta peralatan yang digunakan
• Biasanya organisasi yang mengurus bank butir perlu bekerja secara purnawaktu
• Biasanya alat yang digunakan mencakup perangkat komputer serta perangkat program basis data yang sesuai
• Diperlukan juga prosedur untuk menyimpan, memutakhirkan, menambah, membuang, serta menggunakan butir pada bank butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
6. Perancangan Bank Butir
I. Butir
A. Pemerolehan dan Pengembangan
B. Klasifikasi
C. Pengelolaan
II. Ujian
A. Perakitan
B. Pengadministrasian, Pensekoran, dan Pelaporan
C. Evaluasi
III. SisTem
A. Pemerlolehan dan Pengembangan
B. Peranti Lunak dan Peranti Keras
C. Pemantauan dan Pelatihan
D. Pengaksesan dan Keamanan
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
IV. Penggunaan dan Penerimaan
A. Umum
B. Peningkatan instruksional
C. Pengujian Adaptif
D. Sertifikasi Kompetensi
E. Evaluasi Program dan Kurikulum
F. Keperluan Pengujian dan Pelaporan yang Ditentukan oleh Pihak Luar
V. Biaya
A. Kelayakan Biaya
B. Perbandingan Biaya
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
B. Pencatatan pada Bank Butir
1. Pendahuluan
• Perlu dirancang sistem pencatatan butir pada bank butir yang akan dibuat
• Untuk penghematan pencatatan, biasanya, sistem pencatatan menggunakan sandi yang singkat
• Perlu dibuatkan program untuk menyimpan, mengedit, mengembangkan atau menambah, membuang, serta menggunakan butir
• Di sini kita melihat tiga contoh sistem pencatatan
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
-----------------------------------------------------------------------------
2. Sistem Pencatatan D’costa
Contoh catatan
No. Ruas data Isi ruas data
1 Nomor butir : 008
2 Corak butir : A 25.00
3 Penulis butir, tanggal buat : Susi Setiawan
tanggal revisi terakhir : 04-89 07-92
4 Nomor topik dan subtopik : 01.00 01.10.00.00
5 Pendorong untuk belajar : Perbedaan di an- tara ujian, pengu- kuran, dan evaluasi
6 Bobot tiap pilihan, norma : 11432 11432 lulus, kelemahan, kemampu- 1010001010 an responden
7 Anjuran untuk belajar bagi : Lihat definisi tentang responden yang gagal ketiga besaran
8 Tanggal penggunaan : 11-07-92
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Penjelasan
Butir nomor 008
Corak butir A 25.00; D’costa menggunakan 23 corak berupa A, B, C, …, V; Corak A adalah betul-salah dengan alasan; corak K adalah memilih lebih dari satu pilihan
Penulis butir, tanggal buat, dan tanggal revisi adalah Susi Setiawan 04-89 07-92
Nomor topik dan subtopik pelajaran, dalam hal ini, adalah 01.00 dan 01.10.00.00
Pendorong untuk belajar berupa perbedaan di antara ujian, pengukuran, dan evaluasi
Bobot tiap pilihan, norma batas lulus, kelemahan dan ke- mampuan responden berupa sandi 11432 11432 1010001010
Anjuran belajar bagi mereka yang gagal lihat definisi besaran
Tanggal penggunaan 11-07-92
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
3. Sistem UCLA (Universiity of California Los Angeles)
Pada suatu saat, di dalam basis data Banker.dbf, UCLA tercatat
Field Name Type Width Deci 001 idno C 005 000 002 form C 040 000 003 passage C 005 000 004 content C 008 000 005 difcal N 006 002 006 sem N 004 002 007 tfit N 006 002 008 tfitb N 006 002 009 disc N 005 002 010 pbis N 005 002 011 erim N 004 002 012 class C 001 000 013 item C 065 000 014 iteml C 145 000 015 itemo C 145 000 016 difcal2 N 006 002 017 difcal3 N 006 002 018 difcal N 006 002 019 key C 001 000
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Keterangan
Ruas 001: nomor identifikasi
002: nomor format
003: ungkapan apakah aeda keliru dengar, baca, atau tulis pada pengujian
004: isi butir
005: edifficulty calibration
006: standard error of measurement
007: overall fit t-value
008: between group fit t-value
009: discrimanibility statistic
010: point biserial
011: index of error impact
012: classification information
013: item in short form
014: item in long form
015: item multiple choice option
016: difficulty calibration
017: difficulty calibration
018: difficulty calibration
019: key
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
4. Sistem Educo International, Inc
Sandi butir terdiri atas 8 digit
X X X X X X X X (1) (2) (3) (4) (5) (6) (7) (8)
(1) sandi pelajaran (2) bab
(3) seksi (4) tujuan instruksional (5) (6) nomor butir (7) (8) nomor versi
Misal: A2310403
A = aljabar 2 = bab 2 3 = seksi 3 1 = tujuan instruksional 1 04 = butir nomor 4 03 = versi nomor 3
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Sandi mata pelajaran
B = matemtika dasar
D = pra-aljabar
A = aljabar mula
I = aljabar menengah tradisional
M = aljabar menengah modern
P = pra-kalkulus
R = aljabar perguruan tinggi
C = kalkulus I dan II
G = geometri
S = statistika
L = biologi
K = kimia
E = ilmu lingkungan
H = fisika
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
5. Ukuran Bank Butir
Biasanya ukuran bank butir adalah besar dengan banyak butir
Misal
• Ada 10 bab dengan rerata 5 seksi• Tiap seksi 4 tujuan instruksional• Tiap tujuan instruksional 5 butir• Setiap butir ada 4 versi
• Total = 10 x 5 x 4 x 5 x 4 = 4000 butir
Tiap pelajaran dalam bank butir mengandung ribuan butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
C. Seleksi Butir dan Pengembangan Bank Butir
1. Pendahuluan
• Butir yang akan dimasukkan ke dalam bank butir perlu diseleksi terlebih dahulu
• Hanya butir yang memadai yang dimasukkan ke dalam bank butir
• Butir diseleksi setelah butir itu digunakan pada uji coba dan memberikan keterangan tentang butir itu
• Ada kalanya uji coba butir dilakukan dengan menitipkan butir itu ke dalam perangkat ujian
• Butir yang terseleksi memerlukan kalibrasi untuk disesuaikan dengan metrik pada bank butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
2. Penggandengan (linking)
• Bank butir dapat dibentuk dari awal dengan mencari butir-butir yang memadai
• Bank butir dapat juga disusun dengan jalan menggandengkan (linking) dua atau lebih bank butir melalui kalibrasi
• Bank butir dapat juga diperluas dengan menggandengkan bank butir lain ke bank butir yang ada melalui kalibrasi
• Bank butir dapat dikembangkan dengan menggandengkan butir- butir baru ke bank butir melalui kalibrasi
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
3. Menambah Isi atau Mengganti Butir Usang pada Bank Butir
• Untuk mengembangkan bank butir, butir baru ditambahkan ke dalam bank butir
• Karena perubahan kurikulum, butir menjadi usang sehingga butir perlu diganti
• Pada penambahan atau penggantian butir, butir baru perlu dikalibrasi ke metrik butir yang ada di dalam bank butir
• Kalibrasi butir dilakukan melalui penyetaraan parameter ke metrik pada bank butir
• Jika kalibrasi dilakukan terhadap butir yang belakangan masuk, lama-lama kekeliruan kecil berakumulasi menjadi besar
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Akumulasi kekeliruan kecil
penyetaraan
Keliru kecil
Keliru kecil
Keliru kecil
Keliru kecil
Kumulasi keliru kecil menjadi besar
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
4. Kalibrasi Gandeng Melingkar
Untuk menghindari kumulasi keliru kecil pada kalibrasi dilakukan kalibrasi gandeng melingkar
Kumulasi keliru GAB + GBC + GCA = 0
Di UCLA, gandengan ini dilingkarkan pada ujian di empat musim: musim semi, musim panas, musim gugur, dan musim dingin
•
• •
Ujian A
Ujian BUjian C
GAB
GBC
GCA
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
5. Kekeliruan pada Penyetaraan pada Model 1P
Kekeliruan baku konstanta translasi ketika penyetaraan skala dilakukan di antara ujian A dan ujian B
Kekeliruan penyetaraan adalah
dengan
M = banyaknya peserta yang mengerjakan butir gandengan
N = banykanya butir gandengan
biA = taraf sukar butir pada butir gadengan di A
biB = taraf sukar butir pada butir gandengan di B
N
bb
MNG BA iiAB
−== 53,
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
-----------------------------------------------------------------------------
6. Distrubusi Probabilitas Kekeliruan Penyetaraan
Kekeliruan penyetaraan membentuk distribusi probabilitas khi-kuadrat
Pada satu butir gandengan
Pada semua butir gandengan
Melalui gandengan melingkar, kekeliruan penyetaraan ini dapat dicegah
11222
−−−≈
N
NMGbb ABiii BA
)(χ
1121
22
−−−= ∑
= N
NMGbb
N
iABii BA)(χ
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
D. Perakitan Perangkat Ujian
1. Cara perakitan
• Perakitan perangkat ujian dilakukan dengan mengambil butir dari bank butir
• Dengan sasaran ukur atau ujian tertentu, pengambilan butir dari bank butir dilakukan dengan memilih butir dengan karakteristik yang memadai
• Karena itu isi bank butir harus cukup banyak sehingga pemilihan dapat dilakukan dengan bebas
• Dengan banyaknya isi bank butir peserta ujian tidak dapat mengingat semua isi bank butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
-----------------------------------------------------------------------------
2. Sasaran Ujian
• Sebelum perangkat ujian dirakit diperlukan sasaran ujian yang ditentukan
• Sasaran ujian ditentukan melalui fungsi informasi sasaran ujian
• Sasaran ujian yang berbeda memerlukan fungsi informasi sasaran ujian yang berbeda
• Selain bentuk fungsi informasi sasaran ujian, taraf sukar butir juga perlu ditentukan terlebih dahulu
• Dengan fungsi informasi sasaran ujian yang ditentukan dipilih butir dari bank butir agar fungsi informasi ujian memenuhi bentuk fungsi informasi sasaran ujian
• Dalam pelaksanaannya dapat saja butir dipasang dan dicabut sehingga mencapai bentuk yang ditentukan
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Contoh fungsi informasi sasaran ujian
Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut
Sasaran: I(θ) = 4,00 KB(θ) = 0,50
– 3 ≤ θ ≤ 3
Fungsi informasi ujian
θ
1
2
3
4
5
–2 –1 0 1 2 3
sasaran
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Contoh lain fungsi informasi sasaran ujian
Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut
Sasaran: I(θ) = 4,00 KB(θ) = 0,50
– 3 ≤ θ ≤ 3
Fungsi informasi ujian
θ
1
2
3
4
5
–2 –1 0 1 2 3
sasaran
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
3. Spesifikasi Ujian
• Perlu ada kejelasan tentang dimensi yang akan diukur dengan ujian
• Perlu ada ketentuan tentang panjang ujian
• Perlu ada ketentuan tentang bentuk fungsi informasi sasaran ujian
• Perakitan perangkat ujian dapat dilakukan dengan bantuan komputer berdasarkan spesifikasi ujian
• Bank butir perlu mengandung cukup banyak dan berjenis butir sehingga dapat memenuhi keperluan yang ditentukan oleh spesifikasi ujian
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
4. Pemilihan Butir
• Isi butir perlu sesuai dengan sasaran ukur yakni memenuhi syarat validitas
• Dicari butir yang sesuai yakni dari bank butir dipilih butir yang dapat mengisi wilayah fungsi informasi sasaran ujian (termasuk bagian wilayah yang susah diisi)
• Setelah menemukannya, butir ditambahkan ke dalam perangkat ujian dan hitunglah fungsi informasi ujian
• Teruskan pengisian dengan butir sehingga fungsi informasi ujian cukup memenuhi fungsi informasi sasaran ujian
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
Contoh pengisian perangkat ujian
Masih perlu dicari butir dengan parameter yang dapat mengisi wilayah fungsi informasi sasaran ujian yang masih belum terisi
Fungsi informasi ujian
1
2
3
4
5
θ–2 –1 0 1 2 3
10 butir
15 butir
20 butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
5. Rancangan Perangkat Ujian Optimal
Tentukan fungsi informasi sasaran ujian
Memilih butir sehingga secara aditif, fungsi informasi ujian mencapai sasaran, dengan
• Minimisasi panjang ujian
• Maksimisasi fungsi informasi ujian• Minimisasi penyimpangan dari fungsi informasi
sasaran ujian• Minimisasi waktu penyelenggaraan ujian• Kombinasi dari hal di atas
Pelaksanaannya dilakukan dengan bantuan komputer
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
6. Pengembangan Perangkat Ujian
Pengembangan perangkat ujian mencakup
Konseptualisasi Ujian
Konstruksi Ujian
Ujian Coba Ujian
Analisis Butir
Revisi Butir
• Konseptualisasi Ujian
Tujuan ujian
Kegiatan Rintisan (pilot)
• Konstruksi Ujian
Penskalaan
Penulisan Butir
Pensekoran Butir
------------------------------------------------------------------------------Bank Butir dan Perakitan Ujian
------------------------------------------------------------------------------
• Uji Coba Ujian
Kriteria Butir Baik
Reliabilitas
Validitas
Validasi Silang
• Analisis Butir
Taraf Sukar Butir
Daya Beda Butir
Pemeriksaan Pengecoh (untuk pilihan ganda)
• Revisi Ujian
Cara Revisi