Download - Psikometri Bab a24
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Bab 24
METRIK DAN KALIBRASI
A. Parameter Kemampuan dan Butir
1. Pendahuluan
Estimasi dilakukan terhadap parameter kemampuan dan parameter butir
θ a, b, c
Parameter kemampuan
Parameter butir
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
2. Metrik pada parameter
(a) Parameter butir diketahui
• Jika parameter butir diketahui, maka parameter butir berada pada metrik tertentu
• Estimasi parameter kemampuan θ akan terletak pada metrik tertentu itu
(b) Parameter kemampuan diketahui
• Jika parameter kemampuan diketahui, maka parameter kemampuan berada pada metrik tertentu
• Estimasi parameter butir a, b, dan c, akan terletak pada metrik tertentu itu
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Analogi
• Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang
• Ukuran panjang dapat dinyatakan dalam inci dan cm
• Jika parameter yang diketahui dinyatakan dalam inci maka parameter yang diestimasi ikut dinyatakan dalam inci
Di sini, metrik yang digunakan adalah inci
• Jika parameter yang diketahui dinyatakan dalam cm maka parameter yang diestimasi ikut dinyatakan dalam cm
Di sini, metrik yang digunakan adalah cm
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
3. Indeterminasi
• Jika parameter kemampuan dan parameter butir kedua-duanya tidak diketahui, maka estimasi mereka menjadi indeterminasi
• Jika θ1 dan a1, b1 pada a(θ – b) adalah hasil estimasi, maka
θ2 = kθ1 + d
b2 = kb1 + d
a2 = a1 / k
juga merupakan hasil estimasi
• Melalui substitusi, kita peroleh kesamaan mereka
a2 (θ2 – b2) = (a1 / k)(kθ1 + d – kb1 – d)
= (a1 / k) k (θ1 – b1)
= a1 (θ1 – b1)
------------------------------------------------------------------------------Metrik dan Kalibrasi
-----------------------------------------------------------------------------
• Analogi
• Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang
• Ukuran panjang dapat dinyatakan dalam inci dan cm
• Pada estimasi indeterminasi, hasil ukurnya boleh dalam inci dan boleh juga dalam cm (tidak ditentukan)
• Jika kita menentukan metrik cm, maka estimasi dalam inci dapat diubah menjadi cm melalui, misalnya
b2 (inci) = kb1 (cm) dengan k = 2,54
• Ubahan ini dinamakan kalibrasi yakni metrik inci dikalibrasikan ke metrik cm
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
4. Penentuan metrik
• Pada dasarnya, kita bebas memilih suatu metrik tertentu sebagai patokan
• Salah satu pilihan adalah metrik dengan nilai baku (rerata dan simpangan baku) tertentu, misalnya, salah satu di antara
Parameter Nilai baku
θ µθ = 0 σθ = 1
b µb = 0 σb = 1
• Pada nilai baku, bentangan nilai teoretis adalah dari – ∞ sampai + ∞ tetapi pada umumnya yang digunakan adalah
negatif, nol, positif
dari – 4 sampai + 4
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
5. Kalibrasi
• Transformasi suatu hasil estimasi ke metrik yang sudah ditentukan dikenal sebagai kalibrasi
• Kalibrasi dapat dilaksanakan melalui penyetaraan hasil estimasi ke metrik yang ditentukan (sebagai analogi: inci ke cm, foot ke m, atau cm ke inci)
• Penyetaraan yang banyak digunakan adalah penyetaraan dengan responden gandeng atau butir gandeng
• Responden gandeng terdapat pada kalibrasi butir sedangkan parameter butir gandeng terpada pada kalibrasi parameter kemampuan
• Dikenal sejumlah metrik beserta skala yang digunakannya
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
B. Metrik pada Hasil Estimasi
1. Macam Metrik
• Ada sejumlah metrik dan skala yang digunakan pada estimasi parameter indeterminasi
• Metrik ini pada umumnya ditentukan melalui transformasi (kalibrasi) dalam bentuk
θ2 = kθ1 + d
b2 = kb1 + d
a2 = a1 / k
dengan bermacam nilai k dan d
• Beberapa metrik di antara macam metrik itu dikemukakan dan dibahas di sini
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
2. Skala Logit pada Model Rasch
oleh Hambleton dan Swaminathan
• Logit adalah logaritma terhadap karakteristik butir yang memiliki fungsi eksponensial
ln e(θ – b)
sehingga skala yang digunakan adalah e
Jarak e1 = 2,718
Satuan = logit
Dengan demikian skala logit adalah skala interval
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
• Satuan ini berasal dari log-odd sukses pada model Rasch
• Untuk dua responden dengan θ1 dan θ2
ln Os1 = θ1 – b1
ln Os2 = θ2 – b2
Selisih kemampuan mereka pada butir sama yakni pada b1 = b2 adalah
θ2 – θ1 = ln Os2 – ln Os1 = ln (Os2 / Os1)
Jika θ2 – θ1 = 1 maka ln (Os2 / Os1) = 1
yakni (Os2 / Os1) = e1 = 2,718
Jarak 1 logit adalah sebesar e1 atau 2,718
• Hal yang sama berlaku untuk parameter b
)(ln
)(
)( )(
bO
eQ
PO
s
bs
−=
== −
θθθ θ
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
3. Skala RIT
• Salah satu skala pada kemampuan dan taraf sukar butir adalah RIT (Rasch unIT)
• Besaran RIT adalah
10 RIT = 1 logit
1RIT = 0,1 logit
• Dengan demikian maka
1 RIT = 0,2718
• Dikembangkan oleh NWEA (Northwest Evaluation Association)
θRIT = 200 + 10 θlogit RIT
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh
Hasil estimasi θ memiliki satuan logit
Misal θlogit = − 2 logit
maka θRIT = 200 + 10 θlogit RIT
= 200 + (10)(− 2) RIT
= 180 RIT
Misal lain θlogit = 2,5 logit
maka θRIT = 200 + 10 θlogit RIT
= 200 + (10)(2,5) RIT
= 225 RIT
NWEA menyusun dan merinci Learning Continuum untuk bahasa dan matematika untuk sekolah dari 150 RIT sampai 300 RIT
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Skala RIT pada NWEA
Dari log odd sukses ditemukan untuk model Rasch
dalam satuan logit
Dengan 1 logit = 10 Rit serta menggunakan dasar 200, NWEA menetapkan
p
pb
p
pb
−+=
−=−
1ln
1ln
θ
θ
Ritp
pb
−
++=1
ln10200θ
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh
Seorang siswa mengerjakan butir dengan taraf sukar butir b = – 4 dengan probabilitas jawaban betul 0,75
Kemampuan siswa ini adalah
Pada NWEA, siswa tingkat 2 sampai 10 mencapai kemampuan 150 sampai 300 Rit
Rit
p
pb
171
75,01
75,0ln410200
1ln10200
=
−+−+=
−
++=θ
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
4. National Reference Scale (NRS) dari Rentz dan Bashaw
Dengan tujuan agar rentangan menjadi lebar serta tidak terdapat niliai negatif, metrik ini menetapkan
rerata (d) = 200
simpangan baku (k) = 10
Kalibrasi dilakukan melalui
10 θ + 200
Untuk nilai θ dari – 4 sampai + 4, rentangan menjadi
rerata : 200
rentangan : 160 sampai 240
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
5. Skala W pada model Rasch oleh Woodcok-Johnson pada Psycho-Educational Battery
Kalibrasi yang digunakan adalah
Karena
maka Wθ = 0,455 C1 θ + C2
Untuk C1 = 20 dan C2 = 500 diperoleh
Wθ = 9,1 θ + 500
Dengan cara sama diperoleh juga
Wb = 9,1 b + 500
291 CeCW += θθ log
θθθθ 455099 ,
lnloglog === ee
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
6. Skala WIT pada model Rasch
ubahan Wθ oleh Wright
Benjamin Wright mengubah skala Wθ serta memberikannya satuan WIT
Ubahan Wright adalah
Perhitungan lebih lanjut menghasilkan skala WIT
Wθ = 9,1 θ + 100
Dengan cara yang sama, skala WIT pada parameter b adalah
Wb = 9,1 b + 100
10010 3 += θθ eW log
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh 1
Kemampuan θ pada beberapa metrik
θ NRS Wθ WIT
– 2,40 176,0 478,160 78,160 – 1,12 188,8 489,808 89,808 – 0,14 198,6 498,726 98,726 0,84 208,4 507,644 107,644 2,12 221,2 519,292 119,292
Contoh 2
Taraf sukar butir pada beberapa metrik
b NRS Wb WIT
– 2,28 177,2 479,252 79,252 – 1,07 189,3 490,263 90,263 – 0,25 197,5 497,725 97,725 1,31 213,1 511,921 111,921 2,52 225,2 522,932 122,932
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
7. Skala Ujian Akhir Nasional tahun 2004
• UAN (Ujian Akhir Nasional) tahun 2004 menggunakan skala di antara 0 sampai 10
• Parameter kemampuan pada UAN diubah menjadi 0 < kemampuan < 10
• Sementara itu, keberhasilan pada ujian yakni proporsi jawaban betul diubah juga menjadi
0 < keberhasilan < 10
0− 4 + 4
0,5
1,0
0
θ
N
n
0
10
10
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
8. Satuan Lexile (L)
Penggunaan
Khusus digunakan pada bacaan. Kemampuan membaca dinyatakan dalam satuan Lexile. Kesukaran bacaan juga dinyatakan dalam satuan Lexile.
Level Skala
Satuan Lexile memiliki level skala interval
Rentangan
Kemampuan membaca serta kesukaran bacaan merentang dari
Di bawah 200 L sampai di atas 1700 L
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Kriteria Kemampuan Membaca dan Kesukaran Bacaan
Berdasarkan kecocokan di antara kemampuan membaca dan kesukaran bacaan dengan pengertian ada 75% pemahaman
Sumber Satuan Lexile
Merupakan kombinasi dari kesukaran semantik dan kompleksitas sintaktik
Persamaan Lexile
Bacaan dipecah dalam irisan; melalui persamaan Lexile diperoleh ukuran Lexile. Melalui model Rasch, diperoleh ukuran Lexile untuk seluruh bacaan
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Beberapa contoh
• Buku Harry Porter 880 L sampai 950 L• Buku Little Women 1300 L• Buku Don Quixote 1410 L
Keterbacaan
Keterbacaan dalam batas kesukaran 100 L di atas dan 100 L di bawah kemampuan
Tingkat di Sekolah (berbeda-beda), contoh
Tingkat 1 200 L sampai 400 L
Tingkat 2 300 L sampai 500 L
Tingkat 3 500 L sampai 700 L
Tingkat 4 650 L sampai 850 L
Tingkat 5 750 L sampai 950 L
Tingkat 6 850 L sampai 1050 L
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
C. Kalibrasi Sekor
1. Pendahuluan
• Kalibrasi sekor dilakukan melalui penyetaraan sekor parameter ke metrik yang telah ditentukan
• Kalibrasi ini dapat disusun ke dalam tabel sebagai tabel konkordansi di antara metrik yang akan dikalibrasi dengan metrik kalibrasi
• Rumus kalibrasi mencakup translasi dan rotasi
θ2 = kθ1 + d
b2 = kb1 + d
a2 = a1 / k
• Ada beberapa cara kalibrasi yang serupa dengan cara penyetaraan sekor (Bab 15)
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
2. Dasar Kalibrasi
• Kalibrasi melibatkan paling sedikit dua sekor yakni
Sekor X yang akan dikalibrasi
Sekor Y yang menjadi patokan kalibrasi
• Melalui penyetaraan, kalibrasi ini menyebabkan sekor X disetarakan ke sekor Y
• Besaran yang dikalibrasi adalah parameter kemampuan dan parameter butir meliputi
θX menjadi θ*Y
bX menjadi b*Y
aX menjadi a*Y
Dengan catatan bahwa c tidak dikalibrasi, artinya, c kalibrasi sama dengan c sebelum kalibrasi
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
3. Koefisien Kalibrasi
• Hubungan di antara sekor yang telah dikalibrasi Y dengan sekor yang belum dikalibrasi X adalah
θ*Y = kθX + d
b*Y = kbX + d
a*Y = aX / k
• Di sini koefisien kalibrasi adalah k dan d. Jika k dan d dihitung maka kalibrasi ini dapat disusun ke dalam tabel kalibrasi
• Perhitungan koefisien kalibrasi k dan d melibatkan penyetaraan sekor yakni
Rancangan penyetaraan
Metoda penyetaraan
• Mereka adalah sama dengan penyetaraan sekor tersebut pada Bab 15
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
• Koefisien kalibrasi pada L1P dan L2P
Pada model L1P
L1P hanya memiliki satu parameter butir yakni parameter taraf sukar b, sehingga
a*Y = aX = 1 sehingga k = 1
Di sini hanya diperlukan translasi dan tidak diperlukan rotasi sehingga
k = 1
Koefisien kalibrasi menjadi
θ*Y = θX + d
b*Y = bX + d
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Pada model L2P
L2P memiliki dua parameter butir yakni parameter taraf sukar b dan daya beda a, sehingga terdapat translasi dan rotasi
Koefisien kalibrasi menjadi
θ*Y = kθX + d
b*Y = kbX + d
a*Y = aX / k
Dalam hal ini, k dan d merupakan koefisien kalibrasi yang berkaitan
k dengan rotasi
d dengan translasi
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
4. Rancangan Kalibrasi
Ada sejumlah rancangan yang dapat digunakan pada kalibrasi sekor, melibatkan sekor dan kelompok responden, meliputi
• Dua kelompok responden (K1 dan K2) yang unik dan gandeng
• Dua pengukuran (X dan Y) dengan butir yang unik dan gandeng
• Kelompok responden gandeng (KG)• Kelompok butir gandeng (Z)
Sekor adalah sekor X dan Y
Kelompok responden adalah K1 dan K2
Seperti halnya pada penyetaraan sekor, lima macam rancangan ini dapat diilustrasikan sebagai berikut
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Macam Rancangan
Macam Rancangan A
Macam Rancangan B
K2
YX
K1
YX
K2K1
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Macam Rancangan C (Gandeng Internal)
Macam Rancangan C (Gandeng Eksternal)
X Y
K1 KG K2
YX
K2K1 KG
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Macam Rancangan D (Gandeng Internal)
Macam Rancangan D (Gandeng Eksternal)
K1 K2
YX
K2K1
Z
X Z Y
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
5. Metoda kalibrasi
Ada sejumlah metoda kalibrasi untuk menghitung koefisien kalibrasi k dan d, meliputi
Metoda regresi
Metoda rerata dan simpangan baku
Metoda tegar rerata dan simpangan baku
Metoda lengkungan karakteristik
6. Rancangan dan Metoda yang Digunakan
Cara hitung koefisien kalibrasi di sini menggunakan rancangan dan metoda rerata dan simpangan baku
Rancangan D
Metoda rerata dan simpangan baku
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
D. Penentuan Koefisien Kalibrasi
1. Koefisien Kalibrasi pada Model L1P
• Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan
Kelompok K1 dengan butir X + Z
Kelompok K2 dengan butir Y + Z
• Butir Z terdapat pada kelompok K1 dan juga terdapat pada kelompok K2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z
• Kelompok K1 berkaitan dengan X dan kelompok K2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Hasil dari bagian Z pada K1
Sekor responden AZX
Estimasi parameter b bZX
Rerata µbZX
Simpangan baku σbZX
Hasil dari bagian Z pada K2
Sekor responden AZY
Estimasi parameter b bZY
Rerata µbZY
Simpangan baku σbZY
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Dari penyetaraan untuk L1P diperoleh k =1
bZY = k bZX + d = bZX + d
sehingga
µbZY = µbZX + d
σbZY = σbZX
Dari persamaan ini diperoleh
d = µbZY – µbZX
Dengan nilai d ini dapat dilakukan kalibrasi untuk mengubah parameter bX ke b*
Y
b*Y = bX + d
θ*Y = θX + d
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh 3
Hasil estimasi parameter b pada model L1P melalui penilaibakuan θ adalah
Butir bX+ZX bZY+Y b*Y
1 2,70 1,95 2 1,20 0,45
X 3 – 0,85 – 1,60 4 0,46 – 0,29 µbZX = 0,70
5 – 1,63 – 2,38 µbZY = – 0,05
6 1,50 0,75 7 2,35 1,60 d = –0,05 – 0,70Z 8 – 0,75 – 1,50 = –0,75 9 – 0,20 – 0,95 10 0,60 – 0,15 b*
Y = bX – 0,75
11 0,64 12 – 0,23
Y 13 – 1,42 14 0,38 15 1,43
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
2. Koefisien Kalibrasi pada Model L2P
• Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan
Kelompok K1 dengan butir X + Z
Kelompok K2 dengan butir Y + Z
• Butir Z terdapat pada kelompok K1 dan juga terdapat pada kelompok K2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z
• Kelompok K1 berkaitan dengan X dan kelompok K2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Hasil dari bagian Z pada K1 Sekor responden AZX
Estimasi parameter b bZX
Rerata µbZX
Simpangan baku σbZX
Hasil dari bagian Z pada K2 Sekor responden AZY
Estimasi parameter b bZY
Rerata µbZY
Simpangan baku σbZY
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Dari penyetaraan pada butir gandeng Z diperoleh hubungan
bZY = kbZX + d
dan selanjutnya
µbZY = k µbZX + d σbZY = k σbZX
Dari hubungan ini diperoleh
sehingga
b*Y = k bX + d
a*Y = aX / k
θ*Y = k θX + d
ZXZY
ZX
ZY
bb
b
b
kd
k
µµσσ
−=
=
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh 4
Hasil estimasi b dan a pada model L2P melalui penilaibakuan θ
Butir bX+ZX bY+XY b*Y aX+ZX aY+ZY a*
Y
1 0,70 0,45 1,65 1,74 2 1,85 …… 1,90 …… 3 2,25 …… 1,95 …… 4 2,75 …… 1,70 …… X 5 1,83 …… 0,88 ……. 6 –0,93 …… 0,67 ……. 7 –1,15 …… 0,45 ……. 8 –2,35 …… 0,70 ……. 9 0,59 …… 0,68 ……. 10 0,93 …… 0,90 …….
11 1,25 1,15 0,95 1,02 12 2,15 1,80 1,20 1,28 Z 13 2,80 2,35 1,90 2,05 14 –1,30 –1,50 0,60 0,75 15 –1,75 –1,90 0,45 0,49
16 1,10 1,07 17 1,80 1,28 18 –0,90 0,95 19 –1,30 0,77 Y 20 1,40 1,30 21 1,35 1,45 22 1,25 1,17 23 0,50 0,80 24 0,75 0,96 25 –1,95 0,68
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Dari sekor ini dapat dihitung
µbZX = 0,63 σbZX = 1,83
µbZY = 0,38 σbZY = 1,74
sehingga
k = σbZY / σbZX = 1,74 / 1,83 = 0,951
d = µbZY – k µbZX = 0,38 – (0,951(0,63)
= – 0,219
Kalibrasi menjadi
b*Y = 0,951 bX – 0,219
a*Y = aX / 0,951
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
E. Keberhasilan
1. Pendahuluan
Keberhasilan adalah sekor yang diperoleh dari hasil pada suatu pengukuran atau ujian
Keberhasilan dapat dinyatakan melalui sejumlah cara mencakup
A = jumlah sekor jawaban
µ = rerata jawaban
σ2 = variansi jawaban
Pada ujian, keberhasilan ditentukan oleh jawaban betul sehingga
A = jumlah jawaban betul
µ = rerata jawaban betul
σ2 = variansi jawaban betul
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
2. Keberhasilan pada Teori Klasik
Pada teori klasik, keberhasilan yang diperoleh responden ke-g dapat dinyatakan dalam beberapa bentuk
Untuk sekor dikotomi, rerata sama dengan proporsi sehingga selain jumlah sekor, digunakan juga proporsi sekor
Untuk responden ke-g pada N butir ujian
Keberhasilan π terletak di antara 0 dan 1
∑
∑
=
=
==
=
N
ii
gg
N
iig
XNN
A
XA
1
1
1π
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
3. Keberhasilan pada Teori Responsi Butir
Teori responsi butir melakukan estimasi pada paramater kemampuan dan parameter butir
Hasil ukur pada teori responsi butir adalah kemampuan dan bukan keberhasilan
Di sini kita coba mencari hubungan di antara keberhasilan pada teori klasik dengan kemampuan pada teori responsi butir
Dalam hal ini kita coba mencari hubungan di antara
Ag pada teori klasik, dengan
θg pada teori responsi butir
P(θ) pada teori responsi butir
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
4. Kaitan di antara A dan P(θ)
Pada teori klasik
A = T + K
A = sekor amatan
T = sekor tulen
K = sekor keliru
Dari asumsi
E(K) = 0
E(A) = T + E(K)
sehingga T = E(A)
= E[Σ(Xi)]
= Σ[E(Xi)]
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Pada skala dikotomi
Jawaban betul Xi = 1
Jawaban salah Xi = 0
E(XI) = 1.P(θ) + 0.Q(θ)
= P(θ)
sehingga
T = Σ[E(Xi)]
= ΣP(θ)
Pada model karakteristik butir logistik, P(θ) berbentuk logistik dan tidak linier
Hubungan di antara T atau A dengan P(θ) adalah hubungan yang tidak linier (seperti pada ujian akhir nasional UAN)
------------------------------------------------------------------------------Metrik dan Kalibrasi
-----------------------------------------------------------------------------
Dengan T sebagai keberhasilan, diperoleh
Sekor π dikenal juga sebagai sekor wilayah (domain score)
Bentangan skala
π terletak di antara 0 sampai 1
θ terletak di antara –∞ sampai +∞
Kaitan dengan butir
π dependen kepada butir yang dipilih
θ independen kepada butir yang dipilih
)()(
)(
θθσ
θπ
π i
N
ii
N
iig
QPN
PN
∑
∑
=
=
=
=
12
2
1
1
1
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
5. Transformasi
Untuk evaluasi, ada kalanya, parameter kemampuan θ ditransformasi ke sekor tulen atau sekor wilayah
T = Σ[E(Xi)]
= ΣP(θ)
π = T / N
Dari sekor wilayah dapat ditentukan nilai sesuai dengan skala yang digunakan
Misalkan π = 0,75 sedangkan skala adalah 0 sampai 100, maka nilai menjadi 75
Selanjutnya jika ada kriteria kelulusan, baik pada skala wilayah atau nilai, maka dapat ditentukan kelulusan atau ketidaklulusannya
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Contoh 5
Tiga butir ujian dikerjakan oleh sejumlah responden. Karakteristik butir L3P adalah
Butir a b c
1 0,80 – 2,00 0,00
2 1,00 – 1,00 0,00
3 1,20 0,00 0,10
Hasil estimasi parameter responden dan transformasi θ sekor ke T dan π
θ P1(θ) P2(θ) P3(θ) T π– 3 0,20 0,03 0,10 0,33 0,11
– 2 0,50 0,15 0,11 0,76 0,25
– 1 0,80 0,50 0,20 1,50 0,50
0 0,94 0,85 0,55 2,34 0,78
1 0,98 0,97 0,90 2,85 0,95
2 0,99 0,99 0,99 2,97 0,99
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
6. Tabel Konkordansi TOEFL
• TOEFL (Test of English as a Foreign Language) memiliki dua macam ujian
• Ujian dengan kertas dan pinsil menghasilkan keberhasilan dengan transformasi sekor
dari 200 sampai 677
• Ujian adaptif melalui komputer menghasilkan kemampuan dengan transformasi sekor
dari 0 sampai 300
• Penyetaraan di antara sekor keberhasilan dan sekor kemampuan menghasilkan tabel konkordansi mencakup bentangan sekor
keberhasilan 310 sampai 677
kemampuan 40 sampai 300
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Tabel Konkordansi TOEFL
Kemam- Hasil Kemam- Hasil Kemam- Hasil puan Ujian puan Ujian puan Ujian 677 300 597 247 517 187 673 297 593 243 513 183 670 293 590 243 510 180 667 290 587 240 507 180 663 287 583 237 503 177 660 287 580 237 500 173 657 283 577 233 497 170 653 280 573 230 493 167 650 280 570 230 490 163 647 277 567 227 487 163 643 273 563 223 483 160 640 273 560 220 480 157 637 270 557 220 477 153 633 267 553 217 473 150 630 267 550 213 470 150
627 263 547 210 467 147 623 263 543 207 463 143 620 260 540 207 460 140 617 260 537 203 457 137 613 257 533 200 453 133 610 253 530 197 450 133 607 253 527 197 447 130 603 250 523 193 443 127 600 250 520 190 440 123
•
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
Kemam- Hasil Kemam- Hasil Kemam- Hasil
puan Ujian puan Ujian puan Ujian
437 123 393 90 350 63
433 120 390 90 347 63
430 117 387 87 343 60
427 113 383 83 340 60
423 113 380 83 337 57
420 110 377 80 333 57
417 107 373 77 330 53
413 103 370 77 327 50
410 103 367 73 323 50
407 100 363 73 320 47
403 97 360 70 317 47
400 97 357 70 313 43
397 93 353 67 310 40
----------------------------------------------------------------------------
Metrik dan Kalibrasi------------------------------------------------------------------------------
• 6. Tabel Konkordansi pada TOEFL
Kemam- Hasil Kemam- Hasil Kemam- Hasil puan jian puan Ujian puan Ujian
677 300 623 263 570 230
673 297 620 260 407 100 670 293 617 260 403 97
667 290 613 257 400 97 663 287 610 253 397 93 660 287 607 253 393 90 657 283 603 250 390 90 653 280 600 250 387 87 650 280 597 247 383 83 647 277 593 243 380 83 643 273 590 243 377 80 640 273 587 240 373 77 637 270 583 237 370 77 633 267 580 237 367 73 630 267 577 233 363 73
627 263 573 230 360 70 623 263 620 260 617 260 613 257 610 253
------------------------------------------------------------------------------Metrik dan Kalibrasi
------------------------------------------------------------------------------
• Kemam- Hasil Kemam- Hasil Kemam- Hasil• Ujian puan puan Ujian puan Ujian
• 517 187 463 143 410 103• 567 227 513 183 460 140• 563 223 510 180 457 137• 560 220 507 180 453 133• 557 220 503 177 450 133• 553 217 500 173 447 130• 550 213 497 170 443 127• 547 210 493 167 440 123• 543 207 490 163 437 123• 540 207 487 163 433 120• 537 210 483 160 430 117• 533 200 480 157 427 113• 530 197 477 153 423 113• 527 197 473 150 420 110• 523 193 470 150 417 107• 520 190 467 147 413 103