IOC = ความตรง ? ผชวยศาสตราจารย ดร. จกรกฤษณ ส าราญใจ

บทคดยอ

บทความนมงทจะสบหาทมาของสตรค านวณคาดชนความสอดคลองระหวางขอสอบกบวตถประสงค R

IOCN

และการแปลความหมายของคาดชนตามสตรน พรอมเสนอทางเลอกอนในการหาคาดชนความสอดคลองระหวางขอสอบกบวตถประสงค Abstrct

This article aims to search for the origin of the formula for the index of item-objective

congruence, R

IOCN

, and how to interpret this index, and also propose the alternative

approaches to calculate the index.

งานวจยทางการศกษาในประเทศไทยในชวงนมกมการรายงานเกยวกบคณภาพของเครองมอทใชรวบรวมขอมลโดยใชดชนความสอดคลองระหวางขอสอบ (ขอกระทง) กบวตถประสงค (Item Objective Congruence Index หรอ IOC) กนอยางแพรหลาย แลวมกสรปกนงายๆ วาเมอขอสอบมคา IOC ถงระดบทก าหนด กถอวาเครองมอวดมความตรงตามเนอหา (Content Validity) หรอความตรงตามปรากฏ (Face Validity) ทนาสงสยกคอวา คาดชน IOC ใหสารสนเทศเกยวกบความตรงดงกลาวไดจรงหรอไม บทความนจงมงทจะสบสอบวา การหาคา IOC นมทมาอยางไร หมายความวาอยางไร และมทางเลอกอนในการหาความสอดคลองระหวางขอสอบกบวตถประสงคอกหรอไม

คาดชน IOC ทใชกนอยคออะไร

ขอเทจจรง คาดชน IOC ทใชกนอยแพรหลายทวไปสวนใหญไดจากการใหผเชยวชาญจ านวนหนงพจารณาวาขอสอบทใหพจารณาสามารถวดไดตามวตถประสงคทตองการหรอไม โดยมค าตอบใหผเชยวชาญเลอกตอบค าตอบใดค าตอบหนงใน 3 ค าตอบ คอ วด ไมแนใจ ไมวด แลวน าค าตอบมาแปลเปนคะแนน ถาตอบวาวดได 1 คะแนน ไมแนใจ ได 0 คะแนน และถาตอบวาไมวด ได -1 คะแนน ให R แทนคาคะแนนค าตอบของผเชยวชาญแตละคน แลว

น าคะแนนของผเชยวชาญทกคนมารวมกนแลวหารดวยจ านวนผเชยวชาญ R

N

คาทไดคอคาดชน IOC ใหคา

มาตรฐานส าคญพจารณาตดสนวาถาคา IOC มคามากกวาหรอเทากบ 0.5 ถอวาขอสอบมความสอดคลองกนระหวางขอสอบกบวตถประสงคทตองการวด โดยอางตอๆ กนมาวาวธการนเปนวธการทเสนอโดย Rovinelli และ Hambleton จากผลงานของทงสองทานทตพมพเผยแพรในป 1977

ขอสงสย สตรและวธการนเปนของ Rovinelli และ Hambleton จรงหรอ และคา IOC นคอคาอะไรและแปลความหมายวาอยางไรแน

ผลการสบคน จากการส ารวจงานทกลาวถงหาคา IOC ในภาคภาษาไทยไมมผลงานใดไดอางถงงานของ Rovinelli และ Hambleton ทตพมพในป 1977 ตรงๆ เลย สวนใหญเปนการอางตอมาจากผลงานของคนอน เชน พชต ฤทธจรญ (2552, 150) เปนตน เทาทสบคนไดม งานของลวน และองคณา สายยศ เทานนทอางถงโดยตรง (ลวน สายยศ และ องคณา สายยศ 2539; 248) แตเมอตรวจสอบรายการบรรณานกรมในงานของลวนและองคณาแลวไมพบ

รายการผลงานของ Rovinelli และ Hambleton จงไมสามารถสบคนไดวาผลงานของ Rovinelli และ Hambleton ทตพมพในป 1977 ทลวนและองคณาอางถงนนคอผลงานชนใด ลวนและองคณาเสนอวาสตรค านวณ

คา IOC ของ Rovinelli และ Hambleton ม 2 สตร (หนา 249) คอR

IOCN

ซงกคอสตรทใชกน

แพรหลายในประเทศไทย พรอมทงใหคามาตรฐานส าหรบพจารณาดวยวา คา IOC นจะตองมคามากกวาหรอ

เทากบ 0.5 จงจะถอวาขอสอบมความสอดคลองกบวตถประสงค อกสตรหนงคอ

1 2 11

2 1

N S S SIOC

N n

(หนา 249) และใหคามาตรฐานส าหรบพจารณาเหมอนกนคอ 0.5 ตวยอ IOC นลวนและองคณา ใชแทน Index

of consistency (หนา 248) สวนการส ารวจผลงานในภาคภาษาองกฤษ พบวาผลงานของ Rovinelli และ Hambleton ทตพมพในป

1977 มผน ามาอางในทตางๆ (Hambleton,1980; Roid and Haladyna, 1982; Turner and Carson, 2003;

Waltz, Strickland, and Lenz, 2010) คอผลงานชอ “On the use of content specialists in the

assessment of criterion-referenced test item validity” ตพมพใน Dutch Journal of Educational

Research. ผอางสวนใหญกลาวถงการค านวณคาดชนความสอดคลองระหวางขอสอบกบวตถประสงค (index of

Item-Objective Congruence)วาค านวณไดจากสตร

1 1 1 1

1

2 1

n N n n

ijk ijk ijk

j i j j

ik

N X X X

IN n

เมอ ikI คอ ดชนความสอดคลองระหวางขอสอบขอท k กบวตถประสงคท i N คอ จ านวนวตถประสงคทงหมดทตองการวด (i = 1, 2, 3,…, N)

n คอ จ านวนผเชยวชาญ (j = 1,2, 3, … , n)

Xijk คอ คะแนนผลการตดสนของผเชยวชาญ คนท j ส าหรบขอสอบขอท k กบวตถประสงคท i

เปนทนาสงเกตวาผทอางถงสตรนของ Rovinelli และ Hanbleton ไมมใครใชสญลกษณ IOC แทน Index of

item-objective congruence เลย นอกจาก Roid และ Haladyna ซงไดมการดดแปลงสตรเลกนอยเปน

1 2 11

2 1

N S S SIOC

N n

โดย N คอ จ านวนวตถประสงค n คอ จ านวนผเชยวชาญ

S1 คอ ผลรวมของคะแนนผลการตดสนความสอดคลองระหวางขอสอบขอทก าลงพจารณาและ

วตถประสงคทก าหนดใหขอสอบนนวด ของผเชยวชาญทงหมด ซงกคอ 1

n

ijk

j

X

ในสตรแรก

S2 คอ ผลรวมของคะแนนผลการตดสนความสอดคลองระหวางขอสอบขอทก าลงพจารณากบวตถประสงค

ทกวตถประสงค ซงกคอ 1 1

N n

ijk

i j

X

ในสตรแรกนนเอง

และเรยกดชนนวา IOC โดยมค าเตมวา Item-Objective Consistency จงเปนทนาสงสยวาสตร R

IOCN

ท

ใชกนในประเทศไทยนมทมาอยางไร เพราะผอางงานของ Rovinelli และ Hambleton ในป 1977 ไมมผใดกลาวถงสตรนเลย อกประเดนหนงทนาสนใจกคอท าไมสตรหาคา IOC อกสตรหนงทลวนและองคณาน ามาเสนอไว

ทเหมอนกบสตรท Roid และ Haladyna ดดแปลงจากของ Rovinelli และ Hambleton จงไมมการน าไปใชกนเลย ค าอธบายทนาจะเปนไปไดประการหนงเมอพจารณาการน าเสนอสตรและตวอยางการค านวณแลวพบวาการน าเสนอสตรทสองนน ลวนและองคณาอธบายสญลกษณตางๆ ในสตรไมคอยชดเจนอานแลวเขาใจยาก (โดยเฉพาะ S2) และตวอยางทใหมา (หนา 250) กมความผดพลาด (อาจจะเนองจากการพมพหรอไม ไมอาจทราบได) จนไมสามารถจะเขาใจสตรการค านวณตามวธการของ Rovinelli และ Hambleton ได (ดรายละเอยดในภาคผนวก ค.) เนองจากวธการหาความสอดคลองกนระหวางขอสอบกบวตถประสงคของ Rovinelli และ Hambleton นน ผเชยวชาญจะตองพจารณาความสอดคลองของขอสอบแตละขอกบทกวตถประสงคทตองการวดของแบบทดสอบนน แลวน าคะแนนผลการตดสนมาแทนคาในสตร ซงจะตองใชทงคะแนนผลการพจารณาความสอดคลองระหวางขอสอบขอทก าลงพจารณากบวตถประสงคทตองการวด และความลอดคลองของขอสอบขอนนกบวตถประสงคทกวตถประสงคดวย เมอลวนและองคณาไมไดกลาวถงเรองนไวจงท าใหผอานยากทจะเขาใจสตรทสองทเสนอไว นาจะเปนผลใหไมมใครน าสตรทสองนไปใชเลย ทงทเปนสตรทตรงกบทน าเสนอโดย Rovinelli และ Hambleton สวนสตรท 1 ทลวนและองคณาเสนอไวดเขาใจงายกวาจงมการน าไปใชและอางถงกนอยางกวางขวาง

เกยวกบทมาของสตร R

IOCN

เทาทสบคนไดสรปในเบองตนไดวา มผลงานของลวนและองคณา

เทานนทอางวาเปนสตรของ Rovinelli และ Hambleton สวนผลงานอนโดยเฉพาะในภาคภาษาองกฤษทอางถงงานของ Rovinelli และ Hambleton ไมมผลงานใดกลาวถงสตรนเลย และสญลกษณทใชแทนดชนความสอดคลองระหวางขอสอบกบวตถประสงค (Item-Objective Congruence) กจะใชสญลกษณ Iik สวนสญลกษณ IOC มใชในงานของ Roid และ Haladyna แตเปนค ายอจาก Item-Objective Consistency ลวนและองคณาใช IOC เปนค ายอของ Index of Concistency การหาดชนความสอดคลองระหวางขอสอบกบวตถประสงคน Hambleton (1980) ถอวาเปนการตรวจสอบคณภาพของขอสอบเปนรายขอเรยกวา ความตรงของขอสอบ (Item

Validity) ไมใชการตรวจสอบคณภาพของแบบทดสอบทงฉบบ

เมอมการใชสตร

RIOC

N กนอยางแพรหลาย กมค าถามทนาคดวา คา

RIOC

N นม

ความหมายวาอยางไร ไมตองสงสยเลยวาคาดชน IOC นคอคาเฉลยเลขคณตของคะแนนค าตอบของผเชยวชาญ แตจะตความวาคาเฉลยสอสารอะไรแกผอานไดบางอาจไมงายนก เรามาดกอนวาระบบการใหคะแนนค าตอบของผเชยวชาญเปนเชนทกลาว คาผลรวมของ R กคอ จ านวนผเชยวชาญทตอบวาวด ลบดวยจ านวนผเชยวชาญทตอบวาไมวด (ผเชยวชาญทตอบวาไมแนใจไมมความหมายเพราะคาคะแนนเปน 0 ไมกระทบตอคาผลตางดงกลาว) หรอ ผลตางระหวางจ านวนผเชยวชาญทตอบวาวดกบจ านวนผเชยวชาญทตอบวาไมวด เมอน ามาหารดวยจ านวนผเชยวชาญทงหมดทพจารณา คานกคอสดสวนของผลตางตอจ านวนผเชยวชาญทงหมด ถาพจารณาแคเครองหมายของคาดชนการตความอาจไมยาก เพราะสอใหเขาใจไดวา ถาคาเปนบวกหมายความวา ผเชยวชาญทตอบวาวดมจ านวนมากกวาผเชยวชาญทตอบวาไมวด ถาเปนลบกหมายความผเชยวชาญทตอบวาไมวดมจ านวนมากกวาผเชยวชาญทตอบวาวด หรอถาคาดชนเปน 0 กหมายความวา ผเชยวชาญทตอบวาวดกบทตอบวาไมวดมจ านวนเทากน ถาคา IOC = 0.5 กตองแปลความหมายวา มจ านวนผเชยวชาญทตอบวาวดมมากกวาจ านวนผเชยวชาญทตอบวาไมวดเปนครงหนงของผเชยวชาญทงหมด การแปลความหมายคาดชนเชนนอาจท าใหคนทวไปเขาใจยากอยไมนอย การก าหนดคาวกฤตวาคา IOC จะตองมคามากกวาหรอเทากบ 0.5 ขนไปจงจะถอวาขอสอบนนวดไดตามวตถประสงคทตองการ จงเปนคาทหาเหตผลมาอธบายไดไมคอยจะชดเจนนก ดงนนคา IOC ตามสตรนจงสอความหมายกบคนทวไปไดไมชดเจนดเทาทควร และดไมมเหตผลอนควรทคาดชนจะตองค านวณใหยงยากเชนน นาจะหาวธทค านวณและแปลความหมายไดงายนาจะดกวา

ทางเลอกอน

การหาคาดชนความสอดคลองระหวางขอสอบกบวตถประสงคถอเปนการหาความตรงของขอสอบ (Item

validity) นอกจากวธการของ Rovinelli และ Hambleton แลว Hambleton (1980) ยงไดเสนอวธอนๆ อก 2 วธ คอ

นอกจากจะใหผเชยวชาญตดสนความสอดคลองระหวางขอสอบกบวตถประสงคโดยใหตดสนใหเดดขาดวาวดหรอไมวดแลว อาจใหผเชยวชาญประเมนความสอดคลองในลกษณะของมาตราสวนประมาณคากได (Hambleton, 1980; 90) เชน ถาใหประมาณคาความสอดคลองใน 5 ระดบ อาจเปน วดไดบาง พอวดได วดไดด วดไดดมาก วดไดดเยยม แลวน ามาแปลงเปนคะแนน 1 2 3 4 5 ตามล าดบ (หรออาจจะใหมระดบทประเมนวาไมวด แลวใหคะแนนเปน 0 อกกได) แลวน าคะแนนมาคาเฉลยกบสวนเบยงเบนมาตรฐาน หรอมธยฐานกบสวนเบยงเบนควอไทล แลวพจารณาตดสนวาขอสอบมความสอดคลองกบวตถประสงคถาขอใดมคาเฉลยหรอมธยฐานสงและมคาสวนเบยงเบนมาตรฐานหรอสวนเบยงเบนควอไทลต า (เชน มคาเฉลยตงแต 4.00 ขนไปและมสวนเบยงเบนมาตรฐานไมเกน 1.00 เปนตน - ผเขยน) ดวยวธนเราอาจน าขอมลมาพจารณาวาผเชยวชาญแตละคนมความเหนสอดคลองกบผเชยวชาญคนอนๆ มากนอยเพยงใด ดวยการหาคะแนนสวนเบยงเบนจากคะแนนเฉลยหรอมธยฐานของผเชยวชาญคนนนในแตละขอแลวน าคะแนนสวนเบยงเบนทกขอมารวมกน ผเชยวชาญคนใดมผลรวมของคะแนนสวนเบยงเบนสงและมหลกฐานวาไมไดตดสนอยางรอบคอบถถวน อาจตดผลการพจารณาของผเชยวชาญคนนนออกแลวค านวณคาสถตใหม

อกวธหนงของการใหผเชยวชาญพจารณาความสอดคลองของขอสอบกบวตถประสงคท Hambleton เสนอไว คอแทนทจะก าหนดใหผเชยวชาญพจารณาอยางเฉพาะเจาะจงวาขอสอบขอนใชวดวตถประสงคขอนไดหรอไม กใหผเชยวชาญพจารณาเองวาวตถประสงคขอหนงมขอสอบขอใดทวดตามวตถประสงคขอนไดบาง อาจตอบวามกขอกไดขนอยกบผเชยวชาญเหนวาวดได และใหพจารณาดวยวามขอสอบขอใดบางทไมสามารถใชวดตามวตถประสงคใดไดเลย แลวน าผลการพจารณาของผเชยวชาญมาแจงนบวา ขอสอบขอใดใชวดวตถประสงคใดมผเชยวชาญพจารณาวาวดคดเปนสดสวนหรอรอยละเทาใด ถาคาสดสวนหรอรอยละมคาสง (อาจก าหนดคาวกฤตตามความเหมาะสม เชน 0.8 หรอรอยละ 80 ขนไป - ผเขยน) กจะถอวามความสอดคลองกนระหวางขอสอบกบวตถประสงค สวนผลการพจารณาวาขอสอบขอใดไมสามารถวดวตถประสงคใดไดเลยนนสามารถน ามาเปนขอมลแสดงวาผเชยวชาญมความสามารถชใหเหนถงขอสอบทไมดไดมากนอยเพยงใด อาจก าหนดวาผเชยวชาญความระบถงขอสอบทไมดไดไมนอยกวากขอ ถาผเชยวชาญคนไดระบไดไมถงตามทก าหนดกอาจจะตดผลการพจารณาของผเชยวชาญคนนนออกจากการวเคราะห (Hambleton, 1980; 90)

อกทางเลอกหนงเราอาจประยกตวธการของ Lawshe ในการหาความตรงตามเนอหามาใชเพอหาความตรงของขอสอบหรอความสอดคลองระหวางขอสอบกบวตถประสงคได Lawshe (1975) ไดเสนอวธการเชงปรมาณเพอหาความตรงตามเนอหา (Content validity) ดวยการใชผเชยวชาญเนอหาจ านวนหนงพจารณาตดสนวาเนอหาความรหรอทกษะทวดดวยขอสอบขอนนมความจ าเปนหรอไม โดยใหตอบใน 3 ทางเลอกคอ จ าเปน มประโยชนแตไมใชสาระส าคญ และไมจ าเปน แลวนบจ านวนผเชยวชาญเฉพาะทตอบวาจ าเปนวามเทาใด แลวน าไปหาคา อตราความตรงตามเนอหา (Content Validity Ratio: CVR) จากสตร

2

2

e

Nn

CVRN

เมอ N คอจ านวนผเชยวชาญทงหมด และ ne คอจ านวนผเชยวชาญทตดสนวาจ าเปน คา CVR นจะเปนการแปลงรปเชงเสนโดยตรง (direct linear transformation) จากสดสวนของผเชยวชาญทตอบวาจ าเปนตอผเชยวชาญทงหมด โดยจะมลกษณะดงน

เมอผเชยวชาญนอยกวาครงหนงตดสนวาไมจ าเปน คา CVR จะตดลบ

เมอผเชยวชาญครงหนงตดสนวาจ าเปน คา CVR จะเทากบ 0

เมอผเชยวชาญทงหมดตดสนวาจ าเปน คา CVR จะเทากบ 1

เมอผเชยวชาญเกนกวาครงหนงแตไมทงหมดตอบวาจ าเปน คา CVR จะอยระหวาง 0 ถง 1

นอกจากน Lawshe ยงไดเสนอคาวกฤตของคา CVR เมอมผเชยวชาญจ านวนตางๆ เพอใหพจารณาตดสนวาคา CVR อยางต าเทาใดจงควรรบวาขอสอบขอนนวดเนอหาทตองการวดไดจรง (ดตารางในภาคผนวก) เมอหาคา CVR ของขอสอบแตละขอไดแลว กจะเลอกขอสอบทมคา CVR สงวาคาวกฤตไวในแบบทดสอบใหเพยงพอกบจ านวนทตองการตามตารางลกษณะเฉพาะของแบบทดสอบ (Test specification table) แลวหาคาเฉลยของคา CVR ของขอสอบทงหมด กจะไดเปนคาดชนความตรงตามเนอหา (Content Validity Index:

CVI) ของแบบทดสอบฉบบนน

แนวคดในการหาคา CVR ของ Lawshe นสามารถน ามาประยกตเพอหาความตรงของขอสอบ (item

validity) กบวตถประสงคได โดยเปลยนใหผเชยวชาญพจารณาวาขอสอบนนวดตามวตถประสงคทก าหนดหรอไม แทนการพจารณาวาขอสอบนนวดเนอหาทก าหนดหรอไม ทส าคญคา CVR นมคาวกฤตประกอบการตดสนวาผเชยวชาญเหนวาขอสอบนนวดไดตามวตถประสงคทตองการหรอไมอยางชดเจน

ทางเลอกในการหาความตรงของขอสอบทน าเสนอมานแตละวธกมความยงยากแตกตางกนไป เรมจากวธของ Rovinelli และ Hambletion ผเชยวชาญจะตองพจารณาวาขอสอบขอนนวดตามวตถประสงคทก าหนดแลวยงตองพจารณาดวยวาวดตามวตถประสงคขออนๆ อกหรอไม อาจท าใหผเชยวชาญเบอหนายในการพจารณาได สวนวการใหตดสนโดยการประมาณคาความสอดคลองตามท Hambleton เสนอ อาจท าใหผเชยวชาญล าบากใจในการประมาณคาเพราะสวนมากถาขอสอบไมสามารถวดไดตามวตถประสงคมนกคอไมวด ไมนาจะมระดบวดไดมากไดนอยอก และวธการใหผเชยวชาญตดสนจบควาวตถประสงคแตละวตถประสงคมขอสอบขอใดวดบาง กท าความยงยากแกผเชยวชาญในการพจารณาไมนอย สวนวธการของ Lawshe อาจมความยงยากในการค านวณอยบาง แตมคาวกฤตชวยในการตดสนใจชดเจน

เพอใหสะดวกในการด าเนนการและแปลความหมายคาดชนไมยงยาก คนทวไปสามารถเขาใจได ผเขยนขอเสนอใหค านวณคาดชนโดยหาสดสวนระหวางจ านวนผเชยวชาญทตอบวาวดกบจ านวนผเชยวชาญทงหมด (การใหผเชยวชาญพจารณาความสอดคลองอาจจะใหตอบใน 3 ทางเลอกเหมอนเดมคอ วด ไมแนใจ และไมวด แตนบเฉพาะจ านวนผเชยวชาญทตอบวาวดเทานน) อาจปรบคาดชนใหเปนรอยละโดยการคณดวย 100 แลวก าหนดคามาตรฐานส าหรบตดสนใจตามความเหมาะสม เชน ถาคาสดสวนมคาตงแต 0.8 หรอรอยละ 80 ขนไป ถอวาขอสอบขอนนวดตามวตถประสงคได หรอถาจะใหมหลกฐานเชงสถตสนบสนนการตดสนใจ กอาจจะใหมการทดสอบสมมตฐานทางสถตวา ผเชยวชาญสวนใหญ (เกนกวาครงหนง) เหนวาขอสอบขอนนวดตามวตถประสงคหรอไม ถาผลการทดสอบของขอสอบขอใดมนยส าคญทางสถตกถอวาขอสอบขอนนวดไดตามวตถประสงคทตองการ (ดรายละเอยดในภาคผนวก ข.)

อนงการหาความตรงของขอสอบดวยการหาดชนความสอดคลองระหวางขอสอบกบวตถประสงค ไมใชการหาความตรงตามเนอหาของแบบทดสอบ (Test content validity) เพราะตามนยามของความตรงตามเนอหาเนนท

เนอหาทวดดวยแบบทดสอบนนเปนตวแทนทดของเนอหาทตองการวดทงหมดหรอไม (Brown, 1976; 123) การทขอสอบแตละขอวดไดตามวตถประสงคหรอวดเนอหาทตองการวดได ไมไดประกนวาเมอน าขอสอบทวดไดตามวตถประสงคหรอเนอหามารวมกนเปนแบบทดสอบแลวขอสอบเหลานนจะวดเนอหาทเปนตวแทนของเนอหาทตองการวดได การตรวจสอบความตรงตามเนอหาควรจะตองเทยบกบตารางลกษณะเฉพาะของแบบทดสอบ (Test

specification table) เปนหลก และการดชนความสอดคลองระหวางขอสอบกบวตถประสงคกไมใชหลกฐานแสดงวาแบบทดสอบมความตรงตามทปรากฏ (Face validity) ดวย เพราะตามความหมายของความตรงตามทปรากฏกคอแบบทดสอบนนเทาทปรากฏแกสายตาพอจะเชอไดหรอไมวาแบบทดสอบนนสามารถวดลกษณะทตองการวดได (Brown, 1976; 127) แตไมอาจเชอไดวาคะแนนทไดจากการวดดวยแบบทดสอบนนจะสามารถสรปอางอง (infer) หรอสอสารไปถงลกษณะทตองการวดไดอยางถกตอง ความตรงตามปรากฏจงไมใชคณภาพเชงเทคนคของการวดแตอยางได ไมควรน ามายนยนวาแบบทดสอบนนสามารถวดลกษณะทตองการวดไดจรง

สรป

บทความนเรมจากขอสงสยวา คาดชน R

IOCN

ทใชกนแพรหลายกนในงานวจยทางการศกษาขณะนมทมา

อยางไร และคาดชนนควรจะแปลความหมายวาอยางไร จากการสบคนพอไดขอสรปวาคาดชนทใชกนอยนไมนาจะใชสตรของ Rovinelli และ Hambleton ตามทอางกน และการแปลความหมายคา IOC ตามสตรนมความยงยากซบซอนพอสมควร คนทวไปอาจเขาใจล าบากอยบาง และพยายามสบคนหาทางเลอกอนในการหาดชนความสอดคลองระหวางขอสอบกบวตถประสงค สดทายไดเสนอวธการหาดชนความสอดคลองดวยการหาสดสวนระหวางจ านวนผเชยวชาญทตอบวาวดกบจ านวนผเชยวชาญทงหมด เพราะเปนดชนทค านวณและแปลความหมายไดงาย ทตองตระหนกไวเสมอกคอ การทขอสอบแตละขอวดไดสอดคลองกบวตถประสงคทตองการวดไมไดประกนวาแบบทดสอบจะมความตรงตามเนอหาหรอความตรงตามปรากฏ

บรรณานกรม

พชต ฤทธจรญ. (2552). หลกการวดและประเมนผลการศกษา (พมพครงท 5). กรงเทพฯ: เฮาส ออฟ เคอรมสท.

ลวน สายยศ, และ องคณา สายยศ. (2539). เทคนคการวดผลการเรยนร. กรงเทพฯ: ชมรมเดก. Berk, R. A. (1980). Item analysis. In R. A. Berk (Ed.), Criterion-referenced measurement: The

state of the art (pp. 49-79). Baltimore: The John Hopkins University Press.

Brown, F. G. (1976). Principles of educational and psychology testing (2nd ed.). New York: Holt,

Rinehart and Winston.

Hambleton, R. K. (1980). Test score validity and standard-setting methods. In R. A. Berk (Ed.),

Criterion-refernced measurement: The state of the art (pp. 80-123). Baltimore: The John

Hopkins University Press.

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28,

563-575.

Roid, G. H., & Haladyna, T. M. (1982). A technology for test-item writing. New York: Academic

Press.

Turner, R. C., & Carlson, L. (2003). Indexes of item-objective congruence for multipledimension

items. International Journal of Testing, 3(2), 163-171.

Waltz, F. C., Stirickland, O. L., & Lenz, E. R. (2010). Measurement in nursing and health research

(4th ed.). New York: Springer.

ภาคผนวก

(ก) คาวกฤตของ CVR ในการทดสอบหางเดยวทระดบนยส าคญเทากบ 0.5 ส าหรบจ านวนผเชยวชาญตางๆ

จ านวนผเชยวชาญ คาวกฤตของ CVR

5 .99

6 .99

7 .99

8 .85*

9 .78

10 .62

11 .59

12 .56

13 .54

14 .51

15 .49

20 .42

25 .37

30 .33

35 .31

40 .29

* ในบทความของ Lawshe มคาเทากบ .75 ซงไมนาจะเปนไปไดเพราะคา CVR เปน linear transformation

ของสดสวนของผเชยวชาญ คาวกฤตควรจะตองลดลงเมอจ านวนผเชยวชาญมมากขน ในบทความเรอง Content

Validity จาก Wikipedia (สบคนเมอ 30 ก.ค. 2554) มการแกไขคาวกฤตของ CVR เมอจ านวนผเชยวชาญเทากบ 8 คน เปน .85 ดงทเสนอในตารางน

(ข)

การทดสอบสมมตฐานวาผเชยวชาญเกนวาครงหนงเหนวาขอสอบนนวดตามวตถประสงคนนหรอไม ท าไดโดยการทดสอบคาสดสวนดวยการทดสอบทวนาม (Binomial Test) โดยมสมมตฐานสญเปน 0 : 0.5H และสมมตฐานแยงเปน 1 : 0.5H สถตทดสอบคอ จ านวนผเชยวชาญทตอบวาวด (x) แลวค านวณคาความนาจะเปนทผเชยวชาญ x คนจากผเชยวชาญทงหมด N คนจะตอบวาวด จากสตร ( ) 0.5 1 0.5

x N xN

xP x C

คา x ทใหคาความนาจะเปนนอยกวา .05 จะถอวาสมมตฐานสญไมจรง

คาวกฤตจ านวนผเชยวชาญทตอบวาวด ทจะท าใหการทดสอบสมมตฐานทวาจ านวนผเชยวชาญเกนกวาครงหนง (>0.5) มนยส าคญทางสถตทระดบ .05 จากจ านวนผเชยวชาญทงหมดตางๆ กน

จ านวนผเชยวชาญทงหมด คาวกฤตจ านวนผเชยวชาญทตอบวา

วดไมนอยกวา 20 14 19 14 18 13 17 12 16 12 15 11 14 11 13 10 12 10 11 9 10 8 9 8 8 7 7 7 6 6 5 5 4 4 3 3 2 2

(ค) การน าเสนอสตร IOC ของ ลวนและองคณา สายยศ

จากสตรทน าเสนอจะเหนวาผเขยนไมไดระบวา ผเชยวชาญทกคนจะตองพจารณาขอสอบแตละขอกบทกวตถประสงคในโดเมนหรอขอบเขตเนอหาทตองการวด เมอใหความหมายของสญลกษณ S1 และ S2 จงท าใหผอานเขาใจยากวาหมายถงอะไร โดยเฉพาะ S2 ไมไดเนนวา “ทกวตถประสงค” เมอดตวอยางการค านวณทใหไว ถาดตามขอมลจะไมเขาใจวาคา (-14) ไดมาจากไหน และเมอน ามาแทนคาในสตรกปรากฏวา คา S2 เปน (-14) ทงๆ ทบรรทดขางบนบอกวา S2=-11 ทจรงแลวในตารางผลการตดสนของผเชยวชาญคนท 4 นาเปน -1 ส าหรบจดประสงคท 1 3 4 และ 5 คา S2 จงจะมคาเทากบ (-14) + 3 – 0 = -11 เมอแทนสตรจะได

(5 1) 3 ( 11) 3 12 11 3 260.8125

2(5 1) 4 2 4 4 32IOC

กตตกรรมประกาศ

ผเขยนขอขอบคณ รองศาสตราจารย ดร. ทศนย บญเตม critical friend ของผเขยนทจดประกายความคดใหเขยนบทความน และยงไดกรณาอานตนฉบบรางแรกอยางละเอยด ใหขอคด ขอวพากษ รวมทงชวยปรบแกถอยค าส านวนภาษา ท าใหบทความนมคณคามากขนอยางมนยส าคญ

ผเขยน

จกรกฤษณ ส าราญใจ ค.ด. (การวดและประเมนผลการศกษา) จฬาลงกรณมหาวทยาลย

ผชวยศาสตราจารย ประจ าสาขาวชาการวด ประเมน และวจยทางการศกษา

คณะครศาสตร มหาวทยาลยราชภฏล าปาง

การอางอง

จกรกฤษณ ส าราญใจ. (2553-2554). IOC = ความตรง ? วารสารหลกสตรและการเรยนการสอน มหาวทยาลยขอนแกน, 4(1-2), 1-13.