평가도구의 질 판단 기준(신뢰도)

20130263 영어교육과 박대현

1. 신뢰도의 정의

타당도 • 평가의 내용(what)

신뢰도 • 평가의 방법(how)

타당도 신뢰도⊂

2. 신뢰도의 종류

검사관련신뢰도(1)

• 검사점수에영향을미치는오차를최소화할수있는가

• 신뢰도측정방법, 그의장단점파악필요

채점관련신뢰도(2)

• 평가자의평가가얼마나신뢰와일관성이있게이루어지는가

• 서답형평가에서특히중요

(1)-1 재검사 신뢰도

⇒하나의검사를시간간격을두고동일한대상에게두번실시

⇒처음에얻어진점수와두번째로얻어진점수와의상관계수를통해신뢰도를구함

시간간격이너무짧을경우

시간간격이너무길경우

(1)-2 동형검사 신뢰도

⇒신뢰도를알아보고자하는검사와내용, 난이도면에서동일한동형의검사를제작

⇒두개의검사를동일한대상에게시행하여두시험결

과의일치하는정도를상관계수로추정

(1)-3 내적일관성 신뢰도

Ⅰ. 반분검사 신뢰도

⇒평가를구성하고있는문항들간의내적일치도를검사

⇒하나의검사를제작한후한피험자집단에실시

평가문항을특정한방법으로두부분으로분할

반분된두개의검사점수간의상관을통해신뢰도를구함

※ 반분된 검사가 서로 동형에 가까울 수록 신뢰도가 높아짐

⇒반분된검사의전체신뢰도를구하기위해

Spearman-Brown공식사용

검사를반분하는방법에따라신뢰도가달리추정될수있음

Ⅱ. KR-20/KR-21(문항 내적 합치도)

⇒문항점수의분산과공분산개념이용

⇒한검사에있는문항을각각독립된검사로간주

문항내의정답과오답사이의관계를상관계수로표시K : 검사 내의 문항 수Sx

2 : 검사점수의 변량pi : i라는 문항을 정답한사람의 비율qi: : 1- pi

M : 검사점수의 평균

Ⅲ. Cronbach α(문항내적 일관성 신뢰도)

⇒하나의검사에포함되어있는문항들이얼마나서로일치하는가

⇒관찰점수분산과진점수분산비율에근거하여신뢰도를추정

진점수의변량이차지하는비율이커질수록계수커짐

검사를양분할필요없이단일한신뢰도추정결과를얻을수있음

검사도구의신뢰도를과소추정하는경향이있지만검사도구의질을분석함에있어어느정도의

엄격성이요구되기때문에과소추정되는정보가오히려바람직

(2) 채점 관련 신뢰도

채점자 내 신뢰도

• 동일한평가자가시간에관계없이얼마나일관되게평가하고있는가

채점자 간 신뢰도

• 두명이상의평가자가평가할때서로일치하는정도측정

• 평가자사이의양적, 질적변수에따라측정방법이달라짐

(3) 신뢰도에 영향을 주는 요인

검사방법

문항내적일관성신뢰도

가가장과학적이고낮

은신뢰도지수를제공

문항의수

문항의수가많아져표

본이커질수록신뢰도

증가

내용의범위

범위가좁을때신뢰도

증가

주어진시간

시간이충분할수록신

뢰도증가

난이도와변별도

쉬운문제를앞에배열하는

것이신뢰도를높임

변별력이높을수록신뢰도

가증가