제 2 장 평가도구의 질 판단기준- 신뢰도20130255영어교육 권진희

INDEXI. 신뢰도의 정의 신뢰도와 타당도의 비교 , 관계

II. 신뢰도의 종류1. 검사관련신뢰도 (3)2. 채점관련신뢰도 (3)

III. 신뢰도에 영향을 주는 요인 (5)

1. 신뢰도의 정의

신뢰도란 ? 재야할 것을 얼마나 오차 없이 일관되게

재고 있는가 ( 신뢰도가 높다 = 검사결과가 일관적이다 )

가치중립적

I. 신뢰도의 정의

타당도 (validity) 와 신뢰도 (reliability) 의 비교

타당도 : 평가의 내용

(what)

신뢰도 : 평가의 방법

(how)

평가도구의 양호도 확보

1. 신뢰도의 정의

타당도와 신뢰도의 관계 ( 성태제 , 2005) ㄴ 관찰점수

타당한 점수 타당하지 않은 점수 오차 점수

타당도신뢰도

신뢰도←타당도 (O) : 타당도가 높기 위해서 신뢰도가 높아야 하므로 신뢰도는 타당도 확보를 위한 필요조건BUT!!!!!!!!신뢰도가 높다고 타당도가 높은 건 아니므로 충분조건은 아니다 .

2. 신뢰도의 종류

2-1 검사 관련 신뢰도

1) 재검사 신뢰도2) 동형검사 신뢰도3) 내적일관성 신뢰도① 반분검사 신뢰도② KR-20/KR-21③ Crombach α

2-2 채점 관련 신 뢰도1) 채점자 내 신뢰도2) 채점자 간 신뢰도

서답형 문항에서 문제가 됨 !

2-1.(1) 재검사 신뢰도 (RETEST R-)

하나의 측정도구를 동일한 대상에게 두 번 실시해여 두 점수 사이의 상관계수 이용

Karl Pearson 의 단순적률상관계수 추정 공식

시간간격으로 인한 오차 ∴실시간격 설정 주의 ( 너무 짧으면 신뢰도 높아짐 . 길면 낮아짐 .)

장점 : 간단하다 단점 : 기억이나 연습의 효과 발생 , 시간에 따라

신뢰도 변함 .

2-1.(2) 동형검사 신뢰도(EQUIVALENT R-)

내용이 다르지만 동일한 능력을 측정하는 두 동형 검사 사이의 점수의 상관계수 이용

동일한 내용 측정할 것 , 문항의 변별도나 난이도가 유사하거나 같을 것

장점 : 재검사 신뢰도 문제점 해결 단점 : 검사제작 , 2 번 검사하기의 현실적 ,

피험자의 동기와 태도 유지 등이 어려움

2-1.(3) 내적일관성 신뢰도- 반분검사 신뢰도 (SPLIT-HALF R-)

문항들 간의 내적 일치도 검사 :2 개의 부분검사 간의 유사성으로 추정

검사반분 방법 - 전후반분 (속도검사에서는 사용하면 사용 X),기우반분(짝홀 ),난수표이용 , 내용이나 난이도

Spearman-Brown(1910)의 공식 응용

ρjj´는 반분 검사의 신뢰도 , ρXX´는 전체 검사의 신뢰도를

장점 : 2 번 검사 하지 않음 단점 : 검사를 반분하는 방법에 따라 신뢰도 달리 추정될 수 있음 . 따라서

문항 특성에 의하여 두 부분 검사가 동형이 되도록 !

2-1.(3) 내적일관성 신뢰도- KR-20/KR-21

Kuder 와 Richardson, 문항 점수의 분산과 공분산 개념 이용

문항내적 합치도 단일한 특성을 평가하는 문항으로 구성 , 난이도 일정하게

유지할 것

KR-20: 맞으면 1, 틀리면 0 KR-21: 문항점수가 연속일 때 사용 장점 : 2 번 검사 하지 않음 , 반분검사신뢰에서의 난제 해결

2-1.(3) 내적일관성 신뢰도-CROMBACH Α

문항내적 일관성 신뢰도 : 하나의 검사의 문항 간의 일관성 정도를 추정한다 . 문항들이 동질적일수록 Crombach α 계수 커짐

관찰점수 분산과 진점수 분산 비율에 근거

오차 점수의 분량이 적을수록 계수 증가

장점 : 검사 양분하지 않고 단일한 신뢰도 추정 결과 얻음

단점 : 검사도구의 질 엄격성이 요구되므로 과소추정되는 정보가 더 바람직 .

2-2. 채점 관련 신뢰도

채점자 내 신뢰도

•평가자의 평가기준 , 즉 개인의 일관성

채점자 간 신뢰도

• 2 명 이상의 채점자들의 결과가 일치하는 정도를 확인

• 평가기준 상이로 신뢰도 낮아짐 , • 채점자의 조정 과정 요구됨 Clark “4

일” ,/“4~5 시간”• 양적변수 - 상관계수법 , 일반화가능도

이론 / 질적변수 - 일치도 통계 , Cohen의 Kappa 계수

3. 신뢰도에 영향을 주는 요인

검사도구 (‘ 문항 내적 일관성 ‘권

장 )

포괄범위(넓을수록)

문항의변별도와 난이도

시간( 역량검사 권장 )

문항의수많을수록 /

절대적이지는 않음 )

BETTER SCHOOL TOGETHER!!!!!!!