평가도구의 판단 기준- 타당도 -

20130174 음악교육과

조인채

목 차

1. 타당도란?

2. 타당도에대한전통적관점

3. 타당도의통합적관점

1. 타당도(validity)란?

• 검사도구가측정하려고하는능력이나특성을

충실하게재고있는지를나타내는지표

• 검사도구가 ‘무엇(What)’을측정하고있는가와

관련된개념

Ex) 국어고사가 ‘국어능력’을측정해야하는데만약

‘사회생활능력’을측정하고있다면이시험은

‘타당도(validity)’가낮은시험이다.

1. 타당도(validity)란?

요약한다면,

타당도란

근본적으로검사의적절성여부에대한질문이

다.

2. 타당도에 대한 전통적 관점

전통적관점의여러유형

①내용타당도(content validity)

②예측타당도(predictive validity)

③공인타당도(concurrent validity)

④구인타당도(construct validity)

⇒각유형들은일정한영역에서그자체로서역할을

가짐

전통적 관점1 – 내용타당도

내용타당도(content validity)

⇒평가도구가평가하려고하는내용을어느정도로

충실히측정하고있는지를측정하려는것

• 내용타당도 ≒논리적타당도, 안면타당도

• 주로성적검사의타당도를확인하기위해쓰이

나지능검사, 적성검사등에도쓰임

전통적 관점1 – 내용타당도

• 검사도구의타당성은검사도구가교육목표, 교

과과정, 교재의내용을얼마나잘측정하고있는

지에달려있음

• 내용타당도의판단기준

①처음에의도했던교육목표에비추어보아적절한가

②문항내용이교과내용의중요한것을충분히포괄하고있는

가

③문항의난이도가학생집단의성질에비추어보아적절한가

④문항의표본이전체적내용을잘대표하고있는가

전통적 관점1 – 내용타당도

• 내용타당도의추정은검사내용에대한전문가

의판단에기초 ∴수치로나타낼수없음

• 내용타당도의준거는교육목표가되므로

교육목표의세분화와이원분류표의작성은검

사의타당성을높이는데도움이된다.

전통적 관점2 – 예측타당도

예측타당도(predictive validity)

⇒검사의결과가피험자의미래를어느정도예측하

는가에따라표시되는타당도

• 예측타당도의준거

→ 검사가예언하고자하는미래의행동특성

Ex) 입학성적이높은학생이입학후에도학업성

적이높다면그입학시험은예측타당도가높다.

전통적 관점2 – 예측타당도

• 예측타당도의추정

→ 선행검사(X)와준거(Y)와의상관계수로표시

→ 상관계수가크면예언의정확성이크고오차가적다.

→ 예측타당도는검사X와준거Y의신뢰도에크게영향

을받는다.

→ 검사X와준거Y가모두신뢰로우면예측타당도는높아진다.

→ X와 Y 모두신뢰도가낮거나둘중하나라도신뢰도가

낮다면예측타당도는낮아진다.

전통적 관점3 – 공인타당도

공인타당도(concurrent validity)

⇒평가도구에의해밝혀진피험자의행동특성이

행동준거와현재어느정도일치하느냐를말한

다.

• 공인타당도의추정

→ 선행검사(X)와준거검사(Y)의상관계수로표시

전통적 관점3 – 공인타당도

• 공인타당도와예측타당도의차이

①예측타당도의행동의준거는 ‘미래’지만공인타당

도는 ‘현재’에있음

→ 공인타당도는검사X와준거Y가본질적으로동시에측정

②공인타당도는준거의성질이예언에있는것이아닌

공통된요인이있느냐없느냐에있다.

ex) 작문검사를독후감과제로대체할수있는가

→ 두검사사이에공통된요인이있어대체가능한지,

그사이의상관을알아보는것은공인타당도에해당

전통적 관점3 – 공인타당도

• 공인타당도의중요성

① 평가도구의실제적의미를풍부히해줌

② 평가도구의활용에있어유용한정보를제공

③ 새로운연구의아이디어를제공

전통적 관점4 – 구인타당도

구인타당도(construct validity)

⇒검사가심리적특성을구성하고있는구인들을얼

마나잘포함하였느냐의정도

• 구인(construct)이란?

⇒검사성취에반영되어있다고짐작되는인간의가

정적속성

ex) 자아개념, 사고력, 학습동기, 불안등

전통적 관점4 – 구인타당도

• 구인타당도의검증

⇒측정하고자하는구인들을정의하고, 그구인들에

관해논리적가설을뒷받침해주는경험적자료들을

수집

• 구인타당도

⇒새로운개념혹은구인을측정하는검사에과학적

이론과타당화를부여하는과정

전통적 관점4 – 구인타당도

• 구인타당도검증의절차

① 검사점수혹은검사결과의원인이될구인이무엇인지

를시사하는과정

→ 관찰및검사의이론적분석을기초로한상상적행위로

이루어짐

② 이구인에관련된이론의상정과이이론에서추리할

수있는가설을추출하는과정

→ 과학의논리적조작에의존

③ 이가설을검증하기위해경험적연구를실행하는과

정

전통적 관점4 – 구인타당도

• 구인타당도의핵심

⇒‘특성X를가진사람은 Y라는상황에서 Z라는행동

을보일것이다.’라는법칙을정립하는것

• 구인타당도의특성

→한가지형태의연구만이아닌적절하다고생각되

는모든형태의연구방법이사용됨

→따라서구인타당도는어떤단일한지수로표현할

수는없음

3. 타당도의 통합적 관점

• 통합적관점의대두배경

타당도검증의대상은그검사자체가아니라검사점수로부

터유추되는해석과추론이라는것을인식하면서시작

↓

이러한인식은독립된타당도로인정되었던기존의전통적

관점의한계를노출시키는계기가되며타당도이론의발전

에큰영향을줌

3. 타당도의 통합적 관점

• 타당도에대한통합적관점의특성

① 모든검사의타당화과정을구인타당도에서이용하는

과학적인이론검증의과정과동일하게본다.

⇒통합적관점에서구인타당도 = 사실상타당도자체

② 타당화과정에서가치와검사활용의결과를명시적

으로고려한다.

⇒검사점수의해석과활용에따른가치와결과를고려해야

한다.

3. 타당도의 통합적 관점

• 타당도에대한통합적관점의특성

③ 타당도는관련된모든증거들을활용하여검사점수

의해석에대해내린종합적이고평가적인판단이다.

⇒개별적인타당도유형은존재하지않는다.

④ 타당화과정은사실상평가이다.

⇒타당도를구한다는것은검사점수의해석과그러한검사

점수의활용에대한평가를수행하는것이다.

3. 타당도의 통합적 관점

• 타당도증거

1) 검사내용에기초한증거

⇒검사의내용과측정하려는구인(construct), 그리고검사제작

자에의해제시된검사점수의해석간관계의적절성에관한것

⇒검사의내용영역(domain)의적절성이검사점수로부터추론

되는특정한해석과연결된다.

3. 타당도의 통합적 관점

2) 반응과정에기초한증거

⇒측정하려는구인과수험자의반응과의적절성에관한것

⇒ ‘수험자들의문항에대한반응분석’

‘수험자들의수행을관찰하고평가하는과정이의도된점수해석’

‘측정하려는구인에얼마나부합하는지’

위와같은연구를모두포함한다.

3. 타당도의 통합적 관점

3) 내적구조에기초한증거

⇒검사문항과검사구성요소간의관계가검사점수해석의기반

이되는구인과일치하는정도를나타냄

⇒검사의문항들과구성요소들사이의내적관련성이의도한구

인을측정하기위한검사의개념적구조와얼마나잘부합되는지

를분석하는것이하나의요소

3. 타당도의 통합적 관점

4) 다른변수와의관계에기초한증거

⇒검사점수와외재적인변수간의관련성이검사점수를해석하

는데기반이되는구인과얼마나일관성을갖는지를분석

⇒외재적변수

‘검사점수가예측할것으로기대되는변수’, ‘검수가측정하려는동일

or 관련된구인’, ‘구별되는구인을측정하는다른검사점수’ 등

⇒ ‘수렴적또는판별적증거’ ‘검사-준거관련성’

‘타당도일반화’ 로구분되어진다.

3. 타당도의 통합적 관점

5) 검사결과에기초한증거

⇒의도하거나의도하지않은검사사용의결과를분석하는것

⇒검사사용의결과가직접적으로타당도와관련된증거인지

타당도영역밖에해당하는지를구별하는것이중요

3. 타당도의 통합적 관점

• 모든타당도증거들의판단준거

⇒검사가측정하려는구인과의일관성또는관련성

• 타당도연구에서중요한것

⇒타당도증거들의총망라성(exhaustiveness)이아닌, 수

집가능한증거들을통해서검사점수해석과활용을정당화

할수있는설득력있는주장을하는것

3. 타당도의 통합적 관점

결론적으로, 통합적관점에서의타당도란

수집된여러타당도증거들을이론적논리안에서통합하여

얻어진평가적주장

수고하셨습니다.