Dunaújvárosi Nemzetközi Lingvisztikai Konf., 2007. Balázs Béla

Az utolsó 25-30 évben a nyelvtudásmérés területén Az utolsó 25-30 évben a nyelvtudásmérés területén végzett kutatások intenzitása exponenciálisan végzett kutatások intenzitása exponenciálisan növekedett. növekedett.

Állandó gondot jelent azonban, hogy a nyelv-Állandó gondot jelent azonban, hogy a nyelv-vizsgáztatás mindennapos gyakorlata távolról sem vizsgáztatás mindennapos gyakorlata távolról sem fejlődik olyan gyorsan, mint a nyelvvizsgáztatás fejlődik olyan gyorsan, mint a nyelvvizsgáztatás elmélete. elmélete.

A gyakorlatban dolgozó nyelvvizsgáztatók arra A gyakorlatban dolgozó nyelvvizsgáztatók arra panaszkodnak, hogy az elméleti cikkeket nehéz panaszkodnak, hogy az elméleti cikkeket nehéz megérteni, és azok gyakran számukra irrelevánsnak megérteni, és azok gyakran számukra irrelevánsnak tűnnek, vagy legalábbis napi praxisuktól távol eső tűnnek, vagy legalábbis napi praxisuktól távol eső témákról szólnak. témákról szólnak.

A kutatók és a gyakorlati szakemberek ritkán A kutatók és a gyakorlati szakemberek ritkán kooperálnak. Már érzékelhető azonban, hogy a kooperálnak. Már érzékelhető azonban, hogy a légkör lassan változik, és nagyon remélem, hogy légkör lassan változik, és nagyon remélem, hogy jelen előadásom hozzá fog járulni e pozitív folyamat jelen előadásom hozzá fog járulni e pozitív folyamat felgyorsításához. felgyorsításához.

Bevezetés I.Bevezetés I.

Magyarországon a klasszikus tesztelméletiMagyarországon a klasszikus tesztelméleti módmód--szerekkel történő elemzéseknek jelentős múltja van, szerekkel történő elemzéseknek jelentős múltja van, de az utóbbi évek nemzetközide az utóbbi évek nemzetközi vizsgálatainak elemvizsgálatainak elem--zései rávilágítanak egy alapjaiban más módszerekzései rávilágítanak egy alapjaiban más módszerek--kel, más alapokonkel, más alapokon nyugvó tesztelmélet fontosságára.nyugvó tesztelmélet fontosságára.(Nem véletlen, hogy (Nem véletlen, hogy az EALTA tavalyi krakkói az EALTA tavalyi krakkói konferenciáján is komoly hangsúlyt kapott a téma.)konferenciáján is komoly hangsúlyt kapott a téma.)

Ez a más módszer a tesztelméletek újabb generációEz a más módszer a tesztelméletek újabb generáció--játját képezőképező,, valószínűség valószínűségszámítási alapozású számítási alapozású tesztteszt--elmélet (Item Response Theoryelmélet (Item Response Theory [[IRTIRT]]), amely az ), amely az itemek itemek tulajdonságaittulajdonságait valószínűségelméleti eszköz valószínűségelméleti eszköz--ökkel jellemzi.ökkel jellemzi. Az idevágó modellek közül a Az idevágó modellek közül a RaschRasch--modellt fogom vázlatosan ismertetni.modellt fogom vázlatosan ismertetni.

Bevezetés II.Bevezetés II.

The The EEuropean uropean AAssociation of ssociation of LLanguage anguage TTesting and esting and AAssessmentssessment is a professional association for language is a professional association for language testers intesters in EuropeEurope

RaschRasch-m-modelodell I.l I.

Egy nyelvvizsga keretében válasszunk egy átlagos képességű standard személyt.

Vegyünk egy átlagos nehézségű standard itemet. A kiválasztás úgy történjen, hogy a standard személy a

standard itemnél 50%-os valószínűséggel sikeres. Adott itemhalmaznál az n-edik személy az i-edik itemnél

Pni valószínűséggel sikeres.

Az értékelés bináris: sikeres 1, sikertelen 0

RaschRasch-m-modelodell II.l II.

Szeretnénk látni, hogy a két vizsgázó Szeretnénk látni, hogy a két vizsgázó – Magdi és Nelli – közül melyik a jobb.– Magdi és Nelli – közül melyik a jobb.

Különböző nehézségű itemek Különböző nehézségű itemek segítségével kell tesztelnünk.segítségével kell tesztelnünk.

Minden nehézségi fokon négy Minden nehézségi fokon négy lehetőség fordul elő:lehetőség fordul elő:

Magdi Magdi sikeressikeres;; Nelli Nelli sikertelensikertelen MagdiMagdi sikertelensikertelen;; Nelli Nelli sikeressikeres MagdiMagdi sikertelensikertelen;; Nelli Nelli sikertelensikertelen Magdi Magdi sikeressikeres;; Nelli Nelli sikeressikeres

Ahhoz, hogy a teszt megbízható legyen, Ahhoz, hogy a teszt megbízható legyen, minden nehézségi fokon több kísérletet minden nehézségi fokon több kísérletet kell végrehajtatnunk.kell végrehajtatnunk.

RaschRasch-m-modelodell III.l III.

TT1111

a tesztek száma a tesztek száma amikor amikor

mindketten mindketten sikereseksikeresek

TT0101

a tesztek száma a tesztek száma amikor csak amikor csak

Magdi sikeresMagdi sikeres

TT1010

a tesztek száma, a tesztek száma, amikor csak Nelli amikor csak Nelli

sikeressikeres

TT0000

a tesztek száma a tesztek száma amikor amikor

mindketten mindketten sikerteleneksikertelenek

MaMagdigdi

NelliNelli

sikersiker

sikersiker

kudarckudarc

kudarckudarc

RaschRasch-m-modelodell IV.l IV.

TT1010-át és -át és TT0101-et kell összehasonlítanunk ahhoz, -et kell összehasonlítanunk ahhoz,

hogy megtudjuk: melyik vizsgázó jobb és hogy megtudjuk: melyik vizsgázó jobb és mennyivel, mint a másik. De hogyan tegyükmennyivel, mint a másik. De hogyan tegyük??

Inkább a Inkább a (T(T1010-T-T0101) ) különbséget, vagy a különbséget, vagy a (T(T1010/T/T0101))

hányadost vegyük alapulhányadost vegyük alapul??

Melyikük ad megbízhatóbb, reálisabb, a Melyikük ad megbízhatóbb, reálisabb, a lényeget jobban megragadó alapot?lényeget jobban megragadó alapot?

RaschRasch-m-modelodell V.l V.

1010 kísérletkísérlet

100100kísérletkísérlet

10001000

kísérletkísérlet

TT1010 88 8800 880000

TT0101 22 2200 220000

TT1010 – T – T0101 66 6600 660000

TT1010 / T / T0101 44 44 44

Magdi Magdi sikeres,sikeres,Nelli Nelli sikertelensikertelen

Magdi Magdi sikertelen,sikertelen,Nelli Nelli sikeressikeres

KülönbségKülönbség

HányadosHányados

HaHa a valószínűsége, hogy a valószínűsége, hogy MagdiMagdi az az ii itemnél sikeres itemnél sikeres: P: Pmimi

a „ --”, hogy a „ --”, hogy MagdiMagdi az az ii itemnél hibázik itemnél hibázik: (1 – P: (1 – Pmimi))

a „ --”, hogy a „ --”, hogy NelliNelli az az ii itemnél sikeres itemnél sikeres: P: Pnnii

a „ --”, hogy a „ --”, hogy Nelli Nelli az az ii itemnél hibázik itemnél hibázik:: (1-P (1-Pnini))

AkkorAkkor

a valószínűsége, hogy a valószínűsége, hogy MagdiMagdi sikeres & sikeres & Nelli Nelli hibázik:hibázik: (P(P1010) = P) = Pmimi (1 – P (1 – Pnini))

a valószínűsége, hogy a valószínűsége, hogy NelliNelli sikeres & sikeres & MagdiMagdi hibázik: hibázik: (P(P0101) = (1 – P) = (1 – Pmimi) P) Pnini

RaschRasch-m-modelodell VI.l VI.

RaschRasch-m-modelodell VII.l VII.

Ha Magdi és Nelli Ha Magdi és Nelli ii nehéz- nehéz-ségű itemen sokszor ségű itemen sokszor próbálkoznak, a következő próbálkoznak, a következő reláció érvényesül:reláció érvényesül:

azazazaz:

Homogén itemhalmaz Homogén itemhalmaz esetén, minden esetén, minden ii-re és -re és jj-re:-re:

A két vizsgázó közötti A két vizsgázó közötti felkészültségi különb-felkészültségi különb-ség „objektív”, nem ség „objektív”, nem függhet a felhasznált függhet a felhasznált itemektől!itemektől!

RaschRasch-m-modelodell VIII.l VIII.Rendezzük át az egyenletet úgy, hogy Rendezzük át az egyenletet úgy, hogy mimi, , mjmj,, ni ni,, és és

njnj szeparálódjanak egymástól: szeparálódjanak egymástól:

ni

ni

nj

nj

mj

mj

mi

mi

ni

ni

njmj

njmj

mi

mi

njmj

njmj

nimi

nimi

P

P

P

P

P

P

P

P

P

P

PP

PP

P

P

PP

PP

PP

PP

1

1

11

)1()1(

)1(

1

)1(

)1(

)1(

)1(

RaschRasch-m-modelodell IX.l IX.

A valószínűségszámításból tudjuk, hogy az A valószínűségszámításból tudjuk, hogy az esélyesély valamely esemény bekövetkezési valószínűségének valamely esemény bekövetkezési valószínűségének és be nem következési valószínűségének hányadosa. és be nem következési valószínűségének hányadosa. Azaz:Azaz:

)()(1

)()(

)(-1)(

)()(

sikerPsikerP

sikerPkudarcP

esélye kudarc a

sikerPsikerP

kudarcPsikerP

élyea siker es

RaschRasch-m-modelodell X.l X. Tegyük fel, hogy Tegyük fel, hogy NelliNelli átlagos (standard) vizsgázó átlagos (standard) vizsgázó

és a és a jj item átlagos ( item átlagos (standardstandard) nehézségű. Akkor ) nehézségű. Akkor definíció szerint definíció szerint PPnj nj = 0= 0,,55. Emiatt. Emiatt

i

i

m

m

mi

mi

ni

ni

mj

mj

mi

mi

P

P

P

P

P

P

P

P

P

P

P

P

0

0

0

0

111

15.0

5.01

11

( j = 0 jelöli, hogy j( j = 0 jelöli, hogy j standard item. )standard item. )

Magdi esélye Magdi esélye a sikerre az a sikerre az

ii itemen itemen

==Magdi esélye a Magdi esélye a sikerre a stan-sikerre a stan-

dard itemendard itemen

xxstandard személy standard személy esélye a sikerre esélye a sikerre

az az ii itemen itemen

A siker esélye standard itemenA siker esélye standard itemenStandard személy kudarcának esélyeStandard személy kudarcának esélye

Jelöljük az m személy sikerének esélyét a standard Jelöljük az m személy sikerének esélyét a standard itemen itemen bbmm-el.-el.

mm

m bP

P

0

0

1

Jelöljük továbbá a standard személy kudarcának Jelöljük továbbá a standard személy kudarcának esélyét az i itemen esélyét az i itemen ddii-vel. -vel.

ii

i dP

P

0

01

RaschRasch-m-modelodell XI.l XI.

i

i

m

m

mi

mi

P

P

P

P

P

P

0

0

0

0

111

ii

im

m

m

dP

Pb

P

P 1

1,

1 0

0

0

0

behelyet-tesítve:

kapjuk, hogy:

i

m

mi

mi

d

b

P

P

1

Azaz az m személy esélye a sikerre az i itemnél egyenlő a személy standard itemre vonatkozó sikere esélyének és az i itemnél bekövetkező kudarca esélyének hányadosával.

Láttuk, hogy:Láttuk, hogy:

RaschRasch-m-modelodell XII.l XII.

immi

mi

i

m

mi

mi

i

m

mi

mi

dbP

P

d

b

P

P

d

b

P

P

loglog1

log

log1

log

1

Mindkét oldalMindkét oldallogaritmusát logaritmusát véve: véve:

Ne feledjük: Ne feledjük: log(A/B) = logA - logBlog(A/B) = logA - logB

RaschRasch-m-modelodell XIII.l XIII.

ii

ii

mm

mm

p

pd

p

pb

0

0

0

0

1loglog

1loglog

immi

mi

P

P

1

logés ígyés így

definíciódefiníció

Rasch-modelRasch-model

az m személy„képessége”

az i item „nehézsége”

Valamely személy sikerének logaritmikus esélye az i itemen egyenlő Valamely személy sikerének logaritmikus esélye az i itemen egyenlő a személy képességének és az item nehézségének különbségével. a személy képességének és az item nehézségének különbségével.

Egyébként az IRT modellek közül csak a Rasch-modellnél független két teszt-személy képességének eltérése attól, hogy melyik itemeket használjuk, és egyedül itt teljesül, hogy az itemek nehézség-különbsége nem függ a tesztelt személyek képességétől.

Minden egyes vizsgázó számos képességgel rendelkezik, de ezek közül egyszerre egyet tesztelünk. Ezért az eredmény egyenes mentén (un. logit skálán) modellezhető. {Az L logit {Az L logit érték a siker esélyének logaritmusa:érték a siker esélyének logaritmusa: L = logit(p) = log(p/[1-p]) = log(p) – log(1-p).}L = logit(p) = log(p/[1-p]) = log(p) – log(1-p).}

Képzeljünk el egy egyre nehezedő item-gátakkal ellátott vizsga akadálypályát, amelyen különböző képességszintű vizsgázók verse-nyeznek. Az előbbiek szerint az egyes item-eken történő sikeres áthaladás esélye egyenlő a versenyző képességének és az item nehéz-ségének különbségével. Így a vizsgapályán felfelé haladva egyre felkészültebb egyedeket találunk.

Személy-item térképSzemély-item térkép

A várható vizsgázói képesség-eloszlásnak megfelelő itemhalmaz esetén a teljesítmények a 0 nehézségi szint körül szórnak, míg túl könnyű feladatok esetén az értékek szignifikánsan pozitív, túl nehéz tételeknél pedig negatív középértéket mutatnak. Miután a KER-ben az A1, A2, B1, B2, C1, C2 szintek rögzítettek, és a vizsga-tételeknek ezekhez kell alkalmazkodniuk, a b. esetben az átlagosnál jobb, a c. esetben viszont gyengébb felkészültségű vizsgázókkal van dolgunk (lásd a következő ábrát).

További jelölésekTovábbi jelölések

N vizsgázó, jelölés: 1, 2 … NN vizsgázó, jelölés: 1, 2 … N I item, jelölés: 1, 2 … II item, jelölés: 1, 2 … I Legyen XLegyen Xnini az az nn jelű vizsgázó ponteredménye jelű vizsgázó ponteredménye

az az ii itemre: itemre:

1, ha sikeres,1, ha sikeres,

0, ha sikertelen.0, ha sikertelen.

in

in

e

eX inni

1

),;1Pr(

A sikeres teszt valószínűsége A sikeres teszt valószínűsége n n képesség és képesség és i i itemnehéz-itemnehéz-

ség eseténség esetén

A kudarc valószínűsége A kudarc valószínűsége nn

képesség és képesség és ii itemnehézség itemnehézség

eseténesetén

Általános formaÁltalános forma

ItemItemnehézségi görbék I.nehézségi görbék I. A tudásszintmérő tesztek itemei leggyakrabban logisztikusak. A

logisztikus jelleggörbének három szakasza van: a gyenge összpontszámok tartományában a görbe lassan emelkedik, majd valahol hirtelen meredekké válik, végül a magasabb összpontszámoknál ellaposodik. Általános alakja:Általános alakja:

Itt Itt a, m, n a, m, n ésés valós paraméterek.valós paraméterek. A sokféle logisztikus görbe meredekségében, illetve abban különbözik

egymástól, hogy melyik képességtartományba esik a meredek szakasz. Az itemjellegfüggvény logisztikus, monoton növekvő, de csak 0 és 1

közötti értékeket vehet fel (mivel a függő változó valószí-nűség), értelmezési tartománya viszont az egész számegyenes.

A legegyszerűbb olyan függvény, amely 0-tól 1-ig nő, ha a független változó 0-tól végtelenig növekszik, az

f(x) = x/(1 + x)függvény.

ItemItemnehézségi görbék II.nehézségi görbék II.

P = f(P = f(, , ) = [1 + exp(- () = [1 + exp(- ( - - ))]))]-1-1

Item és teszt információs függvényItem és teszt információs függvény A klasszikus eljárásokkal szemben a valószínűségszámítási A klasszikus eljárásokkal szemben a valószínűségszámítási

alapozású tesztelmélet – és ezen belül a Rasch-modell – módot alapozású tesztelmélet – és ezen belül a Rasch-modell – módot talált arra, hogy a mérési hiba nagyságát a jelöltek képességeinek talált arra, hogy a mérési hiba nagyságát a jelöltek képességeinek függvényében határozza meg. függvényében határozza meg.

két konzisztens becslésének összevetésekor azt tekinthetjük két konzisztens becslésének összevetésekor azt tekinthetjük jobbnak, amelyiknek szórása kisebb. Minél kisebb a variancia jobbnak, amelyiknek szórása kisebb. Minél kisebb a variancia (szórásnégyzet: (szórásnégyzet: 22), annál kevesebb mintavételre van szükség egy ), annál kevesebb mintavételre van szükség egy bizonyos pontosságú becslés realizálásához. Így kisebb becslés-bizonyos pontosságú becslés realizálásához. Így kisebb becslés-variancia esetén a minta pontosabb „információt” ad, mint nagyobb variancia esetén a minta pontosabb „információt” ad, mint nagyobb variancia esetén. variancia esetén.

Ebben az értelemben a minta „információtartalma” (melyet az un. Ebben az értelemben a minta „információtartalma” (melyet az un. információfüggvénnyel fejezünk ki) fordítva arányos a becslés információfüggvénnyel fejezünk ki) fordítva arányos a becslés szórásnégyzetével. (Ismeretes egyébként, hogy a becslés varian-szórásnégyzetével. (Ismeretes egyébként, hogy a becslés varian-ciája nem lehet kisebb a Rao-Cramer egyenlőtlenség által adott ciája nem lehet kisebb a Rao-Cramer egyenlőtlenség által adott alsó korlátnál.)alsó korlátnál.)

A Rasch modell esetén az egyes itemek információfüggvénye az A Rasch modell esetén az egyes itemek információfüggvénye az I(I() = P(1 - P)) = P(1 - P) alakot ölti. Tekintve, hogy az item-információk addi- alakot ölti. Tekintve, hogy az item-információk addi-tívak, az egyes itemek információfüggvényeinek összege adja a tívak, az egyes itemek információfüggvényeinek összege adja a teszt információfüggvényét: teszt információfüggvényét: T(T() = ) = IIii(().). Az információs Az információs függvények leggyakoribb alkalmazását a vizsgák és általában függvények leggyakoribb alkalmazását a vizsgák és általában tesztek szerkesztésénél találjuk. tesztek szerkesztésénél találjuk.

IIF: I() = P(1-P)

TIF: T() = Ii()

2 = T()-1

Item információs függvény (IIF)Item információs függvény (IIF)Teszt információs függvény (TIF)Teszt információs függvény (TIF)

A becslések varianciája (2) fordítva arányos T() értékével.

i=1

k

Rasch-munkatáblázat\RaschExc800

Rasch-munkatáblázat\RaschExc1024

Itemszerkesztés, itemillesztés I.Itemszerkesztés, itemillesztés I.

Az információfüggvényen alapuló tesztszerkesztés menetét Az információfüggvényen alapuló tesztszerkesztés menetét A. Birnbaum nyomán a következőkben összegezhetjük: A. Birnbaum nyomán a következőkben összegezhetjük:

Határozzuk meg a teszt-információfüggvény kívánt alakját, Határozzuk meg a teszt-információfüggvény kívánt alakját, tekintetbe véve, hogy milyen pontosságú képességbecslés- tekintetbe véve, hogy milyen pontosságú képességbecslés- re van szükségünk az egyes képességszinteken. Eredményül re van szükségünk az egyes képességszinteken. Eredményül kapjuk az un. cél-információs görbét.kapjuk az un. cél-információs görbét.

Szelektáljunk olyan itemeket, amelyek információs görbéi Szelektáljunk olyan itemeket, amelyek információs görbéi kielégítően kitöltik a célfüggvény alatt lefedendő területet.kielégítően kitöltik a célfüggvény alatt lefedendő területet.

Az egymás után kiválasztott itemek információs görbéit Az egymás után kiválasztott itemek információs görbéit rendre adjuk hozzá a korábbiak összegéhez, menet közben rendre adjuk hozzá a korábbiak összegéhez, menet közben értékelve az egyre tökéletesedő teszt információfüggvényét.értékelve az egyre tökéletesedő teszt információfüggvényét.

Mindaddig folytassuk az eljárást, amíg a cél-információs Mindaddig folytassuk az eljárást, amíg a cél-információs görbe alatti terület nincs elfogadhatóan kitöltve (azaz a teszt-görbe alatti terület nincs elfogadhatóan kitöltve (azaz a teszt-információ-függvény a képesség-kontínuum minden számba-információ-függvény a képesség-kontínuum minden számba-jövő pontján elfogadható becslés-varianciát eredményez).jövő pontján elfogadható becslés-varianciát eredményez).

Itemszerkesztés, itemillesztés II.Itemszerkesztés, itemillesztés II. A Rasch-modell előbbiekben felsorolt tulajdonságai természe-A Rasch-modell előbbiekben felsorolt tulajdonságai természe-

tesen csak akkor érvényesek, ha a teszt elfogadhatóan illesz-tesen csak akkor érvényesek, ha a teszt elfogadhatóan illesz-kedik a modellbe. A modell a helyes válasz esélyét a jelölt ké-kedik a modellbe. A modell a helyes válasz esélyét a jelölt ké-pessége (pessége () és az item nehézsége () és az item nehézsége () alapján határozza meg. ) alapján határozza meg. Ezért ha valamely itemen a helyes válasz valószínűségét Ezért ha valamely itemen a helyes válasz valószínűségét -n és -n és -n kívül más is befolyásolja, a modell alkalmazhatósága sérül. -n kívül más is befolyásolja, a modell alkalmazhatósága sérül.

Azt, hogy valamely esetünkben alkalmazható-e a Rasch-modell, Azt, hogy valamely esetünkben alkalmazható-e a Rasch-modell, illeszkedésvizsgálat mutatja meg. Tekintsük a „vizsgapályát. A illeszkedésvizsgálat mutatja meg. Tekintsük a „vizsgapályát. A képességszint függőleges mozgásával szemben az illeszkedés képességszint függőleges mozgásával szemben az illeszkedés vonatkozásában vizszintes elmozdulásról beszélhetünk. Egy-vonatkozásában vizszintes elmozdulásról beszélhetünk. Egy-egy item vagy személy annál jobban illeszkedik a tesztadatok egy item vagy személy annál jobban illeszkedik a tesztadatok által meghatározott modellbe, minél közelebb helyezkedik el a által meghatározott modellbe, minél közelebb helyezkedik el a pálya középvonalához. pálya középvonalához.

Az illeszkedés jóságát matematikailag az infit paraméter mutat-Az illeszkedés jóságát matematikailag az infit paraméter mutat-ja, melynek meghatározásához – mind a képességek, mind az ja, melynek meghatározásához – mind a képességek, mind az item-nehézségek vonatkozásában – rendszerint a maradék item-nehézségek vonatkozásában – rendszerint a maradék alapú illeszkedésvizsgálati módszeren alapuló Quest programot alapú illeszkedésvizsgálati módszeren alapuló Quest programot használják. (A vizsgapálya sötétzöld területeinek belső határa is használják. (A vizsgapálya sötétzöld területeinek belső határa is ilyen módon rögzítődött.) ilyen módon rögzítődött.)

KöszönömKöszönömszíves szíves

figyelmüketfigyelmüket

Georg Rasch (1901-1980)Georg Rasch (1901-1980)IrodalomIrodalom

IrodalomIrodalom1. Adams, R. J., & Khoo, S.-T. (1993). Quest: The interactive test analysis

system [Computer programmanual]. Hawthorn: The Australian Council for Educational Research.

2. Birnbaum, A.: Some latent trait models and their use in inferring an examinee’s ability, 1968. In: Lord, F. M., Norvick, M. R.: Statistical Theories of Mental Test Scores, Reading, MA: Addison-Wesley.

3. Embretson, S. E., Reise, S. P.: Item response theory for psychologists, Mahwah, NJ: Erlbaum, 2000.

4. Erickson, G.: What is a good language test?, http://www.ealta.eu.org/conference/2006/programme.htm, 2006.

5. Horváth, Gy.: A modern tesztmodellek alkalmazása, Akadémiai Kiadó, Budapest, 1997.

6. Molnár, Gy.: Az ismeretek alkalmazásának vizsgálata modern tesztelméleti (IRT) eszközökkel, Magyar Pedagógia, Vol.103, No.4, 423-446, 2003.

7. Müller, H.: Probabilistische Testmodelle für diskrete und kontinuier-liche Ratingskalen, Huber, Bern, 1999.

8. Müller, H.: Illustrationen zum Rasch-Modell, http://user.unifrankfurt.de/~hmvff/rabix/rabix101.pdf, 2002.

9. Rasch, G.: Probabilistic models for some intelligence and attainment tests, Copenhagen: Danmarks pædagogiske Institut, 1960. (Expanded edition, 1980. Chicago: University of Chicago Press.)