reliabilita škály
DESCRIPTION
Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí. Reliabilita škály. Měření reliability a validity - literatura. Ferjenčík J. 2000. Úvod do metodologie psychologického výzkumu . Praha: Portál. (kap. 16) - PowerPoint PPT PresentationTRANSCRIPT
ISSReliabilita škály
Semináře ke kurzuSemináře ke kurzu
Analytické metody výzkumuAnalytické metody výzkumu
Jindřich KrejčíJindřich Krejčí
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 22
Měření reliability a validity - literatura
Ferjenčík J. 2000. Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16)
Soukup, P. 2006. „Čím větší, tím lepší“. Socioweb 2006/7: 11-12. http://www.socioweb.cz/
Kreidl, M. 2004. „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp.87-96 in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR.
Řehák, J. 1998. „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34: 51-60.
Řehák, J. 1998. „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34: 195-204.
Řehák, J., I. Bártová, J. Hamanová. 1998. „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34: 363-372.
Jeřábek, Disman,...
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 33
Koncept validity a reliability
psychometrie, 60. léta, Lord a Novick, Campbel a Stanley...
viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj• validita = schopnost měřit koncept, který chceme měřit• reliabilita = přesnost, konzistentnost měření• reliabilita je jednou z podmínek validity
chyby měření (instrument... škály)
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 44
Měření validity
obsahová validita: úplnost významové domény jevu v koncepci a postupu měření
kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb)• souběžná (concurrent), prediktivní
konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů• konvergentní, diskriminační (korelace, faktorová analýza)• modelování - MIMIC, • kovarianční - zachycení reliability i validity pomocí opakovaní měření
modelů (RMM, MTMM)
externí validita: přesahuje sadu měřených proměnných
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 55
Měření reliability
paralelní měření: dvě nebo více měření stejného konceptu• různými otázkami• v různých podmínkách
opakování v čase
testování nástroje (účast v minulých volbách)
u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost
alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.)
více pozorovatelů, jeden postup
hodnocení mezipoložkové reliability: crobachovo alfa, split-half
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 66
Reliabilita škály konstrukce výzkumného nástroje: korelace mezi nástrojem a
realitou (pravdivým měřením), protože realitu neznáme:
• test vnitřní konzistence škály (internal consistency)• split-half• test-retest• paralelní měření (inter-rater r.)
kalibrace - zvyšování reliability pomocí zvyšování homogenity triangulace - zvyšování reliability pomocí redukce systematické chyby
(chyby metody) - např. vícenásobné měření
SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek
• Cronbachovo alfa• Split-half• Guttman (alternativní split-half)• Parallel• Strict parallel
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 77
Reliabilita škály v SPSS
ANALYZE - SCALE - RELIABILITY ANALYSIS ...
hodnoty - odpovědi na otázky/položky škály
reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála
jak škála diskriminuje? jak položky zapadají do škály?
• celková hodnota testu pro škálu• relace hodnoty každé položky a celkové hodnoty• relace hodnot položek
jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami
vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 88
Cronbachovo alfa (1)
míra vnitřní konzistence škály (měříci jednu dimenzi)
průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány
interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1):• mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc
sestavitelnými z hypotetické množiny položek• mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre
(skóre za všech možných položek)
0, tzn. žádná shoda => pouze chybová položka; 1, tzn. úplná schoda => pouze pravdivá hodnota
Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 99
Cronbachovo alfa (2) negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování
nebo více různých dimenzí
hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita)
alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny
item - total: korelace položky s celkovou škálou - malá (<0,3/nevýznamná) => asi vyhodit
R2: R2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození)
KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson)
standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami
Raykovo rho: alternativní míra reliability
Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data)
ISSAnalytické metody výzkumu, seminářeAnalytické metody výzkumu, seminářeJindřich Krejčí, 1. 11. 2011Jindřich Krejčí, 1. 11. 2011 Str. Str. 1010
Split Half podstata: rozdělit škálu na dvě části a posouzení ekvivalence
(korelací) mezi jednotlivými částmi
SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší
• Cronbachovo alfa pro bě části & korelace mezi oběma částmi
• equal-length Spearman-Brown koef.: • korelace mezi oběma částmi testu - odhad celkového koeficientu reliability• equal/ unequal-length • nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně)• nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu• nevýhoda 3: hledání problematické položky (nevíme, v které půlce)• nepléct se Spearman-Brown standardizovaným alfa koef.
• Guttman split-half koef.• modifikace S-B koef. - nevyžaduje shodu rozptylů
• Guttman split-half test: • šest koeficientů• doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší
reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 1111
Test - retest:
• stabilita v čase, stejný test ve dvo časových bodech
• klasický - Spearman-Brown split-half
Inter-rater
• měření homogenity hodnocení různých hodnotitelů
• stejný test na stejné objekty, různí hodnotitelé
• Cohen’s Kappa: pokud jen dva různí hodnotitelé
• ICC (intraclass correlations): pro dva a více
ISSAnalytické metody výzkumu, semináře - reliabilitaAnalytické metody výzkumu, semináře - reliabilita Str. Str. 1212
Další předpoklady
aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity
nezávislost pozorování nezkorelované chyby konzistentní kódování podobná obtížnost odpovídání na položky