第六章测验的项目分析 -...
TRANSCRIPT
本章提纲
项目分析
项目的难度
项目的区分度
项目分析的特殊问题 猜测问题与猜测率
多重选择题的项目分析
项目分析
测验由题目构成。题目的质量决定了测验的质量。
题目分析可以帮助我们发现题目的问题，并加以调整。在测验建构中起着重要作用。
题目分析可以从质和量两个方面进行。
质：内容与形式
量：统计学特性
项目分析的两个基本方面
项目难度
项目的难易程度
正确作对一个题目的比率或通过百分比(percentage passing)
项目区分度
项目对被试心理品质水平差异的区分能力。
项目是否对不同类型的人群有不同的难度（如高分者和低分者；性别或种族等各种人群）
项目难度的计算
二分法计分项目（0、1计分）
通过率
P=R/N
极端分组法（上下27%）
P=（PH+PL）/2
或 P=（RH/NH+RL/NL）/2
项目难度的计算
非二分法记分项目的难度（连续记分）
max
XP
X=
项目难度的计算
例1：在200名学生中，答对某个项目的人数为120人，则该项目的难度为多少？
例2：在370名学生中，根据某次测验结果选为高分组和低分组的学生各有100人，其中高分组有70人答对第1题，低分组有40人答对第1题，则第1题的难度为多少？
例3：语文测验中一道造句题，满分为5分，100名学生在该题的得分的总和为273分，则该题的难度为多少？
理解难度应注意的问题
数值与题目的实际难度是一种反序的关系。 P值越大，难度越小。
难度是一种等级量表，而不是一个等距量表，它的计算单位是不等的，因此不能进行四则运算。
任何一个题目的难度值都是以一定的被试为对象计算出来的，其数值的高低依赖于选取的样本。
测验难度水平的确定
决定因素
测验目的
项目形式
测验性质
无论是速度测验，还是难度测验，一般都应防止被试得满分，因为满分的意义是不明确的。
具体要求
效标参照测验、掌握测验：不考虑难度
选拔测验：难度=录取率
选择题：难度一般应大于猜测概率
2014年9月4
日星期四
南京大学心理学系 10
难度对测验的影响
对项目的分数的变异的影响
S为所有被试在某个题上得分的标准差
因为 p+q=1 所以，当p=q=0.5时，pq有最大值，此时分数的变异最大
题目的难度值P的大小影响题目得分的标准差的大小
s npq=
难度对测验的影响
难度对测验的影响
对测验分数的分布形态的影响 正偏态（平均值位于低分一端）
负偏态（平均值位于高分一端）
当标准样本的分数分布为偏态时，需要对题目进行调整。它可能包含了很多过难或过易的题目。增加或删除一些题
目。
难度对测验的影响
对测验分数的离散程度的影响
测验过难或过易，分数全距缩小，信度降低。
P=0.50时最佳
难度对测验的影响
对测验信度和效度的影响
题目难度直接左右着分数的变异与分布，影响分数间的相关，从而使测验的信度和 效度受到难度的制约。
当组成测验的所有题目在难度上近似0.5，即难度适中时，信度和效度都可能提高。
影响项目难度的因素
题目内容的熟悉程度
考查的层次
题目的形式
题目信息量
时间限制
项目难度水平的确定
一般而言，一个测验的P=.50是最佳的。WHY？
当P=.50时，分数（0-1）的标准差最大
SD=（P（1-P））1/2
此时项目具有最大的鉴别力。
一般只需使项目的平均难度接近0.50，而各个项目的
难度在0.50±0.20之间变化
为什么不要P=1或P=0的题目？
因为他们没有为区分人提供有用信息
最佳难度水平
备选答案的数目 最佳难度 洛德最佳难度
0 .50 .50
2 .75 .85
3 .67 .77
4 .63 .74
5 .60 .70
项目区分度
项目的区分度是指测验项目对被试心理品质水平差异的区分能力。
项目区分度的统计指标
在建构测验上，至少目前已发展出50多种不同的题目区分度统计指标
尽管这些指标是不同的，但绝大多数的值是相近的
区分度的计算
项目鉴别指数
适用二分计分的测验项目
计算方法：
D=PH-PL
关键问题：极端组的划分
27%规则（Kelley,1939)
方便方法：25%-33%
有何不足？
项目鉴别指数
伊贝尔（L.Ebel)
鉴别指数D 项目评价
0.40以上 很好
0.30-0.39 良好，修改会更好
0.20-0.29 尚可，仍需修改
0.19以下 差，必须淘汰
区分度的计算
相关法——点二列相关
适用条件
项目是0、1计分（或二分变量），而效标或测验总分是连续变量
显著性检验
p q
pb
t
X Xr pq
S
=
区分度的计算
相关法——二列相关
适用条件
两个连续的测量变量，但其中一个变量因为某种原因被人为分成两类
显著性检验
p q
b
t
X X pqr
S y
=
1
brZpq
y N
=
区分度的计算
相关法——Φ相关
适用条件 两个变量都是二分名义变量
( )( )( )( )
ad bcr
a b c d a c b d
=
区分度的计算
相关法——积差相关
适用条件
两个变量都是连续变量
( )( )xy
x y
X X Y Yr
N
=
区分度与难度的关系
如果一个测验的每个题目都是P=.50，那么，它会是一个好测验吗？
项目难度与区分关系
项目难度（P） 项目区分度（D）
1.00 0.00
0.90 0.20
0.70 0.60
0.60 0.80
0.50 1.00
0.40 0.80
0.30 0.60
0.10 0.20
0.00 0.00
项目难度与区分关系
项目区分度
难度P越接近于0.50，项目的潜在区分度越大；
难度P越接近于1.00或0，项目的潜在区分度越小
测验区分度
测验中应使得项目的难度分布广一些，梯度大一些，使整个测验的难度呈正态分布，且平均水平保持在0.50左右
2014年9月4
日星期四
南京大学心理学系 27
区分度的相对性
不同的计算方法，所得区分值不同
区分度有几种计算方法？
样本容量大小影响相关法区分度值的大小
样本容量越小，其统计值越不可靠
分组标准影响鉴别指数
分组越极端，区分度值D越大。
被试样本的同质性程度影响区分度值的大小
样本越同质，区分度越小
项目区分度大小是针对特定团体而言的
项目分析的特殊问题
猜测问题
客观题：是非题、配对题以及选项较少的选择题
猜测误差
猜测相对于不猜测引起的误差
是否猜得对引起的误差
猜测的校正
项目分析的特殊问题
猜测的校正
项目难度
测验得分
1
1
KPCP
K
=
1
WS R
K=
项目分析的特殊问题
例1：有A、B两个测验题，项目A为四重选择题，通过率为0.58,项目B为五重选择题，通过率为0.56.试比较两题的难度。
A：0.44； B：0.45
例2：某被试参加由100道四重选择题组成的测验，测验结果是答对82道题，答错18道题。则该被试的真实水平得分是多少？
S：76
项目分析的特殊问题
赞成校正
可避免降低测验的信度
校正分数可反映被试的真实水平和能力
可以培养被试诚实的美德
比较公平
反对校正
公式的基本假设不成立
猜测校正无实质作用
不校正对信度无大碍
有时校正后出现零分或负分
合理猜测是值得培养的习惯
项目分析的特殊问题
多重选择题的项目分析
对于多重选择题，除了分析难度和区分度外，还要对每个选项进行分析。
下列哪一个最有可能是偏执型精神分裂症患者的次级症状：
A 幻听
B 瘫痪
C 记忆丧失
D 厌食
多重选择题的项目分析
多重选择题的难度和区分度分析
项目是否具有所预期的功能？（区分度）
项目的难度是否得当？
选项反应模式分析
项目是否有缺陷？
诱答选项是否都有效？
2014年9月4
日星期四
南京大学心理学系 34
多重选择题的项目分析
分析步骤
按被试测验的总分，从高到低依次排列试卷
从最高分依次向下取全部试卷的27%作为高分组
从最低分依次向上取全部试卷的27%作为低分组
分别登记高分组与低分组选中各选择项的人数
根据登记结果进行选择项的质量分析
2014年9月4
日星期四
南京大学心理学系 35
多重选择题的项目分析
如果正确的备选答案被所有的受测者所选择……
如果某个错误答案没有任何被试选择……
如果所有被试都选择了同一个错误答案……
如果高分组被试的选择集中在两个答案上，两者选择率相近……
如果高分组对正确答案的选择率与低分组相等或低于后者……
如果对于一个题目，被试未作答的人数较多，或则选择各个备选答案的人数相等……
2014年9月4
日星期四
南京大学心理学系 36
多重选择题的项目分析
2014年9月4
日星期四
南京大学心理学系 37
小结
项目分析
项目的难度
项目的区分度
项目分析中的特殊问题