涡阳县第一中学教育科研究办公室 2009 年 11 月

30
涡涡涡涡 涡涡涡涡涡涡涡涡涡涡 2009 涡 11 涡 涡涡涡涡涡涡涡涡涡涡 涡涡涡涡涡涡涡涡涡涡

Upload: myrrh

Post on 28-Jan-2016

95 views

Category:

Documents


0 download

DESCRIPTION

教育测验的命题与分析. 涡阳县第一中学教育科研究办公室 2009 年 11 月. 教育测验的基本流程 第一部分:编制试题流程. 定题、检审、编排. 明确测验目的. 分析教育目标. 建立双向细目表. 取材并编拟试题. 编拟主 观试题. 试测并分析. 施测与评定. 编拟客 观试题. 教育测验的基本流程 第二部分:测量分析流程. 获取试卷信息. 绘制各类统计图表. 分析并评价. 用学科专业知识解释试卷整体和各试题的数据意义、成因分析. 信度. 总体描述统计. 提出教学建议. 效度. 难度. 抽样描述统计. 区分度. 一、命题的一般原则 - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 涡阳县第一中学教育科研究办公室 2009 年 11 月

涡阳县第一中学教育科研究办公室2009 年 11 月

教育测验的命题与分析教育测验的命题与分析

Page 2: 涡阳县第一中学教育科研究办公室 2009 年 11 月

教育测验的基本流程教育测验的基本流程第一部分:编制试题流程第一部分:编制试题流程明确测验目的

明确测验目的

分析教育目标

分析教育目标

建立双向细目

建立双向细目

表表 取材并编拟试

取材并编拟试

题题 编拟主编拟主

观试题观试题

编拟客编拟客

观试题观试题

试测并分析

试测并分析

定题、检审、编排

定题、检审、编排

施测与评定

施测与评定

Page 3: 涡阳县第一中学教育科研究办公室 2009 年 11 月

教育测验的基本流程教育测验的基本流程第二部分:测量分析流程第二部分:测量分析流程获取试卷信息

获取试卷信息

提出教学建议

提出教学建议

分析并评价

分析并评价

总体描总体描述统计述统计

抽样描抽样描述统计述统计

绘制各类统计图表

绘制各类统计图表

信度信度

效度效度

区分度区分度

难度难度

用学科用学科专业知专业知识解释识解释试卷整试卷整体和各体和各试题的试题的数据意数据意义、成义、成因分析因分析

Page 4: 涡阳县第一中学教育科研究办公室 2009 年 11 月

一、命题的一般原则1.目的性原则

2.典型性原则

3.灵活性原则

4.科学性原则

Page 5: 涡阳县第一中学教育科研究办公室 2009 年 11 月

二、命题的一般步骤:二、命题的一般步骤:1.确定测验目的1.确定测验目的

2.分析教育目标,编制双向细2.分析教育目标,编制双向细

  目表  目表

3.拟编各类试题3.拟编各类试题

Page 6: 涡阳县第一中学教育科研究办公室 2009 年 11 月

1.1. 编制双向细目表的依据编制双向细目表的依据知识知识 1.11.1具体事实的知识具体事实的知识 ((称号、术语、日期、事件、人物等称号、术语、日期、事件、人物等 ))

1.21.2论述事实的方法及有关名称的知识(规则、趋势、分类论述事实的方法及有关名称的知识(规则、趋势、分类、方法)、方法)1.31.3普通的与抽象的知识普通的与抽象的知识 ((定理、规律、理论定理、规律、理论 ))

理解理解 2.12.1转释转释 ((用自己的复述、翻译用自己的复述、翻译 ) 2.2) 2.2解释(说明、总结资解释(说明、总结资料)料)2.32.3推论(预测结果)推论(预测结果)

应用应用 3.13.1在新的情境中用所学知识解决问题在新的情境中用所学知识解决问题

分析分析 4.14.1 分析构成成分 分析构成成分 4.24.2 分析关系 分析关系 4.34.3分析组织原则分析组织原则

综合综合 5.15.1 形成观点意见 形成观点意见 5.25.2 拟定计划 拟定计划 5.35.3推导关系推导关系

评价评价 6.16.1 依内在标准评价 依内在标准评价 6.26.2依外在标准评价依外在标准评价

Page 7: 涡阳县第一中学教育科研究办公室 2009 年 11 月

(1).(1). 按照教学目标,确定各级教学目标按照教学目标,确定各级教学目标的的

试题在整份试卷中的分配。试题在整份试卷中的分配。  各教学目标在试卷中的一般分配。 各教学目标在试卷中的一般分配。

目标目标知识知识 理解理解 应用应用 分析分析 综合综合 评价评价

权重权重 1818%%

2828%%

3030%%

1313%%

8%8% 3%3%

Page 8: 涡阳县第一中学教育科研究办公室 2009 年 11 月

(2). (2). 根据知识内容的重要性和综根据知识内容的重要性和综合性程度进行纵向设计。合性程度进行纵向设计。

(3).(3). 根据纵横双向比例把实际给分根据纵横双向比例把实际给分分配到中间的每个格子中去,这分配到中间的每个格子中去,这样就制成了测验的双向细目表。样就制成了测验的双向细目表。

Page 9: 涡阳县第一中学教育科研究办公室 2009 年 11 月

例例 :: 《高中生物第一册》期终测验双向细目表《高中生物第一册》期终测验双向细目表 教学目标教学内容 知识 理解 应用 分析 综合 评价 合计

绪论生命的物质基础 2 2 3 1 8

生命活动的基本——单位 细胞 5 7 8 4 1 25

生物的新陈代谢 5 10 8 2 25

生命活动的调节 2 4 6 3 4 3 22

生物的生殖发育 4 4 7 4 1 20

合计 18 28 30 13 8 3 100

Page 10: 涡阳县第一中学教育科研究办公室 2009 年 11 月

三、各类试题的编制三、各类试题的编制( 一 ) .客观性试题的编制1. 选择题的编制。

(1)题干的长度要适中(2)题干的内容要求(3)选项的要求2. 简答题的编制(1)简答题的优缺点(2)简答题材的编制原则。

Page 11: 涡阳县第一中学教育科研究办公室 2009 年 11 月

( 二 ) 主观性试题的编制1.主观性试题的特点2.编制主观性试题需要注意事项

四、试测与分析五、测验的编辑和实施 11 .试题的检查 .试题的检查 22 .试题的编排.试题的编排 33 .测验的施行 .测验的施行 44 .测验的评定.测验的评定

Page 12: 涡阳县第一中学教育科研究办公室 2009 年 11 月

第二部分:分析测量结果第二部分:分析测量结果

获取试卷信息

获取试卷信息

提出教学建议

提出教学建议

分析并评价

分析并评价

总体描总体描述统计述统计

抽样描抽样描述统计述统计

绘制各类统计图表

绘制各类统计图表

信度信度

效度效度

区分度区分度

难度难度

用学科用学科专业知专业知识解释识解释试卷整试卷整体和各体和各试题的试题的数据意数据意义、成义、成因分析因分析

Page 13: 涡阳县第一中学教育科研究办公室 2009 年 11 月

一、总体描述分析(一)获取信息,统计描述(二)总体样本与抽取样本(三)常用到的统计指标及计算方法

1 .信度 (1). 信度的统计学意义 : 一个良好的教育测验首先必须保证测验的结果可靠,测验结果的可靠性为测验的信度。在教育测量学中对信度的估计或计算,一般采用相关分析的方法,即计算出两种变量的相关系数(rxy),用相关系数的大小来表示一致程度的高低。其取值范围 -1≤r≤1 。

Page 14: 涡阳县第一中学教育科研究办公室 2009 年 11 月

(2)复本信度(2)复本信度 复本信度是一种表示测验等值性的方法,复本信度可用等值系数表示 。

(3)内部一致性信度 分半信度 : 将一个测验分裂为两个假定相等而独立的部分来记分,通常以项目的奇数为一组,偶数为另一组,分组以后,求其两组分数的相关系数,最后用斯皮尔曼-布朗公式校正,以求得整个测验的信度系数。

Page 15: 涡阳县第一中学教育科研究办公室 2009 年 11 月

第一,计算出每个 被试的奇数题总分(X1)和偶数题总分(X2)第二,用积差相关求出两部分总分的相关系数,用 如下公式计算:

rX1X2=

rX1X2代表相关系数 ;N代表样本 人数;X1代表每个 被试的奇数题总分;X2代表每个 被试偶数题总分。例用 Excel 的强大运算功能可以很方便地计算出积差相关系数 .

])(][)([ 22

22

21

21

2121

XXNXXN

XXXXN

Page 16: 涡阳县第一中学教育科研究办公室 2009 年 11 月

第三,用斯皮尔曼-布朗公式校正,因为分半第三,用斯皮尔曼-布朗公式校正,因为分半后,试题的长度减半,其计算公式如下:后,试题的长度减半,其计算公式如下:

rtt=rtt=

rrX1X2X1X2 为分半信度系数 ;r为分半信度系数 ;rtttt为校正后的信 为校正后的信 度系数。度系数。

第四,查相关系数表, 找出一定 自由度下的临第四,查相关系数表, 找出一定 自由度下的临界值,判断相关性,相关性越高,表示信度 越界值,判断相关性,相关性越高,表示信度 越大。大。

21

21

1

2

XX

XX

r

r

Page 17: 涡阳县第一中学教育科研究办公室 2009 年 11 月

(4)等级相关法(4)等级相关法   我们可以通过等级相关来求评分 者评分的可信程度,   我们可以通过等级相关来求评分 者评分的可信程度,或者用学生的平时成绩作为参照,来判断一次测验的信度。或者用学生的平时成绩作为参照,来判断一次测验的信度。其计算方法如下。其计算方法如下。  用斯皮尔曼等级相关公式计算。  用斯皮尔曼等级相关公式计算。

rs=rs=

rsrs 为等级相关系数;为等级相关系数;DD 为两位评分 者对同一试卷所评等级 之差;为两位评分 者对同一试卷所评等级 之差;NN 为被评分的试卷数(或 人数)为被评分的试卷数(或 人数)

)1(

61

2

2

NN

D

Page 18: 涡阳县第一中学教育科研究办公室 2009 年 11 月

2 .效度( 1 )效度的意义  效度是一种测验能够正确地测量出它所要测量的特性或功能的程度。一般我们主要考虑内容效度。所谓内容效度,是指测验内容与预定要测的内容 之间的一致性程度。 ( 2 )内容效度的估计方法①逻辑分析法②统计分析法 独立测验相关法。 评分一致性 考查法。

Page 19: 涡阳县第一中学教育科研究办公室 2009 年 11 月

3 .难度 难度是指测验题目的难 易程度。在教育测量中,一般是以能够正确回答试题的人数与参加测验的总人数之比,作为难度指标。

( 1 )客观性试题计算难度的方法①原始定义法当测验题目是采用二分法记分 时,可用以下公式计算项目的难度:         P=

在这里,P为难度系数;R为答对该题的人数;N为参加测验的总人数。

N

R

Page 20: 涡阳县第一中学教育科研究办公室 2009 年 11 月

如果选择题的各题的选项数目 不同,而又要比较它们的难度时,就要对上述公式进行校正。CP=    在这里,CP为校正后的难度值;    P为实际得到的通过率    K为选择题的选项数目

1

1

K

KP

Page 21: 涡阳县第一中学教育科研究办公室 2009 年 11 月

②极端分组法当举行大规模测验时,这时也可以采用极端分组法计算难度。极端分组法是根据测验总分按高低次序排列,用极端组在某项目的 平均通过率表示度。公式为:        P=

在这里,PH为高分组通过率;    PL为低分组通过率。计算步骤为:第一,按测验部分由高到低排序;第二,从高分段向下选出全部试卷的 27% 为高分组;第三,从低分段向上选出全部试卷的 27% 为低分组;第四,按公式计算难度值。

2

LH PP

Page 22: 涡阳县第一中学教育科研究办公室 2009 年 11 月

(2)主观性试题计算难度的方法①平均分数法当该题是一定主观性的试题, 不能简单的以对错判定时,一般采用下面的公式计算项目难度: P=   在这里,为被试在某项目的 平均得分; W为该项目上的满分。例如:数学测验某题的满分为24分。全体考生在该题上的平均分是12分,该题的难度为P=12/24=0.50。

W

X

Page 23: 涡阳县第一中学教育科研究办公室 2009 年 11 月

②极端分组法对主观性试题,如果考生人数较多,计算项目难度 时可用下列公式来计算:

P=

在这里,XH为高分组在该题所得总分; XL为低分组在该题所得总分;    H为该题的最高得分;    L为该题的最低得分;    N为考生总人数的 25% 。

)(2

)2(

LHN

NLXX LH

Page 24: 涡阳县第一中学教育科研究办公室 2009 年 11 月

4 .区分度( 1 )区分度是测验对考生实际水平的区分程度。 区分度是测验项目分析的重要内容, 它是作为评价试题质量,筛选试题的主要指标和依据。区分度一般用 D表示,D的取值范围在 - 1.00 和 +1.00之间。(( 22 )区分长度与难度的关系很密切。)区分长度与难度的关系很密切。(( 33 )区分度的计算)区分度的计算①极端分组法计算客观性试题区分度客观性试题区分度的计算公式为:D=PH-PL在这里,D为区分度;PH为高分组通过率;PL为低分组通过率。

Page 25: 涡阳县第一中学教育科研究办公室 2009 年 11 月

②极端分组法计算主观性试题的区分度主观性试题区分度的计算公式为:

D=

在这里,XH为高分组测验总分;XL为低分组测验总分;H为某题最高得分;L为某题最低得分;N为考生总人数的25%。

)( LHN

XX LH

Page 26: 涡阳县第一中学教育科研究办公室 2009 年 11 月

②相关法计算试题区分度

积差相关

当考生在试题上的得分与测验总分都属于连续变量时,比如考试总分和第一题简答题得分,可以采用积差相关法计算试题的区分度。其计算公式为: r=

在这里,r为积差相关系数; X为考生某题得分;    Y为考生测验总分;    N为考生数。

])(][)([ 2222 YYNXXN

YXXYN

Page 27: 涡阳县第一中学教育科研究办公室 2009 年 11 月

  求出相关系数后,需要进行 显著性检  求出相关系数后,需要进行 显著性检验,检验方法可 直接查“积差相关系数显验,检验方法可 直接查“积差相关系数显著性临界值表”,根据df=n-2与显著性临界值表”,根据df=n-2与显著性水平a=著性水平a= 0.050.05 或或 a=0.01a=0.01 ,查找相对,查找相对应的临界值。若求得的相关系数等于或大应的临界值。若求得的相关系数等于或大于该临界值,则说明求 得的相关关系数结于该临界值,则说明求 得的相关关系数结果有显著意义,也说明该试题的区分度达果有显著意义,也说明该试题的区分度达到显著水平。“积差相关系数显著性临界到显著水平。“积差相关系数显著性临界值表”在常见的统计学中附有,也可直接值表”在常见的统计学中附有,也可直接到一中教研究室查询。到一中教研究室查询。

Page 28: 涡阳县第一中学教育科研究办公室 2009 年 11 月

点二列相关  当测验的一个变量是连续变量,另一个变量为真正的二分变量时,例如选择题只有“对”和“不对”,就要用点二列相关法计算区分度。其计算公式为:

      r=    在这里,r为点二列相关系数;在这里,r为点二列相关系数;     为考生答对某题的平均得分;     为考生答对某题的平均得分;               为考生答错某题的平均得分;     为考生答错某题的平均得分;

  p为答对某题人数占全体考生人数之比;  p为答对某题人数占全体考生人数之比;  q为答错某题人数占全体考生人数之比,q=1-p;  q为答错某题人数占全体考生人数之比,q=1-p;  St为全体考测验得分的标准差。  St为全体考测验得分的标准差。

pqS

XX

T

qp

pX

qX

Page 29: 涡阳县第一中学教育科研究办公室 2009 年 11 月

55 .平均数与标准差.平均数与标准差  平均数是最常用的一种集中量。集中量是代表一组数据  平均数是最常用的一种集中量。集中量是代表一组数据典型水平或集中趋势的量,它描述数据分布的规律。典型水平或集中趋势的量,它描述数据分布的规律。            标准差是一种差异量,一组数据离差平方的算术平均数,  标准差是一种差异量,一组数据离差平方的算术平均数,称为方差。标准差是指方差的平方根。其定义公 式为:称为方差。标准差是指方差的平方根。其定义公 式为:

S=S=

在这里,表示 离差, 表示 平均数。在这里,表示 离差, 表示 平均数。 NN代表总 频数。代表总 频数。标准差可以用原始数据法来计算,其公式为:标准差可以用原始数据法来计算,其公式为:

S=  S= 

在这里,X代表原 始数据;N表示总 频数。在这里,X代表原 始数据;N表示总 频数。

N

XX 2)(

22

)(N

X

N

X

Page 30: 涡阳县第一中学教育科研究办公室 2009 年 11 月

二、绘制统计图表、解释统计意义

三、发现问题,提出解 决问题的建议  坚持命题与分析的科学性,才能使测量更准确,我们的判断才能更接近事实。假如 ,我们编制的试题 ,  能代表学生学习目标的 95%;  学生能考出其学习结果的 95%;  考试的可信程度有 95%;  阅卷评分有 95%可信;  试题分析能贴近真实情况的 95%的前提下,  事实上,我们只获得了真实情况的:   95%×95%×95%×95%×95% = 77.38 %  所以,命题与分析的每一个环节的科学与精确,是使我们更真实地了解教与学的重要保障。