评价研究设计

实验的分类

• 实验– 物理学研究– 化学– 动物实验

• 实验的长处和不足• 类实验

– 无法完全控制实验条件

研究的两个效度

• 内部效度– 针对于本研究的对象，研究结果的真实度

• 外部效度 研究的结果在多大程度上能推论

（广）到其他地方

实验、类实验与两个效度

• 实验– 内部效度高，外部效度低

• 类实验– 内部效度要打折，而外部效度高

项目（干预）成功的两个基本条件

• 1 、有效的项目设计– 即：如果项目干预方案得到完全的实施，那

么，项目的目标就能实现，项目所要解决的问题就能解决

• 2 、项目实施– 即：项目的方案得以按质、按量地实施、完

成• 二者缺一不可

项目失败

错误的项目设计

有效的项目设计

有效的项目设计

不好的项目实施

很好的项目实施 项目成功

项目失败

很好的项目实施 项目失败项目理论失败

项目实施失败

项目理论

• 建立项目理论、进行有效干预

• 基于项目理论、进行项目评价

项目理论的例子• 60 年代美国卫生部关注婴儿死亡率和婴儿智力低下， 拨经费开展干预项目• 前提假设

– 婴儿死亡率及智力低下与低体重儿（早产）相关– 低体重儿与孕妇孕期未及时治疗疾病和营养不良相关– 这种情况可在某些人群中发现，如未成年怀孕， >35 的孕妇，多产孕妇，

有早产史，或收入低下的家庭• 基于上述相关关系。建立项目理论

– 如果找到高危母亲– 如果能让她们参加项目– 如果能将针对这些因素服务有效地提供给她们– 那么，就能降低早产出生率– 那么，就可以降低婴儿死亡率和智力低下

社会问题及干预

社会问题贫穷

疾病

失业

犯罪

项目干预设计

需求评估项目设计项目评估

项目实施 项目产出

项目效果

过程评价

项目评价的基本问题

鉴定的问题 项目设计 项目实施 项目产出

项目效果？

？ ？ ？

1. 是问题吗？问题有多严重、范围有多大、影响谁？需求评估

2. 项目设计有效吗？项目论证（对设计进行评估）

3. 项目执行了吗？实施评估（过程评估）

4. 项目有效果吗？项目效果评估

5. 项目干预值得吗？ 成本 - 效果分析

评价设计思路评价设计思路

项目设计 项目实施 项目产出问题

效果评价：项目解决了问题了吗

需求评估 方案论证 实施的评价

项目效果理论：执行和理论假设项目执行 直接结果 项目最终

效果

执行假设 理论假设

再就业培训 提高了的职业技能

提高就业

?

?

?

?

执行假设 理论假设

评价研究的目的

• 评价研究的目的是– 检验新的做法是否被实施– 如果被实施，效果如何？– 目标人群是否收益？– 项目的效果是否可持续？– 如何进一步改进、完善

评价的类型• 过程评价

• 效果评价

基本评价设计• 1 、前后比较

• 1 、 O X O• 2 、干预组与对照组比较

• 2.1 、 X O• O• 2.2 、 O X O• O O

• 3. 时间序列分析• 3.1. O1 O2 O3 X O4 O5 O6• 3.2. O1 O2 O3 X O4 O5 O6 • 3.3. O1 O2 O3 O4 O5 O6

效果评价的任务

• 如何估计完全是由于项目干预所带来的效果？

项目净效益

α1

α2

项目效益 Y = 项目后 (yepre ) — 项目前（ ye

post

）= α1

对照组的变化 (Δyc ) = 项目后 (ycpre )

_ 项目前（ ycpost

）= α2

项目组的变化 (Δye ) = 项目后 (yepre )

_ 项目前（ yepost ）= α1

项目净效益 = α2 — α1

项目前 项目后Y

利用回归模型控制混杂因素，估算项目效益

项目干预项目干预组

对照组

变量的分类项目目标变量、干预变量、控制变量

1. 因变量 Y ：– 早产儿出生率– 婴儿死亡率，智力低下

2. 干预变量 X ：针对各种因素的服务干预• 参加项目（是， 否）

3. 控制变量• 年龄、教育、性别• 当地经济增长• 交通

利益相关者评价方法• 确定利益相关者• 澄清利益相关者的关注点• 定义评价研究所要问答的问题 （研

究课题）• 如何回答评价研究所要回答的问题

–选择指标–选择评价设计–数据分析方案

利益相关者评价方法的评价步骤• 1. 确定利益相关者• 2. 澄清利益相关者的

关注点• 3. 定义评价研究所要

问答的问题（研究课题）

• 4. 如何回答评价研究所要回答的问题– a. 选择指标– b. 选择评价设计– c. 数据分析方案– d. 数据收集方案

• 5. 过程评价–澄清项目理论–澄清项目干预关键流

程– 按照干预流程，检查

干预的实施– 评价目标人群是否得

到干预服务• 6. 项目效果评价• 7. 撰写项目评价报告• 8. 报告的散发

利益相关者及其关注点和评价课题利益相关者 关注 评价命题

农民 能否看得起病？

能不能看好病

项目合作医疗是否会降低农民看病的费用？

合作医疗对服务的质量是否有所改进？

卫生局、政府

农村卫生服务的改进

服务的利用

有哪些新服务开展？

服务的质量高吗？

谁利用卫生服务？

服务成本效益吗？-

讨论题• 中关村地区高血压患病率较高，当地

卫生部门拟开展试点，寻求有效的、经济的可持续的高血压干预方法，以便在面上推广应用。– 1 、你如何设计干预试点项目，请列出

步骤及每一步骤期望的结果；– 2 、你如何设计试点评价方案，请列出

步骤及每一步骤期望的结果。

利益相关者评价方法• 确定利益相关者• 澄清利益相关者的关注点• 定义评价研究所要问答的问题

（研究课题）• 如何回答评价研究所要回答的问题

–选择指标–选择评价设计–数据分析方案

利益相关者及其关注点和评价课题利 益 相 关 者stakeholders

关注 concerns 评价命题 Evaluation questions

卫生部科教片司Educationdepartment,MOH

培训的人数 Number ofrural health worker trained

教 学 改 革 的 效 果Innovation of curriculum

教学改革的政策意义有多大？Policy implication

按专业、分省，项目培养的人数 How many rural doctorstrained by the project? Byspecialty, by provinces?

多少受训人员达标 How manyof them pass the nationalexam?

教改组比非教改组的学生解决问题的能力高吗？

教改组比非教改组的学生自学能力高吗？

新的教学符合成本效益吗实施的难度大吗？

医政司 MedicalAdministration

农村卫生服务的改进Improvement of ruralhealth services

服务的利用 Utilization ofservices

有哪些新服务开展？What arenew services provided?

服务的质量高吗？What areservice quality

谁利用卫生服务？Who useservices

服务成本效益吗？Do theservice cost-effective?

评价命题 Evaluation questions Outcomeindicator

Independent indicator

按专业、分省，项目培养的人数 How many ruraldoctors trained by the project? By specialty, byprovinces?

多少受训人员达标 How many of them pass thenational exam?

教改组比非教改组的学生解决问题的能力高吗？

教改组比非教改组的学生自学能力高吗？

新的教学符合成本效益吗实施的难度大吗？

分专业、分省，项目培养的人数

分专业、分省，项目培养的通过考试人数

模拟化病人考试分数

参加项目

参加项目

是否参加教改干预，年龄、性别、工作经验

有哪些新服务开展？What are new servicesprovided?

服务的质量高吗？What are service quality

谁利用卫生服务？Who use services

服务成本效益吗？Do the service cost-effective?

开展的服务项目数

项目地区

评价命题 Evaluation questions 结 果 指 标Outcomeindicator

自 变 量 指 标Independentindicator

评 价 设计

按专业、分省，项目培养的人数 How many ruraldoctors trained by the project? By specialty, byprovinces?

多少受训人员达标 How many of them pass thenational exam?

教改组比非教改组的学生解决问题的能力高吗？

教改组比非教改组的学生自学能力高吗？

新的教学符合成本效益吗实施的难度大吗？

分专业、分省，项目培养的人数

分专业、分省，项目培养的通过考试人数

模拟化病人考试分数

参加项目

参加项目

是否参加教改干预，年龄、性别、工作经验

自 身 前后比较O X O

O X OO O

前 后 、对照O X OO O

有哪些新服务开展？What are new servicesprovided?

服务的质量高吗？What are service quality

谁利用卫生服务？Who use services

服务成本效益吗？Do the service cost-effective?

开展的服务项目数

项目地区

高血压试点效果评价

利益相关者 关注点 评价命题 结果指标 自变量指标 评价设计

选择评价指标

•明确概念•初选评价指标• 评价评价指标

选择评价指标

• 明确概念–明确各种不同的概念定义–确定概念的定义–明确概念的不同角度

选择评价指标

• 初选评价指标–选择多少指标– 如何制定指标– 如何将指标转化成调查表

选择评价指标

• 评价评价指标–必须明确测量真正要测量的，

测量的结果是可靠得住的– 评估有效性、可靠性

•试调查

制定调查问卷• 选择的区域

– 结果指标的测量– 干预指标及研究指标的测量–背景指标的测量

• 问卷内容• 提问的用词、语序、语气

–简短、直接和非直接提问（敏感问题）、– 无诱导

• 提问的种类– 开放式问题和封闭式问题

• 场景式提问

抽样• 抽样方法

–概率抽样•简单概率抽样• 系统抽样• 分层抽样• 多步整体抽样

–非概率抽样• 目的性抽样•限额（按比例）抽样

• 样本大小

评价设计的有效性• 有效性与评价设计相联系• 内部有效性

– 所谓评价设计是内部有效的，那么，项目评价人员则能自信地说评价的结果是正确的。

• 外部有效性–指评价的结果能推广到其它地方的程度

• 内部有效性对于评价来说是至关重要的，如果没有内部有效性，就不能说效果是项目带来的还是其它因素造成的。

利益相关者评价方法的评价步骤• 1. 确定利益相关者• 2. 澄清利益相关者的关

注点• 3. 定义评价研究所要问答的问题（研究课题）

• 4. 如何回答评价研究所要回答的问题– a. 选择指标– b. 选择评价设计– c. 数据分析方案– d. 数据收集方案

• 5. 过程评价– 澄清项目理论– 澄清项目干预关键流程

– 按照干预流程，检查干预的实施

– 评价目标人群是否得到干预服务

• 6. 项目效果评价• 7. 撰写项目评价报告• 8. 报告的散发

项目评价建议书• 1 、背景

– 简介– 陈述项目要解决的问题

• 2 、评价命题• 3 、描述项目干预• 4 、项目的预期效果• 5 、原因分析及项目理论• 6 、项目目的• 7 、项目目标• 8 、项目目标人群• 9 、论述项目干预前的需求评

估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法

• 10 、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。

• 11 、描述评价设计（ OXO ）

• 12 、结果指标、干预指标及分析性指标

• 13 、如何测量结果指标，论述测量的可靠性、有效性

• 14 、如何测量控制性变量• 15 、抽样方法• 16 、分析方法• 17 、详细讨论该评价设计的

内部有效性、外部有效性的影响因素。

• 18 、评价的意义

评价报告• I. 简介（背景）

– 卫生问题– 干预项目– 评价命题

• II. 方法– 评价设计– 干预的目标、活动– 样本– 结果指标

• 信度 (稳定度，可靠性 )• 效度• 指标收集的质量保证

– 分析方法

• III. 结果– 回答率– 人口及其它特征的描述– 效果分析– 成本效果分析

• IV. 结论• V. 建议• 表格、图

– 表 1– 表 2– 图 1

• 附件– 调查表– 问卷– 样本量计算– 调查员培训材料

项目评价建议书（设计）• 1 、背景

– 简介– 陈述项目要解决的问题

• 2 、评价命题• 3 、描述项目干预• 4 、项目的预期效果• 5 、原因分析及项目理论• 6 、项目目的• 7 、项目目标• 8 、项目目标人群• 9 、论述项目干预前的需求评

估，如果没有进行需求评估，则论述在需求评估时应关注的问题，以及相应的评估方法

• 10 、批判性地评论项目是否有项目执行情况的监测，如果没有，提出并论述你的具体建议。

• 11 、描述评价设计（ OXO ）• 12 、结果指标、干预指标及分析

性指标• 13 、如何测量结果指标，论述测

量的可靠性、有效性• 14 、如何测量控制性变量• 15 、抽样方法• 16 、分析方法• 17 、详细讨论该评价设计的内部

有效性、外部有效性的影响因素。• 18 、评价的意义

选择评价指标

•初选评价指标–选择多少指标–如何制定指标–如何将指标转化成调查表

评价报告• I. 简介（背景）

– 卫生问题– 干预项目– 评价命题

• II. 方法– 评价设计– 干预的目标、活动– 样本– 结果指标

• 信度 (稳定度，可靠性reliability)

• 效度 (validity)• 指标收集的质量保证

– 分析方法

• III. 结果– 回答率– 人口及其它特征的描述– 效果分析– 成本效果分析

• IV. 结论• V. 建议• 表格、图

– 表1– 表2– 图1

• 附件– 调查表– 问卷– 样本量计算– 调查员培训材料