国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 ·...

14
深度学习的分析视角及评 方法 戴歆紫 王祖浩 华东师范 学 教育学部 上海 200062 随着社 对深度学习能力的需求 升“发展深度学习”已达成国际共 识 而如何评 深度学习亦成为 教育界不可回避的话题。作为一个多元概念 深度 学习的评 立足 多元化的分析视角。其中 深度学习和浅表学习的关 、知识的深 度模型、目标分类理论描绘 深度学习的狭义概念 为认知层面的评 奠定基础 而 深度学习的兼容性框架则整合 认知、人际、自我三 领域 刻画 深度学习的广义 概念 揭示其本质内涵。基 上分析视角 深度学习衍生出 多种评 方法。这 研究的 点和不足为深度学习的进一步发展提供 重要的借鉴意义。 关键词 深度学习 评 方法 研究启示 中图分类号 420 文献标识码 编号 1006-7469 2017 10-0045-14 基金项目 教育部人文社 科学重点研究基地重 项目“基 核心素养的课程 标准研制的关键问题研究”子课题“核心素养的学习观研究”。 作者 戴歆紫 华东师范 学教育学部硕士生 王祖浩 华东师范 学教育 学部课程与教学研究所研究员 教师教育学院教授 博士生导师。 2017 10 国教育研究 No. 10 2017 44 卷总 328 Studies in Foreign Education Vol. 44 eneral No. 328 2016 3 深度学习技术为基础的电脑程序 Alpha o41 击败围棋世界冠 军李世石。一时之间 作为机器学习研究中的新领域“深度学习” 手可热。然而 在学习科学视角下“深度学习”还有另 一个含义 它强调知识的理解与整合 学习者的迁移与批判 关心沟通和协作能力的掌握。21 世纪 来 随着科学技术的发 展和经济全球化的推进“深度学习”已经跨越 认知界限 融合 元素 成为 迫切需要的学习能力。促进学生的深度学习亦成为 教育界的重要议题。作为 衡量学习效果的重要手段 深度学习的评 愈发得到关 。恰到好 的评 既可 为深度学习的实证研究提供有力佐证 又可 为教学 化提供指导意见。不少教育 组织也开始致力 开发能测量深度学习的评 工具。 一、深度学习的研究背景 深度学习是用 描述学生学习效益的术语 最初是由 Marton和赛尔乔 Saj - - 45

Upload: others

Post on 25-Jun-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

国外深度学习的分析视角及评价方法

戴歆紫,王祖浩(华东师范大学 教育学部,上海 200062)

[摘 要]随着社会对深度学习能力的需求飙升,“发展深度学习”已达成国际共

识,而如何评价深度学习亦成为了教育界不可回避的话题。作为一个多元概念,深度

学习的评价立足于多元化的分析视角。其中,深度学习和浅表学习的关系、知识的深

度模型、目标分类理论描绘了深度学习的狭义概念,为认知层面的评价奠定基础;而

深度学习的兼容性框架则整合了认知、人际、自我三大领域,刻画了深度学习的广义

概念,揭示其本质内涵。基于以上分析视角,深度学习衍生出了多种评价方法。这些

评价研究的优点和不足为深度学习的进一步发展提供了重要的借鉴意义。

[关键词]深度学习;评价方法;研究启示

[中图分类号]G420 [文献标识码]A [文章编号]1006-7469(2017)10-0045-14

[基金项目]教育部人文社会科学重点研究基地重大项目“基于核心素养的课程

标准研制的关键问题研究”子课题“核心素养的学习观研究”。

[作者简介]戴歆紫,华东师范大学教育学部硕士生;王祖浩,华东师范大学教育

学部课程与教学研究所研究员,教师教育学院教授,博士生导师。

2017年第10期 外国教育研究 No.10,2017第44卷 总第328期 Studies in Foreign Education Vol.44 General No.328

2016年3月,以深度学习技术为基础的电脑程序AlphaGo以4∶1击败围棋世界冠

军李世石。一时之间,作为机器学习研究中的新领域,“深度学习”炙手可热。然而,

在学习科学视角下,“深度学习”还有另外一个含义,它强调知识的理解与整合,注重

学习者的迁移与批判,关心沟通和协作能力的掌握。21世纪以来,随着科学技术的发

展和经济全球化的推进,“深度学习”已经跨越了认知界限,融合了时代元素,成为了

社会迫切需要的学习能力。促进学生的深度学习亦成为了教育界的重要议题。作为

衡量学习效果的重要手段,深度学习的评价愈发得到关注。恰到好处的评价既可以

为深度学习的实证研究提供有力佐证,又可以为教学优化提供指导意见。不少教育

评价组织也开始致力于开发能测量深度学习的评价工具。

一、深度学习的研究背景

深度学习是用以描述学生学习效益的术语,最初是由马顿(Marton)和赛尔乔(Saj⁃

-- 45

Page 2: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

lo)在布鲁姆认知目标分类理论的基础上,分析学生在阅读课文时表现出的不同学习

取向而提出的。[1]比格斯(Biggs)描述了深度学习和浅表学习的行为特点:深度学习旨

在理解阐述,批判思考,并将一个概念与另一个概念相互联结整合;而浅表学习通常

采用记忆和复述的策略。[2]此后,关于深度学习的研究日渐增多,不同研究者也从多样

化的角度阐释了深度学习的概念。

随着科学技术的发展和经济全球化的影响,社会对深度学习能力的需求飙升,深

度学习也被赋予了更多的涵义。2006年,美国大企业联合会(The Conference Board)通过雇主调查发现:深度学习能力对于新生劳动力至关重要,这些能力包括口头或书

面的沟通能力、批判性思维能力和解决问题的能力。2012年,美国管理协会(Ameri⁃can Management Association,简称AMA)也在调查中发现:高管们更青睐于具备高阶技

能、能适应快节奏的业务变革的员工。于是,AMA确立了深度学习的三个维度:批判

性思维、沟通和协作,并将其定义为员工必需的三大技能。[3]如今,在社会层面,深度学

习能力已经被描绘成信息时代公民生活和就业所必需的、最基本的技能,深度学习也

成为了在全球化、快节奏的经济社会中走向成功的“必由之路”。

社会对“深度学习”的迫切需求,促使教育界开始关注学校教育中的深度学习。

美国国家研究理事会(National Research Council,简称NRC)在 2012年的报告中提出

用以下方法来促进深度学习:(1)使用多种多样的概念和任务;(2)鼓励阐述、质疑和

自我解释;(3)让学习者在指导和反馈中参与富有挑战性的任务;(4)通过案例教学;

(5)提升学生的动机;(6)使用形成性评价。2015年12月,奥巴马签署《让每个学生成

功》法案(Every Student Succeeds Act,简称ESSA),重写了《小学和中学教育法》,该法

案强调:要促进学生的深度学习,包括掌握核心学术内容,批判性思考和解决复杂问

题以及有效沟通的能力。

“深度学习”的概念与理念日益盛行,国内外有关深度学习的研究正如火如荼,相

关的实证研究亦不断涌现。各国研究者已经尝试使用各种手段来促进深度学习,如

依托网络技术、改进课程设计、优化教学方法、变革评价方式、整合多种手段等。与此

同时,深度学习的评价问题也接踵而至。

二、深度学习的分析判断视角

理论是评价的立足点。作为一个多元概念,深度学习评价的理论视角也是多元

化的。这些理论从不同角度阐释了深度学习的概念、内涵及表现,并共同建构起了多

维度、立体化的评价体系。

(一)深度学习与浅表学习的关系

深度学习的概念自诞生之初,就与浅表学习密不可分。这个概念最早起源于马

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 46

Page 3: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

顿等人的一项研究:他们请一组学生阅读同一篇文章,并告之将会在结束后对这篇文

章进行提问。结果发现,学生对这篇文章的学习方式有两种取向。有的学生能从整

体上理解文章,概括出文章大意,并结合自身进行思考;而有的学生则专注于可能会

被提问的部分,并试图去复述这些内容。于是,研究者根据这两种不同的学习取向区

分前者为深度学习,后者为浅表学习(参见表1)。[4-5]

表1 深度学习与浅表学习的区别

特征

动机

目标

知识结构

学习方式

思维方式

迁移能力

元认知

深度学习

出于内部动机,学习者有积极学习的心向

以理解为目标

会把新知识与原有的知识联系起来

能从整体上理解问题,并找出学习材料中

各个部分之间的联系

关注学习内容的真实性,批判地思考

容易产生迁移

使用元认知技能

浅表学习

出于外部动机,是一种目标导向的学习

以完成学习任务为目标

不会把新知识与原有的知识联系起来

采用机械的方式记忆知识,持续性短

不关注学习内容的真实性,孤立地学习

不产生迁移

不使用元认知技能

资料来源:Dinsmore D. L. & Alexander P. A.. A critical discussion of deep and surface processing:what it means,how it is measured,the role of context,and model specification[J]. Educational PsychologyReview,2012,24(4):499-567.

深度学习和浅表学习描述了两种截然不同的学习观,并用对比的方式相互解释、

相互定义,这种方式能较好地体现出学习程度的区别和进化,为评判深度学习提供了

鲜明的标准,故被广泛地应用于评价中。

(二)知识的深度模型

知识的深度(depth of knowledge,简称DOK)模型是韦伯(Webb)为了建立期望与

评估之间的一致性而提出的,表征的是学生应该理解的知识深度。在美国,许多州和

地区使用DOK来制定涉及知识深度和复杂学习能力的国家标准,以协调国家的大规

模评估标准或修订现有标准,实现更高的教学认知水平。加利福尼亚大学洛杉矶分

校(UCLA)的国家评估、标准和学生测试研究中心(The National Center for Research onEvaluation,Standards and Student Testing,简称CRESST)在研究中发现:知识的深度量

表已经被广泛地用以评价深度学习的效果。[6]

知识的深度模型可分为 4个层次,依次为DOK1:回忆/复述;DOK2:技能/概念;

DOK3:战略思维;DOK4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

同水平的认知期望或知识深度。随着学生所表现出的知识层次的增加,学习也不断

深化。其中,DOK3和DOK4被认为是深度学习层面的基本能力。

知识的深度模型细致全面地描绘了深度学习在认知领域的具体能力,尤其是问

题解决能力,这不仅为评价提供了详细的指标,也能为实际教学予以有效指导,促进

教学水平的优化。美中不足的是,该模型稍显冗杂,缺乏整合性。

2017年第10期 外国教育研究 第44卷 总第328期

-- 47

Page 4: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

表2 知识的深度量表

知识的深度层次

DOK1回忆/复述

(Recall/Reproduction)

DOK2技能/概念

(Skill/Concept)

DOK3战略思维

(Strategic Thinking)

DOK4扩展思维

(Extended Thinking)

定义

能回忆出事实、信息或过

程,并处理低级别的信息

能利用信息或概念,并能

完成两步以上的任务

具备逻辑推理的思维能

力,能制定复杂的计划

能通过调查、思考解决受

多种条件影响的问题

评价指标

•解释简单的概念或常规程序

•回忆元素和细节

•回忆事实、术语或属性

•进行基本计算

•对有理数排序

•识别简单现象的科学原理

•标记位置

•描述某地或某人的特征

•在阅读中识别比喻语言

•解决常规的多步问题

•描述重要的模式

•根据简图解释信息

•根据数据和条件提出问题

•为对象分类

•解释关系 •应用概念

•能组织、表示、解释数据

•根据上下文解释陌生词汇

•描述特定事件的原因及结果

•预测逻辑结果 •识别事件或行为的模式

•解决非常规问题

•解释复杂图形中的信息

•根据概念解释现象

•用细节和事例来支撑想法

•能为复杂情况制定科学模型

•从实验数据中得出结论

•编译多个来源的信息以解决特定问题

•开发逻辑参数

•识别并证明答案

•识别作者的意图并解释原因

•设计并解决问题,报告结果和解决方案

•整合想法成为新的概念

•批判实验设计

•设计一个数学模型以解决实际问题

•跨情景迁移 •整合多个来源的信息

资料来源:Depth of Knowledge(DOK)Overview Chart[EB/OL].[2017-06-18]. http://www.niesc.k12.in.us/index.cfm/staff- development/public- consulting- group- co- teaching- session/depthofknowl⁃edgechart-pdf.

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 48

Page 5: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

(三)目标分类理论

深度学习的概念起源于布鲁姆的认知目标理论,其本质就是对学习层次的分

类。如今,教育目标分类理论也为深度学习的评价提供了理论基础。不少深度学习

的研究中,都将目标分类理论与深度学习相融合,并构建细化的评价指标和兼容性框

架(参见表3),以解析不同领域中深度学习者可达成的预期目标。[9-10]

表3 基于目标分类理论的评价体系

评价维度

理论基础

无学习

浅表学习

深度学习

认知目标

布鲁姆认知目标分

类法

记忆

理解

应用

分析

评价

创造

思维结构

比格斯SOLO分类法

前结构

单一结构

多元结构

关联结构

抽象拓展结构

动作技能

辛普森动作技能分

类法

有指导的反应

机械动作

复杂的外显结构

适应

创新

情感目标

克拉斯沃情感目标

分类法

接受

反应

价值评价

组织

价值体系个性化

资料来源:张浩,吴秀娟,王静 . 深度学习的目标与评价体系构建[J]. 中国电化教育,2014,(7):

51-55.目标分类理论为深度学习的评价研究提供了契合的层次框架,使得浅表学习和

深度学习之间的过渡和衔接变得清晰明了。但是,由于目标分类理论的适用性广,可

移植性强,反而使深度学习的本质内涵被弱化,容易与其他概念相混淆,因此要谨慎

选用。

(四)深度学习的兼容性框架

2012年,威廉和弗洛拉·休利特基金会(The William and Flora Hewlett Foundation,简称WFHF)把深度学习阐释为六个相互关联的核心竞争力,即核心学业内容知识的

掌握、批判性思维与问题解决、有效沟通、协作能力、学会学习、学术心志。[11]美国国家

研究理事会将学习者在深度学习中发展的能力划分为认知、人际、自我三大领域,并

定义深度学习为“学习者将某一情境下的所学的内容应用于新情境的过程”。[12]在此

基础上,美国研究学会(America Institutes for Research,简称AIR)又将两者加以匹配,

由此得到了深度学习在领域维度与能力维度的兼容性框架(参见表4)。[13]在深度学习

的评价中,这些核心概念为构建具体的评价维度和指标提供了重要参考。

以深度学习的兼容性框架为理论视角的评价研究突破了传统的认知界限,在融

合时代元素的基础上,顺应社会需求,把人际领域和自我领域纳入到深度学习的评价

之中,构建起了科学、全面的评价框架。基于该框架的评价研究仅仅依靠单一评价是

难以完成的,往往需要多种评价方法综合运用。

2017年第10期 外国教育研究 第44卷 总第328期

-- 49

Page 6: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

上述不同的理论视角展现了研究者对深度学习概念的不同理解和侧重。深度学

习与浅表学习的关系、知识的深度模型、目标分类理论表征的是狭义概念上的深度学

习,主要为评价认知层面的深度学习提供理论基础,是深度学习的评价研究中不可或

缺的一部分。而兼容性框架则刻画了深度学习的广义概念,从传统的认知层面扩展

到了人际和自我层面,更具时代性和整合性,也最能体现出深度学习的本质内涵。综

合而言,几种理论各有千秋,在实际评价中,需要针对不同的研究目标和对象合理选

择分析视角和方法。

表4 深度学习在领域维度与能力维度的兼容性框架

领域维度

认知领域

人际领域

自我领域

能力维度

掌握核心学术内容

批判性思维和问题解决

有效沟通

协作能力

学会学习

学术心志

资料来源:American Institutes for Research. Evidence of Deeper Learning Outcomes[DB/OL].[2017- 04- 08]. http://www.air.org/sites/default/files/downloads/report/Report_3_Evidence_of_Deeper_Learning_Outcomes.pdf.

三、深度学习评价的研究方法

不同的分析判断视角和评价取向催生了各具特色的评价方法。根据评价取向的

不同,国外的评价研究大致可分为两类:过程取向和结果取向。本文将以此为分类标

准,对有关深度学习的评价方法进行梳理。

(一)过程取向评价的研究方法

1.问卷调查法

问卷调查法是评估深度学习最常用的方法。斯莫尔(Dinsmore)和亚历山大(Al⁃exander)在梳理有关深度学习的研究时发现:有48%的研究通过问卷调查来判断深度

学习是否发生以及深度学习的程度。[14]常见的问卷有:学习过程问卷(Study ProcessQuestionaire,简称SPQ)、认知过程问卷(Learning Process Questionaire,简称LPQ)、学习

过程调查(Inventory of Learning Process,简称 ILP)、学习技能量表(Approaches andStudy Skill Inventory for Students,简称ASSIST)等等。[15]这些问卷大多着眼于学习过

程,考察学生在学习过程中是否运用了深度学习的方法。

由于研究者对深度学习的理解和研究视角的差异,其评价维度也各有不同。比

如:比格斯的学习过程问卷(SPQ)将深度学习解构为高阶学习、整合性学习、反思性学

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 50

Page 7: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

习三个维度来编制调查问卷。无独有偶,坎贝尔(Campbell)等人也沿用了这三个维

度,并进一步细化为 12个子维度。[16]也有研究从深度学习与浅表学习的对立关系出

发,以4级李克特量表为载体,将问卷题目分为了深度学习和浅表学习两个维度,并以

总分来表示学习深度,分数越高,学习程度越深,分数越低,学习越趋于浅表(参见表

5)。[17]

表5 以问卷法评价深度学习的问题举例

划分基础

深度学习

与浅表学

习的关系

深度学习

的维度

维度

深度学习

浅表学习

高阶学习

整合性学习

反思性学习

问题举例

当我试图理解新的科学知识时,我把它们与可能适用的现实生活联系起

我没有必要学习考试不要求的内容

当我在学习时,我经常思考现在所学的知识可以运用于哪些生活实际

我试着把我所学的知识与另一个学科相联系

在阅读新材料的过程中,我不断回忆起我所知道的材料,并以新的眼光看

待后者

资料来源:Campbell,C. M. & Cabrera,A. F.. Making the mark:are grades and deep learning related?[J]. Research in Higher Education,2014,55(5):494-507;Şirin ilkörücü Göçmençelebi,Muhlis Özkan,Bayram N.. Evaluating Primary School Students' Deep Learning Approach to Science Lessons[J]. Interna⁃tional Online Journal of Educational Sciences,2012,4(3):554-562.

问卷调查的方式能以较高的效率调查出学生的学习情况,然而,调查结果完全取

决于学生对自身学习方式的主观判断,存在较大的主观性,其效度也值得怀疑。因此

不少研究会综合多种类型的问卷或整合多种评价方式来提升研究结果的可靠性。

2.眼球追踪法

将眼球追踪(eye tracking)用以评价深度学习是科学技术与教育测量的有机结合,

贾斯特(Just)和卡彭特(Carpenter)提出可以通过眼球追踪了解学生的认知过程。雷

纳(Rayner)则认为较长时间的注视意味着更深层的处理。同时,也有研究表明,学习

者在解决复杂问题时持续注视时间和次数会增多。[18]

基于以上理论,希(She)和陈(Chen)把眼球追踪应用到了深度学习的测评中,在

评估学生在利用多媒体学习有丝分裂和减数分裂时是否进行了深度学习时,研究者

通过眼视系统(Eye Gaze System)记录了学生的眼球运动情况,包括观看时长、平均注

视次数(眼球固定次数)和注视的平均时长(眼球固定的平均持续时间)。为了保证研

究的可靠性,学生还接受了前测、后测以及5周之后的一个延时测试。结果发现:后测

与延时测试的结果与眼球追踪的结果基本一致,那些观察时间长、注视次数多、注视

持续时间长的学生可以更好地在分子水平上理解有丝分裂和减数分裂的过程。该研

究也进一步证明:可以把眼球追踪作为评估深度学习的有效工具。[19]

眼球追踪虽能为深度学习的评价提供生理方面的证据,但是,由于其对设备、技

2017年第10期 外国教育研究 第44卷 总第328期

-- 51

Page 8: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

术的要求较高,往往只能应用在多媒体学习中,很难推广实施,同时,将眼球追踪用以

评价深度学习缺乏更多的实证研究和更可靠的评价指标。

(二)结果取向的评价方法

1.概念图法

“概念图”是思维可视化的表征,它能把学习者内在的知识结构通过外化的图形

展示出来。通过概念图,我们可以直接观察到学习者在知识结构上的变化,了解其在

学习过程中新、旧概念碰撞的结果。而深度学习恰恰强调新旧知识的相互联系。海

(Hay)提出了利用概念图来定性评估学习质量。他根据学生学习前后所绘制的概念

图在内容、联系以及结构方面的变化来区分深度学习、浅表学习和未学习(参见表

6)。[20]

表6 用概念图区分深度学习和浅表学习的评价指标

定义

内容

联系

结构

深度学习

新概念和旧概念之间产生了有

意义的联系

第二张概念图中体现了新学习

的概念和先前的概念

第二张概念图表明新知识以有

意义的方式与先验知识相关联

(即链接语句是有效的和解释

性的)

第二张概念图的知识结构体系

建立在第一张概念图之上,但

是第二张概念图的组织性、联

系性和丰富性都有较大提升

浅表学习

用新的概念替换旧概念或简单

增加新的概念

第二张概念图中出现大量新的

概念

新概念没有与学习者原有的概

念相联系

虽然出现了大量新的概念,但

是在概念图整体结构的丰富度

和解释力方面,第二张概念图

并无显著提升

未学习

缺乏概念上的变化

第二张概念图中没有引

入新学习的概念,且先验

知识保持不变

在第二张概念图中没有

新的链接,且原有的链接

中没有产生新的意义

两张概念图在结构上没

有变化

资料来源:Hay,D. B.. Using concept maps to measure deep,surface and non-learning outcomes[J].Studies in Higher Education,2007,32(1):39-57.

坎佩卢(Campelo)等人沿用了海的评价标准,将概念图法运用于评价基于概念图

的地理教学。课程伊始,先请学生自定主题并绘制概念图,完成课程后,再请学生完

成一个以“季节”为主题并具备八个概念(必须包括地球轨道)的半结构化概念图。最

后由两位专家参考统一标准进行评分。结果发现:这种方式能促进学生概念的增长,

但是不能达到深度学习的效果。[21]

通过比较学习前后的概念图的变化能够有效地展现出学习者的概念的变化发

展,也能够映射出新旧概念之间的联系,是评价深度学习的一种行之有效的方法。值

得注意的是,在评判学习层次时往往需要多个评分者进行独立评分以保证信度。

2.开放型问题或任务

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 52

Page 9: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

开放型问题或任务要求学生分析、综合、比较、批判、调查、证明或解释他们的想

法,能充分调动学生的高阶思维能力,因此这也被作为评价深度学习的一个重要工

具。

特沙楚(Tsaushu)等人在研究通过同伴学习和技术支持来促进生物学的深度学习

时提出深度学习需要4种思维技能:(1)能根据给定的数据阐明生物学原理;(2)能够

描绘出外在现象的内在机制;(3)使用以证据为基础的论点;(4)能在不同背景知识中

产生近迁移。根据这四个维度,研究者设计开放性问题来评估学生的深度学习效果

(参见表7)。[22]

表7 用以评估深度学习的开放性问题

细 胞 周 期 蛋 白 依 赖 激 酶

(Cdk1)是一种活性蛋白,右

图展示了在细胞分裂期(M期),Cdk1的活性、细胞周期

蛋白的浓度、Cdk1的浓度变

化曲线

思维技能

基于证据的论证

产生近迁移,并描述内在机制

基于证据的论证

产生近迁移,并阐明生物学原

问题

1.基于上述数据和你对细胞周期调控的了解,请描述这两种蛋白质

之间的相互作用以及它们是如何影响细胞周期的。

2.请你举出一个在活细胞中蛋白X能影响蛋白Y活性的例子,并解

释其调节机制。

3.RNA和蛋白质都能调节Cdk1的浓度和活性,哪一个是真正的原

因,为什么?

4.成视网膜细胞瘤蛋白(RB)是细胞周期蛋白-Cdk复合物的底物,

反应产物是磷酸化的RB。从细胞蛋白中分离RB会获得磷酸化和

非磷酸化的RB混合物。请你描述测量磷酸化的RB浓度的实验。

资料来源:Tsaushu M.,Tal T.,Sagy O.,Kali Y.,Gepstein S. & Zilberstein D.. Peer learning and sup⁃port of technology in an undergraduate biology course to enhance deep learning[J]. CBE Life Sciences Ed⁃ucation,2012,11(4):402-412.

哈佛大学的研究人员开发了一个复杂的“虚拟评价系统”来评价八年级学生的深

度学习能力。学生通过计算机进入虚拟系统成为一只青蛙,并神奇地长出六条腿。

学生需要在虚拟环境中搜集证据来解释这种现象,比如:生活的环境、水的来源、青蛙

的习性等。计算机会记录学生完成虚拟任务的过程中搜集证据和推理的过程,以此

2017年第10期 外国教育研究 第44卷 总第328期

Cdk1活性

细胞周期蛋白

浓度

Cdk1浓度

-- 53

Page 10: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

作为深度学习的评价素材。[23]

除此之外,诸如证据中心设计(Evidence-Centered Design,简称ECD)、项目式学习

(Program Based Learning,简称 PBL)等开放型问题或任务也被频繁用以评估深度学

习。这些活动不仅仅可以作为深度学习的重要评价工具,也是促进教学、帮助学生掌

握复杂知识并整合运用的有力抓手。

3.学业成就评价

学业成绩一直被作为衡量学习效果的重要指标。在评价学习效果时,通常会通

过前测与后测比较或对比实验组和对照组的后测情况来衡量某种教学干预的效果。

然而,简单的标准化测试往往会受到抨击,因为它们只专注于指导主义强调的表面知

识,而不能表征出社会需要的深层知识。在深度学习的评估中,往往会通过侧重科学

理解而不是内容知识来改良试题,或是增加一个延时测验,通过考察所学知识的持久

性来辨别学习效果。

以学业成就评价深度学习的研究中,最有名的当属国际学生评估项目(Programfor International Student Assessment,简称PISA)。正如经济合作与发展组织(OECD)在其评估报告中所言:PISA并非旨在衡量学生对学校课程的掌握程度,而是评估学生是

否能够利用他们学到的信息,包括学生在关键主题领域应用知识和技能的能力,以及

他们在提出、解释和解决问题时有效地分析、理解和沟通的能力。虽然PISA并没有声

称自己能用以深度学习的评价,但是学生若在PISA考试中表现良好,就必须掌握基础

知识,并能批判地思考问题。这些也恰恰是深度学习所倡导的。WFHF在综合评价

深度学习时,也将基于PISA的学校测试作为深度学习的评价工具之一。

4.综合性评价

综合性评价是指整合多种评价方式从多个维度对深度学习进行评价。其中,由

WFHF发起、AIR组织实施的“深度学习的研究:机会和成果”(Study of Deeper Learn⁃ing:Opportunities and Outcomes,简称 SDL),就采用了综合评价的方式。SDL项目于

2014年选择了19所实验学校进行“深度学习”的研究,在这19所学校中,采用了基于

表8 基于深度学习核心概念的评价维度和评价方式

评价方式

评价维度

核心学业内容知识的掌握

批判性思维与问题解决

有效沟通

协作能力

学会学习

学术心志

学生调查

√√√√

基于 PISA 的学

校测试

√√

英语语言艺术

和数学测试

√高中毕业情况

√√√√√√

资料来源:同表4。

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 54

Page 11: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

项目的学习、多样化的评价体系、工作实习等多种深度学习的干预手段,并将深度学

习的六个核心概念作为深度学习的评价标准。为了从以上六个维度来评估深度学习

的效果,研究者从学生调查、基于PISA的学校测试(PISA-Based Test for School,简称

PBTS)、英语语言艺术(English language arts,简称ELA)和数学测试、高中毕业情况四

个方面来收集数据,每个方面的数据为不同的评价维度提供佐证(参见表8)。其中,

学生调查的目的在于衡量学生的创造性思维能力、沟通能力、协作能力、学术心志(即

学术互动、学习的动力、毅力、心理控制能力和自我效能)以及学会学习(即自我管理

能力)。基于PISA的学校测试、英语语言艺术和数学测试旨在测量学生对核心学业内

容的掌握和批判性思维的应用。高中生的毕业情况则从整体上考察了这几个维度。

结果发现这些聚焦于深度学习的教学手段确实可以提升学生的学习效果。[24]

由于深度学习的复杂性、多元性,单一方式的评价往往难以全面地描述出学生的

深度学习能力,而综合评价法能整合多种研究方法,多维度、多视角地整体考察学生

的学习情况,因此得出的结论也最为可靠。

四、深度学习评价研究的启示

随着深度学习的相关研究不断深入,评价方法也日趋完善,但是仍然存在不少亟

待解决的问题。针对这些问题的探讨,有助于我们获得有关深度学习研究的启示。

(一)加强对深度学习的本质认识,构建科学全面的评价标准

由于深度学习的多元性和抽象性,使得目前尚没有一个统一的标准评价范式。

现有的评价大多集中于认知层面,尤其是知识的掌握内化和迁移运用,对反思批判能

力以及社会交往层面的能力关注较少。而这些能力恰恰是深度学习的价值支点,也

是社会迫切需求的重要能力,这种只评其一不评其二的评价方式在一定程度上弱化

了深度学习的本质内涵。也有部分评价缺乏对深度学习的整体认识,混淆了深度学

习与有意义学习、有效学习的概念,甚至片面地将它们划了等号,以至于深度学习的

概念泛化。从现有研究中看,深度学习在评价中被弱化、泛化的情况非常常见,如此

一来,不仅难以全面、科学、有效地揭示深度学习的真实效果,也容易发生评价导向的

偏差。因此,必须加强对深度学习的本质认识,仔细辨析深度学习与其他学习概念的

区别,以构建起全面、科学、统一的评价标准。

(二)整合网络技术创新评价方式,推广面向深度学习的评价

尽管教育理论界高度关注深度学习,但深度学习的评价仍迟迟难以推广。问卷

调查、纸笔测验的评价效率高,操作简便,却难以全面反映深度学习的特征;基于项目

的开放性活动、研究性学习等虽能较全面地展现深度学习,但也存在效率低下、成本

过高的弊病。因此,如何创新深度学习的评价方式以降低评价成本,提高评价效率甚

2017年第10期 外国教育研究 第44卷 总第328期

-- 55

Page 12: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

至突破评价环境的限制成为了推广深度学习评价的“燃眉之急”。整合网络信息技术

的模拟学习或虚拟评价系统,设置简约、高效的学生活动,整合多重能力要求,同时降

低评价成本,或许能成为解决这些问题的有效手段,然而相关研究尚不成气候,如何

完善推广仍需更多的研究和探索。

(三)摒弃功利取向的评价研究,以发展深度学习为评价导向

评价是教育的有力杠杆。好的评价方式不仅仅能表征出社会需要的深层知识,

测试出学生的真实能力,更应该给予教师和学生有效的指导反馈。而现有评价仍以

功利取向为主,仅关注深度学习的评价效果,忽视了评价的发展性功能。大量研究发

现,适宜的评价方式对深度学习具有明显的促进作用。马顿、赛尔乔在提出深度学习

和浅表学习之后又从评价角度对此进行了深入研究,他们发现学生会根据评价标准

和要求采取与之相适应的学习方法。深度学习的评价中,其诊断效用和发展效用不

应割裂,而应共同构建起以发展深度学习能力为导向的评价体系。因此,要更关注表

现性评价和形成性评价在深度学习中的应用,由标准化测试向开放型测试转变,促使

教师为深度学习而教,学生为深度学习而学。

(四)借鉴评价中的思想方法,寻求促进深度学习的教学策略

促进深度学习,培养学生深度学习的能力是开展深度学习的评价研究的首要目

标,而我们或许可以从这些分析视角和评价方法中寻找灵感,借鉴其思想方法和结

论,并将其转化为可促进深度学习的教学策略。比如,知识的深度模型能为促进深度

学习提供具体的行为导向;眼球追踪法能为如何改进多媒体学习的内容和编排形式

以达到深度学习的标准提供建议;概念图法中的评价标准可以指导基于概念图的教

学活动。从某种程度上看,深度学习的评价不仅仅是评价,也是教学思想和方法的另

一种体现,它不但可以置于教学活动之后,也可以立足于教学活动之前。因此,从评

价方法中汲取教学经验,从评价结论中获取教学建议不失为是寻求促进深度学习策

略的好途径。

[参考文献]

[1][4]Marton,F. & Sajlo,R.. On qualitative differences in learning outcome as a function of thelearner's conception of the task[J]. British Journal of Educational Psychology,1976,46(2):115-127.

[2]Biggs,J.. Individual differences in the study process and the quality of learning outcomes[J].Higher Education,1979,8(4):381-394.

[3]Anonym. Are They Really Ready To Work?[DB/OL].[2017-04-08]. http://www.p21.org/stor⁃age/documents/FINAL _REPORT_PDF09-29-06.pdf.

[5][14]Dinsmore,D. L. & Alexander,P. A.. A critical discussion of deep and surface processing:what it means,how it is measured,the role of context,and model specification[J]. Educational Psychology

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 56

Page 13: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

Review,2012,24(4):499-567.[6][7][23]Herman,J. L. & Linn,R. L.. On the road to assessing deeper learning:The status of

Smarter Balanced and PARCC assessment consortia[R]. Los Angeles,CA:University of California,CRESST,2013:10,11,12.

[8]Depth of Knowledge(DOK)Overview Chart[EB/OL].[2017-06-18]. http://www.niesc.k12.in.us/index.cfm/staff- development/public- consulting- group- co- teaching- session/depthofknowledgechart-pdf.

[9]Scholten I.,Keeves J. P. & Lawson M. J.. Validation of a Free Response Test of Deep Learningabout the Normal Swallowing Process[J]. Higher Education,2002,44(2):233-255.

[10]张浩,吴秀娟,王静 . 深度学习的目标与评价体系构建[J]. 中国电化教育,2014,(7):51-55.

[11]William and Flora Hewlett Foundation. Deeper learning strategic plan summary education pro⁃gram[DB/OL].[2017- 06- 18]. http://www.hewlett.org/wp- content/uploads/2016/09/Education_Deep⁃er_Learning_Strategy.pdf.

[12]National Research Council. Education for life and work:Developing transferable knowledge andskills in the 21st century[M]. Washington,DC:The National Academies Press. 2012:6.

[13][24]American Institutes for Research. Evidence of Deeper Learning Outcomes[DB/OL].[2017- 04- 08]. http://www.air.org/sites/default/files/downloads/report/Report_3_Evidence_of_Deeper_Learning_Outcomes.pdf.

[15]Dolmans,D. H.,Loyens S. M.,Marcq H.,Gijbels D.. Deep and surface learning in problem-based learning:a review of the literature[J]. Advances in Health Sciences Education,2016,21(5):1087-1112.

[16]Campbell C. M. & Cabrera A. F.. Making the mark:are grades and deep learning related?[J].Research in Higher Education,2014,55(5):494-507.

[17]Şirin ilkörücü Göçmençelebi,Muhlis Özkan,Bayram N.. Evaluating Primary School Students’Deep Learning Approach to Science Lessons[J]. International Online Journal of Educational Sciences,2012,4(3):554-562.

[18][19]She H. C. & Chen Y. Z.. The impact of multimedia effect on science learning:evidencefrom eye movements[J]. Computers & Education,2009,53(4):1297-1307.

[20]Hay D. B.. Using concept maps to measure deep,surface and non-learning outcomes[J]. Stud⁃ies in Higher Education,2007,32(1):39-57.

[21]Campelo L. F. & Piconez S. C. B.. Concept Mapping in High School:An Experience on Teach⁃ing Geography to Measure Deep,Surface and Non- learning Outcomes[J]. International Journal of Re⁃search & Method in Education,2016,635:29-39.

[22]Tsaushu M.,Tal T.,Sagy O.,Kali Y.,Gepstein S.,Zilberstein D.. Peer learning and support oftechnology in an undergraduate biology course to enhance deep learning[J]. CBE Life Sciences Education,2012,11(4):402-412.

2017年第10期 外国教育研究 第44卷 总第328期

-- 57

Page 14: 国外深度学习的分析视角及评价方法¦习园地/前沿... · 2018-01-22 · dok3:战略思维;dok4:扩展思维(参见表2)。[7-8]每个层次反映了完成任务所需的不

Analysis Perspectives and Assessment Methodsof Deep Learning in Foreign Countries

DAI Xinzi,WANG Zuhao(Faculty of Education,East China Normal University,Shanghai 200062,China)

Abstract:With the social demand for deep learning ability soared,"promoting deeplearning" has reached an international consensus,and how to assess the depth of learninghas become an unavoidable topic. As a multi-concept,deep learning is based on a widerange of analytical perspectives. The relationship between deep learning and surface learn⁃ing,the depth of knowledge model,the target classification theory depict the concept ofdeep learning,And the compatibility framework of deep learning integrates the three fieldsof cognition,interpersonal and self,depicts the general concept of deep learning and re⁃veals its essential connotation. Based on the above analysis,deep learning derived a varietyof assessment methods,some of them are process-oriented,including questionnaire survey,eye tracking and so on. Others are result-oriented,such as concept map,open task or prob⁃lem,academic achievement assessment and comprehensive assessment.The advantages anddisadvantages of these evaluation studies provide an important reference for the further de⁃velopment of deep learning.

Key Words:deep learning;assessment methods;enlightenment of research

[责任编辑:刘 怡]

No.10,2017 Studies in Foreign Education Vol.44 General No.328

-- 58