专栏 第 10 卷  第 5 期  2014 年 5 月

48

陈天石　陈云霁 中国科学院计算技术研究所

体系结构研究者的人工智能之梦

2014 年，我们的神经网络处理器工作“DianNao: A Small-Footprint High-Throughput Ac-celerator for Ubiquitous Machine-Learning”[1] 获得了国际体系结构支持、编程语言和操作系统会议

(International Conference on Archi-tecture Support for Programming Languages and Operating Systems, ASPLOS) 的最佳论文奖。这对我们来说是一个意外之喜。但更重

要的是，它透露出一个信号 ：体

系结构和人工智能交叉研究（尤

其是神经网络计算机）的重要性

已开始得到体系结构领域的广泛

认可。对于曾经在体系结构和人

关键词：体系结构　人工智能　神经网络　ASPLOS 最佳论文

工智能交叉研究上经历过不少坎

坷的我们来说，此次获奖既是鼓

励，更是鞭策。

体系结构和人工智能

体系结构是一个与工程联系

紧密但又充满魅力的研究领域，

其研究成果不断地推动计算能力

的发展，也给科学家乃至普通用

户带来了巨大的便利，促进了生

产力的发展。除了用于服务大众

之外，科学研究的另一个重要动

力来源是科学家对自然界基本规

律的好奇心。在人类所有好奇的

事物中，智能也许是最常见但又

最神秘的一项。一旦人类能制造

出与自己一样具有复杂认知和创

造能力的强人工智能计算机，整

个人类社会将会向前跨出前所未

有的一大步。

我们有一个猜测，也许强人

工智能这样的终极科学问题的解

决不仅需要人工智能算法上的突

破，还需要计算机体系结构（亦

或说计算能力）上的突破。美国

能源部的一个报告将计算能力的

进步分成 3 类 ：(a) 基于唯象假设的增量式进步，计算规模大一

点，结果就好些。采用这种研究

模式，即使问题规模再大也不可

能变革一个学科。(b) 无底洞式

编者按 ：随着中国大陆计算机体系结构研究水平的不断提高，相关的研究机构开始越

来越多地出现在该领域的顶级会议上。在 ASPLOS 2014 上，来自中国大陆的学者更是首次获得了 CCF 推荐的体系结构领域 A 类会议的最佳论文奖。而此前，ASPLOS 最佳论文奖一直被美国卡耐基梅隆大学、德州大学奥斯丁分校、微软等 8 个欧美著名研究机构所垄断。历届 ASPLOS 最佳论文（如经典众核体系结构 TRIPS、首个实用化软件确定性重放方法 DoublePlay、云计算的主流基准测试集 CloudSuite 等）多为开创性工作，对业界产生了深远的影响。因此，此次获奖表明中国大陆已经在体系结构基础研究的某些方面走到了世

界的最前沿。本刊为此特别邀请获奖团队介绍他们的研究历程。

第 10 卷  第 5 期  2014 年 5 月

49

的计算——无论多大的计算能力

都不可能解决问题。其基本的物

理本质还不清楚，增加计算规模

也无济于事。(c) 变革式计算，只要计算能力足够强大就可以彻底

解决以前解决不了的问题。

目前的体系结构研究大多

属 于 (a) 类， 比 如 将 以 SPEC CPU2006 为代表的通用计算提速3 倍作为目标。这是因为 (a) 类研究能有效提升相关产品的竞争

力，为我们的生活带来便利。不

过 (c) 类工作显然在科学上有着非凡的意义 1。它意味着计算能

力在计算机体系结构研究的带动

下，将从量变最终突破某个阈值

达到质变，从而解决以前无法解

决的重要科学难题（如强人工智

能）。非常有意思的是，从生物

进化的角度来看，智能对于其载

体的“硬件能力”的需求是存在

阈值的。例如，从猿脑到人脑容

量的 3 倍变化促使了生物智能的爆炸性增长。如果能够通过体系

结构研究实现高效的神经网络芯

片，就有可能以有限的代价构建

出比人脑规模大百倍的神经网络

超级计算机，使其有可能接近智

能的本质。我们相信这是人类进

步必将迈出的一步。

荆棘路上

我们在学生时代分别从事

体系结构和人工智能研究，之后

同在中国科学院计算技术研究所

工作，并且都怀着强人工智能之

“梦”（此处之梦是指比一般的理

想还要虚无缥缈的志向）。

因此，2008 年初，我们开始探索如何将这两个领域结合起

来。由于强人工智能的梦想虚无

飘渺，为了不陷入民科式的狂想，

我们的技术路线必须脚踏实地，

每一步都要迈得扎实，每一步都

要对解决实际问题有所帮助。这

样得到的研究成果既能为体系结

构或者人工智能技术带来增量式

进步，又能逐渐接近终极的变革。

套用一句常用的俗语就是“沿途

下蛋”。基于这个指导思想，我

们决定从使用人工智能技术来解

决体系结构研究问题入手，首先

争取为国产处理器（如龙芯）的

研发作一些贡献。

然而在实践的道路上，这第

一步就迈得十分艰难，我们遇到

了很多困难。从 2008 年起，我们多次尝试申请项目来支持体系

结构和人工智能的交叉研究，但

迄今为止获得的专项资助仅有一

个青年科学基金项目。我们曾提

出一系列基于人工智能方法的处

理器研发技术，并多次向体系结

构顶级会议投稿，好几次都获得

了不错的分数，按我们以往的经

验以为论文可以被接收，但最终

还是被拒收。我们寻找原因，发

现体系结构方向的很多审稿人更

关心“鱼”（一个好的处理器的

结构具体是什么样子），而不关

心“渔”（如何用智能方法去发

现这个结构）。但项目经费申请

和论文发表的不顺利并没有让我

们放弃体系结构和人工智能的交

叉研究。相反，我们坚信，只要

把研究做得更深入，困难总是能

克服的。

一次偶然的机会，我们向南

京大学周志华老师介绍了使用人

工智能方法来优化处理器结构方

面的工作。周老师对我们的研究

方向很感兴趣，并敏锐地意识到

这类工作正是人工智能基础算法

研究者希望看到的关键应用。在

他的鼓励和指导下，我们提出了

一种基于半监督学习的处理器结

构优化方法来指导龙芯处理器的

设计，成果发表在人工智能顶

级会议 IJCAI(International Joint Conference on Artificial Intelligence) 2011[2] 上。这项工作大大增强了我们的信心，似乎也把幸运“传递”

给了其他的几项相关工作。例如，

我们使用机器学习和演化算法来

加速处理器的功能验证的工作发

表在多个 ACM/IEEE 的会刊上。我们与南京大学、中国科学技术

大学合作提出的基于排序学习的

处理器结构优化方法也被体系

结构顶级会议 ISCA(International Symposium on Computer Architec-ture) 2014 接收 [3]。这是 ISCA 第一次收录此类成果。

在使用人工智能方法来解决

体系结构问题的同时，我们也努

力向体系结构领域的同行宣传人

工智能算法在通用计算中的重要

1 后面我们会提到，(a)类和(c)类的研究并不是互斥的，完全可以相辅相成。

专栏 第 10 卷  第 5 期  2014 年 5 月

50

性，呼吁体系结构研究者探索如

何对关键智能算法给予硬件层面

的支持。2012 年初，我们作为第一单位，同美国威斯康辛大学麦

迪逊分校、法国原子能协会、法

国勃艮第大学、IBM 和法国国家信息与自动化研究所 (INRIA) 一起提出了 BenchNN 基准测试集。BenchNN 将体系结构学术界最主要的并行基准测试集 PARSEC 基于神经网络算法进行了重写。这

样做的原因是 PARSEC 中大部分程序的核心工作是逼近、分

类、优化和聚类，而这些都非常

适合用人工智能（尤其是神经网

络）算法来实现。这项工作充分

说明提高神经网络的处理速度可

以有效加速通用计算，有力地改

变了体系结构领域对神经网络算

法的认识。为此这项工作获得了

基准测试集领域重要国际会议

IISWC(IEEE International Sym-

posium on Workload Characteriza-tion) 2012 的最佳论文提名奖 [4]。

寒武纪1号

2012 年，在开发 BenchNN基准测试集的同一时期，我们启

动了寒武纪计划 2，设计神经网

络处理器芯片 / 计算机来加速神经网络。对于寒武纪计划应该采

用何种技术路线，我们在 2012年几乎花了一整年的时间来斟

酌。尤其是第一款芯片，它必须

既有广泛的实用价值，又能支持

未来对智能的探索。当时我们主

要有两种选择——脉冲神经网络

(spiking neural network) 和人工神经网络 (artificial neural network)。脉冲神经网络比较接近生物的神

经网络，被很多研究者认为比较

适合大脑模拟。因此，IBM 在美国国防部高级研究计划署 (De-

fense Advanced Research Projects Agency, DARPA) 资助下开展的SyNAPSE、高通的 Zeroth 芯片以及英国的 SpiNNaker 计划都采用了脉冲神经网络或其变种。虽

然人工神经网络也受到生物神经

系统的启发，但它的设计目标是

求解机器学习问题，因而在工业

界有广泛的应用。人工神经网络

的代表性算法包括多层感知机

(multilayer perceptron)、霍普菲尔德网络 (Hopfield network)、自组织特征映射模型 (self-organizing map) 等。近年来学术界和工业界广泛关注的深度学习也属于人工

神经网络。

为了选择一个好的技术路

线，我们对脉冲神经网络和人

工神经网络进行了大量实验和对

比，发现脉冲神经网络在处理工

业界常见的图像处理和语音识别

等机器学习任务时，其效果往往

比传统人工神经网络差 3。然而

人工神经网络并不适合对大脑进

行模拟。在机器学习和大脑模拟

两者不可得兼的情况下，我们对

二者孰轻孰重进行了多次讨论，

最终取得两点共识 ：

第一，我们的梦想并不是准

确模拟人类的大脑，而是制造出

强人工智能。两者其实有很大的

区别。模拟人类的大脑有很多用

处，在治疗脑科疾病方面有深远

影响，对人工智能研究也很有借

2 在地质时代，寒武纪是动物大爆炸的时代。目前地球上主要的动物门类都是在寒武纪出现的，包括我们人类所属的脊索动物门。取名寒武纪，是希望我们所处的这个时代，成为机器智能的寒武纪。

3 当然，不排除今后脉冲神经网络的研究产生一些新的成果，使得它在机器学习应用上更加有效。

表1　大部分PARSEC程序的核心函数可基于神经网络算法重写

测试程序 功能 类别 神经网络算法

blackscholes 期权估计 逼近 多层感知机

bodytrack 人体跟踪 分类 卷积神经网络

canneal 芯片布线 优化 Hopfield神经网络

dedup 文件压缩 分类 多层感知机

facesim 人脸移动建模 逼近 多层感知机

ferret 图片相似性 分类/聚类 自组织神经网络

fluidanimate 流体力学 逼近 细胞式类神经网络

freqmine 频繁模式挖掘 分类 多层感知机

streamcluster 在线聚类 聚类 自组织神经网络

swaptions 期权估计 逼近 多层感知机

第 10 卷  第 5 期  2014 年 5 月

51

鉴意义。但是借鉴人脑毕竟只是

人工智能研究的辅助手段，就如

同人类实现飞行梦想不能完全仿

造鸟儿的翅膀一样。完全照抄大

脑，并不会直接带来智能，这是

因为即使是真正的人脑，一些基

本的认知功能（例如语言）也必

须通过有效的学习才能得到。所

以机器学习对于强人工智能的探

索有更重要的意义。

第二，人工神经网络有广泛

的用途。尤其是近年来，

深度学习的崛起使得人

工神经网络被公认为最

好的机器学习方法之一。

因此，人工神经网络处理

器可以广泛应用于从移

动终端到云服务器的各

种场景，有效加速广告推

送、数据挖掘、语音识别、

人脸识别乃至机器翻译

等各种机器学习应用。而

目前愈发突出的暗硅现象也使得

通用处理器完全可以将人工神经

网络处理器作为一个加速器集成

进去。

基于上述两点，2012 年 12月，我们最终在寒武纪 1 号的目标上达成了一致，即实现支持大

部分主流人工神经网络算法的机

器学习加速器。这样，寒武纪 1号不但可以加速现有的机器学习

应用（前述的 (a) 类工作），也可以为未来神经网络超级计算机的

研究打下基础（前述的 (c) 类工作）。为了让国际同行感受到我

们工作的中国特色，我们给寒武

纪 1 号起了个小名叫 DianNao，

因为 Dian（电）代表 Electronic，Nao（脑）代表 Brain，合在一起就是电子的大脑。

目标确定之后，技术路线

的讨论和具体的实现也就有了方

向。（由于本刊面向的是整个计

算机领域的读者，这里不再赘述

寒武纪 1 号的微体系结构技术细节。）事实上，在这样一个几乎

是“处女地”的领域，我们的设

计没有受到太多的限制，甚至无

法与其他人类似的工作进行量化

比对（在 ASPLOS 论文的实验中，我们只能与通用处理器进行

对比）。唯一需要指出的是，我

们发现处理大规模深度神经网络

的性能和能效瓶颈不是运算，而

是数据搬运和访存带宽。因此，

我们精心设计了一套具有针对性

的分块处理和访存优化方法，从

而使得寒武纪 1 号能高效地处理任意规模、任意深度的神经网

络。在台积电 65nm 工艺下，寒武纪 1 号主频可达 0.98GHz、性能 452 GOPS、功耗 0.485W、面积约为 3mm2。也就是说，它可以在通用处理器核 1/10 的面积和

功耗开销下，达到通用处理器核

100 倍以上的人工神经网络处理速度。即便和最先进的GPU相比，寒武纪 1 号的人工神经网络处理速度也不落下风，而其面积和功

耗远低于 GPU 的 1/100。2013 年 7 月底，我们将寒武

纪 1 号的论文投稿到 ASPLOS。虽然我们为寒武纪 1 号在单位度过了无数个闷热的不眠夏夜，但

在被体系结构顶级会议“伤”了

很多年、很多次以后，我们其实

对论文被接收是不抱什么期望的

（尤其这是寒武纪 1 号的第一次投稿）。毕竟我们的目的不是为了

将论文发表在哪里，它只是我们

通向学术理想的必经之路。不过

ASPLOS 的审稿分数着实让我们吃了一惊：6 位审稿人有 3 位给了满分，2 位给了次高分。即便如此，我们也从未想到会与最佳

论文奖有关系，直到程序委员会

主席萨里塔·阿迪乌 (Sarita Adve)教授在颁奖宴会上宣布的那一刻。

跟随还是等待

图1　寒武纪1号的结构示意图和版图

专栏 第 10 卷  第 5 期  2014 年 5 月

52

从 2008 年到现在，我们已经在体系结构和人工智能的交叉

研究方向上工作了 6 年。作为国际上为数不多的几个长期开展此

方向研究的团队之一，我们在不

被认可中坚持了下来，并尝试通

过自己的努力来改善这个领域的

环境（当然近年来环境的改善也

得益于深度学习的兴起），最终

得到了学术界一定程度的肯定。

回想起来，如果我们紧紧跟

随国际学术圈的热点走，我们是

很难拿到 ASPLOS 最佳论文奖的。原因有两个方面 ：第一，当

我们看到别人的“热点”论文发

表后再去跟着做，可能已经比别

人晚了若干年。尤其是体系结构

领域，论文的工作周期非常长

（ASPLOS 2014 上发表的论文，我们在 2012 年就启动相关工作了），要跟上热点很困难。第二，

当跟随热点时，我们的工作不可

避免地会被视为对某个过往论文

的改进。这种改进效果必须非常

显著，机理必须非常清晰，才能

打动顶级会议挑剔的审稿人。这

对于论文写作提出了很高的要

求，而中国大陆研究者往往在英

文论文写作上不占优势。

但这里存在一个矛盾：紧跟

多变的国际学术圈热点，论文不

容易在顶级会议上发表；而探讨

的问题若不是国际学术圈热点，

论文同样很难在顶级会议上发表。

面对这个矛盾，我们的看法是：

研究者应该坚持自己的学术理想，

重视论文但不为论文发表所左右；

同时尽力宣传自己的研究方向，

推动这个方向被国际学术圈的主

流认可。经过长期的等待和努力，

也许有一天，自己的研究方向就

会成为热点。到那时，过去的一

切坎坷都会被证明是值得的。

当然，如果身边的各种环境

都不认可我们的学术理想，要坚

持下去几乎是不可能的。因此，

我们非常感谢中国科学院计算技

术研究所各位师长的支持和鼓

励。他们具有长远的眼光，并不

计较一时的成败，给了我们宽松

的研究环境。李国杰院士在攻读

博士学位期间，就曾在人工智能

和体系结构的顶级会议上发表过

论文，是二者交叉研究的先行者，

因此对我们的工作给予了很多帮

助。孙凝晖所长从体系结构的角

度对智能计算所做的思考非常深

刻，他的很多具体指导帮助我们

突破了实验中的一些关键难点。

徐志伟老师有非常开阔的研究思

路，带领我们走进了异构体系结

构和领域加速器的研究。我们的

导师陈国良院士、胡伟武老师和

姚新老师一直鼓励我们按照自己

的学术理想坚定地走下去。胡老

师是我们开展交叉研究的第一位

支持者。在龙芯产业化亟需人才

的情况下，他依然非常慷慨地把

自己的得意弟子不断输送到我们

的团队，以支持我们的研究。

未来工作

目前，强人工智能的研究处

于停滞状态，少有人触及，甚至

淡出了主流。在科学史上，其它

终极科学问题（如宇宙起源）的

研究也曾经处于类似的状态。诺

贝尔物理学奖得主史蒂文 · 温伯格 (Steve Weinberg) 在《宇宙最初的三分钟》[5] 里写到：“在 20 世纪 50 年代⋯⋯人们普遍认为研究早期宇宙是体面的科学家不屑

为之的事情。⋯⋯（当时）赖以

构建早期宇宙史所需的充分的

观测与理论基础根本就不存在。”

然而十多年后，美国电报电话公

司的研究人员在检测天线的噪音

性能时偶然发现了宇宙微波背景

辐射。在此推动下，科学家一举

厘清了宇宙诞生 0.01 秒后的演化图景。

因此，强人工智能研究的井

喷可能只是在等待某个相关领域

（也许是计算机体系结构）的研

究突破某个阈值。如果真是如此，

我们希望寒武纪计划能成为通向

强人工智能的大道上一块小小的

铺路石。■

陈云霁CCF会员。中国科学院计算技术研究所研究员。主要研究 方 向 为 计 算 机体系结构和计算智能。cyj@ict.ac.cn

陈天石CCF会员，2011 CCF优秀博士学位论文奖获得者。中国科学院计算技术研究所副研究员。主要研究方向为计算机体系结构和计算智能。chentianshi@ict.ac.cn

第 10 卷  第 5 期  2014 年 5 月

53

参考文献

[1] Tianshi Chen, Zidong Du, Ninghui Sun, et al.. DianNao: A small-footprint high-throughput accelerator for ubiquitous machine-learning, Proceedings of the 19th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS'14), 2014.

[2] Qi Guo, Tianshi Chen, Yunji Chen, et al.. Effective and efficient microprocessor design space exploration using unlabeled design configurations, Proceedings of the 22nd International Joint Conference on Artificial Intelligence

(IJCAI'11), 2011.

[3] Tianshi Chen, Qi Guo, Ke Tang, et al.. ArchRanker: a ranking approach to design space exploration, Proceedings of the 41st ACM/IEEE International Symposium on Computer Architecture (ISCA'14), 2014.

[4] Tianshi Chen, Yunji Chen, et al.. benchnn: on the broad potential application scope of hardware neural network accelerators, Proceedings of International Symposium on Workload Characterization (IISWC'12), 2012.

[5] Steven Weinberg. The first three minutes, Basic Books, New York 1977.

CCF无锡会员活动中心成立陈左宁吕建杜子德主持成立　朱平任主席

4 月 26 日，CCF 无锡会员活动中心成立。CCF 副理事长陈左宁院士、吕建院士 ,CCF 秘书长杜子德等出席并主持成立。CCF 杭州副主席潘纲，CCF 苏州主席朱巧明、副主席姚建民，CCF 南京主席黄志球，CCF 上海代表王长波，CCF 深圳副主席芦东昕，无锡市科协副主席钱俊方，江南大学党委副书记周小浦，以及 CCF 会员代表 200 余人参加了成立大会。

受 CCF 秘书长委托，CCF 会员部部长戴丽霞主持成立仪式。陈左宁宣读 CCF 无锡执委会成员名单并颁发聘书。吕建致辞并向 CCF 无锡主席、江南计算技术研究所朱平教授授旗。

朱平表示，CCF 无锡将积极拓展资源，为会员提供交流、聚集和提升能力的平台，借助 CCF 丰富的资源，服务当地会员，共同推进无锡市转型升级和扩大城市影响力。CCF 深圳、杭州、上海、南京、苏州等分部代表发言，纷纷表示期待与 CCF 无锡合作，共同推动区域经济发展。杜子德详细介绍了CCF 的价值追求、文化、制度、服务以及未来发展计划，表示 CCF 无锡应加强与政府、企业、高校的交流，充分利用 CCF 的学术资源和专家资源，为无锡市计算机产业发展和信息化建设献计献策。

成立仪式后，CCF 无锡举行了第一次会员活动。CCF 常务理事、浙江大学鲍虎军教授和芦东昕分别作了题为“虚实融合的三维可视分析环境”、“物联网创新的 10000 小时——从穿戴式健康终端 , 到无锡的感知中国”的主题报告。