1

人工智能及其在医疗领域的应用

清华大学朱小燕zxy-dcs@tsinghua.edu.cn

@朱小燕THU

ZXYTHU

2015.10.21

【协和医学院】医学信息学

2

内容

• 人工智能简介

• 智能信息处理技术在医疗领域的应用

• 大数据给移动医疗带来的契机

人工智能昨天、今天和明天

清华大学朱小燕

2015. 10. 21

3

【协和医学院】医学信息学 – 第一部分

内容

历史先驱

近代

现代

AI的明天

4

历史篇

5

人类对智能的渴望

6

在古代的神话传说中，技艺高超的工匠可以制作人造人，并为其赋予智能或意识希腊神话中已经出现了机械人和人造人,如赫淮斯托斯的黄金机器人和皮格马利翁的伽拉忒亚（雕塑变成人）。

中世纪出现了使用巫术或炼金术将意识赋予无生命物质的传说,如贾比尔的Takwin,帕拉塞尔苏斯的何蒙库鲁兹和Judah Loew的魔像。19世纪的幻想小说中出现了人造人和会思考的机器之类题材，例如玛丽·雪莱的《弗兰肯斯坦》和卡雷尔·恰佩克的《罗素姆的万能机器人》。

Samuel Butler的《机器中的达尔文（Darwin among the Machines）》一文（1863）探讨了机器通过自然选择进化出智能的可能性。

至今人工智能仍然是科幻小说的重要元素

人类对智能的渴望

7

历史

先驱可追溯到公元前5世纪，亚里士多德

近代1956, 人工智能AI的名字诞生

现代近十年，互联网时代的人工智能

8

中世纪成果

理论演绎推理、逻辑运算、组合数学、布尔代数

应用自动人偶以钟表行业为代表的各种机械加工的可自主运行的产品

加减、乘除计算器

9

里程碑

各种学科诞生1923年机器人（歌剧）1943年神经网络1943年自动化1950年信息论1956年人工智能

1950年图灵测试

10Turing Test

近代史（1） 初级阶段IBM世界第一个国际象棋程序，首次对抗1963，1997年深蓝打败了国际象棋冠军卡斯帕罗夫。

重1270公斤，有32个大脑（微处理器），每秒钟可以计算2亿步。“深蓝”输入了一百多年来优秀棋手的对局两百多万局

1950年代，各种知识表示方法问世。1963年，第一个机器人公司成立1964年，自然语言理解系统出现（代数题）1965年，与演绎完全不同的归纳方法提出1966年，语义网络表示形式提出，自然语言处理、机器翻译研究全面展开

1968年，基于知识的思想提出1968年，神经网络模型遭到打击 11

近代史（2）步入实用1969年，首届国际人工智能大会举行70年代，专家系统盛行，AI达到第一个顶峰1977年，提出知识工程的概念80年代，开始语音识别的研究85-87，神经网络研究东山再起1989年，CMU的无人车在美国东海岸盐高速公路，从纽约到佛罗里达

90年代，提出了一些列新的概念，如：智能体、群体智能、感知与交互、并行分布式处理等

1997年，首届国际机器人大赛12

13

AI from 2000Spring comes to AI winter

AI Revisited. Pieces of the AI Puzzle are Already Deployed, but Much Remains to be Done Once a technology leaves the research labs and gets proven, it becomes ubiquitous to the point where it is almost invisible. And so every day, people who use Google News are seeing a website with a bunch of AI behind it. When I use my dishwasher, it incorporates fuzzy logic, which is part of AI, in sensing temperatures and making adjustments. If you look over the 40-year span of AI research, it's an impressive history.space exploration, robotics, Web search engines and agents, healthcare, and manufacturing,……

as soon as AI works, it is no longer called AI Sara Hedberg, a spokeswoman for AAAI

近代史（3）互联网时代1969年（12月联机）互联网诞生（美国因特网）1991年，第一个连接互联网的友好接口在Minnesota大学被开发出来自此，网络信息查询、获取等处理技术迅速发展

机器学习成为一个学科

自然语言处理的基石作用凸显

语音信号处理被时代造就

图像处理进展突飞猛进

。。。。。

14

人工智能的春天来到了！

现代成果缩影

15

Big dog - 美国Dapa计划

现代成果缩影

16

Google 无人车

现代成果缩影

17

足球机器人

现代成果缩影

18

脑瘫女士意念控制手臂

IBM Watson beats humans in Jeopardyand won the championship (Jan. 13, 2011)

Watson has integrated more than 100 techniques, representing a breakthrough in natural language processing and artificial intelligence

IBM: Use supercomputerto simulate the human brain

Another way2013年11月13日，IBM宣布了世界上最大的人脑模拟计划“Compass”，他们使用了世界排名第二的超级计算机Sequoia Blue Gene/Q和一个全新的低功耗计算机架构，终于模拟出了与人脑相当的5300亿个神经元和137万亿个神经突触，向着真正的“人工大脑”迈出了重要的一步。 从猕猴大脑结构中推导出来

的神经突触网络

各种智能产品

21

智能系统代表 – 服务机器人感知+认知；人机交互+知识推理

22

23

未来篇

乐观还是悲观？

24

霍金：人工智能不一定是好事

比尔盖茨：AI让我担忧马斯克：我们需要万分警惕AI，他们比核武器更加危险

脸谱Yann LeCun等：AI还远未达到能够威胁人类的地步

25

据英国《独立报》2014年2月25日报道，著名未来学家和人工智能专家、谷歌工程主管雷-库兹韦尔预测称电脑的智商将在2029年之前超过人类。到了2029年，电脑不仅能够理解我们的语言，从经验中学习，甚至能够和我们开玩笑。

实现真正的革命性突破

26

从能看听说 -> 能理解会思考感知智能触觉、听觉、视觉（语音、文字、姿态识别等）；

红外激光传感、雷达信号；物联网信息；……认知智能知识图谱、推理？

真正的AI突破：“让机器具有思维的能力”

春天 -> 夏天 -> ?2016年是否能够成为人工智能新纪元？

27

成熟的人工智能仍属于遥远的未来

我们依旧需要为了实现希望而努力

28

谢谢聆听！

智能信息处理技术在医疗领域的应用

清华大学朱小燕

2015. 10. 21

1

【协和医学院】医学信息学 –第二部分

内容

• 语音

• 图像

• 文字

2

语音信号处理

人机交互的接口

系统智能的表现

3

人类最基本的信息传递方式

• 大脑感知• 听觉通路• 发音通路

5

• 大脑先天或受伤后语言能力的评估

大脑语言能力

• 听觉系统听力损伤情况评估

听觉系统

• 嗓音评估、发音训练

发音系统

康复训练

图像处理技术

一维 -> 二维

6

7

应用

8

医疗领域应用之一

介入治疗导航系统

• 术前规划• 术中导航• 术后评估

介入治疗：微侵袭 疗效好 、保护免疫

21世纪临床肿瘤治疗学进展突出且极具前景的方法

方式：内放射；热消融：微波、射频、热籽；Nano Knife等。开放手术：风险高、

创伤大、费用高、并发症发生率高。

术前：影像扫查：CT、MRI、US等

术前肿瘤区

术后消融区

介入手术流程

术中：超声导引介入 术后：多模影像分析

对医生的经验和水平要求很高，技术难以推广。

迫切需要导航和机器人辅助。

器官、血管分割与肿瘤定位

骨骼、血管、重要脏器与肿瘤之间的空间位置关系重构 呼吸、体位、心跳等带来肿瘤位置变化

三维多模图像配准

主要难点

手术规划手术规划

导航导航

无创配准：体表标志点基于标志和分割基于解剖结构

胸腹腔计算机辅助手术导航系统

术中定位：多模图像配准

临床应用临床应用

全局传感器

IEEE/ASME TRANSACTIONS ON MECHATRONICS, VOL. 18, NO. 1, FEBRUARY 2013

医生穿20斤重铅衣在X光射线辐射下手术

机器人：快速确定位姿扶持避免辐射

文字理解

文字：知识的载体、智慧的表现

18

自然语言理解

例子：研究所有东西研究 所有 东西

研究所 有东西

汉语中文八级考题冬天：能穿多少穿多少；夏天：能产多少穿多少

电话：“我已经到西直门了，你快出来往地铁站走。如果你到了，我还没到，你就等着吧。如果我到了，你还没到，你就等着吧”

19

代表性应用 – Watson 研究始于1957年

为什么需要WATSON？为什么困难？

WATSON用了什么技术？WATSON能做什么？

20

为什么需要

信息超载医学数据每五年翻一番

详细的病人各种生物学标志信息（biomedical markers）靶向治疗方法（targeted therapies）

目标

Evidence-based medicinePersonalized medicine

21大数据 <-> 询证医学

为什么难

文字歧义问题是主要问题

Noses that run and feet that smell?How can a house burn up as it burns down?Does CPD represent a complex comorbidity of lung cancer?What mix of zero-coupon, non-callable, A+ munisfit my risk tolerance?

22

用了哪些技术

自然语言理解，人机交互

生成、评价基于证据的假设

根据用户的选择与响应进行自适应、学习

23

能做什么询问利用大量数据

为了提高洞察力，提出问题

用自然语言质询

发现找到问题的基本原理

针对输入快速产生证明了的响应

决策获得并分析领域资源、各类信息

生成有可信度证据的决策

学习新科学成果和功能 24

特点

Watson在精度和可信度方面不断进步与搜索引擎相比用户可以用自然语言询问

获得合理的答案与证据

Watson能够理解问题

产生合理的答案与证据

分析证据，计算可信度

给出响应，证据以及可信度

25

未来WATSON工作：call center agents, new insights, faster 自然语言理解

无结构数据挖掘

生成假设给出可信度

文本问答

聊天 （chat）搜索 - 发现新成果、新事物Apps

26

27

谢谢聆听！

How machines listen

1

大数据给移动医疗带来的契机

清华大学朱小燕zxy-dcs@tsinghua.edu.cn

@朱小燕THU

ZXYTHU

2015.10.21

【协和医学院】医学信息学 – 第三部分

关键词

链接

2

互联网信息服务昨天，今天和明天

关键词

链接 语义信息

主动沟通+自动推荐

Are you driving in North Carolina?

Are you in your car right now?

cool stuff to do with your spare time like taking pictures ?

But you’re findingTriOut

门户网站

3

医疗信息服务的昨天，今天和明天

移动应用用户模型

可穿戴设备

专业信息推荐服务

主要趋势

互联网技术发展

• 云平台、健康测量设备智能化、小型化、穿戴化

医疗发展

• 加强防御和健康，建立闭环健康管理，提高医疗资源利用效率

健康消费发展

• 全民消费能力及健康意识普遍提高，为保证健康提高生活质量投入意愿提高

收益人群改变

• 随着社会老年化增强，进入养老阶段的人群性质发生变化，平均知识水平与经济实力增强

潜在的契机

期望: 通俗易懂，便利快捷；针对需求，个性化服务

目标：任何人任何地点任何时候 -> 相关可靠实时

利用互联网用户产生的大数据，弥补专业术语与大众语言的鸿沟

• 在用户意图理解的基础上，实现高效、准确的信息服务系统

基于大数据机器学习技术，建立用户模型

• 为VIP用户量身定做APP，提供个性化服务

在可穿戴设备大数据分析基础上，进行健康预测与预警

• 基于多源可观测数据，进行全面的个性化健康监控与疾病管理

为专业人士提供与世界顶级资源接轨的信息查询与推送服务

• 在国际医学信息资源库的基础上，提供智能查询与辅助文献阅读

• 提供专业相关的信息管理与信息推送

内容

面向公众健康的信息服务

面向专业人士的信息服务

公众健康管理平台

6

一、面向公众健康的信息服务

面向查询的信息服务

用户建模与个性化健康管理

可穿戴设备信息融合

与医疗机构的接洽

7

背景：互联网信息获取需求

人们对医疗健康关注互联/移动互联网用户8亿

• 百度知道• 医疗健康领域查询1300万个

• 占总查询5%以上（共有14个领域）

• 百科健康领域相关1387万词条

• 国内外相关网站• HealthTap ，HealthCare，春雨，

39健康……

8

http://www.china-consulting.cn/data/20131122/d10113.html

公众健康关注内容

9

治疗How to treat cold?How to treat cough?

原因What cause hypertension?

说明What is Aspirin used for?

指示How to take this drug?

副作用What are side effects of the drug?….

脑膜炎脑栓塞 颅内 感冒脑溢血血肿

100%

70%

40%

置信度

系统构成 1.智能信息处理

10

症状:头疼

• 血压、血糖• 饮食、睡眠• 影像、透视

• 右侧• 抽搐• 阵痛

更多症状？

• 脑膜炎患者，女，24岁，于1月前无明显诱因出现高热，最高达40度，伴咳嗽。次日出现头痛，伴呕吐，为胃内容物，以发热时明显，发热无明显规律…

典型病例推送

系统构成 2.个性化信息服务

11

用户模型：• 用户性别，年龄……• 个人及家族病史,……• 状态信息

• 用户所在地：地方病• 近期经由地：传染病• 当前时间：季节性疾病• 。。。。。。

个性化信息推送：• 根据个人信息

• 预防与健康建议

• 根据各种信息融合• 就医提示• 治疗建议• 。。。。。。

系统构成 3.融入结合可穿戴设备数据

12

整合可穿戴设备信息： 移动设备信息推送：

服药提醒 数据变化监测

就医推荐

系统构成 4.与医疗机构的互联

13

• 病历维护• 健康跟踪• 专家意见整合

• ……

• 医生推荐• 专家预约• 实时危机报警与救助

• ……数据共享

特色

14

强大的自然语言理解能力

良好用户体检的人机交互方式

基于大数据技术的用户建模

个性化信息服务

基于多模态数据融合技术

多种相关数据集成综合健康管理

日常监测与疾病治疗信息融合

多元化健康管理信息服务

中文智能医疗健康信息服务平台

已有公众健康问答系统平台

网络版

15

移动互联网：微信

特点：专业术语映射，查询语义分析

大众用语与医学术语：肚子与腹部、疼与痛等

大众关注与医学属性：传染性、忌口等

自然语言表达丰富：“怎么办”与“怎么治”等

医学术语表达歧义：不同疾病拥有同样症状 症状：疼痛，存在在太多的疾病属性中 怎么解除*疼痛（*疼怎么办）?

16

二、面向专业人士的信息服务

面向查询的信息服务

面向专业人士的精准定向信息推送

17

背景：生物医学研究受到空前的重视

英文专业网站

• MEDLINE 2300万篇论文

• 包括各种生物医学领域的最新研究发展动态与结果

18

• AskHERMES，EAGLi等系统

• 海外约有10余家供应商

• 中文类似产品几乎空白

互联网上信息

问题与改进方向

19

主要问题：查询效率低

查询返回数以千记

不支持自然语言查询：

• 微创治疗疼痛方面的新技术?

• 维生素B6缺失影响免疫细胞JAK/STAT1信号传导的机制?

英文文献与数据读解效率

缺乏定制的信息推送

改进方向

信息获取

• 基于自然语言理解

• 基于医学知识库

• 基于医疗数据库

建立用户模型

• 用户兴趣、专业

• 阅读历史追踪

智能信息推送

• 定向的内容推送

• 英文辅助阅读

在研系统 5.智能医疗信息服务平台

20

信息库知识库

医疗文献库

自然语言理解

知识库交互

1. 日常诊断辅助系统

2. 询征及文献查询系统 文献数据获取

机器辅助阅读

3. 个性化信息推送系统 医生个性化建模

自动文献推送

青霉素过敏怎么办？

青霉素过敏：病例一：王

XX，…脑膜炎治疗方案？

Standard Treatment of

Meningitis: Part1: ….[n]: 脑膜炎. 详见

：http://www...

：神经科，主任医师

最新文献推荐

特色

21

中文专业人士信息服务平台

基于语义理解的精准信息查询服务

用户模型基础上的个性化服务

便利的英文阅读辅助工具

贴切的信息推送

三、大众健康管理平台

22

•提高社区医院就诊率•增强医疗便民服务•提高居民满意度•提升社区档次

健康小屋/社区医院

健康管理工作站

医院

子女及亲属

•电子健康档案•大数据分析•统计报表……

其他配套服务

健康管理云平台

•亲情关怀尽孝心•安心工作

•掌握全局情况•提供决策支持•促进社会和谐

•提高医疗资源效率•贯彻国家医改方针•落实居民电子档案•加强预防及康复

卫生局

•增值服务

养老社区

养老社区

背景：养老 = 居家+集中

需求主体 个人（老人及家属）

养老机构及社区

药厂、营养品、保健品厂商

医院（私立&公立） 保险公司

需求特点 智能化，移动化，日常化、个性化

方便、定制、可操作

23

24

健康档案：各种数据分析与管理

特色

25

对生活和健康指标进行统计、分析与管理

根据个体化健康档案，进行生活方式、健康状况、疾病风险、药物效果等追踪与评估

自动生成健康干预计划，及就医建议

可视化，便捷的信息浏览

移动互联网将用户与亲人紧密连接

26

谢谢!欢迎提问

医疗相关大数据类型

通过互联网传播的数据 通过互联网采集的数据

用户产生数据 专业网站

论坛：讲座、录像

cQA

专家产生数据 MEDLINE，2千3百万 中文？

用户日常数据 可穿戴设备数据

医疗健康数据 医疗诊断数据

体检数据

27

问题

28

公众渴望获取健康信息但是, 公众自身获取、甄别信息的能力普遍匮乏

• 问题 1 对互联网使用不熟练• 互联网用户分布表明34岁以下人群占80-85%

• 问题 2 所需信息表达不清晰、使用词汇与内容混乱• 在中国拥有一般性医疗健康知识的成年人占总人口的

6.48% . -- Ministry of Health of China, “The First National Assessment of Chinese Adult Health Literacy.” 2009

• 即只有6.48%的成年人具有获得、理解健康知识和科学的能力，做出正确的健康问题处理决策。

• 例子：• 腿疼怎么办？狂犬病疫苗是否会影响智力？什么样的水配

高血压药？• 急求瘦脸方法。痣长在什么地方有意义？关于艾滋病反歧

视的获奖论文。

当前主要问题 （此页不使用）

终端+云平台 落地+交互

举例

利用与计算技术

各种各样曲线的绘制

没有疾病变化趋势预警

没有疾病预测功能

医生关联信息

医患交互平台

就医服务等等

29

核心问题但是真正的资源拥有者——医院还没为之所动，缺少一个中间的连接者，能打动医院入驻，能统一收集个人各类终端采集的数据，能提供医患双方的服务平台

公共卫生

地方病 传染病

根据病理分析地方病 根据大数据预测传染病(麻疹)

30

现状与问题

互联网用户产生数据，内容质量良莠不齐

• 百度“医前智能问诊平台”等系统主要基于“百度知道”、“百度百科”等网络数据，且不提供自动作答

基于医生的人工信息服务，时间延迟，。。。

• 春雨掌上医生、HealthTap、好大夫等主要基于医生在线作答

可穿戴设备数据分析与疾病预测

• 基本停留在曲线图层面，没有结合个体情况，综合各种数据的评价与报警

面向专业人士：AskHERMES，EAGLi等系统

• 能够为医生提供最新医疗信息服务

• 中文几乎空白

系统功能展示 — Demo

微信公共账号：公共健康问答