資料科學的醫學運用 - 國立臺灣大學d93009/mydoc/slide/20200525...2020/05/25 ·...

資料科學的醫學運用

臺北市立聯合醫院仁愛院區

家庭醫學科

郭冠良

2020-05-25

1

個人簡歷

• 學歷

– 國立台灣大學資訊工程研究所博士

– 國立陽明醫學院醫學士

• 現任

– 臺北市立聯合醫院仁愛院區家庭醫學科主任

– 陽明大學生醫資訊所兼任助理教授

– 輔仁大學醫資學程兼任助理教授

2

大綱

• 醫學和資料科學

• 趨勢

• 機器學習– 支援向量機(SVM)

– 隨機森林(Random Forest)

– 深度學習(DL)

– 卷積神經網路(CNN)

– 遞歸神經網路(RNN)

• 應用

• Safety and Security3

醫學和資料科學

4

Increasing complexity of

healthcare system

Big data

Medical science

becomes

Data science

Smart healthcare

5

醫學成為資料科學

• KB: 103

• MB: 1066

• GB: 109

• TB: 1012• PB: 1015

資料科學與人工智慧(DS & AI)

7

8https://www.stockfeel.com.tw/%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E7%9A%84%E5%BE%A9%E8%88%88%EF%BC%9A%E9%87%8D%E5%9B%9E%E9%A2%A8%E5%8F%A3%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92/

資料科學在醫學的應用

• 預測(Prediction)

– 疾病風險

• 失智症– 動作、語言

• 基因

– 疫情監測

• 醫療大數據監測 (例: 體溫)

• 歷史公衛資料週期性

9Ref: AI醫療大未來 (李友專)


• 個人化醫療建議(Personalization)

– 聊天機器人線上問診與初步臆測

– 生理數據判讀

– 影像

10AI醫療大未來 (李友專)


• 避免醫療風險(Prevention)

– 預防醫學建議: 篩檢、疫苗

– 臨床輔助偵測(CAD)

– 異常藥物處方提醒

– 異常結果追蹤提醒

– 藥物過敏

– 藥物交互作用

11AI醫療大未來 (李友專)

P4-medicine

• P4-medicine (Lee Hood, MD, PhD)

12

Big data tracking multiple

dimensions of individual

health

Ongoing systems

analytics

(Systems biology)

Personalized, actionable

health information

Data Method P4-medicine

P4-medicine

13



health

Ongoing systems

analytics

(Systems biology)


health information


P4-medicine

14



health

Ongoing systems

analytics

(Systems biology)


health information


Disease and wellness as a continuum of network states unique in time and space to each

individual human being

1

2

Biology

information technology

Molecular, cellular, and phenotypic data

Information-based

Systems approaches

Holistic understanding of complex biological

systems3 Systems biology

Comprehensive, dynamic analyses of

the components of a system

Systems biology

P4-medicine

• P4-medicine願景– Personalized actionable information

• De-identified

• Aggregated

– Physicians • Make more cost-effective diagnosis and

treatments

– Patients (sick people) and consumers (healthy people) • Live healthier, more productive lives

15

16

最佳化指示型分析，自動建議，精準，

個人化

預測建立模型，決策支援

解釋低維度資料

描述統計、視覺化、找出關聯

客觀資料與事實科學方法自動判讀

經驗導向人類解讀

真正的AI技術引入

資料科學應用的四個層次

Ref: 陳昇瑋、溫怡玲: 人工智慧在台灣，2019

趨勢

17

Digital Strategy 2025

• 德國，2016提出數位測略

• 強化工業4.0發展

• 成立人工智慧研究中心(DFKI)

18

https://www.de.digital/DIGITAL/Redaktion/E

N/Publikation/digital-strategy-2025.html

https://www.dfki.de/en/web/about-us/dfki-

at-a-glance/company-profile/


• Creating a gigabit optical fibre network for Germany by 2025

• Launching the New_Start-up_Era: Assisting start-ups and encouraging cooperation between young companies and established companies

• Creating a regulatory framework for more investment and innovation

• Encouraging “smart networks” in key commercial infrastructure areas of our economy

• Strengthening data security and developing informational autonomy

19


• Enabling new business models for SMEs, the skilled craft sector and services

• Utilising Industry 4.0 to moderniseGermany as a production location

• Creating excellence in digital technology research, development and innovation

• Introducing digital education to all phases of life

• Creating a Digital Agency as a modern centre of excellence

20SME: Small and medium-sized enterprise


• 與醫療有關者

– E-Health Act

• e.g. Telemedicine

– Health care robotics

21https://united-kingdom.taylorwessing.com/synapse/ti-ehealth-law-germany.html

Deep LearningThe Competence Center for Deep Learning of the DFKI• Convolutional Neural Network (CNN)• Recurrent Neural Network (RNN)• Long Short-Term Memory (LSTM)• Bi-directional Recurrent Neural Networks• Convolutional Deep Belief Networks• Deep Boltzmann Machines• Autoencoders• Deep Reinforcement Learning• Support Vector Machines (SVM)• Vector Quantization (VQ)• Energy Functional Minimization• RANSAC – based optimization• Kernel Methods• k-Nearest Neighbor (kNN)• Gaussian Mixture Models (GMM)• Conditional Random Fields (CRF)• Max Entropy• Hidden Markov Models (HMM)• Case-base Reasoning (CBR) 22

https://www.dfki.de/en/web/research

/competence-centers/deep-learning/

http://dl.dfki.de/

Deep Learning

• Project Skincare• We develop a mobile application for patients and

health professionals in the context of skin cancer diagnosis and treatment.

• We will combine patient records with mobileimages for knowledge discovery and knowledge acquisition toward decision support and services in clinical and non-clinical environments.

• Input modes include smartphones for a direct digitization of patient data and images.

• The innovative aspect is a holistic view on individual patients based on teledermatology, whereby patient data and lesions photographed with a mobile device can be taken into account for clinical and non-clinical decision support.

23http://dl.dfki.de/

24https://www.nitrd.gov/news/national_ai_rd_strategic_plan.aspx

美國，2016，國家人工智慧研發策略規劃National Science and Technology Council

Networking and Information Technology Research and Development Subcommittee

National AI R&D Strategic Plan

• 美國，2016，國家人工智慧研發策略規劃: 七策略– Strategy 1: Make long-term investments in AI

research– Strategy 2: Develop effective methods for human-

AI collaboration– Strategy 3: Understand and address the ethical,

legal, and societal implications of AI– Strategy 4: Ensure the safety and security of AI

systems– Strategy 5: Develop shared public datasets and

environments for AI training and testing– Strategy 6: Measure and evaluate AI technologies

through standards and benchmarks– Strategy 7: Better understand the national AI R&D

workforce needs25


• The AI R&D Strategic Plan closes with two recommendations:– Recommendation 1: Develop an AI R&D

implementation framework to identify S&T opportunities and support effective coordination of AI R&D investments, consistent with Strategies 1-6 of this plan.

– Recommendation 2: Study the national landscape for creating and sustaining a healthy AI R&D workforce, consistent with Strategy 7 of this plan.

26https://www.nitrd.gov/news/national_ai_rd_strategic_plan.aspx


• Purpose of the National AI R&D Strategic Plan – AI advances are also providing great benefits to our

social wellbeing in areas such as precision medicine, environmental sustainability, education, and public welfare.

• Improved educational opportunity and quality of life– Medicine

• AI can support bioinformatics systems that identify genetic risks from large-scale genomic studies (e.g., genome-wide association studies, sequencing studies), and predict the safety and efficacy of new pharmaceuticals.

• AI techniques can allow assessments across multidimensional data to study public health issues and to provide decision support systems for medical diagnoses and prescribe treatments.

• AI technologies are required for the customization of drugs for the individual; the result can be increased medical efficacy, patient comfort, and less waste.

27

麥肯錫2017年報告

28


• 以AI創造價值

• 目標面、生產面、行銷面、供給面

29


30


• 營運、流程、保健、醫療、保險給付

31


• AI WILL MAKE QUICKER DIAGNOSES, CREATE BETTER TREATMENT PLANS, AND ENABLE NEW APPROACHES TO INSURANCE– AI can identify public-health threats and the most

at-risk patients– AI can help medical professionals diagnose disease

and improve operations– Insurers can devise new ways to encourage

preventive care and incentivize providers– Doctors will be able to tailor treatments—even

drugs—to individual patients– Virtual agents can serve as primary touchpoints for

patients

32

Society 5.0• 日本，2016，第5期科学技術基本計画

33https://www8.cao.go.jp/cstp/society5_0/index.htmlhttps://www8.cao.go.jp/cstp/kihonkeikaku/index5.html

Society 5.0

34

Society 5.0

35

Society 5.0

• 第五期基本計劃的四大任務

– 創造未來產業和推動社會變革

– 積極應對經濟和社會課題

– 強化基礎實力

– 構築人才、知識、資金的良性迴圈體系

36http://www.libnet.sh.cn:82/gate/big5/www.istis.sh.cn/list/list.aspx?id=10534

台灣，2017，科技部: AI推動策略

37

https://www.most.gov.tw/folksonomy/detail?subSite=&l=ch&article_uid=a3f5e1d4-8206-4bd9-b456-1d7e2b084558&menu_id=d3c30297-

bb63-44c5-ad30-38a65b203288&content_type=P&view_mode=listView

興趣(1)

• Computer science

– Flow

38

機器學習

Machine Learning

39

Machine Learning:

Learning from Data

40

Learning from Data

• 機器學習是實作資料科學的方法

– 建構資料的模型

41

Data LearningSkill(Model)

Hsuan-Tien Lin: Quick Tour of Machine Learning

42李宏毅/一天搞懂深度學習 / https://www.slideshare.net/tw_dsconf/ss-62245351

機器學習的演算法

• 監督式學習: 已經標上標籤(label)的資料

– 分類(classification)

– 迴歸(regression)

• 非監督式學習: 未標上標籤的資料

– 集群(clustering)

– 維度降低(dimensionality reduction)

46

機器學習的演算法:分類(classification)

47

Data LearningModel:

預測類別


• 由血壓測量習慣預測血壓控制好壞

• 醫學影像辨識

48

Data LearningModel:

預測類別


• 演算法

– 感知學習機(Perceptron)

– 邏輯斯回歸(Logistic regression)*

– 支援向量機(Support vector machine)*

– 類神經網路(Neural network)

• Deep Learning*

– K-NN

– Decision tree、Random forest*、GBDT

49GBDT: Gradient boosted decision tree


• 邏輯斯回歸(Logistic regression)

50https://medium.com/@chih.sheng.huang821/%E6%A9%9F%E5%99%A8-%E7%B5%B1%E8%A8%88%E5%AD%B8%E7%BF%92-%E7%BE%85%E5%90%89%E6%96%AF%E5%9B%9E%E6%AD%B8-logistic-regression-aff7a830fb5d

機器學習的演算法:迴歸(regression)

• 趨勢

• 預測

51

Data LearningModel:

預測連續值


• 預測疫情變化

• 預測就醫人數

52

Data LearningModel:

預測連續值


• 演算法

– 線性回歸

• Linear regression

• Lasso

• Ridge

• Elastic Net

– 非線性回歸

• Regression tree

• SVR

53

機器學習的演算法:集群(clustering)

• 演算法

– Hierarchical clustering

– K-means

54http://www.csie.ntnu.edu.tw/~u91029/Classification.html

Data LearningModel:

群組化資料

機器學習的演算法:維度降低(dimensionality reduction)

• 資料壓縮– 減少記憶體與儲存空間耗用，加速學習

• 資料視覺化 (data visualization)– 例如當 features 數為 50 個時, 很難 visualize data 而

不容易瞭解 data. – 應用 dimensionality reduction 把 features 數縮減至

2 到 3 個, 則能夠以 2D 或 3D plot 來 visualize data

55

Data LearningModel:

轉化資料

https://murphymind.blogspot.com/2017/07/machine-learning-dimensionality.html

Machine Learning: Dimensionality Reduction, by Andrew Ng, Stanford University

機器學習的演算法:維度降低(dimensionality reduction)

• 例

– features有高度相關性, 可以合併為 1 個 feature

• 演算法

– Principal component analysis(PCA)

– T-SNE

56

機器學習的演算法:其他

• 推薦

• 異常檢測

• 頻繁模式探勘

• 增強學習

57

興趣 (2) –

Rabees Band

58

支援向量機 (SVM)

Support Vector Machine

59

SVM

• 分類

• 最大化分類正確度 (correctness)

• 最大化邊界寬度 (fatness)

60

SVM

• Gaussian SVM

– Complicated

– Overfit?

– 模型需要驗證再驗證

61

隨機森林(RF)

Random Forest

62

RF

• 由決策樹衍生而來

• 建立多組特徵值組合(多棵樹)，並聯學習

• 也有決策樹會過度擬合(overfit)的問題

63

深度學習

Deep Learning

64

http://spalaciob.github.io/s2snets.html

https://www.youtube.com/watch?v=WHe2SJsQ1_8

Deep NN

66NN: Neural network

Output Layer

• Softmax: normalized exponential function– 使得每一個元素的範圍都在(0,1)之間，並且所有元素的和為1

67

Training (Learning)• Loss function

68

Training (Learning)

• Total Loss愈小愈好

• 選擇演算法

• 調整Neuron參數*

69

調整參數: 梯度下降

• 困難點: 局部最低點

70

Deep Learning

• 如何決定Structure: 需逐步調整設計

– Neuron數

– Layer數

71

Shallow or Deep NN

• Fat + Shallow or Thin + Deep

72

Shallow or Deep NN

73

Example

74

Input Layer

(Data)

Hidden Layer

(NN)

Output Layer

卷積神經網路(CNN)

75

https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC5-1%E8%AC%9B-

%E5%8D%B7%E7%A9%8D%E7%A5%9E%E7%B6%93%E7%B6%B2%E7%B5%A1%E4%BB%8B%E7%B4%B9-convolutional-neural-network-4f8249d65d4f


• 影像辨識

• 聲音辨識

• AlphaGo

76


• 特性

– 局部特徵圖片較小(簡化特徵辨識)

– 某特徵可能出現在圖形不同位置

– 圖片可縮圖而不影響要辨識的物體

• 可減少第一層的neuron數

77


• 整體示意圖

78


• Convolution Layer

79


• Convolution Layer

80


• Pooling Layer

81


• Fully Connected Layer

82


• Fully Connected Layer

83


84


85http://spalaciob.github.io/s2snets.html

http://spalaciob.github.io/s2snets.html

遞歸神經網絡(RNN)

• Recurrent neural network

• Recognize patterns in sequences of data, such as text, genomes, handwriting, the spoken word, or numerical times series data emanating from sensors, stock markets and government agencies.

• Take time and sequence into account, they have a temporal dimension.

• RNN possess a certain type of memory

86

應用: 癲癇預測

87

RiskSLIM for ICU Seizure Prediction

89

RiskSLIM for ICU Seizure Prediction

90

應用: 成人注意力缺損異常篩檢

91

Overview

• Objective• Use RiskSLIM to Build the Revised ASRS for DSM-5

• Variables from DSM-IV Adult ADHD Self-report Scale

• Optimal Integer Scoring Rules

• Findings• General Population: Detect the Vast Majority of ADHD Cases

• High Specificity and PPV

• Specialty Treatment Settings: Useful Screening Tool

• Short (18→6)

• Easily Scored (0→5)

93

Method

• RiskSLIM Model

• Training Set – General Population• Household Sample: blinded, diagnostic interview via telephone survey

• 119 follow-up interviews after NCS-R (2001-2003)

• Managed Care Sample: same semi-structure via telephone survey• 218 second-survey respondents (2004-2005)

• Testing Set – Clinical Cases• NYU Langone Sample: same semi-structure

• face-to-face or by telephone

• 300 clinical sample (2014-2015)

94

Result: New Scale for Adult ADHD

96

5

5

2

4

3

5

Result: Operating Characteristics

97

V

V

SAFETY AND SECURITY

98

Definition

• Safety is the prevention of accidents

• Security is the prevention of malicious activities by people

99

天災人禍

System

• People

• Hardware

• Network

• Software

• Data

100

People

• Social engineering

– 在電腦科學中，社交工程指的是通過與他人的合法地交流，來使其心理受到影響，做出某些動作或者是透露一些機密資訊的方式。這通常被認為是一種欺詐他人以收集資訊、行騙和入侵電腦系統的行為。

101

Pure Hardware?

• Components– DRAM

– Fan

– HD

– CPU

– Power Supply

– Motherboard

• Device / System– Mobile device

– PC

– NB102

Network

103

Network

104

Network

105

Software

• 1.應用程式

• 2.背景服務程式

• 3.批次處理程式

• 4.API程式

106

Software

• 1.應用程式

– Thin-client v.s. Fat-client

107

Software

• 2.背景服務程式

– 作業系統 (OS)

– 伺服器 (server)

– 排程啟動程式 (cron)

108https://msdnshared.blob.core.windows.net/media/2017/01/servers.jpg

Software

• 3.批次處理程式

– 資料處理

– 與排程啟動程式結合

109

https://image.slidesharecdn.com/april131220dataartisanscelebi-

160425200014/95/unified-stream-and-batch-processing-with-apache-flink-7-

638.jpg?cb=1461614428

Software

• 4.API程式

– 分散式計算的解決方案

• 平行計算 /計算量分工

– SaaS (Software as a service)

• Web service

• 例: – AWS (Amazon web

services)

– Google cloud

110

Data

• Asymmetric Encryption– Key Pair: private key and public key– A與B各有一對金鑰– 若是 B 要與 A 進行通訊，則 B 必須使用 A 所提供的

public key 進行加密，再將加密的內容傳送給 A，接著A 可以用自己的 private key 進行解密

– A 要是要傳訊息給 B，則是要使用 B 所提供的 public key 進行加密，而 B 則可以用自己的 private key 進行解密

– 雖然訊息是由 public key 所加密的，但是卻無法利用public key 將原本的訊息還原回來，這就是非對稱式加密的精華所在

– 由public key 所加密的訊息，只能被private key解密– 由private key 所加密的訊息，只能被public key解密

111http://godleon.blogspot.tw/2008/01/asymmetric-encryption-symmetric.htmlhttp://www.cgi.com/files/white-papers/cgi_whpr_35_pki_e.pdf

Encryption/Decryption Principle

• Public-key encryption system

112https://www.esignit.org

Signature/Verification Principle

113Public Key Encryption and Digital Signature: How do they work?2004 by CGI Group Inc.

訊息摘要 (Message Digest)

• Message Digest 即是一段訊息的摘要，類似於 fingerprint(指紋) 的概念

• 不同的訊息所產生出來的 message digest 都不會是相同的，因此可以用來驗證訊息在傳輸的過程中是否有被竄改過

• Message Digest是以複雜的 hash function (雜湊函數) 所計算出來

114

65d5ec6518c48b6427e242402a86e84

6b2f4bcb6b507b97f26e01fb8d9ea16c6SHA256

雜湊函數 (Hash Function)

• 常用的 hash function為MD5、SHA-1、SHA-2

• 具備以下幾點特性– 演算法的設計上必須考量到計算出一段訊息的

digest的效率

– 以相同訊息進行計算，都會產生出相同digest

– 不同的訊息所計算出來的digest 必須是不同的

– 演算法的設計上必須是不可逆• 若只有digest，是無法還原成原訊息的

115

數位簽章 (Digital signature)

• 以「非對稱型密碼技術」（asymmetric cryptosystem）所製作之電子簽章

• Hash = message digest

• Signature = encrypted message digest

• Digital signature– A mechanism by which a message is

authenticated

– Proving that a message is effectively coming from a given sender, much like a signature on a paper document

116 http://godleon.blogspot.tw/2008/01/non-repudiationa-b-digital-signature.html

• Hash = message digest• Signature = encrypted message digest• Message authentication

– Hashing the message to produce a "digest" – Encrypting the digest with the private key to

produce a "digital signature"

117https://docs.oracle.com/cd/E19656-01/821-1507/aakfx/index.html

• Verify the signature– (1) computing the hash (digest) of the message

– (2) decrypting the signature with the signer's public key

– (3) comparing the computed digest with the decrypted digest

118

• Hash = message digest

• Signature = encrypted message digest

119https://commons.wikimedia.org

電子簽章

• 電子簽章（Electronic Signature）是指以電子形式存在，依附在電子文件並與其邏輯相關，可用以辨識電子文件簽署者身分及表示簽署者同意電子文件內容。

• 數位簽章（Digital Signature）則是專指以公開金鑰及私密金鑰之「非對稱型」密碼技術製作的電子簽章

• 電子簽章的製作技術除了可應用「非對稱型」的密碼技術之外，近年來生物科技（指紋、聲紋、眼紋、DNA）等用於鑑別身分的技術也正蓬勃發展中，任何的電子技術只要能符合特定的安全需求（例如能夠確保資料的完整性、鑑別使用者的身分及防止事後否認），皆可用來製作電子簽章。

• 目前數位簽章為學術界及工業界所公認最安全及最成熟之電子簽章技術，已廣泛應用於各種電子式交易，充分保障電子商務之交易安全。

120 http://www.imacat.idv.tw

電子簽章

• 電子簽章法 (民國 90 年 11 月 14 日公布)

• 用 Private Key ，針對一段資料，以 Digest Hash 演算法（如 SHA1 ）做出來的一段 Digest 摘要碼

• 只要原來的資料有所不同，演算出來的 Digest 摘要碼就會跟著變動

• 用 Private Key 做出來的 Digest 摘要碼，可以用它的 Public Key 來檢查。只要用它的 Public Key，檢查 Digest 摘要碼和那一段資料符不符合，就可以知道資料有沒有中途被竄改過，是不是這個 Private Key 當初簽的那一段資料

121 http://www.imacat.idv.tw

電子簽章

• 認證性(Authentication)、原始性 (Origin)– 數位簽章可協助確認簽章者的身分。這有助於防止他人假冒

特殊文件的建立者 (相當於書面文件上的偽造)

• 完整性 (Integrity)– 數位簽章可協助確保內容在經過數位簽署之後，未遭到變更

或竄改。這有助於防止文件在文件建立者不知情的情況下遭到攔截或變更

• 不可否認性 (Non-repudiation)– 數位簽章可協助證明所有合作對象均為簽署內容的來源。

「否認性」代表簽章者否認與已簽署內容有任何關聯性的動作。不論簽章者的聲明為何，這都可協助證明文件的建立者是真正的建立者，而非其他人。簽章者無法在不否認其數位金鑰的情況下否認該文件上的簽章，因而否認利用該金鑰簽署的其他文件

122https://technet.microsoft.com/zh-tw/library/cc545901(v=office.12).aspx

https://www.comodo.com

公開金鑰基礎建設Public Key Infrastructure (PKI)

• 藉著數位憑證認證機構(CA)將使用者的個人身分跟公開金鑰鏈結在一起

• 只要對「資料身分識別」、「交易資料完整」、「交易不可否認」或「保密」等其中之一有所需求，就可以使用PKI

• 使用公鑰憑證內的公鑰資訊加密給對方。解密時，每個使用者使用自己的私密金鑰解密，該金鑰通常被通行碼保護

123https://en.wikipedia.org/wiki/Public_key_infrastructure

應用

• Blockchain

– EHR

• 電子簽章

– 病歷

– 同意書

124

Acknowledgement2018~2019

125

Reference

• 有賀康顕, 中山心太, 西林孝: 機器學習工作現場的評估、導入與實作. 2018. 歐萊禮.

• 斎藤康毅: Deep Learning：用Python進行深度學習的基礎理論實作. 2017. 歐萊禮.

• Jake VanderPlas: Python Data Science Handbook: Essential Tools for Working with Data. 2017. O’REILLY.

• Hsuan-Tien Lin (林軒田): Quick Tour of Machine Learning.

• Hung-yi Lee (李宏毅): Deep Learning Tutorial.

126

課程資料

• 信箱:

– [email protected]

– [email protected]

• http://www.csie.ntu.edu.tw/~d93009/scholar.php

127

Thanks for Your Attention

128

資料科學的醫學運用 - 國立臺灣大學d93009/mydoc/slide/20200525...2020/05/25 ·...

Documents