深度學習(deep learning)概論- 使用 sas em 實做

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

ENTERPRISE MINER DEEP LEARNING

WITH PYTHON WORKSHOP


NOTE FOR SPEAKER 環境設定

• 本教學專案檔EM_Deep_Learning_Tutorial請放至於C槽底下，否則會有路徑

設定的問題

• 教學前強烈建議環境必須先設定好

1. JAVA(含程式語言本身與環境變數)

2. Python(含程式語言本身與環境變數)

3. SAS JAVA binding

• 設定請參考 C:\EM_Deep_Learning_Tutorial\Tutorial\環境設定用\環境設

定.pptx

• 環境測試

• 請直接執行C:\EM_Deep_Learning_Tutorial\EM_Deep_Learning中my_flow_1的模型

比較

• 如果可以執行，代表環境有設定成功

• 如果不能執行，又沒有時間找出問題: 請改成使用my_flow_2進行教學，跳過python的

demo


• What is Deep Learning

• 分類問題介紹

• 資料採礦工具Enterprise Miner(EM)介紹

• 資料採礦流程SEMMA介紹

• 分類模型建置

• Q&A

Agenda


WHAT IS DEEP

LEARNING目標

• Wikipedia: Deep learning (deep structured learning, hierarchical learning or

deep machine learning) is a branch of machine learning based on a set of

algorithms that attempt to model high-level abstractions in data by using

multiple processing layers, with complex structures or otherwise, composed

of multiple non-linear transformations

• Deep learning並不是解決特定問題的方法，而是試圖去model data中的概念


WHAT IS DEEP

LEARNING起源

• 人腦是採分層的方式在進行認知

• 以人看到物體為例，當人在看到人臉時

大腦會先認出臉的邊(edge)

再認出臉的輪廓(object part)

接著再認出整個臉(object model)

• 這樣的認知過程，是一個不斷的進行迭代，抽象的過程

• Deep Learning受到人腦運作模式的啟發，模仿人腦的運作過程來進行學習

圖片來源：ANDREW NG

圖片來源：ANDREW NG


WHAT IS DEEP

LEARNINGDEEP LEARNING架構 & 困境

• Deep Learning可以說是多層(multi-layer)的

neural network

• 每一層由許多的神經元(節點)組成，象徵著人

腦一個層次的學習

• 上一層的學習效果將會影響到下一層

• 然而經過一層又一層的學習，抽象化的結果代

表資訊必然會流失，因此訓練過程中，我們會

希望這些資訊的流失能夠受到掌控

• 然而掌控的代價就是訓練模型時的複雜度太高，

要將model訓練出來需要耗費的時間相當大

• 此外由於層跟層之間都是數字

因此要解釋deep learning的model也是相當困

難的

Input

Layer

Hidden

Layer

Output

Layer


WHAT IS DEEP

LEARNING突破 & 熱潮再起

• 突破: 過去就有Neural Network，為何現在又紅起來呢?

• 過去的Neural Network受到訓練複雜度的影響，都是淺層(少數層次)間的訓練

• 然而，2006年時，由於新的訓練演算法的提出，大大降低了訓練複雜度

這才使得深層的訓練變得實際

• 熱潮再起

• 2012年，Google建立了含10億個節點的深層網路，在只輸入了大量圖片且未加入任何

人工標示的情況下，系統辨識出了人臉，以及貓

• 2016年，Google Alphago擊敗了韓國的圍棋大師李世乭

• Deep Learning由於優異的應用效果，因此被大量的應用在各個領域上

• Ex: computer vision, automatic speech recognition, natural language processing, audio

recognition and bioinformatics … etc.







• Q&A

Agenda


分類問題介紹 SUPERVISED LEARNING PROBLEM

• 分類問題是一種監督式學習問題(Supervised

Learning Problem)

• 監督意即學習時必須要有正確答案或稱標籤(label)

• Feature Extraction

• 而在進行學習時，我們還必須要知道輸入的資料

的特徵(feature)

• EX 香蕉是黃的，尾端有黑色的蒂

太陽花是黃的，中間有花蕊

• 在有了資料，label，feature之後，實際幫我

們進行分類的角色即為分類器(classifier)

• 藉由這些feature，分類器便能夠知道，有黑色蒂

的是香蕉，有花蕊的是太陽花

• 而這時，黃色就是一個對分類幫助不大的feature

香蕉太陽花


分類問題介紹藉由DEEP LEARNING來進行圖片分類

• Feature Extraction的困難點

• 一張圖片我們若要拿來產生feature，通常來說，我們不太會使用”末端的蒂”，或是”中

心有花蕊”來當作feature

• 對於一張圖片，我們通常會想用數字去表達他

• 目前用來表達圖片的feature很多，有的看色彩分布，有的看紋路走向

• 然而這些方法都有些缺點，因此如何善用這些feature相當的吃重經驗

• Feature Extraction with Deep Learning

• Deep Learning可以使用的應用很多，其中一個

即是更自動的產生data(ex 圖片)的feature

• 因此，如下圖假如輸入一張圖片的各個pixel值

我們可以拿各個神經元(ex. h1 ~ h4)中的值

來當作一張圖片的feature

Input

Layer

Hidden

Layer

Output

Layer

h1 h2 h3 h4

(0,1,255,…214,…210)

32

32

Pixel Representation

R: 32X32

= 1024

G: 32X32

= 1024

B: 32X32

= 1024

(0.99,-0.72,0.55,0.88)

h1 h2 h3 h4

Extracted Feature by

Deep Learning


分類問題介紹分類流程

• 因此，對於一個分類的問題，我們通常會有以下幾大步驟

Data Collection

Preprocessing

Feature Extraction

Classification

收集要分析的資料

對資料進行調整，像是去除品質不好的資料雜訊的處理遺失值的處理…

產生資料的feature

建立分類的模型

Evaluation 進行效果的評估







• Q&A

Agenda


資料採礦工具

ENTERPRISE

MINER(EM)介紹

SAS EM採礦流程

• SAS Enterprise Miner(EM)是一個資料採礦工具

• EM不僅可以進行分類問題的處理，還可以對各種類型的問題進行處理

• SAS EM對於常見的分析流程切出了5大採礦流程

Data Collection

Preprocessing

Feature Extraction

Classification

收集要分析的資料

對資料進行調整，像是去除品質不好的資料雜訊的處理遺失值的處理…

Sample

Explore

Modify

Model

Assess

產生資料的feature

建立分類的模型

Evaluation 進行效果的評估

SAS EM 5大採礦流程


SAS®

ENTERPRISE

MINER™

INTERFACE

功能表及捷徑圖示


SAS®

ENTERPRISE

MINER™

INTERFACE

專案管理區


SAS®

ENTERPRISE

MINER™

INTERFACE

屬性設定區


SAS®

ENTERPRISE

MINER™

INTERFACE

屬性說明區


SAS®

ENTERPRISE

MINER™

INTERFACE

流程工作區


SAS®

ENTERPRISE

MINER™

INTERFACE

流程


SAS®

ENTERPRISE

MINER™

INTERFACE

節點


SAS®

ENTERPRISE

MINER™

INTERFACE

SEMMA工具


SAS®

ENTERPRISE

MINER™

MODEL DEVELOPMENT PROCESS

Sample Explore Modify Model Assess


SAS®

ENTERPRISE

MINER™

MODEL DEVELOPMENT PROCESS

Utility Applications Time Series


SAS®

ENTERPRISE

MINER™

HELP







• Q&A

Agenda


資料採礦流程SEMMA介紹

SEMMA METHDOLOGY

• Sample

• Mining a representative sample instead of the whole volume reduces

the processing time required

• Explore

• Searching for unanticipated trends and anomalies in order to gain

understanding and ideas

• Modify

• Imputing missing values, transforming variables, and filtering outliers

to focus the model selection process

• Model

• Allowing the software to search automatically for a combination of data

that reliably predicts a desired outcome

• Assess

• Evaluating the usefulness and reliability of the findings from the

process


SAS®

ENTERPRISE

MINER™

SEMMA IN ACTION – REPEATABLE PROCESS


MODEL

DEVELOPMENT SEMMA METHDOLOGY

ample

xplore

odify

odel

ssess


MODEL


ample

xplore

odify

odel

ssess

Descriptive Statistics

Exploratory Plots


MODEL


ample

xplore

odify

odel

ssess

Outliers Filtering

Missing Values Imputation

Data Transformations

discretization, categorizations, events

(quantity of values reduction)

log transformations (skewness reduction)

standardization/normalization (seasonality

reduction)

Select and reduce numbers of variables


MODEL


ample

xplore

odify

odel

ssess

Frequent modeling techniques

Regression

Neural Network

Decision Tree


MODEL


ample

xplore

odify

odel

ssess

Assess - ROC


MODEL


ample

xplore

odify

odel

ssess

Assess – Lift Chart


MODEL


ample

xplore

odify

odel

ssess

True Positive False Negative

False Positive True Negative

Buyers Non Buyers

Predicted

Bu

yers

No

n B

uyersA

ctu

al

A B

C D

Assess - Misclassification

正確性(A+D/All)

捕捉率(A/A+B)

預期回應率(A/A+C)







• Q&A

Agenda


SCENARIO

INTRODUCTION目標 & 流程

• 接下來，我們將會使用圖片資料來進行二元分類模型的建置

• 流程

1. 新增專案

2. 讀取資料

3. 使用Deep Learning來產生Feature

4. 探勘feature

5. 建立分類器

6. 比較各分類器的效果


SCENARIO

INTRODUCTIONTHE CIFAR-10 DATASET

• The CIFAR-10 is labeled subsets of the 80 million tiny images dataset. They

were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.

• http://www.cs.toronto.edu/~kriz/cifar.html

• The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes.

• 我們將只使用dataset中的1000張automobile(label=1)以及airplane(label=0)圖

片來進行2元的分類

• 由於Dataset只有python,matlab,

binary的格式

• 因此我們將使用python來進行

資料格式的轉換，讓EM可以

讀取資料

http://people.csail.mit.edu/torralba/tinyimages/

http://www.cs.toronto.edu/~kriz/cifar.html


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



1.新增專案開啟EM & 建立新專案


1.新增專案建立資料館


1.新增專案指定資料館路徑與名稱


1.新增專案完成資料館建立


1.新增專案建立資料來源


1.新增專案選取資料

1

2

3

4


1.新增專案完成資料選取


1.新增專案表格資訊


1.新增專案中繼資料顧問選項


1.新增專案檢視資料變數設定


1.新增專案建立樣本


1.新增專案資料來源特性


1.新增專案確認各項設定，完成新增資料


1.新增專案建立流程圖


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



2.讀取資料設定節點

1 將資料直接拖曳到流程圖


2.讀取資料設定節點

1 將”SAS程式碼”與”中繼資料”

直接拖曳到流程圖

2 將流程接上


2.讀取資料執行節點並設定資料

1

2

3


2.讀取資料設定資料

1. 將Label的

• 角色設為”目標”，告訴EM我們想預測誰

• 層級設為”二元”，告訴EM我們要做二元的預測

2. 將前5列以下的列選起來，將角色設為”拒絕”

• 這樣我們將只會拿這4個pixel來進行feature extraction

• 由於使用Deep Learning進行feature extraction相當花

時間，因此為了課程的流暢，我們這邊先拿小的資料

進行訓練


2.讀取資料點選SAS程式碼，並開啟程式碼編輯器


2.讀取資料編輯程式碼

請打開Tutorial裡的”EM執

行python_code.txt”並全

選複製貼上到這邊


2.讀取資料執行EM，讓EM去執行PYTHON讀取檔案，並將檔案回傳給EM

• 由於Dataset只有python,matlab,

binary的格式

• 因此我們讓EM透過python來進行

資料格式的轉換，並將結果自動

的回傳給EM1

2

點選中繼資料

3


2.讀取資料設定資料

1. 將Label的

• 角色設為”目標”

• 層級設為”二元”

2. 將前5列以下的列

選起來，將角色設

為”拒絕”

3. 將Label以外的層級

新增為”間隔”


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



3.使用DEEP LEARNING

來產生FEATURE

新增節點

1

3 2請注意! 如果EM無法透過Python

將資料讀取的話，可以直接使

用”DATA_BATCH_1”即可



來產生FEATURE

編輯程式碼

• 請打開Tutorial裡的” EM執行

DeepLearning_code”並全選複製

貼上到這邊

• 關於程式碼的細節，請參考

1. Tutoral下的neural.pdf

2. 或

http://support.sas.com/documenta

tion/onlinedoc/miner/em43/neural.

pdf



來產生FEATURE

產生FEATURE

1

2


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



4.探勘FEATURE 增加探勘用節點


4.探勘FEATURE STAT EXPLORER

Stat Explorer可以快速的幫我們產

生資料的各種敘述性統計

1

3

2

4


4.探勘FEATURE 觀看最有價值的變數與卡方分布


4.探勘FEATURE 圖形勘查

圖形勘查可以讓我們快速的檢視

資料

1

2

3


4.探勘FEATURE 檢視資料


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



5.建立分類器資料分區

將資料進行分區，可以讓我們把部分

資料拿來訓練/建立model，其餘的用

來驗證model


5.建立分類器建立分類器


5.建立分類器建立決策樹

決策樹是一個容易訓練，並適合拿來

解讀資料的分類器，缺點則是較容易

over fitting


5.建立分類器觀看結果


5.建立分類器 CONFUSING MATRIX

預測結果

結果 = 0 結果 = 1

原始類別

目標 = 0 A(預測正確) B(預測錯誤)

目標 = 1 C(預測錯誤) D(預測正確)

結果 = 0 結果 = 1

目標 = 0 206 30

目標 = 1 108 107

• 對於二元分類問題我們可以從幾種方向去看分類的效果如何

• 準確率: (A+D) / (A+B+C+D)

• 然而若是D很大，A很小，準確率依然還是很高，因此若要細看各類分的效果如何，我

們應該更仔細的去看目標百分比與結果百分比

• 0:

• 目標百分比(precision): A/(A+C) = 206/(206+108) = 0.656051

• 結果百分比(recall): A/(A+B) = 206/(206+30) = 0.872881

• 1

• 目標百分比(precision): D/(B+D) = 107/(30+107) = 0.781022

• 結果百分比(recall): D/(C+D) = 107/(108+107) = 0.497674


5.建立分類器建立迴歸

迴歸藉由畫出一條最貼近資料分

布的線來描述資料


5.建立分類器觀看結果


分類模型建置

1. 新增專案

2. 讀取資料


4. 探勘feature

5. 建立分類器



6.比較各分類器的效果開始模型比較


6.比較各分類器的效果模型比較


6.比較各分類器的效果觀看結果







• Q&A

Agenda

深度學習(deep learning)概論- 使用 sas em 實做

Technology