machine learning with matlabdownload.ilovematlab.cn/meetup/2018gxtu/ilovematlab_deep... · 2018....

16
1 © 2017 The MathWorks, Inc. MATLAB深度学习

Upload: others

Post on 26-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

1© 2017 The MathWorks, Inc.

MATLAB深度学习

Page 2: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

2

What is Deep Learning?

Page 3: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

3

Deep Learning

深度学习

Machine

Learning

Deep

Learning

▪ 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

▪ 深度学习实现了自动特征选取;

▪ 深度学习通常都是通过神经网络实现,其深度是指神经网络结构的层数

Page 4: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

4

利用深度神经网络进行机器学习

Input

Layer Hidden Layers (n)

Output

Layer

Page 5: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

5

深度学习典型应用

Objective DetectionSemantic Segment

Image Classification

Page 6: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

6

深度学习处理的数据类型

SignalImage

TextNumeric

Page 7: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

7

▪ 在原始数据集(e.g. images, text)上训练深度神经网络

▪ 由多个卷积层和池化层构建

▪ 消除手工的特征选取,通过层层抽象获取数据特征

卷积神经网络(Convolutional Neural Networks)

Convolution +

ReLu PoolingInput

Convolution +

ReLu Pooling

… …

Flatten Fully

ConnectedSoftmax

cartruck

bicycle

van

… …

特征学习 分类

Page 8: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

8

卷积神经网络(Convolutional Neural Networks)

“Deep” in deep learning

refers to number of layers

Page 9: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

9

Long Short Term Memory Networks

▪ Recurrent Neural Network (RNN,循环神经网络) 的一种

▪ 在整个过程中携带存储器单元(RNN)

▪ 处理序列化的问题

c0 C1 Ct

Page 10: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

10

MATLAB构建深度神经网络

▪ 构建和训练深度神经网络 – Deep Network Designer

Page 11: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

11

▪ 使用预训练深度神经网络(迁移学习)

➢ 只需要较少的数据集和训练时间

➢ 使用已有的优秀的深度神经网络模型提取特征

(list of all models)

Page 12: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

12

MATLAB 支持CPU, GPU, Multi-GPU and Clusters模型训练

Single CPU

Single CPUSingle GPU

HOW TO TARGET?

Single CPU, Multiple GPUs

On-prem server with GPUs

Cloud GPUs(AWS)

Page 13: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

13

DEMOS

Page 14: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

14

深度学习模型的部署

GPU

Coder

Deep Learning

Networks

NVIDIA

TensorRT &

cuDNN

Libraries

ARM

Compute

Library

Intel

MKL-DNN

Library

Page 15: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

15

MATLAB Deep Learning

Access Data Preprocess Select

Network

Train

Image

Acquisition

Image

Processing

Computer

Vision System

Neural

NetworkParallel

Computing

Code

Generation

Deploy

Deep Learning with MATLAB

Page 16: Machine Learning with MATLABdownload.ilovematlab.cn/meetup/2018GXTU/iLoveMATLAB_Deep... · 2018. 12. 14. · 3 Deep Learning 深度学习 Machine Learning Deep Learning 深度学习是一种机器学习,可以直接从原始的图像,文本或声音数据进行模型的训练。

16CONFIDENTIAL |© 2017 The MathWorks, Inc.CONFIDENTIAL

谢谢