basic understanding of the deep

딥러닝을 이용한 이목구비 인식 시스템

서강대학교 데이터마이닝 연구실

안재현

jaehyunahn@sogang.ac.kr

Haar Cascade Classifier

• Haar feature extraction• 2001, Viola & Jones

http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

Haar Cascade Classifier

• Haar feature extraction• 2001, Viola & Jones

http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

Haar Cascade Classifier

• Cascade Learning

http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

Strong ClassifierWeak Classifier

Haar Cascade Classifier

• AdaBoost (machine-learning meta-algorithm)

http://en.wikipedia.org/wiki/AdaBoost

Weak learner

Input

+ object in there- otherwise

Hypothesis for each sample in training set

Assigned coefficient

Features of each sample

Deep Learning (Deep Belief Net, Hinton 06)

•개념소개• Supervised Learning

• Restricted Boltzman Machine

• Stacking

Deep Learning (Deep Belief Net, Hinton 06)

• Supervised Learning• 데이터와 라벨을 같이 주는 것을 의미함

•알고리즘• Support Vector Machine(SVM)

• Hidden Markov Model(HMM)

• Artificial Neural Network(ANN)

• Bayes Classification

• PCA, MDA

Deep Learning (Deep Belief Net, Hinton 06)

• Unsupervised Learning• 일반적으로 클러스터링에 많이 사용, 라벨이 없음

•알고리즘• Deep Belief Network

• Restricted Boltzmann Machine (RBM)

Deep Learning (Deep Belief Net, Hinton 06)

• Restricted Boltzman Machines (RBMs, 1985)

An energy-based 2-layer generative model

모든 노드는 순환적이며, 한 노드는 다른 노드로부터 영향을 받음

트레이닝 세트 x에 대하여 model distribution p(x)를 트레이닝

RBMs가 “Restricted”인 이유는 같은 레이어에 대하여 connection이 없기 때문

Deep Learning (Deep Belief Net, Hinton 06)

• Boltzman Distribution

F: 확률, E: 에너지, k: 볼츠만 상수, T: 온도

물질의 에너지가 클수록 해당 입자가 존재할 확률은 줄어들게 된다. 즉, 세상은 안정된 상태로 있길 원한다는 가정이 들어가 있다.

T는 온도를 의미하고, T가 높을수록 에너지가 높은 물질도 잘 존재할 수 있게 된다.

Deep Learning (Deep Belief Net, Hinton 06)

• Energy in the Boltzman Distribution

S_i: i번째 node의 값 (0,1)Theta: i번째 node의 bias

이때 우리는 visible node 밖에 알 수 없다. Hidden node를 어떻게 구해야 할 것인가?

Deep Learning (Deep Belief Net, Hinton 06)

• Energy in the Restricted Boltzman Distribution

: 에너지가 낮을수록 확률은 높아진다

우리는 이때 node간 weight를 변형시켜, 확률을 최대로, 에너지를 최소화한다.

v: visible, h: hidden, w: weight, 두 node가 동시에 active 될 때 그 사이의 weight를 키워주는 것이 필요함

이때 우리는 hidden layer의 값을 정할 수 없으므로, 모든 경우의 수를 처리해야함 (레이어가 4개 2^4 처리)

Deep Learning (Deep Belief Net, Hinton 06)

• Stacking (RBMs)

Deep Learning (Deep Belief Net, Hinton 06)

•예제와 함께 이해해 보겠습니다

Deep Learning (Deep Belief Net, Hinton 06)

•예제와 함께 이해해 보겠습니다2

Deep Learning (Deep Belief Net, Hinton 06)

•실험