딥 러닝 기반 화재 영상 인식 기술 · 약256x256 크기컬러영상에대해분석...
TRANSCRIPT
SEOUL | Oct.7, 2016
한국전자통신연구원 이원재, 2016-10-07
딥 러닝 기반 화재 영상 인식 기술
2
목차
Machine Learning 및 Deep Learning
무인기 탑재 복합형 센서 기반의 국지적 재난감시 및 상황 대응을 위한 스마트 아이 기술 개발사업
딥 러닝 기반 화재 영상 인식 기술
3
MACHINE LEARNING
“Field of study that gives computers the ability to learn without being explicitly programmed”
- Source: Arthur Samuel, 1959
10/11/2016
화재 인식 기술
4
SUPERVISED LEARNING WORKFLOW
10/11/2016
Raw
Data
Cleaned/
scaled
Data
Training
Set
Validation Set
Model
Creation
ValidationFinalModel
Incoming New Data
Tune if needed
Training
Data Augmentation
5
TRADITIONAL MACHINE LEARNINGShallow Learning
Hand-crafted feature extractor � only a few extractors, not optimal
Simple trainable classifier
10/11/2016
Hand-crafted
Feature
Extractor
SIFT,
HOG,
…
Simple
Trainable
Classifier
SVM,
AdaBoost,
…
6
DEEP LEARNINGRepresentation-learning with multiple levels of representation
Learn both features and classifier
Learn features as a layer-wise hierarchical representation
Multiple layers of nonlinearity: more representational power
It's deep if it has more than one stage of non-linear feature transformation
10/11/2016
Layer
1
Trainable
ClassifierLayer
2
Layer
N…
Low-Level
FeatureHigh-Level
Feature
Mid-Level
Feature
7
NON-LINEAR TRANSFORMATIONSMake the classes of data linearly separable
10/11/2016Source: Y. LeCun, Y. Bengio, G. Hinton (2015). Deep Learning. Nature 521, 436-444
8
CONVOLUTIONAL NEURAL NETWORKDeep Learning Method for Image Classification
Non-Linearity: half-wave rectification (ReLU), shrinkage function, sigmoid
Pooling: max, average, L1, L2, log-sum-exp
Training: Backpropagation, Supervised (1988-2006), Unsupervised+Supervised (2006-now)
10/11/2016
Convolution Pooling Convolution Pooling
9
CONVOLUTIONBasic Usage of Convolution
To remove unimportant information from the image: Filter
To capture necessary information for given task: Feature extraction
10/11/2016
10
ImageNet Trend
10/11/2016Source: Kaiming He, Xiangyu Zhang, Shaoqing Ren, & Jian Sun. “Deep Residual Learning for Image Recognition”
11
목차
Machine Learning 및 Deep Learning
무인기 탑재 복합형 센서 기반의 국지적 재난감시 및 상황 대응을 위한 스마트 아이 기술 개발사업
딥 러닝 기반 화재 영상 인식 기술
12
스마트 아이 기술 개념무인기 기반 실시간 재난 데이터를 통한 재난 감시, 예측, 대응
10/11/2016
스마트
아이
플랫폼
상황전파/협조요청
재난현황분석/판단
재난이력/추이분석
재난정보표출
재난정보수집
실시간정보연계
위험발생감지
재난 영상
실시간
처리
재난예측
상황대응
재난감지
이종재난 데이터
(위성
, CCTV, 지상센서
)
대국민
재난정보전달
방송매체
디지털사이니지
모바일단말기
DMB
미래부
국민안전처
지방자치단체
지능맞춤형
영상/센서
정보
재난대응
정보전달
무인기/다중
센서운용
스마트아이플랫폼
국지적재난
13
스마트 아이 기술 개발 목표
기술 정의: 무인기 탑재 다중복합센서 데이터의 실시간 처리·분석을 통해
국지적 재난의 감지·예측 및 상황대응을 지원하고,
통합경보시스템과 연동하여 대국민 재난 정보 전달 서비스 제공할 수 있는 기술
비전: 각종 재난으로 부터 안전한 사회 구현
목표: 유인기·무인기의 실시간 영상/센싱자료를 통해 국지적 재난을 감시·예측하고,
재난 지역에 대한 신속·정확한 상황 파악과 대응을 지원 하는 스마트아이 기술 개발
10/11/2016
14
스마트 아이 기술 중점 추진 분야플랫폼 기술과 표준화
10/11/2016
초대용량재난영상 실
시간처리/분석무인기/다중센서운용 재난예측및상황대응 스마트아이기술표준화
•다중센서플러그인
: 5종 센서
•무인기센싱데이터와 실측데이터
간방사정확도:90%
이상
•무인기 촬영 타깃 포인팅 기하
정확도:30m미만
(고도
200m기준
)
•재난 센서 영상 판독 정확도
:70%
이상
•이종 재난데이터 소스 종류
:3종
(위성
, CCTV,지상센서
)
•재난 종류
: 3종
(산불
,국지
홍수,산사태
)
•무인기 기반 재난 감지와
대응에대한요구사항
•데이터수집
/처리 아키텍처
스마트아이플랫폼
스마트아이표준화
15
스마트 아이 플랫폼구조
10/11/2016이종(異種) 데이터
(위성, CCTV, 지상센서)
영상수집
영상보정
분산처리
영상특징점/ROI 검출
기계학습기반영상분석
다중센서영상결합분석
이종재난데이터연계분석
무인기센서영상자료
다중센서무인기
다중센서
플러그인탑재체
다중센서데이터
송수신
웹기반시각화
다중시기
재난예측
재난상황별대응매뉴얼
수집및DB 구축
통합경보시스템연동
재난감시및
정보전달
시스템구조및
인터페이스표준화
InSpace
KIT Valley
VTW
ARworks
DGIST
ETRI
영상감량
요구사항및
유즈케이스표준화
Array DBMS 기반대용량센서영상분석시스템
재난예측
시스템
웹기반시각화
시스템
통합경보연계
시스템
무인기운용
시스템
수집및
전처리서버
분석서버
Array DBMS
재난대응시나리오DB
표준화
16
목차
Machine Learning 및 Deep Learning
무인기 탑재 복합형 센서 기반의 국지적 재난감시 및 상황 대응을 위한 스마트 아이 기술 개발사업
딥 러닝 기반 화재 영상 인식 기술
17
딥 러닝 기반 화재 영상 인식 기술기술 개요
무인기와 같은 항공기에서 촬영한 정지 영상을 분석하여 산불과 같은 화재 발생 여부를인식하는 기술
약 256x256 크기 컬러 영상에 대해 분석
더 큰 영상에 대해서는 resampling이나 cropping을 통해 분석 가능
10/11/2016
18
딥 러닝 기반 화재 영상 인식 기술 특징
딥 러닝 기술(Convolutional Neural Network)을 적용하여 높은 정확도를 달성하였음.
GPU를 활용하여 빠른 인식 속도를 달성하였으며, 대량의 영상 처리가 가능함.
Overfitting을 피하고 정확도를 향상시키기 위해서 Data Augmentation, L2 Regularization, Dropout을 적용하였음.
내부 시험에서 95%가 넘는 정확도를 달성하였음.
10/11/2016
19
딥 러닝 기반 화재 영상 인식 기술 개념도Supervised Learning 기반 기술
10/11/2016
Deep convolutional neural network를 활용한 기계 학습
기계 학습
알고리즘
판단
모델판독 결과
신규 획득 영상
과거 영상
20
딥 러닝 기반 화재 영상 인식 기술 시스템 구조
10/11/2016
영상 분석 서버
영상 분석 프로세스
영상 제공 단말
영상 제공 프로세스
판정 결과 수신 서버
판정 결과 수신
프로세스
21
TRAINING DATASET
약 2만 2천장
많은 수가 동영상에서 추출된 정지 영상이라 유사한 영상들이 많음
Overfitting을 피하기 위해 Data Augmentation 수행
저고도 out-of-focus 영상 등 추가
10/11/2016
22
학습에 사용된시스템
CPU: i7-5930K
RAM: 64GB
GPU: 3 x Titan X (Maxwell)
Deep Learning Platform: NVIDIA DIGITS 3.0 (Caffe)
10/11/2016
23
AlexNet, VGGNet, GoogLeNet
10/11/2016
정확도 학습시간 초당처리영상수
AlexNet 93.1 % 3.5 시간 37.8
GoogLeNet 99.0 % 3시간 24.8
Width 줄인 GoogLeNet 96.9 % 1.5시간 28.9
VGGNet-13 86.2 % 18시간 28.3
Width 줄인 VGGNet-13 96.2 % 6시간 36.3
24
딥 러닝 기반 화재 영상 인식 기술 실행 예
10/11/2016
25
무인기를 이용한 화재 감시
10/11/2016
26
무인기를 이용한 화재 감시 CONT’D
10/11/2016
27
무인기를 이용한 화재 감시 CONT’D
10/11/2016
28
DIGITS 3.0 사용 팁
Mirror, crop으로 인해 training data가 의도와 달라질 수도
Trained model 용량이 너무 크면 다운로드 잘 안됨: /usr/share/digits/digits/jobs
/usr/share/digits/digits/model/tasks/caffe_train.py에서 weight_decay 수정 가능
10/11/2016
실제 입력은 227x227
실제 입력은 224x224
name: "GoogleNet"layer {
name: "data" type: "Data"top: "data" top: "label"include { phase: TRAIN }transform_param {
mirror: truecrop_size: 224
}data_param { batch_size: 24 }
}
