deepcheck, 딥러닝 기반의 얼굴인식 출석체크

딥러닝 기반의 얼굴인식 알고리즘을 활용한 출석체크 어플리케이션

DeepCheck

SW Maestro 7th

DeepCheckSoftWare Maestro 7th

SW Maestro 7th Machine Learning/Deep Learning목차

DeepCheckSW Maestro 7th 2

1. 프로젝트 소개 2. 기술 설명Face Recognition2. 기술설명Face Detection 3. 사업화

SW Maestro 7th Machine Learning/Deep Learning1. 프로젝트 소개DeepCheckSW Maestro 7th 3


SW Maestro 7th Machine Learning/Deep Learning문제점

Jessica CleoAlan

Erin FelixGeorge Hailey

Kiara

출석누락

대규모 강의출석을 했음에도 불구하고누락되어 출석이 되지 않는 문제

인원이 많은 수업일 경우일일이 출석을 부를 수 없는 문제

SW Maestro 7th Machine Learning/Deep Learning문제점 & 솔루션


대리출석대답만으로 출석을 하게 됨으로써 타인이 대신 출석을 하는 문제

수업지연이름을 하나하나 부름으로써 수업이 늦게 시작되는 문제

7

a

강의 플랫폼으로서발판 마련여러 수업을 관리할 수 있는강의 관리 플랫폼으로서성장 가능성을 증가

공지사항 , 댓글 , 출석 확인기능 등 다양한 기능을제공하여 수업관리 기능 제공

수업과 관련한다양한 기능 제공빠른 출석으로수업의 효율성 증가많은 시간을 소비했던출석을 빠르게 함으로써수업 시간을 증가시킴

Face-DetectionFace-Recognition얼굴을 감지하고 , 인식하는 알고리즘을 개발하여출석체크에 사용

SW Maestro 7th Machine Learning/Deep Learning목표


W1 2W 3 4 5 6 7 8 9 10 11 12

Project Hand-Off2016/11/24

Production

Project Approval9/5/2016

Customer DevelopmentKaggleCoursera(Machine Learning)CS231n(Deep Learning)YOLOVGG NetPythonRuby On RailsDeepcheck HackathonSWMAP Hackathon 2 Week

5 Week

4 Week

5 Week

5 Week

6 Week

3 Week

8 Week

5 Week

6 Week

Wrap up 2 Week

10/1/2016 11/1/2016

SW Maestro 7th Machine Learning/Deep Learning프로젝트 일정


SW Maestro 7th Machine Learning/Deep Learning2. 기술 설명DeepCheckSW Maestro 7th 10

승승승 vs 이세돌

4 승 1 패 , 2016 년 3 월vs 판후이

5 승 0 패 , 2015 년 10 월vs 인공지능 바둑 SW

494 승 1 패

SW Maestro 7th Machine Learning/Deep Learning딥러닝


ImageNet Large Scale Visual Recognition Competition (ILSVRC)28.2%

25.8%

16.4%

11.7%

7.3% 6.7%3.6%

error(%)

human performance

SW Maestro 7th Machine Learning/Deep LearningILSVRC


SW Maestro 7th Machine Learning/Deep Learning딥러닝 - DeepMind


JessicaCleo

AlanErin

FelixGeorge Hailey

Kiara

Face Detection Face Recognition

SW Maestro 7th Machine Learning/Deep Learning딥러닝으로 풀어야 하는 기술적인 과제


SW Maestro 7th Machine Learning/Deep Learning2. 기술 설명 - Face DetectionDeepCheckSW Maestro 7th 15

6 BUSINESS & ENTERTAIMENT

기술설명

얼굴에는 다양한 정보가 담겨 있음 기계 학습을 이용하면 특징들을 통해 얼굴을 찾을 수 있음

SW Maestro 7th Machine Learning/Deep LearningFace Detection

SW Maestro 7th Machine Learning/Deep Learning2. 기술 설명 - Face Detection 시연DeepCheckSW Maestro 7th 17

Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li. Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks. IEEE Signal Processing Letters, vol. 23, no. 10, pp. 1499-1503, 2016. Rajeev Ranjan, Vishal M. Patel, Rama Chellappa. HyperFace: A Deep Multi-task Learning Framework for Face Detection, Landmark Localization, Pose Estimation, and Gender Recognition. ArXiv report, 2016. (legend: HyperFace) Huaizu Jiang and Erik Learned-Miller. Face Detection with the Faster R-CNN. ArXiv report, 2016. (legend: Faster RCNN) Yunzhu Li, Benyuan Sun, Tianfu Wu, Yizhou Wang. Face Detection with End-to-End Integration of a ConvNet and a 3D Model. European Conference on Computer Vision (ECCV), 2016. (legend: Conv3D) Jiahui Yu, Yuning Jiang, Zhangyang Wang, Zhimin Cao, Thomas Huang. UnitBox: An Advanced Object Detection Network Arxiv report, 2016. (legend: UnitBox) Shaohua Wan, Zhijun Chen, Tao Zhang, Bo Zhang, Kong-kat Wong Bootstrapping Face Detection with Hard Negative Examples Arxiv report, 2016. (legend: Xiaomi Inc.) MXNet, open source code and models, 2016. (legend: mxnet)

WIDER dataset

FDDB dataset

SW Maestro 7th Machine Learning/Deep LearningFace Detection


https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html

https://kpzhang93.github.io/MTCNN_face_detection_alignment/index.html

http://arxiv.org/abs/1603.01249



https://arxiv.org/abs/1606.00850

https://arxiv.org/abs/1606.00850



http://arxiv.org/abs/1608.02236v1

http://arxiv.org/abs/1608.02236v1

https://github.com/tornadomeet/mxnet-face#face-detection

빠른 실행 속도실시간 인식이 사용할 수 있고 , 학습에 걸리는 시간 또한 빠름

확장성비교적 간단한 구조를 가지고 있어 수정이 용이함 .Redmon et al, “You Only Look Once:Unified, Real-Time Object Detection”, arXiv 2015

SW Maestro 7th Machine Learning/Deep LearningYOLO(You Only Look Once) 1


격자를 세밀하게 조절하여 더 많은 얼굴 찾아내기


7X7 11X11DeepCheckSW Maestro 7th 20

이미지를 반전시켜 두번 예측한 뒤그 결과를 합침



겹치는 박스를 하나로 합침



SW Maestro 7th Machine Learning/Deep LearningFace Detection 결과


SW Maestro 7th Machine Learning/Deep Learning2. 기술 설명 - Face RecognitionDeepCheckSW Maestro 7th 25


기술설명

? ? ??

?

SW Maestro 7th Machine Learning/Deep LearningFace Recognition?


기술설명

Ally Tom SophiaJimmy

Rooney

SW Maestro 7th Machine Learning/Deep LearningFace Recognition?

SW Maestro 7th Machine Learning/Deep LearningImage Recognition

AlexNet

BN-AlexNetBN-NIN

GoogleNetResNet-18

VGG-16VGG-19

ResNet-34ResNet-50

ResNet-101

Inception-v350

55

60

65

70

75

80

ImageNet ChallengeCategory: Image Recognition

Top-1 a

ccurac

y [%]

VGGNetVERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(2015), https://goo.gl/s9RxJk

AlexNetImageNet Classification with Deep Convolutional Neural Networks(2013), https://goo.gl/43DShn

GoogleLeNet & InceptionGoing Deeper with Convolutions(2014),https://goo.gl/ASrDqV

ResNetDeep Residual Learning for Image Recognition(2015), https://goo.gl/JWO6JW


7.1%7.9%

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(ICLR 2015)

SW Maestro 7th Machine Learning/Deep LearningVGG Net


ensemble

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION(ICLR 2015)

SW Maestro 7th Machine Learning/Deep LearningVGG Net


높은 성능Image Recognition 에서 높은 성능을 자랑하는 VGG 를 기반으로 한 모델

단일 모델소프트웨어 마에스트로에서 제공하는 하드웨어 제약상 앙상블이 시간적으로 불가능하기 때문에 단일 모델은 필수 !

검증된 모델다양한 얼굴 데이터셋을 바탕으로 테스트한 결과 높은 정확도를 보장

Deep Face Recognition, Omkar M. Parkhi, Andrea Vedaldi, Andrew Zisserman BMVC 2015

SW Maestro 7th Machine Learning/Deep LearningVGG Face


SW Maestro 7th Machine Learning/Deep LearningVGG Face - Data Augmentation

Original Flip Rotate & Shift & Color Shift


SW Maestro 7th Machine Learning/Deep LearningVGG Face - Hungarian Method


SW Maestro 7th Machine Learning/Deep LearningFace Recognition 결과


SW Maestro 7th Machine Learning/Deep Learning2. 기술 설명 - 서비스 적용 기술DeepCheckSW Maestro 7th 35

SW Maestro 7th Machine Learning/Deep LearningWorkFlow웹모바일 딥러닝

HW

SW

회원가입 , 숏링크 등 Face Detection, Face Recognition


앱 설치과정 간소화별도의 설치 과정 없이 클릭 한 번으로 설치 가능

앱의 버전 관리배포를 여러번 반복하더라도 버전 관리가 가능

앱스토어와 동일한 환경에서 테스트동일한 환경이기 때문에 테스트 이후에 바로 배포 가능

릴리즈 간소화테스트하는 버전으로 바로 배포 가능

SW Maestro 7th Machine Learning/Deep LearningTest Flight


테스트 리스트 밤샘 테스팅

SW Maestro 7th Machine Learning/Deep Learning테스트


SW Maestro 7th Machine Learning/Deep Learning3. 사업화DeepCheckSW Maestro 7th 39

앱으로 과제를제출하여과제 확인 가능

과제 제출

위키스타일로Q&A 를 만들어답변을 찾기 쉬움

질의 응답

온라인 상에서학생들의 의견을주고받을 수 있음

토의

수업에 사용됐던강의 노트들을공유 가능

강의 노트

공지사항을 올려모든 학생들이확인할 수 있음

공지 사항

SW Maestro 7th Machine Learning/Deep Learning벤치마크


40

40

$6M$1M$15M $2M $1M$3M

SW Maestro 7th Machine Learning/Deep Learning펀딩 상황국내 스타트업과펀딩 상황 비교


StanfordUniversity

MITUniversity

HarvardUniversity

University of Texas at DallasCaltech

Columbia University

Illinois Institute of Technology

University of Washington

이외 1,500 개의 대학

SW Maestro 7th Machine Learning/Deep LearningPIAZZA 를 사용하는 학교


Basic Regular Professional Ultimate학생 수 10 20 30 unlimited

이미지 용량 1 GB 5 GB 10 GB unlimited질의 응답 기능과제 제출 기능

지원 여부

Free ₩9,900 ₩19,900 ₩29,900

SW Maestro 7th Machine Learning/Deep Learning수익 모델


http://www.companyname.com/bargain

http://www.companyname.com/business

http://www.companyname.com/commerce

http://www.companyname.com/infinity


20 명 이하 21~30 명 31~40 명 41~50 명 51~60 명 61~80 명 81~100 명 101~200명

201 명 이상

전문대학 69,465 88,283 80,983 26,760 4,739 1,729 700 302 118대학 260,502 132,134 104,345 66,098 38,469 30,792 9,486 8,792 2,509총계 329,967 220,417 185,328 92,858 43,208 32,521 10,186 9,094 2,627

일반대학 교육대학 산업대학 기술대학 방송통신 각종학교 원격대학 사이버대학 사내대학여 848,423 10,892 10,616 29 143,739 2,099 546 65,298 133계 2,113,293 15,967 44,679 103 214,347 3,489 1,080 111,924 308

전문대학 기술대학 각종학교 원격대학 사이버대학 사내대학 전공대학 기능대학여 290,941 1 5 1,556 3,516 54 6,839 2,132계 720,466 19 9 2,195 5,604 474 11,763 28,873

대학과정 학생 수 [ 교육통계연보 ( 한국교육개발원 ), 2015]

전문대학과정 학생 수 [ 교육통계연보 ( 한국교육개발원 ), 2015]

학생 규모별 강좌 수 [ 공시정보 ( 대학알리미 ), 2016]

SW Maestro 7th Machine Learning/Deep Learning시장 규모



제품명 Deepcheck CampusNote Classup Timespread

회사명 Deepcheck 농협 PLOKia J CONNECT

수익구조 Freemium free free free

자동 출석체크출결관리

고객 유입 방식 숏링크 앱스토어 앱스토어 앱스토어

SW Maestro 7th Machine Learning/Deep Learning경쟁사


서비스 대상 지역 확장다국어를 지원하여국내 뿐만 아닌해외로 지역 확장

대용량 서버 확보대량의 트래픽을견딜 수 있는서버 증설

어플리케이션 기능 추가실시간 Q&A 형식의질의응답 시스템 ,시간표 기능 추가 등

알고리즘의 인식률 개선인식률을 개선하여더 많은 강의에서사용할 수 있도록 개선

국내 주요 대학 적용주요 학교에서시범적용하여국내로 확장

SW Maestro 7th Machine Learning/Deep Learning향후 전략 및 계획


SW Maestro 7th Machine Learning/Deep Learning전문가 리뷰


감사합니다SW Maestro 7th

DeepCheckSW Maestro 7th

deepcheck, 딥러닝 기반의 얼굴인식 출석체크

Software