우리 exo 오빠찾기 - doc.mindscale.krdoc.mindscale.kr/km/unstructured/이미지분석.pdf · 1...
TRANSCRIPT
우리 EXO오빠찾기이형일 조정원 데이터사이언스실무
This is a
03.01. 02.
우리 EXO오빠찾기프로젝트
1.Face Recognition사례소개: 안면인식과정
1 Face Recognition
엑소안면인식데모
안면인식기
1 Face Recognition
얼굴 이름인식과정
1 Face Recognition
인식 Detection
HOG 알고리즘
1 Face Recognition
인식 Detection
HOG 알고리즘
밝기가 변하는 방향만 고려
이미지의 패턴을 알수있음주변픽셀과비교해서얼마나어두운지비교
이미지가어두워지는방향으로화살표그림
1 Face Recognition
얼굴의위치교정및투영
동일한사람을다른사람으로인식
1 Face Recognition
얼굴의위치교정및투영
모든얼굴에존재하는랜드마크포인트를찾음
1 Face Recognition
얼굴의위치교정및투영
Affine Transformation
1 Face Recognition
얼굴의위치교정및투영
Face area detected in image The perfectly centered result we want
Face landmarks detected Face transformed to be as close as possible to perfectly centered
얼굴이옆으로돌아가있어도눈과입을이미지상에서대략
동일한위치에맞출수있음
1 Face Recognition
임베딩Embeddings
딥컨볼루션신경망Deep Convolutional Neural Network
128개의측정값생성
1 Face Recognition
얼굴인코딩
동일한사람이미지에대해생성한측정값은가깝게
서로다른사람이미지에대해생성한측정값은멀도록
신경망조정
1 Face Recognition
분류기 Classifier
학습얼굴과이름을매칭시킨후
선형 SVM 알고리즘으로분류
1 Face Recognition
예측Prediction
예측률 73%
2.EXO Face Recognition프로젝트소개 우리는이렇게분석했습니다.
2 EXO Face Recognition
데이터수집
장애물 1. 엑소멤버들의얼굴을구분할수가없다.
‘AI에게 EXO 오빠들의얼굴을학습시키기엔나에게안면인식장애가…’
1차데이터모으기실패
2 EXO Face Recognition
데이터수집
해결책 1. EXO의팬심
“우리에겐컴퓨터보다월등한, 멤버들별로사진들을보관해두는
수만명의엑소팬이있다.”
YOCO You Only Click Once
2 EXO Face Recognition
얼굴데이터추출
2600장에달하는 9명의멤버들 사진을 각각
학습하기 좋은형태로
사이즈변환
2 EXO Face Recognition
한장한장작업하는것은무리
앞선과정에서했던HOG 알고리즘과 Affine 변환 소환!
얼굴데이터추출
2 EXO Face Recognition
데이터보기
장애물 2. 나에대한불신‘이 사람이과연 Chen이맞을까’
바보같은해결책일일이사진이 Chen의폴더에있는지
대조해봄
2 EXO Face Recognition
CNN 모델생성및분류
2 EXO Face Recognition
...돌아가기시작
acc 73.8%val_acc 65.1%
내가인식하는것보다는나은듯한결과
2 EXO Face Recognition
결과예측
우연히고른것이정확히예측
3.Lessons learned배운점과결론 우리의삽질을공유합니다
3 Lessons learned
셔플링시도
정확도를 0.1 올리기위해영혼을판다는그길로접어들기시작
멤버한명씩차례로학습시키면쏠림현상발생
적당히섞어주기
3 Lessons learned
데이터뻥튀기
사진이컬러라서문제인가
Over-Sampling처럼Random하게적당히선명도
포화도등을바꾸면서데이터를불리고보자
3 Lessons learned
데이터뻥튀기...다시돌아가기시작
고작 5배늘린것뿐인데Acc 96.7%
Val_acc 94.3%
분석결과에만족하기엔
뭔가이상하다
3 Lessons learned
새로운고생의시작
데이터를불리고Train, Test데이터를나누고나니
미리나누고다시데이터불리기
약간변동된원본에가까운데이터가Test 데이터에도섞이는문제발생
3 Lessons learned
마지막이길...또다시돌아가기시작
Accuracy 98.1%Train data
Validation accuracy 72.3%Test data
Overfitting 과적합
3 Lessons learned
결론 컬러이미지의한계
조정해야할 PARAMETER 값이너무많아 TEST 시간과다소요
OPENFACE vs. CNN
참고 Machine Learning is Fun! Part 4: Modern Face Recognition with Deep LearningDeepFace: Closing the Gap to Human-Level Performance in Face VerificationOpenFace, Free and open source face recognition with deep neural networksOpenFace, Training a ClassifierDlib 18.6 released: Make your own object detector!OpenCV, Face Detection using Haar CascadesDlib, Real-Time Face Pose EstimationOpenCV, Affine TrasformationsFaceNet: A Unified Embedding for Face Recognition and ClusteringOpenFace, Training new neural network modelsscikit-learn, Support Vector MachinesOpenFace, Setupsocurites/ras-ulghul github projectOpenFace, Models and Accuracies
감사합니다