드라마 감성 분석을 위한 표정 인식

이찬수Computer Vision and Smart Lighting Lab

전자공학과영남대학교

목차

표정관련기존연구들 표정인식 표정추적

긍정 및 비긍정 표정 인식 얼굴검출및 정규화 정지영상표정인식

드라마 감성 분석에의 적용

논의 및 추후연구계획

인문사회 융복합 연구과제 소개연구 내용 : 일본 사회의 자기인식과 타자인식연구 방법 : 집단심상에 대한 융복합연구

연구방법

1 단계 : 웹보메트릭스 (webometrics) 방법론을 활용한 사회네트워크 파악 웹보메트릭스 방법 : 월드 와이드 웹 (World

Wide Web) 의 ‘웹 (web)' 과 계량적 분석을 뜻하는 ’메트릭스 (Metrics) 가 합성된 용어로 , 인터넷 정보와 기술의 사용을 정량적으로 분석하는 연구

2 단계 : 웹보메트릭스 (webometrics) 방법론을 활용한 정보수집

3 단계 : 수집한 텍스트의 성격에 적합한 분석방법 적용 소프트웨어를 활용한 단어빈도분석 메시지 생산자의 인지심리학적 태도 추론 이미지 테크놀로지를 이용한 영상 감성정보

분석 언어 감성 분석 및 비판적 담화분석 문자 · 영상 · 뉴 미디어 텍스트에 대한

사회문화적 (cultural studies) 분석

인문사회 융복합 연구과제

표정 관련 기존 연구표정인식 : Facial Expression Analysis using Nonlinear Decompos-able Generative Models(ICPR06)

• Manifold embedding for dynamics of facial expression

Conceptual Manifold embedding

• Multilinear AnalysisDecomposition on the

mapping space

표정 관련 기존 연구표정인식 : Facial Expression Analysis using Nonlinear Decompos-able Generative Models(ICPR06)

표정 관련 기존 연구표정추적 : Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07)

• Nonlinear shape and appearance models(NAAM)

- TPS(Thin-Plate-Spline) for Facial Appearance Warping to mean shape

- Decomposible generative models

• Combination of Global shape estimation and local deformation

- Global shape estimation based on parameter estimation of the global nonlinear model(Particle Filtering)

- TPS deformation estimation with adaptive appearance models

Video sequences (different expressions)

Shape & Appearance normalization

Nonlinear shape and appearance model

(manifold embedding & decomposition)

Global deformation and transformation

estimation(Particle filter)

Local deformation estimation

(Adaptive appearance template)

Shape acquisition(landmark points)

Video input

Data Acquisition

Normalization and learning facial motion

model

Tracking from video sequence

표정 관련 기존 연구표정추적 : Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07)

Local deformation Global deformation

Global deformation+

Local deformation

긍정 및 비긍정 표정인식연구방법 1: 얼굴검출기반 정적 (static) 긍정 / 비긍정 표정인식

• Positive/Nonpositive Facial Expression Analysis from detected static face

-Frame by Frame facial expression analysisStep 1: Face detection using boosting algorithmsStep 2: Normalization and facial feature descriptionsStep 3: Binary classification after learning from training data

분석용이미지

획득얼굴검출 인식용

특징추출 표정인식 표정인식통계분석

표정인식용학습데이터

긍정 및 비긍정 표정인식데이터셋 : MPLab GENKI-4K Dataset (http://mplab.ucs-d.edu)

• Image size, resolution, tone, expression style variations

• Various kinds of illumination, view, background, occlusion,...

- More realistic facial expression dataset compared to traditional facial expression dataset.

얼굴검출 및 정규화Preprocessing: Face detection using Adaboost and its varia-tions

• Many missing face/ many incorrect detection - Smile face: 1~2162detected face:921correct face:720. - Nonsmile face: 2163~4000detected face:688correct face:565.

total detected=1280(32%)total undetected=3720(68%)

정지영상 표정 인식표정학습 및 인식 : Raw image, LBP 등에 대하여 PCA, LDA 의 1-NN, SVM 등 적용

• Highest recognition rate by SVM with LBP features

-RBF Kernel is used for SVM- SVM shows better accuracy than PCAImage

sizeData type

PCA classi-fier

SVM classifier

32x32 raw 59.17(10) 69.78

LBP 69.72(70) 72.12

Gabor 63.06(40) 68.84

64x64 raw - 69.78

LBP 70.00(30) 71.49

Gabor - 70.56

Without eye alignment

눈동자 검출

얼굴검출을 바탕으로 눈의 위치에 대한 후보공간 구성

눈 템플릿 구성 (offline-in-tegrodifferential opera-tor 사용 )

눈 템플릿을 이용한 정밀한 위치 검출 눈후보영역

눈 템플릿

얼굴 검출 및 정규화Normalization: Face normalization based on eye location

• Face rotation alignment and face size alignment by detected eye

- Horizontal alignment by inverse rotation from the angle o the line of two eyes location. - Cropping facial area based on the distance of the two eyes locations

total detected=559+476=1035(25.9%)

total undetected = 1603+1352=2965 (74.1%)

d

2d

2.5d

정지영상 표정 인식표정학습 및 인식 : Raw image, LBP 등에 대하여 PCA, LDA 의 1-NN, SVM 등 적용

• Highest recognition rate by SVM with Gabor Filter Bank features

-SVM classification of face with feature alignment is better than face without alignment

Image size

Data type

PCA classi-fier

SVM classifier

32x40 raw 71.00(80) 70.4

LBP 70.33(55) 70.6

Gabor 68.0(80) 78.87

64x80 raw - 77.6

LBP 73.00(35) 69.5

Gabor - 79.6

With alignment

드라마 감성 분석에의 적용연구대상 : 언덕위의 구름 - 일본드라마 - 에 나타난 표정 분석

• Various lighting and camera location change-Lighting change and sun light and shadows- Camera soom and scaling and translation

• Various pose change and speaking, and blurring

- Hand pose variations and many side view, and mouse movement by speech

- Motion blurring due to fast movement

드라마 감성 분석에의 적용연구목표 : 언덕위의 구름 - 일본드라마 - 에 나타난 표정의 통계적분석

• Characteristics of frequency of each emotional state to find overall mood of the drama

- Analyze characteristics of emotional distribution in different scene and overall scene

• Characteristics of emotional flow according to stories or background of the drama scene

- Analyze characteristics of emotional flow in different in different scene and in different stage• Characteristics of the viewers’ emotional state

variations during watching the drama- Find the response of the viewers to understand their emotional

states

드라마 감성 분석에의 적용표정학습 및 인식 : 언덕위의 구름에 대한 적용

검출된 Positive 표정

검출된 Non-Positive 표정

3380 3400 3420 3440 3460 3480 3500-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

3378s-3492s

드라마 감성 분석에의 적용표정학습 및 인식 : 언덕위의 구름에 대한 적용

드라마 감성 분석에의 적용표정학습 및 인식 : 언덕위의 구름에 대한 적용

•1 초에 하나씩의 이미지를 분석하여 감정 변화가 일어나는 부분을 파악하였다•4 화의 경우에 검출된 얼굴에 대한 positive/non-positive 평가결과 (1-positive, 0-nonpositive) Positive %: 37.29-nonpositive 표정의 분포가 더 많다

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

드라마 감성 분석에의 적용표정학습 및 인식 : 언덕위의 구름에 대한 적용

검출된 Positive 표정

검출된 Non-Positive 표정

드라마 감성 분석에의 적용표정학습 및 인식 : 언덕위의 구름에 대한 적용

검출된 Positive 표정

검출된 Non-Positive 표정

드라마 감성 분석에의 적용

0 1000 2000 3000 4000 5000 6000 7000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 1000 2000 3000 4000 5000 6000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

드라마 감성 분석에의 적용언덕위의 구름에 전체에 대한 분석 : 매회에서 긍정 표정의 분포율

유년시절

청년시절

청일전쟁 러

일전쟁

영국동맹

전쟁

승리후

논의 및 추후 연구 계획• We have to check the conditions of each experiment and find the factor that important

- Eye normalization expected improve the performance a lot, but it is not

• Analysis of positive and nonpositive facial expression according to scene of the drama, or according to character of the drama

- Understand the emotions in each scene- Understand the emotional flow of each character by

combining face identification and facial expression recognition

• We have to work on dynamic facial expressions in 2D and 3D

- Measure the displacement distance of the facial motion by combination of 2D and 3D

Thank youQ&A?

Gabor Filter Bank

Modeling frequency and orientation of tex-ture similar to human visual system for edge detection

0 60

120 180

20 40 60 80

20

40

60

80

20 40 60 80

20

40

60

80

20 40 60 80

20

40

60

80

20 40 60 80

20

40

60

80