각도 특징벡터 기반의 얼굴인식 모형 871

․이 논문은 2010년도 정부(교육과학기술부)의 재원으로 한국연구재단의

기초연구사업 지원을 받아 수행된 것임(2011-0026441)

․이 논문은 2012 한국컴퓨터종합학술대회에서 ‘특징벡터를 기준으로 한

본원적 페이스큐브’의 제목으로 발표된 논문을 확장한 것임

†

††

†††

††††

종신회원

학생회원

비 회 원

비 회 원

논문접수

심사완료

:

:

:

:

:

:

인하대학교 산업공학과 교수

trinity@inha.ac.kr

인하대학교 산업공학과

jongtae.baek@gmail.com

(Corresponding author임)

인하대학교 산업공학과 교수

hwakilee@inha.ac.kr

인하대학교 의과대학 교수

ymk416@inha.ac.kr

2012년 7월 6일

2012년 8월 27일

CopyrightⒸ2012 한국정보과학회ː개인 목적이나 교육 목적인 경우, 이 저작

물의 전체 또는 일부에 대한 복사본 혹은 디지털 사본의 제작을 허가합니다.

이 때, 사본은 상업적 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처

를 반드시 명시해야 합니다. 이 외의 목적으로 복제, 배포, 출판, 전송 등 모든

유형의 사용행위를 하는 경우에 대하여는 사전에 허가를 얻고 비용을 지불해야

합니다.

정보과학회논문지: 소프트웨어 및 응용 제39권 제11호(2012.11)

각도 특징벡터 기반의 얼굴인식 모형(Face Recognition Model based on Angled Feature Vectors)

이 우 기† 백 종 태

†† 이 화 기

††† 김 영 모

††††

(Wookey Lee) (Jongtae Baek) (Hwaki Lee) (Young-Mo Kim)

요 약 본 연구에서는 얼굴에서 각도 특성을 추출하여 얼굴인식 모형으로 표현하였다. 사진에서 얼굴

방향을 부여하고, 동일인물의 다양한 사진들을 모았을 경우 각 사진들이 방향을 달리하는 통합된 얼굴인식

모형으로 표현될 수 있다. 이러한 접근법을 통해 결과적으로 매우 뛰어난 얼굴탐색이 가능해졌으며, 동시

에 방향이 조금씩 다른 모든 사진을 저장할 필요가 없으므로 저장공간이 크게 절감되는 장점이 있다.

키워드 : 얼굴인식 모형, 각도특징벡터, 주성분분석

Abstract Our approach extracts the angles from a face picture with which a face recognition

model can be established. Extracting the angle of faces from the clipped various photos can enrich the

expression of the usual feature vector models. As a result, this technique outperforms the conventional

face recognition methods, and also can save available storage a lot, because it is not necessary to store

all the slightly different angled photos.

Key words : Face Recognition Model, Angle Feature Vectors, Principal Component Analysis

1. 서 론

최근 스마트폰이나 각종 IT기기의 폭발적 증가와 함

께 개인이 소유한 사진 및 이미지 데이터 또한 기하급

수적으로 늘어나고 있다. 이러한 이미지 데이터의 과도

한 양으로 인해 저장, 검색, 비교, 분류, 제거, 대체 등

그 관리가 쉽지 않은 문제가 되고 있다. 특히 사진에서

의 얼굴 검색은 중요한 연구주제이면서 동시에 신기술

개발에 따른 사업모델이 되는 핵심주제의 하나이다.

본 연구에서는 얼굴 고유벡터의 하나로서 얼굴의 각

도를 추출한 다음, 그 집합으로서 얼굴인식모형(Face

Recognition Model)을 구축하고, 주요 특징값을 추출할

수 있는 주성분분석(PCA: Principal Component Analysis)

[1-5] 방법론을 적용하여 효과적으로 얼굴 인식 및 검

색을 수행하는 새로운 방식을 제안한다.

본 논문의 구성은 우선, 2장에서 연구동기를 밝히고,

3장에서 본 연구에서 사용하는 PCA의 관점에 대해 설

명하며, 4장 및 5장에서 얼굴인식모형을 소개한다. 그리

고 6장과 7장, 8장에서 실험과 결과제시 및 결론을 각각

맺는다.

2. 연구 동기

얼굴을 포함한 이미지 탐색 및 분석에 이용되는 대표

적인 알고리즘은 PCA에서부터 ICA(Independent Compo-

nent Analysis), LDA(Linear Discriminant Analysis)

등이 있다[6-9].

하지만 기존 연구의 문제점은 그림 1의 예제처럼 같

은 인물이지만 다른 각도 및 다른 표정의 얼굴을 잘 탐

지해내지 못한다는 것이다. 기존 연구에서는 대다수 동

일인물을 흐릿하게 만드는 Negative Entropy함수 등을

적용[7]하지만, 이러한 접근법 자체가 다른 인물과의 변

872 정보과학회논문지 : 소프트웨어 및 응용 제 39 권 제 11 호(2012.11)

그림 1 같은 얼굴, 다른 각도

별력을 떨어뜨리는 근본적인 문제를 낳는다. 이를 원천

적으로 해결하기 위한 방법의 하나로 본 논문에서는 얼

굴인식모형에 기반하여 다른 각도, 다른 표정의 인물도

정확히 탐지해내는 방법을 제안한다. 물론 본 연구에서

제안하는 개념은 기존의 PCA, ICA, LDA, Isomap 등

에 제한되지 않고 어떠한 방법론에도 적용가능하다.

3. PCA 접근법

다차원의 이미지 데이터를 포함된 정보의 손실을 가

능한 적게해서 저차원의 데이터로 축약하는 기법인

PCA는 관측대상이 어떠한 위치에 있는지 시각적으로

파악할 수 있다는 점이 장점이다[2,3]. 이에 국한되지 않

고 주성분 분석은 데이터를 개별적인 축으로 사상시켰

을 때 그 분산이 가장 커지는 축이 첫 번째 좌표축으로

오고, 두 번째로 커지는 축이 두 번째로 오는 식으로 차

례로 놓이도록 새로운 좌표계로 데이터를 선형 변환하

며, 각각의 축에 데이터의 ‘가장 중요한’ 성분을 위치시

킨다. 본 연구에서 활용한 PCA의 내용은 다음과 같다.

(1)

식 (1)과 같이 다차원의 데이터가 주어졌을 때, 이에

대하여 아래처럼 평균 식 (2)와 공분산 식 (3)을 구한다.

(2)

(3)

⋅ (4)

또한 데이터 행렬 X의 차원 저감은 식 (4)와 같이 수

행된다. 이때 W는 식 (3)에서 얻은 공분산의 상위 고유

값(eigenvalue)과 관련된 고유벡터(eigenvector)를 이용

하여 만든 변환행렬이며 이 식을 이용하여 특징 벡터를

변환하게 된다. 그 밖에도 PCA는 공분산의 고유값이

이미지영상에 대한 분산을 나타낸다는 것을 이용하여

영상처리에 사용되며, 다음과 같은 단계로 진행된다.

첫째, 이미지들의 집합을 열벡터로 변환한다. 이미지

의 크기가 × 이라고 할 때, 그것들을 ×의 열

벡터로 변환하고 식 (5)와 같이 벡터 집합을 구성한다.

(5)

둘째, 사진크기나 조도 등의 노이즈에 의해 발생하는

에러를 최소화하기 위해 설정된 평균과 분산을 기준으

그림 2 이미지 벡터의 열벡터로의 변환

로 이미지를 정규화 한다. 셋째, 평균 이미지 벡터를 계

산한다. 식 (2)를 이용하여 ×로 변환한 이미지 벡

터에 대한 평균 벡터를 계산하고, 개별 이미지 벡터와

평균 벡터와의 차를 계산한다. 넷째, 식 (3)을 이용하여

공분산을 계산하고, 고유 값과 고유 벡터를 얻는다.

4. 얼굴인식모형

개별 이용자는 자신의 스마트 기기를 이용하여 여러

장, 여러 겹의 사진을 적용하여 PCA를 이용해 평균 고

유 얼굴을 생성한 후 얼굴인식모형을 형성한다. 그림 3

처럼 형성된 사진들에 A0부터 Ak까지의 번호를 할당한다.

그림 3 A0∼A4로 할당된 얼굴인식모형

얼굴인식모형은 한 겹 이상으로 형성될 수 있으며 사

용자의 표정을 다양하게 설정하여 얼굴인식모형을 구축

할 수 있다.

그림 4 여러 겹으로 이루어진 얼굴인식모형

계산이 이루어질 때 얼굴인식모형이 여러 겹으로 이

루어졌을 경우 이용자의 얼굴의 평균을 계산하며 같은

번호에 할당된 다른 표정의 얼굴들을 학습하여 얼굴의

평균 벡터를 구하고, 얼굴인식모형(Face Model)라 한다.

각도 특징벡터 기반의 얼굴인식 모형 873

그림 5 얼굴 집합과 평균 얼굴

이런 얼굴인식모형의 장점은 첫째, 모든 얼굴을 저장

하지 않아도 되므로, 저장 공간을 획기적으로 줄일 수

있다는 점이다. 예컨대, 그림 3에서 가장 좌측의 A0와

A2를 저장하면 중간의 A1을 저장할 필요가 없다. 둘째,

기존의 얼굴 탐색 시 동일인물이지만 표정이나 각도에

따라서 다른 사람으로 인식했던 문제점을 해결할 수 있

다. 즉, 그림 3의 A0와 우측에서 두 번째 위치한 A3은

기존의 방식대로 탐색 및 인식을 진행하면 별개의 인물

로 탐색되는데 위의 얼굴인식모형으로써 개인의 얼굴에

대하여 학습을 진행하고 A0와 A3이 같은 인물인 것이

확인되기 때문에 여러 각도, 다른 표정의 얼굴도 정확히

탐색이 가능하다. 같은 인물인 것을 확인하는 방법에는

이미지 클러스터링(K-means++)[10]을 이용하여 같은

군집을 이루는 것으로 확인하는 방식을 취했다. 얼굴인

식모형을 이루는 방식의 상세한 내용은 다음 장에서 설

명한다.

5. Invariant feature vector 기반의 저장

4장에서 언급하였듯 개인 사용자의 얼굴은 최소3개에

서 최대 무한대의 개수로 얼굴인식모형에 등록할 수 있

으며 등록된 얼굴의 수가 많을수록 탐색의 정확도는 올

라간다. 하지만 저장 샘플이 늘어날수록 계산량이 많아

지는 문제점을 가지게 된다. 그러한 점을 해결하기 위해

사용자를 대표하는 얼굴 이미지들을 선정하여 적은수의

얼굴을 저장하고 나머지 얼굴은 각도벡터만을 저장한다.

새로운 얼굴이미지가 탐색되면 먼저 눈과 코, 입의 특

징점 좌표를 추출하고 왼쪽 눈과 오른쪽 입의 특징점을

연결하고 오른쪽 눈과 왼쪽 입의 특징점을 이어 얻어진

교차점과 코의 특징점을 연결하여 얼굴의 방향 및 각도

를 결정한다. 본 연구에서는 OpenCV 등의 API를 활용

했지만, 특정한 특징점 추출방법에 제한되지 않는다. 다

음으로 얼굴인식모형에 저장되어 있는 것들 중 같은 각

도를 가진 얼굴과의 비교를 진행하고, 같은 각도를 가진

그림 6 특징점을 이용한 얼굴의 각도 측정

얼굴이 저장되어 있지 않다면 최대한 유사한 각도를 가

진 얼굴과 비교하여 같은 인물인지를 탐색한다.

6. 기존 기법과의 비교

기존의 고유 얼굴(Eigen Face)을 이용하는 PCA 방식

은 각도에 상관없이 고유 벡터(Eigen Vector)를 겹쳐 놓

아서 검색실행에 있어서 비용상 이점을 얻게 되지만, 동

시에 고유 얼굴이 늘어날수록 그림 7의 오류인식의 경우

처럼 검색의 효율이 나빠지게 된다. 그 역도 성립한다.

그림 7 대량의 고유얼굴 형성에 따른 인식오류

7. 실험 및 분석

기존의 대표적인 연구들에서는 얼굴을 포함한 이미지

탐색 및 분석에서는 같은 인물이지만 다른 각도, 다른

표정의 얼굴을 잘 탐지해내지 못한다는 단점이 있어 왔

다. 그러한 점을 극복하기 위해 각도를 기반으로 그림 8

처럼 얼굴인식모형을 형성하였다. 이를 형성하기 위한

각도 선정을 위해 그림 9처럼 각도별 이미지의 유사도

를 계산한 후 급격히 유사도가 변하는 분기점을 얻어내

어 얼굴인식모형을 만들어낸다.

3D 얼굴 DB를 기준으로 30명의 다양한 인종의 그래

프를 분석한 결과 얼굴인식모형은 0°, ±15°∼25°, ±75°

∼85°에서 5개∼7개정도의 이미지를 뽑아내는 것이 적

절함을 알아내었다(그림 9 참조). 그림 10에서 정리한

바와 같이 얼굴인식모형을 형성하는 이미지들이 세분화

874 정보과학회논문지 : 소프트웨어 및 응용 제 39 권 제 11 호(2012.11)

그림 8 실제 얼굴인식모형 형성 예제

그림 9 0°를 기준으로 한 -90°∼90°와의 유사도 비교

그림 10 데이터의 수에 따른 얼굴별 탐색 성공률

(위:PCA DB, 아래:얼굴인식모형)

되어 있을수록 탐색 성공률이 높고, 고유 얼굴이 섞여있

는 PCA방식보다 얼굴인식모형을 형성하여 얼굴을 탐색

하는 것이 높은 탐색 성공률을 보인다는 것을 확인하였

다. 실험에서 사용한 DB는 3D 얼굴을 생성해주는 FaceGen

프로그램[11]을 사용하여 다양한 인종, 성별, 특징을 가

지는 인물들을 생성하여 진행했다.

8. 결 론

기존 이미지 탐색 알고리즘이 가지고 있는 근본적으

로 가지고 있는 한계 즉, 동일인물의 다른 각도, 다른

표정을 탐지해내지 못한다는 점을 해결하기 위해 이미

지를 다각형의 얼굴인식모형으로 표현하고 인물을 탐색

하는 새로운 기법을 제안하였다. 이러한 얼굴인식모형을

이용한 인물 탐색은 기존의 오류인식의 근본적인 문제

점을 해결하는 완전히 새로운 방법론임을 보였다. 본 연

구에서는 좌우 각도를 기반으로만 얼굴인식모형을 적용

하여 매우 유의한 결과를 얻었다.

추후 상하 각도, 표정 및 부분적 이미지(마스크, 머리

카락, 선글래스 등)에도 확장한 연구가 추가되어 복합적

인 얼굴인식모형 생성으로 얼굴 탐색의 정확도를 증가

시킬 계획이다.

참 고 문 헌

[ 1 ] I. Jolliffe, "Principal Component Analysis," Springer-

Verlag, 2002.

[ 2 ] K. Anandan, et al., "Evaluation of Flow-Volume

Spirometric Test Using Neural Network Based

Prediction and PCA," J. Medical Systems, vol.35,

no.1, pp.127-133, 2011.

[ 3 ] N. Halko, et al., "An Algorithm for the Principal

Component Analysis of Large Data Sets," SIAM

JSC, vol.33, no.5, 2011.

[ 4 ] O. Ruiz, et al., "Ellipse-based principal component

analysis for self-intersecting curve reconstruction

from noisy point sets," The Visual Computer,

vol.27, no.3, pp.211-226, 2011.

[ 5 ] G. Tang, A. Nehorai, "Constrained Cramér-Rao

Bound on Robust PCA," IEEE TSP, vol.59, no.10,

pp.5070-5076, 2011.

[ 6 ] A. Hyvarinen, et al., "Independent Component

Analysis," Computational Imaging and Vision,

vol.39, pp.151-175, 2009.

[ 7 ] N. Thang, et al., "Content-based facial image

retrieval using constrained independent component

analysis," Information Science, vol.181, no.15,

pp.3162-3174, 2011.

[ 8 ] C. Hsu, M. Chen, "Privacy preservation by inde-

pendent component analysis and variance control,"

CIKM, 2011.

[ 9 ] L. Kao, et al., "Efficiency measurement using

independent component analysis and data envelop-

ment analysis," EJOR, vol.210, no.2, pp.310-317,

2011.

각도 특징벡터 기반의 얼굴인식 모형 875

[10] A. David, V. Sergei, "k-means++:the advantages

of careful seeding," SODA, pp.1027-1035, 2007.

[11] FaceGen: 3D Human Faces, http://facegen.com

(2012.11)

이 우 기

1987년 서울대학교 산업공학과 학사

1993년 서울대학교 산업공학과 석사

1996년 서울대학교 산업공학과 박사

2000년 카네기멜런 Finished MSE.

2002년～2003년 University of British

Columbia, 교환교수. 현재 인하대학교

산업공학과 교수. 2004년, 2010년 한국경영과학회 최우수논

문상, 2006년～2009년 한국정보과학회 우수논문상. 2012년

한국정보과학회 우수논문상. 주요 관심분야는 모바일 웹, 그래

프 검색, 데이터웨어하우징, Enterprise Architecture 등

백 종 태

2010년 인하대학교 산업공학과 학사

2011년～인하대학교 산업공학과 석사과정

주요 관심분야는 Image Search, Skyline,

Social Network 등

이 화 기

1977년 서울대학교 원자핵공학과 학사

1981년 Texas A&M대학교 산업공학과

석사. 1984년 Texas A&M대학교 산업

공학과 박사. 현재 인하대학교 산업공학과

교수. University of California, Irvine

초빙교수를 역임했고, 그동안 한국경영과

학회지, Journal of Mechanical Science and Engineering,

International Journal of Precision Engineering and

Manufacturing 등에 논문을 게재해왔다. 주요 관심분야는

생산 및 물류분야의 일정계획 최적화, 시스템 시뮬레이션 등

김 영 모

1982년 연세대학교 의학. 1988년 연세대

학교 의학석사. 1991년 연세대학교 의학

박사. 1994년～1995년 UCLA 연수. 2004

년～현재 인하대병원 이비인후과 교수