etri_v08

1

� � � � � � � � � � � � � � � � � � ��

� � � � � ! " � # $ % & ' ( � # ) * + , $ - . /0 � �

1 � �

2 3 4 5 6 7 8 9 4 : ; 7 4 < 5 = 7 8 > ; 7 > ? @ 6 7 8 A 4 < B 4 @ B 8 ; C 2 @ C 9 4 ; 7 4 D

3 4 5 6 8 7 E @ ; D 4 < : ; D > > < F ; A 8 < > ; 9 4 ; 7

김종현(Kim, Jong-Hyoun)

계원디자인예술대학 게임웨어과 교수

2009 지식경제부 전략기술개발사업 과제번호 의 위탁과제 최종보고서( :10032132)

5

과제 개요 및 목표과제 개요 및 목표과제 개요 및 목표과제 개요 및 목표1111

1.11.11.11.1 개요개요개요개요공간 혁명의 한 축인 가상공간의 확대는 경제 사회 문화 전반에 걸쳐 새로운 지평, ,을 확장하고 있다 토니스콧 감독의 년 영화 데자뷰 에서 다루었던 평행우주. 2007 ｢｣수없이 나눠진 우주 속에 지금의 또 다른 내가 하나씩 다 존재하고 있다는 것 의 첫( )사례가 가상공간에서 적용될 가능성이 높아지고 있다 소위 세상이 도래. multiverse하고 있는 것이다 인간은 다수의 가상세계와 유일한 현실세계가 공존하는 확장세계.에서 살아가야 한다 세계간의 간극을 제거하고 하나의 공간으로 하게 만드. seamless는 매개체로 기술이 적용될 수 있다 현실세계와 동일한 방법으로 가상세계에 접AR .근할 수 있는 인터페이스로 가 적극적으로 응용될 수Tangible User Interface(TUI)있다 과 는 세계간의 접점에 위치되어 가상의 오브제를 현실로 가져오며 역으. AR TUI로 현실의 오브제를 가상으로 투영한다 객체와의 상호작용을 제공하는. seamless와 공간적으로 표현을 제공하는 의 특성을 융합하는 인터페이TUI seamless AR TAR스는 다음과 같은 설계 원칙을 준용한다TUI .가상 콘텐츠를 조작할 실질 콘트롤러의 이용� 공간에서의 상호작용 기법의 지원3D� 시간 및 공간상의 동시적 상호작용(simultaneous)� 요구되는 기능과 의도적으로 제작된 객체와의 일치� 다중 참여자의 협업 허용� 다중 손 상호작용의 지원(multi-handed)� 다중 객체의 병렬 행위의 지원�본 과제는 현실 및 가상세계 상호 인터랙션을 위한 제반 기술을 연구 개발한다.인터페이스를 지향하는 본 연구는 공존 세계의 원활한 상호 인터랙션을 위해 다TAR음의 가지 조건을 전제한다 본 과제가 개발하고자 하는 멀티버스 인터랙션 기술은4 .본인이 명명한( ) TIME(Tangible, Indistinguishable, Mutually understandable,을 충족해야 한다Extractive) .1. TTTT 인간과 가상 또는 실질 오브제와의 상호 인터랙션을 위한 매개체는 현실에서angible :의 그 수단이 동일 또는 유사 해야 하며 그 매개체는 만져서 또는 다른 감각을 통해 느( ) ( )낄 수 있는 실체적 또는 그렇다고 인지할 수 있는 수단이어야 한다( ) .


6

2. IIII 현실로 투영되는 가상의 오브제는 현실의 그것과 이질적으로 보이지ndistinguishable :않도록 모양 움직임 색상 등이 자연스러워야 한다 그것은 형태로 존재하며 인간의, , . 3D시각과의 거리 높이 방향 등에 따라 다르게 보여야 한다, , .3. MMMM 현실세계에 투영된 가상의 오브제는 인간과 상호 대화하고utually understandable :서로의 행동을 이해할 수 있어야 한다 상호 이해를 위한 프로토콜 및 인터페이스가 제공.되어야 한다.4. EEEE 가상세계의 임의의 오브제는 개체별로 선택 추출되어 현실세계로 이동 가능xtractive : ,해야 한다 이동된 오브제는 가상세계에서의 행동 및 모습과 동일한 행태를 가져야 한다. .1.21.21.21.2 목표 및 일정목표 및 일정목표 및 일정목표 및 일정

과제 목표과제 목표과제 목표과제 목표1.2.11.2.11.2.11.2.1본 연구는 실내 환경에서 가상세계의 임의의 오브제를 선택 추출하여 그 객체를 현실에 투영하고, , ,그 객체와 의사소통하여 그 결과를 실시간으로 가상세계에 반영할 수 있는 멀티버스 인터랙션 기술및 인터페이스를 개발하는 것을 목표로 한다.과제 목표의 효과적 달성을 위한 주요 과제 내용은 다음과 같다.1. 개발할 인터랙션 기술을 효과적으로 표현하고 테스트할 기반 소규모 게임의 기획 디3D ,자인 구현 개월, (12 )2. 가상 오브제의 선택 추출 투영 및 투영 개체와의 대화를 위한 인터페이스 및, , Tangible프로토콜의 설계제작 개월(6 )3. 기반 개체 투영 기술 개발 개월Marker (13 )4. 인식 및 기술 구현 개월Finger silhouette hand gesture tracking (13 )5. 개발 기술의 주관 기관 구현 플랫폼에의 이식 및 통합 개월(3 )


7

구분 개발 내용 개발 범위제 개발1 개발할 인터랙션 기술을 효과적으로표현하고 테스트할 기반 소규모3D게임의 기획 디자인 구현, , 게임 시나리오 작성 및 기획배경 및 캐릭터 스케치배경 및 캐릭터 모델링3D게임 프로그래밍 구현개발 와의 통합2,3,4제 개발2 가상 오브제의 선택 추출 투영 및 투, ,영 개체와의 대화를 위한 인Tangible터페이스 및 프로토콜의 설계 가상 오브제 선택 및 투영 프로토콜 정의설계/투영 개체와의 대화 프로토콜 정의설계/제 개발3 기반 개체 투영 기술 개발Marker 및 코드 분석ARTookit OSGART마커 디자인 및 제작마커 인식 알고리즘 구현개체 알고리즘 구현Registration개체 알고리즘 구현Calibration개발 결과 반영2제 개발4 인식 및Finger silhouette hand기술 구현gesture tracking 관련 기술 서베이 알고리즘 구현Finger Silhouette알고리즘 구현Hand Tracking통합 최적 알고리즘 구현개발 결과 반영 및 개발 과의 연계2 3제 개발5 개발 기술의 주관 기관 구현 플랫폼에의 이식 및 통합 개발 결과의 이식 및 통합3개발 결과의 이식 및 통합4과제 개발 일정 및 결과물과제 개발 일정 및 결과물과제 개발 일정 및 결과물과제 개발 일정 및 결과물1.2.21.2.21.2.21.2.2과제 개월 김 종현+ (17 ) : 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2009/10~2011/02(17 )1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17주요 과제 1주요 과제 2주요 과제 3주요 과제 4주요 과제 5


8

주요 과제 개월 김 종현 이 희정 김 수지+ 1 (12 ) : , , 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2009/12~2010/11(12 )1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물게임 시나리오 작성 및 기획 기획서배경 및 캐릭터 스케치 스케치 이미지배경 및 캐릭터 모델링3D 모델링 데이터게임 프로그래밍 구현 프로그램 코드과제 와의 통합2,3,4 메시지 플로우다이어그램 및설명서주요 과제 개월 김 종현+ 2 (6 ) : 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2010/01~2010/06(6 )1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물가상 오브제 선택 및 투영 프로토콜 정의서 콘티XML , ,인터페이스 스케치투영 개체와의 대화 프로토콜 정의서 콘티XML , ,인터페이스 스케치


9

주요 과제 개월 김 종현+ 3 (13 ) : 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2009/10~2010/10(13 )1 2 3 4 5 6 7 8 9 10 11 12 13 결과 산출물및 코드 분석ARTookit OSGART마커 디자인 및 제작 스케치, mockup마커 인식 알고리즘 구현 알고리즘 및 코드개체 알고리즘 구현Calibration 알고리즘 및 코드개체 알고리즘 구현Augmentation 알고리즘 및 코드과제 결과 반영2주요 과제 개월 김 종현 안 정호+ 4 (13 ) : , 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2009/11~2010/12(13 )1 2 3 4 5 6 7 8 9 10 11 12 13 결과 산출물관련 기술 서베이 알고리즘 구현Finger Silhouette 알고리즘 및 코드알고리즘 구현Hand Tracking 알고리즘 및 코드통합 최적 알고리즘 구현 알고리즘 및 코드과제 결과 반영 및 과제 연계2 3주요 과제 개월 김 종현 안 정호 최 창락+ 5 (3 ) : , , 월별 세부 수행 계획단계별 구분 연구기간 월 개월( ) : 2010/12~2011/02(3 )1 2 3 4 5 6 7 8 9 10 11 12 결과 산출물과제 결과의 이식 및 통합3 연계 프로토콜 규약서과제 결과의 이식 및 통합4 연계 프로토콜 규약서


10

1.31.31.31.3 시스템 개요시스템 개요시스템 개요시스템 개요

그림[ 1 개발기술의적용예시도]


11

그림 개발시스템의물리적구성도[ 2]


12

그림 개발시스템의논리적구성도[ 3]


13

관련 연구 동향관련 연구 동향관련 연구 동향관련 연구 동향2222

마커 기반 증강현실마커 기반 증강현실마커 기반 증강현실마커 기반 증강현실2.12.12.12.1마커기반 기술은 가상 객체를 증강할 위치의 인식과 카메라의 자세 추정을 위하여흑백 이미지의 정사각형 마커를 주로 사용한다.

그림[ 4 비추적데이터검출용도의마커예시]

그림[ 5 객체추적에사용되는마커예시]ARToolKit[1]은 검은 색의 정사각형 테두리 내부에서 임의 형태의기호로 마커를 구분한다. ARTag[2]는 이전보다 조명에 강건하고 내부 패턴 인식의 정확도를 높이기위하여 마커 내부를 디지털 패턴으로 생성하였다 이와 같은 흑백 이미지 형태의 마.


14

커 시스템은 증강 현실을 쉽게 구현할 수 있지만 실제의 환경이 흑백보다는 다양한색상으로 구성되어 있기 때문에 쉽게 어울리지 않는 단점이 있다. Colorcode[3]는 흑백의 차원 바코드를 네 가지 색상을 이용한 차원 사각형 코드로 확장하였다 이것1 2 .은 색상과 명도 차를 이용하여 코드를 인식하는 것으로 증강현실용으로 사용하는 것이 가능하며 흑백 이미지의 마커보다 실제 환경에 자연스럽다는 장점이 있다 하지만.여전히 내부의 패턴이 인식을 쉽게 하기 위한 디지털 패턴이므로 사용자가 어떤 의미의 마커인지 인식하기 어렵다 또한 기존의 흑백이나 컬러 이미지 마커인 경우 증강.할 대상과 분리된 상태에서 사용되는데 이는 시선이 대상물과 마커로 분리되어 몰입감을 떨어뜨리게 된다.

그림[ 6 기법 원이미지 에지찾기 그룹세그먼트 유효코드가있는사각형] ARTag (a) (b) (c) (d)


15

ARToolkit ARTag조명 및 가림에의 강건함 약함 강건함마커 못 참는 경우 대등 대등마커 없는 데 찾는 경우 상대적 많음 상대적 적음마커 분별력ID 상대적 낮음 상대적 높음추적 속도 마커 수가 적은 경우 빠름 마커 수가 많은 경우 빠름구별 마커의 수 개 마커2002 무한 단 마커 충돌 사용자 책임( , )마커 제공 시스템 제공 사용자 정의마커 크기 대등 대등

표[ 1 과 비교] ARToolkit ARTag

한편 적외선을 이용하여 마커를 보이지 않게 하거나, [4] 마커 위에 주변과 비슷한텍스처를 입혀 마커를 숨기는 연구[5]도 진행되었다.그림[ 7 빛과가림에의강건성] (a-b)ARToolkit (c)ARTag


16

그림[ 8 텍스처를입혀마커숨기기]처리 과정처리 과정처리 과정처리 과정2.1.1 ARToolkit2.1.1 ARToolkit2.1.1 ARToolkit2.1.1 ARToolkit은 마커의 인식 추적 그리고 마커에의 객체 투영을 위해 개의 좌표축ARToolkit , 4관찰 스크린 축 카메라 축 내부 스크린 축 마커 축 시스템을 정의(coordinate)- , , , -한다.

그림[ 9 좌표시스템] ARToolkit


17

마커 좌표로부터 카메라 좌표로의 회전 과 이동 은 다음과 같(rotation) (translation)은 매트릭스를 적용한다.

그림[ 10 마커와카메라와의관계 회전과이동] :카메라 좌표로부터 내부 스크린 좌표로의 원근적 투영 은(perspective projection)다음과 같은 매트릭스를 적용한다 여기서 는 카메라 파라미터이다. , C .

그림[ 11 카메라와내부스크린과의관계 원근적투영] :평면 사각형인 내부 스크린과 휘어짐이 있는 관찰 스크린과의 뒤틀림을 보정하기위한 이미지 뒤틀림 파라미터는 다음 식을 적용하여 구한다(distortion) .


18

그림[ 12 내부스크린축과관찰스크린축과의관계]한편 마커 좌표로부터 카메라 좌표로의 이동 메트릭스, (Tcm 는 다음과 같은 반복)과정을 통해 최소 오차를 찾는 최적화 방법으로 구해질 수 있다.

그림[ 13 오차최소화를찾는반복과정식]위에서 계산된 원근적 투영 매트릭스와 뒤틀림 파라미터를 이용하여 카메라 교정이 이루어지고 이를 위해 은 다음과 같은 구조체를(calibration) ARtoolkit ARParam갖고 있다.typedef struct {

int xsize, ysize; // image size

double mat[3][4]; // perspective projection matrix

double dist_factor[4]; // distortion parameter

} ARParam;

마커리스 증강현실마커리스 증강현실마커리스 증강현실마커리스 증강현실2.22.22.22.2


19

마커리스 증강현실 시스템은 가상객체를 실환경에 실시간으로 통합하여 실세계3D와 상호작용하게끔 함으로써 사용자의 인지를 향상시킨다 마커리스 접근법은 전통적.인 인위적 마커를 사용하지 않고 에지 광류 텍스처(edges), (optical flow), (texture)와 같이 현실에 존재하는 모습을 추적하여 가상 객체를 투영하는 방법으로 그림 14와같이 크게 모델 기반 방식과 모션 구조 기반 방식으로(Structure from Motion, SfM)분류할 수 있다[6] 모델 기반 방식에서는 객체 추적이 이루어지기 전에 실세계에 대.한 지식이 획득되어 객체의 모델로 저장되고 카메라의 방향을 추정하는데 사용된3D ,다 이에 반하여 기반 방식은 카메라로부터 입력되는 프레임을 통해서 카메라의. SfM방향이 사전 정보 없이 추정 된다[7].

그림[ 14 마커리스 추적방식] 3D모델기반 방식모델기반 방식모델기반 방식모델기반 방식2.2.12.2.12.2.12.2.1모델 기반의 방식은 비 모델 방식에 비해 단순하나 모델로 저장된 객체만이 가시,영역에 있을 때에 추적 된다는 단점이 있다 모델 기반방식의 또 다른 장점으로는 가.려짐이나 충돌 현상과 같은 가상 객체와 실제 객체간의 상호 작용이 가능하다는 점이다 모델 기반 기술은 객체 추적 속성에 따라 현재 자세 를 추정하기 위해 이전. (pose)의 자세를 활용하는 회귀적 추적 방식(recursive) [8][9]과 이전 결과 값의 반영 없이현재의 검출 값에 의해서만 자세를 계산하는 탐지 에 의한 추적 방식(detection) [10]으로 분류된다 더불어 추적에 사용된 특징 에 따라 실세계 이미지 에지 정보와. (feature)객체의 뼈대 모형을 정합 해서 카메라 자세를 추정하는 에지 기반3D (match) (edge) ,


20

객체를 추적하기 위해 이미지 상에 투영된 객체의 상대적 이동으로부터 추출된 시간적 정보를 활용하는 광류 기반 추적 대상 이미지의 질감 을(optical flow) , (texture)고려하는 텍스처 기반으로 상세 분류된다 회귀적 추적 방식은 추적을 수행하기 위해.현재 자세에 대한 추정이 필요한데 추정을 위해 에지 광류 텍스처와 같은 특징을 활, ,용한다 감지에 의한 추적 방식은 초기 추정이 없이 모형을 감지한다 회귀적 방식에. .비해 느리며 모형 데이터를 준비하기 위해 오프라인 처리과정이 필요하다.

그림[ 15 모델기반마커리스기법분류]회귀적 추적 방식 에지기반회귀적 추적 방식 에지기반회귀적 추적 방식 에지기반회귀적 추적 방식 에지기반2.2.1.1 :2.2.1.1 :2.2.1.1 :2.2.1.1 :카메라의 방향은 이미지의 에지 정보와 객체의 모델의 에지를 정합함으로써 추3D정할 수 있다 이러한 객체 정합은 객체의 모델을 로 투영시킨 에지 정보와 카. 3D 2D메라로부터 입력 받은 객체의 에지정보간의 차이가 최소가 되는 형태로 이루어진다.이러한 객체 정합을 하기 위해서는 초기에 객체의 위치와 방향에 대한 사전 정보가있어야 한다 이러한 초기화 작업은 수작업으로 이루어진다 초기에 결정된 객체의 위. .치와 방향 정보는 다음 프레임의 모델정보로 사용한다 에지기반 객체 추적은 객. 3D체 추적에 있어서 가장 처음으로 사용된 방법이고 복잡도가 낮아 계산상으로 효율적,이고 구현하기가 비교적 쉬운 장점이 있다 그렇지만 에지기반 방식은 거울에 비치는.객체 잡음 그림자 및 빠르게 카메라가 이동 했을 경우에 성능이 떨어지는 단점이 있, ,


21

다 에지 기반 추적 방식은 이미지에서 강한 변화를 갖는 부분을 찾아 객체 추적에 사.용하는 점 샘플링 방법과 명시적으로 에지를 추출하는 방법이 있다(point sampling) .명시적 에지 추출방식은 점 샘플링방식보다 더 강력하나 선분을 사용함으로써 다각,형객체에만 적용 가능하여 모든 객체에 일반화하여 적용하기는 무리가 따른다 일반.적으로 점 샘플링방식이 에지 추출 방식보다 효율적이다.점 샘플링 방식점 샘플링 방식점 샘플링 방식점 샘플링 방식2.2.1.1.12.2.1.1.12.2.1.1.12.2.1.1.1점 샘플링 방법은 추적 객체의 에지를 따라 샘플링된 통제점 들과 이(control point)미지 객체의 대응점을 찾아 그 차가 최소가 되는 방향으로 점 추적이 이루어진다 점.샘플링 방법에 의해서 수행되는 첫 번째 작업은 정합 단계에서 통제점 선택이다 이.전 추정 위치와 방향에 근거해 모델의 에지가 결정이 되고 그 에지에 속하는 점, 3D ,들만이 통제점으로 결정된다 통제점이 선택이 되고 나면 통제점은 카메라 방향 추정. ,에 의해 이미지 위에 투영된다 영상 내에 있는 객체들의 에지는 축 방향으로 그. x, y레이디언트 방법에 의해서 결정된다 이미지 에지 내에 있는 점들과 정합을 하기 위.해서는 이미지 에지 내에 있는 대응점들을 찾아야 하는데 대응점을 찾기 위한 방법,으로 투영된 통제점 근처에 있는 대응점들을 탐색 방법에 의해서 찾는 것이다 투영.된 통제점에 대응하는 대응점을 찾는 것이 바로 객체 추적이 되며 객체의 위치들이,결정되어 카메라의 방향을 계산할 수 있다.

그림[ 16 점샘플링방식의실시간추적]명시적 에지 추출 방식명시적 에지 추출 방식명시적 에지 추출 방식명시적 에지 추출 방식2.2.1.1.22.2.1.1.22.2.1.1.22.2.1.1.2


22

명시적 에지 추출방법은 허프 변환과 같은 선분 검출 연산자를 이용하여 에지를 추출한다 모델이 이전에 추정된 카메라의 방향을 이용하여 투영된다 투영. Wireframe .된 에지와 영상의 에지를 정합하여 현재의 카메라의 방향을 계산한다 에지의 정합에.는 에지 속성의 거리를 기반으로 한다 예를 들면 에지선분은 중간점의Mahalanobis .좌표 와 회전각 그리고 선분의 길이 이 주어질 때, cx, cy , l , X = (cθ x, cy 로, , l)θ표현된다 모델 선분의 속성 벡터. Xm과 추출된 에지 선분의 속성벡터 Xd가 주어지면Xm과 Xd의 거리는Mahalanobis d = (Xm - Xd)T(Λm + Λd)-1(Xm - Xd 로 계산된다) .여기서 Λd는 Xd의 공분산 행렬(covariance matrix), Λm은 모델 선분의 공분산 행렬이다.

그림[ 17 명시적에지추출방식을이용한추적]회귀적 추적 방식 광류기반회귀적 추적 방식 광류기반회귀적 추적 방식 광류기반회귀적 추적 방식 광류기반2.2.1.2 :2.2.1.2 :2.2.1.2 :2.2.1.2 :공간 정보를 이용하는 에지기반 방식과 달리 광류기반 방식은 시간적 정(temporal)보를 활용한다 시간적 정보는 이미지 상에 투영된 객체 이동의 상대값으로부터 추출.된다 수동으로 초기화 한 후에 와 에 캡쳐된 프레임사이의 광류가 계산된다 그. , t t+1 .리고 시각 에서 투영된 모델의 점들 중 어느 점이 시각 에서 여전히 나타날 지를t t+1


23

알고리즘이 결정한다 이 점들의 시간에 따른 이동량 즉 속도가. , KL(Kanade-Lucas)알고리즘[11]을 사용하여 계산되며 카메라의 이동을 추정하는데 사용된다, .

그림[ 18 광류기반의얼굴추적]시간에 따른 누적 효과에 의해 광류에 의한 추적은 연속적인 프레임에서의 방, 3D향이 부드럽게 변화하도록 한다 그러나 광류에 의한 방식은 순차적 방향 추정에 의.해 발생하는 오차가 누적되어 카메라 교정의 참값에서 벗어나게 한다 또한 광류에, .의한 방식은 조도의 변화와 카메라의 급격한 이동에는 강인하지 못하여 추적 오차를유발하며 초기화를 다시 해야 하는 단점이 있다 이러한 단점을 극복하기 위해 광류, .기반과 에지기반을 조합[12]하거나 텍스처 기반과 광류기반을 조합[13]하는 연구가 이루어지고 있다.

그림[ 19 광류기반과텍스처기반기법의조합]회귀적 추적 방식 텍스처 기반회귀적 추적 방식 텍스처 기반회귀적 추적 방식 텍스처 기반회귀적 추적 방식 텍스처 기반2.2.1.3 :2.2.1.3 :2.2.1.3 :2.2.1.3 :


24

텍스처 기반 객체 추적방법은 이미지 위에 나타난 텍스처 정보를 이용하는 방법으로 템플릿 정합 방법 과 관심점 기반 방법(template matching) (interest point based)두 가지가 있다 템플릿 정합 방법은 객체들의 고정된 이동을 얻기 위해 참고. (rigid)이미지에 왜곡 모델을 적용하기 위해 적용된 방법이다 관심점 기반 방법은 광류[5].기반 방법과 유사하다 즉 지역 특징 정보를 이용하지만 탐색과 추적을 돕기 위해 텍. ,스처 정보를 고려한다.템플릿 정합 방식템플릿 정합 방식템플릿 정합 방식템플릿 정합 방식2.2.1.3.12.2.1.3.12.2.1.3.12.2.1.3.1템플릿 정합 방법은 특징 기반 정합방법과는 달리 전역적 정보를 이용하여 지역특징들에 의해서 모델화하기 어려운 복잡한 패턴을 다룰 수 있는 능력이 장점이라 할수 있다 편차평방화 기법이라고도 불리는 템플. (Sum-of-Square-Difference, SSD)릿 정합 방식은 해당 이미지 영역과 참조 템플릿과의 최소차를 유지함으로써 객체 인식 및 추적에 사용한다 근본적으로 이 방법은 템플릿을 목표 영상으로 승격시키는.함수의 매개 변수를 찾음으로서 객체 추적이 이루어진다 이를 위해 알. Jacobian KL고리즘을 이용하는 데 이것은 조도 부분적인 겹침 추적에 약점을 갖고 있다 이, , 3D .러한 단점을 극복하고자 접근 방식, Inverse Composition(IC) [14] 및 Efficient최적화 방식Second-order Minimization(ESM) [15]이 제안되었다.

그림[ 20 부분템플릿에 및 방식을적용한템플릿정합] IC ESM관심점 기반 방식관심점 기반 방식관심점 기반 방식관심점 기반 방식2.2.1.3.22.2.1.3.22.2.1.3.22.2.1.3.2관심점 기반 방법은 가림 및 조도 문제에 효과적으로 대(occlusion) (illumination)응하기 위해 지역 특징정보를 고려한다 한정된 이미지 픽셀을 정합하는 것이 계산의.복잡도를 줄이고 응용프로그램의 성능을 향상시키기 때문에 관심점 기반 기술은 이,


25

미지의 지역 텍스처를 찾고 그것을 카메라 자세 추정에 정합시키는 방법에 집중한다.시간 지체 현상 이나 떨림 현상 을 줄이기 위해 키프레임 개(drift) (jitter) (keyframe)념이 도입되기도 한다[16].

그림[ 21 개의다른카메라자세로부터생성된키프레임] 3일단 키프레임이 생성되면 첫 번째 카메라의 자세를 알아내야 하는 데 이것을 수동또는 자동화된 프로세스[17]를 통해 정의될 수 있다 이후 현재 프레임에 가장 가까운. ,키프레임을 찾아감으로써 추적이 시작된다 이 과정은 방법을. Mahalanobis distance사용하여 모든 키프레임 자세와 마지막 자세를 비교하는 것이다 이 과정에서 현재.프레임과 선택된 키프레임과의 자세를 일치시키기 위해 키프레임 이미지에 호모그래피 가 적용된다(homography) .관심점 기반 추적은 단순한 객체에서 복잡한 얼굴의 추적까지 광범위하게 적용될수 있다 이 추적 방법은 가림막의 존재나 조도 스케일 백그라운드의 변화에도 상당. , ,히 안정하다고 평가되고 있다.그림[ 22 관심점기반방식을이용한상자및얼굴의추적]


26

감지에 의한 추적 방식 에지기반감지에 의한 추적 방식 에지기반감지에 의한 추적 방식 에지기반감지에 의한 추적 방식 에지기반2.2.1.4 :2.2.1.4 :2.2.1.4 :2.2.1.4 :에지기반 기법은 일련의 실이미지 내의 객체를 감지하기 위해 추적되는 객체로부터에지 정보를 이용한다 일반적으로 고변화도 를 나타내는 점을 추출하. , (high gradient)여 모형 에지와 정합한다 최대수의 정합 에지를 갖는 자세가 현재 자세로 간주된다. .뷰 기반뷰 기반뷰 기반뷰 기반2.2.1.4.12.2.1.4.12.2.1.4.12.2.1.4.1뷰 기반 기법은 모형 에지와 정합되는 현재 프레임 에지를 찾는다 모형 에지는 오.프라인 훈련 단계에서 처리된 후 향후 보다 빠른 정합을 위해 저장된다 오프라인 단.계에서 객체의 삼각 모형이 각 면의 노말 벡터에 근거하여 컬러화된다 한 면 컬, 3D .러의 각 컬러 요소 는 문제가 되는 면의 노말 벡터의 축 를 각각(R, G, B) (X, Y, Z)참조한다 이러한 방법으로 해당 이미지에서 측정된 에지 진폭이 두 이웃 면 사의. ,각과 직접적으로 관련한다3D .

그림[ 23 뷰기반결과]감지에 의한 추적 방식 텍스처 기반감지에 의한 추적 방식 텍스처 기반감지에 의한 추적 방식 텍스처 기반감지에 의한 추적 방식 텍스처 기반2.2.1.5 :2.2.1.5 :2.2.1.5 :2.2.1.5 :에지가 아닌 텍스처 특성을 이용하는 텍스처 기반 기법은 고 반사 계수를 갖는 객체의 추적에 약점이 있다.키포인트 기반키포인트 기반키포인트 기반키포인트 기반2.2.1.5.12.2.1.5.12.2.1.5.12.2.1.5.1


27

키포인트는 회전 스케일 조명 변화 환경에서도 인지될 수 있는 의미 있는 점을, , 2D뜻한다 이러한 관련 정보는 키포인트와 연관된 고차원 식별자로 저장된다 따라서. . ,오프라인 단계가 필요하고 추적 과정에 현재 프레임으로부터 정보가 추출되어 오프라인 데이터와 정합이 시도된다 그 후 최대수의 정합과 응집되게 함으로써 현재 자세. ,가 계산된다 다음의 순서대로 오프라인 단계가 진행된다. .� 추적 대상 객체의 모형이 주어지면 합성 장면으로부터 몇 개의 키프레임이3D ,뽑아진다 이러한 키프레임은 객체의 모든 면을 커버해야만 하는 데 그렇지 못.한다면 해당 부분은 추정 과정에서 인식되지 못한다.� 각 키프레임에 대해 키포인트 추출 알고리즘 예( , SIFT[18] 이 적용된다 각 키) .포인트에 대해 모형 포인트가 대응한다 모든 키포인트가 정합 과정에 사용3D .되기 위해 최종적으로 적용된다 정합을 위한 탐색 속도를 빠르게 하기 위해. ,키포인트 표식자를 배열하는 구조로 키포인트가 저장된다kd-tree .� 이 시점에서 이미지 정보는 더 이상 필요하지 않다 이제 키포인트가 이미지에.의해 그룹화된다.오프라인 데이터가 로 정리되면 객체가 추적될 수 있다 온라인 추적 과정kd-tree .은 추출 정합 자세 추정의 순을 따른다 카메라가 현재 프레임을 포착하면 그 이미, , .지에 대해 키포인트가 추출된다 이러한 새로운 키포인트가 오프라인 데이터와 정합.되어야만 하기 때문에 오프라인 과정에서 사용된 방법이 이때 사용된다 정합 과정은.현재 프레임으로부터 추출된 각 키포인트에 대해 오프라인 데이터를kd-tree방식으로 탐색Best-Bin-First [19]한다 탐색 결과 개의 최소거리 이웃 점을 찾아진. 2다 최소거리 이웃과 현재 키포인트와 정합 여부를 검증하기 위해 의 비. dist0 / dist1율이 한계값 에 적용된다 여기서 과 은 개의 최소거리 이웃과(treshold) . , dist0 dist1 2현재 키포인트와의 유클리디안 거리이다 만약 비율이 한계값보다 크다면 그 키포인.트와 최소거리 이웃은 정합된 것으로 확정된다.


28

그림[ 24 키포인트정합]정합 집합이 정해진 최소수에 도달하면 현재 자세를 계산할 수 있다 그렇지 않다.면 추적 실패로 간주된다, .한편 키포인트 기반 방식의 약점을 보완하기 위해 템플릿 기반 방식을 조합하는 기,법이 연구되고 있다[20][21].모델 기반 방식 평가모델 기반 방식 평가모델 기반 방식 평가모델 기반 방식 평가2.2.22.2.22.2.22.2.2에지기반 기법은 추적 객체가 다각형 정반사 형태이거나 객체가 뚜렷한, (specular)외곽선을 가질 때 보다 안정적이다 카메라 이동 변위가 크지 않으며 일정한 빛 환경.에서의 질감을 갖는 객체 추적은 광류 기반 기법이 유효하다 광류 기반 기법의 적용.이 힘들다면 텍스처 기반 기법이 최대의 해법이다 질감 객체가 평면이라면 템플릿.정합 방법이 좋은 결과를 나타내며 그렇지 않다면 관심점 기반 기법을 이용하는 것이좋다 키포인트 기반 기술은 현재 프레임 정보에만 의존하여 자세를 추정하면 약간의.떨림이 존재하는 데 시간적 정보를 함께 이용하면 이 문제를 완화시킬 수 있다 뷰 기.반 기술은 높은 정확도를 보이지만 목표 객체의 회전 및 스케일 범위가 제약되어 있다는 단점이 있다.


29

그림[ 25 모델기반방식추적기법비교]모션 구조 기반모션 구조 기반모션 구조 기반모션 구조 기반2.2.32.2.32.2.32.2.3모션 구조 기반 방식은 추적되는 영상에 대해 사전 모델 정보를 이용함 없이 실3D시간으로 영상의 기하학적 구조를 다른 수준으로 복원할 수 있는 방법이다 오프라인.학습 과정이 필요하지 않아 기 정의되지 않은 환경에도 적용가능 하지만 구현 과정이매우 복잡하다는 단점이 있다 이 방법들은 카메라의 모션과 영상의 기하학적 구조를.추정할 수 있는데 실시간으로 영상화면의 구조를 임의의 좌표 체계로 표현할 수, 3D있는 방법으로 로봇틱 분야에서 사용되는 정형화된 SLAM(Simultaneous방법으로 방식이 있다Localization and Mapping) MonoSLAM [22] 또한 실시간으로. ,재구성을 하기 위해서 컴퓨터 비젼 분야에서 사용되는3D SfM(Strucutre from방식으로 방식이 있다Motion) Real-time SfM [23].


30

그림[ 26 실시간] SfM


31

제 개발 게임 기획 디자인제 개발 게임 기획 디자인제 개발 게임 기획 디자인제 개발 게임 기획 디자인3 1 : &3 1 : &3 1 : &3 1 : &

게임 시나리오 및 기획게임 시나리오 및 기획게임 시나리오 및 기획게임 시나리오 및 기획3.13.13.13.1


32


33


34


35


36


37

배경 및 캐릭터 디자인배경 및 캐릭터 디자인배경 및 캐릭터 디자인배경 및 캐릭터 디자인3.23.23.23.2


38


39


40


41


42


43

모델링모델링모델링모델링3.3 3D3.3 3D3.3 3D3.3 3D표[ 4 손모델링]


44

동영상http://www.youtube.com/watch?v=SmgtRLvtjfg표[ 5 워킹모델링]


45


46

동영상http://www.youtube.com/watch?v=vTmSDCDSNro

표[ 6 스케이팅모델링]


47


48


49동영상http://www.youtube.com/watch?v=Y83iIKamBPE

표[ 7 점핑모델링]


50


51


52


53


54


55


56


57


58

제 개발 인터페이스 및 프로토콜의 설계제 개발 인터페이스 및 프로토콜의 설계제 개발 인터페이스 및 프로토콜의 설계제 개발 인터페이스 및 프로토콜의 설계4 2 : Tangible4 2 : Tangible4 2 : Tangible4 2 : Tangible

4.1 XML Schema : interface.xsd4.1 XML Schema : interface.xsd4.1 XML Schema : interface.xsd4.1 XML Schema : interface.xsd

<?xml version="1.0" encoding="EUC-KR"?>

<schema xmlns:xsd="http://www.w3.org/2001/XMLSchema"

targetNamespace="http://www.kaywon.ac.kr">

<element name="interface">

<complexType>

<sequence>

<element ref="instance" minOccurs="1" maxOccurs="unbounded" />

</sequence>

<complexType>

</element>

<element name="instance">

<complexType>

<sequence>

<element name="name" type="string" />

<element name="description" type="string" />

<sequence>

<attribute name="id" type="string"/>

<attribute name="status" default="on">

<simpleType>

<restriction base="string">

<enumeration value="on"/>

<enumeration value="off"/>

</restriction>

</simpleType>

</attribute>

<complexType>

</element>

</schema>

4.2 DTD : interface.dtd4.2 DTD : interface.dtd4.2 DTD : interface.dtd4.2 DTD : interface.dtd

<!ELEMENT interface (instance+)>

<!ATTLIST interface

xmlns CDATA #FIXED "http://www.kaywon.ac.kr"

>


59

<!ELEMENT instance (name, description)>

<!ATTLIST instance

id CDATA #REQUIRED

status CDATA #REQUIRED

>

<!ELEMENT name (#PCDATA)>

<!ELEMENT description (#PCDATA)>

4.3 Zoom In : zoomin.xml4.3 Zoom In : zoomin.xml4.3 Zoom In : zoomin.xml4.3 Zoom In : zoomin.xml


<inferface xmlns="http://www.kaywon.ac.kr">

<instance id="KSAD-AR01" status="on">

<name>"Zoom In"</name>

<description>"Zoom the screen In"</description>

</instance>

</interface>

동영상http://www.faceb

ook.com/video/video.p

hp?v=116220801729

687&oid=1938915811

97


604.4 Zoom Ou : tzoomout.xml4.4 Zoom Ou : tzoomout.xml4.4 Zoom Ou : tzoomout.xml4.4 Zoom Ou : tzoomout.xml




<name>"Zoom Out"</name>

<description>"Zoom the screen Out"</description>


61

</instance>

</interface>


ook.com/group.php/vi

deo/video.php?v=116

221515062949&oid=1

93891581197


62

4.5 Select & Pick Out : pickout.xml4.5 Select & Pick Out : pickout.xml4.5 Select & Pick Out : pickout.xml4.5 Select & Pick Out : pickout.xml




<name>"Pick Out"</name>

<description>"Pick the object Out"</description>

</instance>

</interface>


ook.com/group.php/vi

deo/video.php?v=116

222948396139&oid=1

93891581197


63


64

4.6 Jump Up : jumpup.xml4.6 Jump Up : jumpup.xml4.6 Jump Up : jumpup.xml4.6 Jump Up : jumpup.xml




<name>"Jump Up"</name>

<description>"for player to jump up"</description>

</instance>

</interface>



hp?v=114563751895

392&oid=1938915811

97


65


66

4.7 Landing : landing.xml4.7 Landing : landing.xml4.7 Landing : landing.xml4.7 Landing : landing.xml




<name>"Landing"</name>

<description>"for player to land to floor"</description>

</instance>

</interface>



hp?v=114563751895

392&oid=1938915811

97


67


68

제 개발 객체 추적 및 기술 구현제 개발 객체 추적 및 기술 구현제 개발 객체 추적 및 기술 구현제 개발 객체 추적 및 기술 구현5 3 : Augmentation5 3 : Augmentation5 3 : Augmentation5 3 : Augmentation정해진 패턴의 마커 인식이 아닌 사용자 선호의 이미지를 인식하고 이를 목표 대상으로 하여 대상의 움직임에 따라 그 위에 객체를 투영하는 기술을 개발한다 개발3D .모듈은 카메라 캘리브레이션 및 객체 의 서브 모듈로 구성된다augmentation .

그림[ 27 마커리스 객체 추적 및 객체 과정] augmentation알고리즘알고리즘알고리즘알고리즘5.1 SIFT(Scale-invariant feature transform)5.1 SIFT(Scale-invariant feature transform)5.1 SIFT(Scale-invariant feature transform)5.1 SIFT(Scale-invariant feature transform)객체의 특징 표식 를 위해 그것의 이미지로부터 관심점(feature description)이 추출된다 이러한 표식은 이미지 상의 존재하는 다른 많은 객체(interesting point) .속에서 해당 객체를 확인 하기 위해 이용된다 그 확인이 신뢰성을 갖(identification) .으려면 정의된 표식이 이미지 스케일 조명 및 기타 잡음에도 강건해야 한다 이를 위, .해 객체의 에지와 같이 고대비 영역을 찾는 것이 매우 중요하다 고대(high contrast) .비 영역을 추출하기 위해 SIFT[24] 알고리즘을 효과적으로 활용할 수 있다.키포인트는 참조 이미지로부터 추출되어 데이터베이스에 저장된다 새로운SIFT .이미지에 포함되어 있는 목표 객체는 저장 데이터와 비교하여 정합 후보군을 찾아내고 키포인트의 일부가 위치 스케일 방향에서 일치했을 때 정합 판정이 이루어진다, , .이 과정에서 해결해야 할 많은 문제점이 존재하는 데 알고리즘은 다음 표와 같SIFT은 기술을 활용하여 이를 해결한다.


69

Problem Technique Advantagekey localization / scale /rotation DoG / scale - space pyramid /orientation assignment accuracy, stability,scale & rotationalinvariancegeometric distortion blurring / resampling of local imageorientation planes affine invarianceindexing and matching nearest neighbor / Best Bin Firstsearch Efficiency / speedCluster identification Hough Transform voting reliable pose modelsModel verification / outlierdetection Linear least squares better error tolerancewith fewer matchesHypothesis acceptance Bayesian Probability analysis reliability

표[ 14 알고리즘핵심기술] SIFT

5.1.1 Scale-space extrema detection5.1.1 Scale-space extrema detection5.1.1 Scale-space extrema detection5.1.1 Scale-space extrema detection키포인트를 발견하기 위해 해당 이미지는 다른 스케일의 가우시안 필터와연산을 수행한 후 연속적인 이미지와의 차이가 계산된converlution Gaussian-blur다 키포인트는 다중 스케일에서 나타나는 의 최대 최. DoG(difference of Gaussians) ,솟값들로 정의된다.이미지DoG D(x, y, )σ 는 D(x, y, )σ = L(x, y, ki )σ - L(x, y, kj )σ 로 주어진다.여기서, L(x, y, k )σ 는 스케일 kσ 일 때 Gaussian-blue G(x, y, k )σ 와 원 이미지 I(x,y)의 이다 즉converlution . , L(x, y, k )σ = G(x, y, k )σ * I(x, y).이런 이유로 스케일 kiσ 와 kjσ 사이의 이미지는 스케일DoG kiσ 와 kjσ 일 때이미지와의 차이가 된다 를 거친 이미지는 옥타브 옥타Gaussian-blue . Convolution (브는 σ 값의 배와 일치한다 단위로 모여지고 옥타브 당 일정수의 된 이2 ) convolution미지를 얻기 위해 ki 값이 선택된다 그런 다음 옥타브 마다 이웃한. Gaussian-blur이미지가 취해진다 일단 이미지가 얻어지면 모든 스케일에 걸쳐 이미지의. DoG , DoG최소 최댓값들로 키포인트가 식별된다 식별은 이미지 내의 각 픽셀을 동일 스케/ . DoG일의 개 이웃과 이웃 스케일 마다의 개의 일치하는 이웃 픽셀과 비교함으로써 가능8 9하다 해당 픽셀값이 모든 비교 픽셀 중에서 최대 또는 최솟값이라면 키포인트 후보.로 선택된다.


70

그림[ 28 이미지얻기] DoG5.1.2 Keypoint localization5.1.2 Keypoint localization5.1.2 Keypoint localization5.1.2 Keypoint localization수많은 키포인트 후보군에서 저대비 포인트를 제거하기 위한 과정(low-contrast)이다 먼저 함수. , DoG scale-space D(x, y, )σ 의 차식 에 후보2 Taylor expansion키포인트를 적용하여 보간 을 한다 은 다음과 주어진(interpolation) . Taylor expansion다.여기서 와 그의 파생 은 후보 키포인트에서 계산되고, D (derivatives) x = (x, y, )σ는 그 포인트로부터의 옵셋이다 극한값 의 위치는 의 관점에서 이 함수의 파생을. (ẋ) x취해 그 값을 으로 하면 결정된다 만약 모든 차원에서 옵셋 가 보다 크다면 그0 . ẋ 0.5극한값은 다른 후보 키포인트에 더 가깝게 있음을 의미하므로 후보 키포인트가 변경되고 그 포인트에 대해 보간이 이루어진다 그렇지 않다면 극한값 위치에 대한 보간. ,추정치를 얻기 위해 그 옵셋이 후보 키포인트에 더해진다.옵셋 에 대한 차식 값이 보다 작다면 후보 키포인트는 제ẋ 2 Taylor expansion 0.03거된다 그렇지 않다면 최종 위치 와 스케일. , y + ẋ σ가 살아 남게 된다 여기서 는. , y스케일 σ일 때 키포인트의 원 위치이다.


71

5.1.3 Orientation assignment5.1.3 Orientation assignment5.1.3 Orientation assignment5.1.3 Orientation assignment이미지 회전에 강건하기 위해 키포인트 표식자 에 명암변화도(descriptor)방향을 설정하는 과정이다 스케일(gradient) . σ의 키포인트와 이미지 L(x, y)에 대해양gradient m(x, y)와 방향 (x, y)θ 을 픽셀 차를 이용하여 계산한다.양과 방향은 키포인트 주변 도의 모든 픽셀에 대해 수행하여 도 단위의 개360 10 36상자 로 표시되는 방향 히스토그램이 만들어 진다 히스토그램의 최고점이 방향(bin) .을 지배한다 최고점과 최고점 대비 이상 수준의 위치가 키포인트에 설정된다. 80% .

그림[ 29 키포인트의방향설정]


72

그림[ 30 방향히스토그램에서키포인트방향알기]5.1.4 Keypoint descriptor5.1.4 Keypoint descriptor5.1.4 Keypoint descriptor5.1.4 Keypoint descriptor먼저 각각 개 을 갖는 픽셀 이웃에 방향 히스토그램을 생성한다 이러한8 bin 4x4 .히스토그램은 키포인트 둘레의 영역에 있는 샘플의 양과 방향으로 계산된다16x16 .따라서 각각 개 을 갖는 개 히스토그램이 있으므로 키포인트 표식자는 개8 bin 16 128의 원소를 갖는 벡터로 구성된다 그 후 조명에의 불변성을 높이기 위해 이 벡터는 단.위 길이로 표준화 된다.


73

그림[ 31 키포인트표식자내용]5.1.4 Keypoint descriptor matching5.1.4 Keypoint descriptor matching5.1.4 Keypoint descriptor matching5.1.4 Keypoint descriptor matching원 이미지의 저장된 키포인트와 비교 이미지의 포인트와의 정합을 위해 k-d tree변형인 방법을 사용한다 는 키포인트 표식자 벡터 값으로Best Bin First(BBF) . BBF을 계산하여 가장 가까운 이웃 을 식별한Euclidean distance (nearest neighbors, NN)다 는 가장 가까운 이웃점. BBF (d0 와 두 번째 가까운 이웃점) (d1 개의 을 찾아) 2 NN준다. d0/d1 값이 보다 크면 정합이 실패한 것으로 간주한다0.8 .원 키포인트와 비교 포인트와의 정합에 성공했다하더라도 주 방향성을 이탈한는 제거된다 는outlier . Outlier RANSAC(RANdom SAmple Concensus)[25] 알고리즘을 이용하여 찾는다.


74

그림[ 32 탐색] BBF

그림[ 33 제거] outlier5.2 Multiclass classification problem5.2 Multiclass classification problem5.2 Multiclass classification problem5.2 Multiclass classification problem다중클래스 분류 기법은 모든 입력 예제에 클래스 표지 를 부여하는 것을 목(label)표로 한다 형태의 훈련 데이터 집합이 있을 때 여기서. (xi, yi) (training data) , xi ∈Rn은 번째 예제이고 는 번째 클래스 표지 새로운 알려지지 않은 예i yi {1,....,K} i ,∈제에 대한 를 만족하는 학습 모형 를 찾는 것을 목표로 한다 이 문제는H(xi) = yi H .참여하고 있는 두 클래스에 대해 표지 가 또는 이 되는 수식으로 만들 수yi +1 -1있다 문제 해결을 위해. decision trees[26], neural networks[27], k-NearestNeighbor[28], Naive Bayes classifiers[29], and Support Vector Machines[30] 알고리즘이 활용될 수 있다.원 이미지의 키포인트와 목표 객체 상의 포인트와의 정합은 다중클래스 분류의O문제로 수식화할 수 있다 훈련 과정에서 상에 놓여 있는 중요한 특징점 의 집. , O (N)


75

합 FO을 구축한다 입력 픽셀 와 주어진 크기의 모든 이미지 픽셀 영역 에 대해. p P p일 때 그것이 에 속하는 것인지의 여부를 결정하는 것이다 즉P , N . , Y(p) C =∈ ∈의 클래스 표지를 에 부여하는 것도 동일하다 여기서 표지 은{-1, 1, 2, ... , N} p . , -1목표 객체에 속하지 않는 모든 점을 의미한다.따라서 각 특징점에 대해 다른 뷰 상태에서의 모든 가능한 모습의 뷰 집합을 형성,하여 클래스로 대치하고 그것에 다중클래스 분류 기법을 적용한다 결과로 키포인트.표식자 가 작성되고 그것을 키포인트 정합에 활용할 수 있다(descriptor) .5.2.1 View set5.2.1 View set5.2.1 View set5.2.1 View set평면 이미지에 대한 뷰 집합은 목표 대상 한 단면에 을 적용affine transformation하여 생성한다. Affine transformation A = RθRφ-1SRφ로 분해할 수 있다 여기서. , Rθ와 Rφ는 회전 메티릭스, S = diag[λ1, λ2 는 스케일 메트릭스] , - , , 0.5Π ≦ θ φ ≦ Π≦ λ1, λ2 이다1.5 .≦이미지 인식 및 정합 개발 내용 및 적용 알고리즘이미지 인식 및 정합 개발 내용 및 적용 알고리즘이미지 인식 및 정합 개발 내용 및 적용 알고리즘이미지 인식 및 정합 개발 내용 및 적용 알고리즘5.35.35.35.3 Level 1 Level 2 Level 3개발 내용 추출Keypoint 형성View set 지역화Keypoint 분류KeypointKeypoint orientation표식자 생성Keypoint 정합Keypoint제거Outlier

주요 알고리즘 DoGAffine transformationTaylor expansioninterpolation K-Nearest Neighbor BBFRANSAC키포인트 추출 및 지역화키포인트 추출 및 지역화키포인트 추출 및 지역화키포인트 추출 및 지역화5.3.15.3.15.3.15.3.1


76

그림[ 34 키포인트추출사례 원이미지] 1 :

그림[ 35 키포인트추출사례 원이미지에서키포인트후보군추출] 1 :


77

그림[ 36 키포인트추출사례 키포인트지역화를통한키포인트확정] 1 :


78


그림[ 38 키포인트추출사례 원이미지에서키포인트후보군추출] 2 :


79

그림[ 39 키포인트추출사례 키포인트지역화를통한키포인트확정] 2 :


80



81

그림[ 41 키포인트추출사례 원이미지에서키포인트] 2 :후보군추출


82

그림[ 42 키포인트추출사례 키포인트지역화를통한] 2 :키포인트확정키포인트 정합 및 추적키포인트 정합 및 추적키포인트 정합 및 추적키포인트 정합 및 추적5.3.25.3.25.3.25.3.2표[ 16 원이미지와목표이미지와의정합모습]


83



hp?v=123630447655

389&oid=1230845877

02862


84


85동영상

http://www.facebook.com/video/video.php?v=137384762946624&oid=193891581197

표[ 17 목표이미지에의스케일링 경사도 방향인식모습] , ,


86


87


88


89


90


91


92

동영상http://www.facebook.com/video/video.php?v=138051382879962&oid=193891581197

표[ 18 원이미지대비목표이미지부분인식]


93


94

표[ 19 손으로가려진목표객체의인식및추적]


955.4 Augmentation5.4 Augmentation5.4 Augmentation5.4 Augmentation


96

Level 1 Level 2 Level 3개발 내용 작업Keyframe 생성- Keyframe 랜더링- Keyframe 객체 초기화augmentation독립의 지역- Viewpoint설정descriptor 위치 확정- augmentation 대상 추적 방법론 고안기반 추적- Keyframe과 이전- Keyframe간의 정보 조합frame비고 이미지 방법론eigen


97

제 개발 인식 및 기술 구현제 개발 인식 및 기술 구현제 개발 인식 및 기술 구현제 개발 인식 및 기술 구현6 4 : Finger silhouette Hand gesture tracking6 4 : Finger silhouette Hand gesture tracking6 4 : Finger silhouette Hand gesture tracking6 4 : Finger silhouette Hand gesture tracking

가상세계와 인터랙션을 위한 제스처 정의 및 분석가상세계와 인터랙션을 위한 제스처 정의 및 분석가상세계와 인터랙션을 위한 제스처 정의 및 분석가상세계와 인터랙션을 위한 제스처 정의 및 분석6.1.6.1.6.1.6.1.본 세부 과제는 가상공간의 오브제와의 인터랙션을 위해 현실공간에 있는 사용자의 제스처를 인식하는 것을 목표로 한다 인터랙션을 위해 정의한 제스처는. PUSH,등 세 가지 명령형 제스처와 가상 오브제 예 연아 에게 점프동작PULL, POINTING , ( : )을 학습시키기 위한 가 있다 이 들의 기능과 특징은 다음 표와 같다JUMP . .제스처 종류 기능 정의PUSH Zoom out 손바닥이 보이는 상태에서 가슴에서 부터 앞으로 민다PULL Zoom in 주먹을 쥔 상태에서 엄지 손가락을 세우고 팔을앞으로 뻗은 상태에서 뒤로 당긴다

POINTING Mouse move 오른손을 주먹 쥔 상태에서 엄지와 검지 손가락을 이용하여 십자모양을 만든다 화면에 있는(마우스커서가 활성화됨)Mouse click 오른손이 손바닥 모양으로 바뀌다 마우스가 클(릭됨)JUMP Teach jump action 두 손을 가슴에 모으고 점프를 할 경우 가상오브제에게 점프동작을 학습시킨 것으로 간주한다

표[ 21 제스처의기능및정의]

우리는 위 제스처를 인식하기 위하여 다음과 같은 세부 목표를 가진다.손 검출 및 추적- (Detection) (Tracking)손 모양 인식- (Hand Posture Recognition)제스처 인식- (Gesture Recognition)


98

위에서 정의된 제스처는 손이 움직이는 경로와 움직임 속에서 취하는 손 모양에 따라 그 종류가 구분된다 따라서 제스처 인식을 위해 양손의 검출 및 추(posture) .적이 안정적으로 이루어져야 하고 손이 움직이는 동안 손의 위치와 모양을 지속적으,로 인식하여야만 및 동작을 인식할 수 있다Push, Pull, Pointing Jump .와 제스처에서 당기는 동작과 미는 동작은 사실상 동일하기 때문에 움직Push Pull인 경로를 통해 이 둘을 구별하긴 어렵다 이 두 제스처의 인식은 양손이 모두 가슴.부분에 위치하고 있을 때 손 모양을 구분하여 인식하였다 즉 두 손이 모두 가슴 부. ,분에 위치하였을 때 손 모양이 손바닥 이면 제스처 주먹을 쥔 상태에서, (Palm) Push ,엄지손가락을 세운 모양 이 인식되면 제스처라 인식할 수 있다(Thumb-Up) Pull .제스처는 지시하는 동작을 이용하여 사물을 가리키고 선택하는 기능을Pointing수행한다 이 양손 제스처라면 은 한손 제스처이다 지시형 제스처. Push, Pull Pointing .는 주먹을 쥔 상태에서 검지 손가락을 핀 상태로 물체를 가리키는 것이 일반적이라할 수 있으나 카메라 한 대를 사용할 경우 이러한 손 모양에 대한 인식이 매우 제한적이다 따라서 우리는 주먹을 쥔 상태에서 검지를 세우고 엄지손가락을 옆으로 향하게.한 십자형 손 모양을 인식하여 이 를 제스처로 인식하였다(Cross) Pointing . Cross손 모양이 인식되면 화면에 놓여 있는 마우스가 활성화되고 마우스가 손을 따라 이동한다 손 모양이 으로 바뀌면 클릭되어 객체를 선택할 수 있다. Palm .동작은 가상의 오브제에게 점프동작을 학습시키기 위해 고안되었다 두 손이Jump .가슴부분에 위치한 상태에서 점프동작을 취할 경우 이를 인식한다 인식을 위한 주요.특징은 사람의 머리 위치의 높이 변화이다 이상에서 볼 수 있듯이 와. , Push Pull,제스처는 양손 제스처로 분류될 수 있으며 제스처는 한 손 제스처이Jump Pointing다.그림[ 89 손모양] Palm, Thumb-Up, Cross제스처 인식은 실험실 세트에서 수행되어 카메라에 한 명의 유저만 출현한다는,것과 배경이 매우 복잡하지 않다는 제한 조건을 가진다 우리는 아래 절에서 제스처. 2인식을 위한 손 검출 및 추적 방법론을 소개하고 절에서는 손 모양 인식 및 제스처4


99

인식 방법론을 소개한다 절에서 결론 및 토의를 하고 맺는다. 5 .손 검출 및 추적손 검출 및 추적손 검출 및 추적손 검출 및 추적6.2.6.2.6.2.6.2.손 검출은 피부색 검출과 움직임 정보에 기반을 둔다 제스처는 사람의 움직임을 통.해 의미를 전달하는 수단이기 때문에 움직임이 나타난 피부색 영역을 손으로 검출하였다 얼굴 검출은 양손제스처 인식을 위해 사람의 가슴 부분을 정의하고 손 추적시.손으로 인식되는 오류를 없애고자 수행하였다 다음 그림은 이에 대한 도식을 보여준.다.

그림[ 90 손검출및추적]손 검출을 위한 전처리손 검출을 위한 전처리손 검출을 위한 전처리손 검출을 위한 전처리6.2.1 (Preprocessing for Hand detection)6.2.1 (Preprocessing for Hand detection)6.2.1 (Preprocessing for Hand detection)6.2.1 (Preprocessing for Hand detection)손 검출을 위해 우리는 피부색을 모델링하여 피부색 영역을 검출하였고 차 영상을,이용하여 움직임 영역을 찾아내었다 먼저 피부색 검출을 위해 타원형 색 모델과 배. ,경의 피부색 영역을 제거하기 위한 필터 간단한 얼굴검출 방법론을 제시한다, .타원형 피부색 모델타원형 피부색 모델타원형 피부색 모델타원형 피부색 모델6.2.1.1 (Elliptical Skin Color Model)6.2.1.1 (Elliptical Skin Color Model)6.2.1.1 (Elliptical Skin Color Model)6.2.1.1 (Elliptical Skin Color Model)우리는 피부색 검출을 위해 개의 피부 영상 조각을 수집하였다 다음 그림은 피75 .부색 영상 샘플 중 일부를 보여준다.


100

그림[ 91 피부색영상의예]중간보고에서 우리는 각 픽셀의 값을 컬러 모델로 변환하여 밝기 성분RGB YCbCr을 제외한 성분에 대한 을 이용하여 피부색의 분포를Cb, Cr Look-Up Table(LUT)모델링하였다 이는 조명 및 적용 환경에 매우 민감하여 우리는 컬러공간에서. RGB두 개의 차원 타원형 모델 을 이용하여 밝은 피부색과 어두운 피부색3 (Elliptic Model)을 각각 모델링하였다 피부색 검출을 위한 타원형 모델은 다음과 같다. .

그림[ 92 성분을이용한 모델링] Cb Cr LUT

여기서 기호 과 는 밝음 어두움 를 의미한다L D (Light), (Dark) . 는 밝은 어두운 피부색의 채널의 평균값을 의미( ) R, G, B하고, 는 밝은 어두운 피부색의 채널의 표준편차를 의( ) R, G, B미한다.


101

피부색 노이즈 제거피부색 노이즈 제거피부색 노이즈 제거피부색 노이즈 제거6.2.1.2 (Noise removal)6.2.1.2 (Noise removal)6.2.1.2 (Noise removal)6.2.1.2 (Noise removal)피부색은 인간의 피부가 아닌 영역에서도 검출될 수 있는 자연의 색이다 우리는 배.경에 존재하는 피부색 영역을 제거하기 위해 연결성 분석(Connected Component을 수행하여 연결 영역 을 둘러싸고 있는 박스를 찾Analysis) (Connected Component)아내고 다음 조건을 만족하는 연결영역을 제거하였다.가로 세로N1. × < T1가로 세로N2. / > T2세로 가로N3. / > T3위 조건들은 너무 작은 영역이나 가로 세로의 비가 지나치게 큰 영역은 인간의 피, ,부 영역이 아니라는 가정 하에 수행되었다 실험에서 을 취. T1=100, T2 = 3, T3 =3하였다.얼굴 검출얼굴 검출얼굴 검출얼굴 검출6.2.1.3 (Face Detection)6.2.1.3 (Face Detection)6.2.1.3 (Face Detection)6.2.1.3 (Face Detection)얼굴 검출을 위한 많은 방법론들이 연구되어 있으나 실시간 이슈와 정확도를 담보할 수 없는 단점을 가지고 있어 우리는 피부색 영역의 크기를 이용하여 간단히 얼굴영역을 검출하였다 우리는 얼굴 검출을 위해 주요 제스처 행위자가 한 명이라는 가.정을 하고 있다.우리는 노이즈가 제거된 피부색 검출 영상에 대해 연결성 분석을 수행한 후 영상의,윗 부분 부터 아래 방향으로 연결 성분을 검색하여 처음으로 나타나는 큰 영역을 얼굴이라 지정하였다 즉 다음과 같은 조건식을 만족하는 연결 영역의 외곽 박스.를 얼굴 영역이라 정한다(Bounding box) .

그림[ 93 원영상 피부색검출 노이즈제거및얼굴검출영상] , ,


102

width × height > MF우리는 실험에서 값을 으로 설정하였다 그림 는 얼굴 검출의 예를 보여MF 1000 . 5준다 손 제스처 인식에 있어서 얼굴 검출은 직접적인 결과를 주진 않지만 추적영역. ,을 설정할 수 있어 안정적인 손 추적을 가능케 할 뿐만 아니라 가슴부분을 예측할 수있어 제스처 인식에 많은 도움을 준다.손 검출손 검출손 검출손 검출6.2.2 (Hand Detection)6.2.2 (Hand Detection)6.2.2 (Hand Detection)6.2.2 (Hand Detection)제스처 인식을 손 검출 및 추적 모듈의 목표는 카메라 입력 영상 각각에 대해 손의위치를 알아내는 것이다 우리는 이를 위해 전처리 과정에서 얻은 얼굴 위치 정보를.이용해 움직이는 손 검출을 위한 를 설정하고 차 영상ROI(Region Of Interest)과 피부색 정보를 이용하여 이동 중인 피부색 블랍 들(difference image) (skin blob)을 검출한다 설정한 에 속하는 피부색 블랍을 손이라 검출한다 다음은 전처리. ROI .후 손 검출 및 추적을 위한 도식을 보여 준다.

그림[ 94 전처리후손검출및추적과정]이동 피부색 블랍 검출이동 피부색 블랍 검출이동 피부색 블랍 검출이동 피부색 블랍 검출6.2.2.1 (Moving Skin Color Blob Detection)6.2.2.1 (Moving Skin Color Blob Detection)6.2.2.1 (Moving Skin Color Blob Detection)6.2.2.1 (Moving Skin Color Blob Detection)카메라 영상 입력시 연속된 두 프레임의 차 영상은 촬영 중인 객체의 움직임 정보를 담고 있다 두 프레임의 차이가 발생한 영역은 움직임이 발생한 영역이다 작은 움. .직임을 무시하고 주요한 움직임만을 검출하기 위해 다음 식을 이용하여 차 영상에서


103

임계치 이상의 영역만을 검출하였다. 여기서 는 시간 에서 픽셀 의 밝기값 을 의미한다 는 미리 정해t p (intensity) . T놓은 임계치 로 실험에서 으로 설정하였다 우리는 이 영역들 중 피부(Threshold) 30 .색이 검출된 부분을 찾는다 이 부분이 이동 중인 손이 위치한 후보 영역이라 볼 수. ( )있다 우리는 차영상에서 검출된 피부색 영역으로부터 손 영역을 복원하기 위해 플러.드 필 방법을 이용하였다 플러드 필은 다차원 배열에서 지정된 위치와 연(Floodfill) .결된 부분을 결정하는 알고리즘이다 피부색 검출 영상에서 차영역이 검출된 픽셀들.을 시작점 으로 하여 이와 연결된 모든 연결성분을 추출한다 다음 그림은 차영(seed) .상과 차영상 중 피부색이 검출된 부분을 보여 준다.

그림[ 95 원영상과움직임검출영상]

그림[ 96 차영상에서의피부색검출결과와이를이용한손복원결과]


104

다음 그림은 제스처 시 분할된 손의 실루Pull, Push, Mouse_Move, Mouse_Click엣을 보여준다.그림[ 97 분할된손영상 양손 양손 오른손 오른손] ; Thumb-Up, Palm, Cross, Palm손 검출 영역 설정손 검출 영역 설정손 검출 영역 설정손 검출 영역 설정6.2.2.26.2.2.26.2.2.26.2.2.2얼굴 박스의 중심 좌표 가로방향 를 기준으로 오른쪽 박스 영역을 왼손 검출 영x ( )역 영역 왼쪽 박스 영역를 오른손 검출 영역 영역으로 설정한다 얼굴 박스의 높이를, .이라 할 때 박스의 크기는 폭이 높이가 이고 박스는 얼굴 박스의 절반에L , ROI 3L, 3L서부터 시작한다 아래 그림의 하얀색 점선은 설정한 손 검출 영역을 보여준다 우리. .는 차렷 자세와 유사한 상태에서 손을 올리면서 가상공간과의 인터페이스를 시작하는것을 가정하였기에 이와 같은 초기 손 검출 영역을 설정하였다.

그림[ 98 손검출영역과제스처추적영역설정]


105

손 검출 과정손 검출 과정손 검출 과정손 검출 과정6.2.2.36.2.2.36.2.2.36.2.2.3우리는 이동 피부색 블랍이 손 검출을 위한 왼손 오른손 검출 영역에 처음 나타날,때 검출 영역에 속한 가장 큰 블랍을 해당 손이라 검출하고 손 추적을 실시한다 검, .출되지 않은 손에 대해서는 검출이 될 때까지 매 프레임 검출 작업을 수행한다 손 검.출 과정을 도식화하면 다음과 같다.그림[ 99 왼손 오른손검출기] ,

손 추적손 추적손 추적손 추적6.3 (Hand Tracking)6.3 (Hand Tracking)6.3 (Hand Tracking)6.3 (Hand Tracking)우리는 각각의 손에 대해 검출 및 추적을 수행한다 만약 손의 움직임이 검출되지.않은 경우 해당 영역에 대해서 검출과정을 반복한다 객체 검출은 추적보다 더ROI .많은 시간을 소요하기 때문에 객체의 검출은 한 번만 수행되고 이 후 프레임에서는검출된 객체 영역을 모델링하여 이를 추적하는 것이 통상적이다 하지만 손이라는 객.체는 형태의 변화가 매우 심하고 빠르게 움직일 수 있기 때문에 추적하기 어려운 대상이다 또한 우리의 검출 방법론이 시간 소모가 거의 없고 안정적이기 때문에 우리.는 검출에 기반한 추적을 수행하였다.제스처 추적 영역제스처 추적 영역제스처 추적 영역제스처 추적 영역6.3.16.3.16.3.16.3.1사람들은 보통 의미없는 동작을 많이 한다 이러한 동작은 의미있는 제스처로 오인.될 가능성이 높으며 추적시 에러를 유발할 가능성이 높다 이러한 오류를 예방하기.위해 의미없는 손 동작이 빈번한 허리 아래 부분을 제스처를 제외한 영역을 제스처,추적 영역으로 설정하였다 손 추적 및 제스처 인식은 설정된 제스처 추적영역 안에.서만 수행되며 손이 이 영역을 벗어날 경우 초기화 를 시켜 손 검출부터 다시(Reset)수행하도록 하였다.


106

제스처 추적 영역은 검출된 얼굴 박스의 높이를 이라 할 때 얼굴 박스의 가로 중L ,앙선을 기준으로 아래로 만큰 떨어진 가로방향 선의 윗 부분으로 설정하였다 위2L .그림 99의 빨간색 점선 부분은 제스처 추적 영역의 가장 아랫 부분을 보여준다.손 추적 알고리즘손 추적 알고리즘손 추적 알고리즘손 추적 알고리즘6.3.26.3.26.3.26.3.2손 추적이란 매 프레임마다 오른손과 왼손의 위치를 결정하는 것이다 이를 위해 블.랍 사이의 거리와 손 크기를 손 추적을 위한 특징으로 사용하였다 우리는 제스처 추.적영역 안에서 검출된 이동 피부색 블랍을 이전 손 위치 중 가장 거리가 가까운 손으로 대응시키는 블랍 매칭 을 수행하였다 만약 이동 피부색 블랍이 검(Blob matching) .출되지 않고 손이 검출된 경우 손이 잠시 멈춰있는 상태로 간주하고 이전 손 위치를,현재 손 위치에 기록한다 추적 결과는 첨부 동영상을 참조. ( )강인한 손 추적을 위해 손 사이즈 필터를 제안하였다 두 연속된 프레임에서 손의.크기가 크게 변하지 않는다는 가정 하에 이전 프레임의 손의 크기와 비슷한 크기를,가지는 피부색 블랍을 현재 프레임의 해당 손으로 선택한다 이 필터로 인해 몸통에.서 발생할 수 있는 작은 피부색 블랍을 손으로 오인하는 오류를 방지할 수 있다 이를.수식으로 정리하면 다음과 같다.For each previously detected hand blob H = Left, Right,find blob B satisfying |H|-E < |B|< |H|+Eand the smallest distance from the blob Hif dist(B, H) < Tidentify B as the handelse H is staying제스처 인식제스처 인식제스처 인식제스처 인식6.46.46.46.4우리가 인식해야 할 다섯 가지 제스처는 손의 개수와 손 위치 손 모양에 의해서 구,별된다 아래 표는 제스처들의 특징을 요약한 것이다. .


107

손 개수 제스처 손 위치 손 모양한손 제스처 Pointing Mouse_Move 임의의 위치 CrossMouse_Click Palm양손 제스처 Pull 가슴 부분 Thumb-UpPush PalmJump N/A표[ 23 제스처의특징]한 손 제스처는 지시형 제스처 뿐이다 어느 사물을 지시하고 이동시키(Pointing) .기 위해서는 이미 놓여있는 사물을 지시하여 선택하고 이동시킬 최종 위치를 지정해,주어야 한다 우리는 화면에 놓인 마우스를 이용하여 이 작업을 수행하기 때문에 마.우스를 활성화시키기 위해 손 모양을 인식하고 인식이 된 이후 마우스는 손의Cross ,이동 방향을 따라 이동한다 손 모양이 으로 바뀌는 순간 클릭 이벤트가 발생하. Palm여 물체가 선택된다 손 모양이 다시 로 바뀌면 손을 따라 마우스가 이동하고. Cross손 모양이 으로 바뀌는 순간 선택된 물체는 그때의 위치로 이동하게 된다Palm .양손 제스처는 화면 확대를 위한 제스처와 화면 축소를 위한 제스처 점Pull Push ,프 동작을 위한 제스처가 있다 양손이 모두 가슴에 위치할 때 이 제스처들의Jump .인식이 시작된다 두 손이 가슴에 위치한 상태로 양손의 모양이 이면. Thumb-Up Pull제스처로 인식되고 양손의 모양이 인 경우 제스처로 인식된다 두 손이 가Palm Push .슴에 놓인 상태에서 머리의 위치가 올라가기 시작하여 특정 높이 이상으로 올라간 후내려오게 되면 동작으로 인식한다Jump .손 모양 인식손 모양 인식손 모양 인식손 모양 인식6.4.16.4.16.4.16.4.1인식해야할 손 모양의 종류는 이다 는Palm, Thumb-Up, Cross, Else . Else Palm,가 아닌 상태를 말한다 우리는 손을 분할한 영상에서 행과 열의Thumb-Up, Cross .


108

모드 의 개수로 손 모양을 인식하였다 여기서 모드는 국부적 최대값(mode) . (local을 의미한다maximum) .그림[ 100 손분할영상]위 그림 는 의 손 분할 영상을 보여 준다 우리는 이 손12 Thumb-Up, Palm, Cross .모양을 구별하기 위해 다음 두 가지 특징을 추출하였다.열 히스토그램의 모드 개수 영상의 위쪽 부분의 손 픽셀의 모드의 수- ( ) : 1/4행 히스토그램의 모드 개수 영상의 오른쪽 부분의 손 픽셀의 모드의 수- ( ) : 1/4이때 손의 크기에 따라 영상의 윗 부분에 해당하는 픽셀의 개수가 달라질 수 있고,프로그램 구현의 단순함을 위해 손 분할 영상의 크기를 으로 정규화40×60하였다(Normalization) .

그림[ 101 손영상의히스토그램및인식결과] Thumb-Up그림[ 102 손영상의히스토그램및인식결과] Palm


109

그림[ 103 손영상의히스토그램및인식결과] Cross위 그림 는 그림 의 과 손 영상의 행 열 히스토그램 및 인13, 14, 15 13 Palm Cross /식 결과를 보여준다 그림 에서 는 위 부분의 열 히스토그램. 14, 15 ‘C:’ 1/4 (column을 나타내고 은 오른쪽 부분의 행 히스토그램 을histogram) ‘R:’ 1/4 (row histogram)보여준다.우리는 히스토그램으로부터 빈 의 값이 증가하다 감소하는 순간을 포착하여(bin)히스토그램의 모드의 개수를 조사하였다 또한 히스토그램의 범위 가 너무 긴. (range)경우 손등이라 판단하여 하나 이상의 모드로 간주하였다 다음은 주어진 히스토그램.이 하나의 모드를 가지는 지 체크하는 함수의 의사코드이다.bool Is_One_Mode( unsinged hist[], int RANGE_TOL )

{

range = find_range(hist);

if (range > RANGE_TOL)

return false;

else

num_pick = pick_count(hist);

if (num_pick > 1)

return false;

else

return true;

}

표[ 24 히스토그램모드검사의사코드]

손 모양의 행 열 히스토그램의 모드 개수의 특징은 다음과 같다/ .


110

손 모양 열 모드 개수 행 모드 개수Thumb-Up One More than onePalm More than one OneCross One OneElse More than one More than one

표[ 25 손모양의행열히스토그램의모드개수의특징] /

모드 검출은 높은 정확성을 보이나 손의 기울어짐 정도에 따라 순간적으로 잘못인식되는 경우가 있다 이러한 오류에 대한 인식의 강인성을 높이고자 보팅. (Voting)필터링을 고안하였다 보팅 필터링이란 크기가 인 큐 에 열 행 모드 개수로. N (Queue) /판단된 최근 번의 손 모양 타입을 기록하고 이 중 다수 손 모양을 현재N (majoirity)제스처로 결정하는 것이다 이 필터링은 빠른 손 모양 변화에 다소 둔감할 수 있으나.안정적인 인식을 가능하게 해 준다 다음은 손 모양 인식에 대한 의사 코드이다. .int Hand_Shape_Recognition( HandShapeQueue ) {

HandShapeQueue.push(Current_Hand_Shape(row_hist[], column_hist[]));

return HandShapeQueue.voting();

}

int Current_Hand_Shape( unsigned row_hist[], unsigned column_hist[] ){

bool is_One_In_Column = Is_One_Mode( row_hist );

bool is_One_In_Row = Is_One_Mode( column_hist );

if (is_One_In_Column) {

if (is_One_In_Row) return CROSS;

else return THUMP_UP;

}

else {

if(is_One_In_Row) return PALM;

else return ELSE;

}

}

표[ 26 손모양인식의사코드]


111

여기서 는 미리 정의된 상수이다PALM, THUMB_UP, CROSS, ELSE .제스처 인식제스처 인식제스처 인식제스처 인식6.4.26.4.26.4.26.4.2표 23에 나와 있듯이 인식하고자 하는 제스처의 유형은 손 개수 손 모양 손 위치, ,에 따라 구분되어진다 손의 개수는 한 손 제스처를 기본 으로 하여 두 손이. (default) ,모두 가슴영역에 위치한 경우 손모양에 따라 양손 제스처 또는 인지 체크(Pull Push)하였다 이 때 인식된 손 모양이 나 인 경우 의미있는 제스처가 아니라고. , Cross Else판단하였다 양손이 가슴영역에 놓이지 않았을 경우 왼손을 고려하지 않고 오른손의. ,모양에 따라 제스처인식을 수행한다 오른손이 제스처 추적영역 허리 윗부분 에 있을. ( )때 오른손의 모양에 따라 일 때는 일 때는 제, Cross Mouse_Move, Palm Mouse_Click스처로 인식하여 마우스 이벤트를 발생시켰다 여기서 가슴 부분은 얼굴박스의 높이.를 이라 할 때 너비가 높이가 인 사각형 영역으로 얼굴 박스의 하단 지점L , 3L, 3L 1/2부터로 설정하였다 다음 그림의 점선 박스는 가슴영역 실선 박스는 얼굴 박스를 보. ,여준다.

그림[ 104 가슴영역설정]제스처는 두 손이 가슴에 위치한 상태에서 위로 점프하는 동작으로 정의하Jump였다 우리는 점프시 높이의 변화 정도를 알아보기 위해 얼굴 중심 위치의 변화를 측.정하였다 아래 그래프는 한 학습데이터의 세 번의 점프에 대한 얼굴 중심의 높이 변.화를 보여 준다.


112

그림[ 105 점프시얼굴높이변화예]축은 얼굴의 높이좌표로 영상의 좌상단 원점으로 취했기 때문에 점프시 최고점에y도달할 때 높이 값은 최소값이 된다 위 그래프에서 번 프레임에서 최고점에. 8, 39, 72도달하였다 초기 정지상태의 값이 이었고 최소값들은 각각 이었. 190 , 153, 144, 138다 우리는 점프에 대한 학습데이터를 다량 수집하여 통계분석을 수행하여 초기 정지. ,상태의 이하가 될 경우 점프 로 인식하도록 결정하였다 제스처 인식에 대한 의85% .사코드는 다음과 같다.


113

int Gesture_Recogition( )

{ 양손 제스처if(Two_Hands_On_The_Chest){ //

if(face_y_position < 0.85*avg_face_y_coordinate)

return JUMP;

else

if(Hand_Posture == THUMB_UP) return PULL;

else if(Hand_Posture == PALM) return PUSH;

else return NULL;

} 한손 제스처else if(Right_Hand_in_Gesture_Tracking_Area){ //

if(Right_Hand_Posture == CROSS) return MOUSE_MOVE;

else if(Right_Hand_Posture == PALM) return MOUSE_CLICK;

else return NULL;

}

}

표[ 27 제스처인식의사코드]

제스처 인식 결과제스처 인식 결과제스처 인식 결과제스처 인식 결과6.4.36.4.36.4.36.4.3

그림[ 106 및 제스처인식결과] Pull Push


114

그림[ 107 및 제스처인식결과] Mouse_Click Mouse Move

그림[ 108 제스처인식결과] Jump결론 및 향후 연구 방향결론 및 향후 연구 방향결론 및 향후 연구 방향결론 및 향후 연구 방향6.56.56.56.5우리는 본 연구를 통해 효과적인 손 검출 및 추적 방법론을 제시하였고 모드 기반,손 모양 인식을 통한 제스처 인식 방법론을 제시하였다 개발된 손 검출 및 추적 방법.론은 제스처는 손의 움직임을 통해 의사를 전달하는 수단이라는 철학을 가지고 이동부분의 피부색 영역이 손 영역이라는 아이디어에 기초하였다 검출된 손 영역을 분할.하여 모드 검출 방식으로 등 네 가지 손 모양을 인식Thumb-Up, Palm, Cross, Else할 수 있었고 구현된 프로그램은 매우 안정적으로 정확하게 동작함을 확인할 수 있었다 우리의 프로그램은 몇 가지 제약조건을 가진다 제약조건 및 앞으로의 연구 계획. .은 다음과 같다.첫째 피부색 검출에 기반을 두고 있기 때문에 조명 조건 및 인종에 따라 달라지는,


115

모든 피부색을 검출하지 못한다 현재 제안한 방법론은 형광등이 켜져있는 일반 강의.실 및 실험실의 조명에서 잘 작동하나 지나치게 밝거나 지나치게 어두운 환경에서는잘 작동하지 않는다 또한 피부색이 검은 외국인의 피부색을 검출하지 못했다 피부색. .검출의 성능을 높이기 위해 적응적인 피부색 모델 에 대(adaptive skin color model)한 연구가 진행중이다 다양한 조명 조건에서 다양한 피부색의 영상을 다량 수집하여.피부색 모델을 만든다 이때 모델링 방법은 히스토그램이나 개선된 타원형 모델 가우. ,시안 혼합 모델을 구상하고 있다 또한 조명 환경에 대한 평가를 수행하고자. Viola &의 얼굴검출기를 통해 흑백영상에서 얼굴을 검출한 후 이 얼굴영역의 컬러값으Jones로부터 조명 및 피부색 조건을 결정하는 함수를 구상하고 있다 또한 얼굴검출기릉.대신하여 차영상에서 피부색 픽셀을 검출을 하는 방법을 고려하고 있다 결정된 조명, .및 피부색 조건에 따라 이에 맞는 피부색 모델을 이용하여 이후 피부색 검출작업을,수행고자 한다.둘째 우리는 배경이 복잡하지 않고 사용자가 피부색의 옷을 착용하지 않음을 가,정하고 있다 영상 차가 발생한 부분에 있는 피부색 부분을 손으로 인식하기 때문에.이동 부분에 피부색 물체가 있는 경우 손으로 오인될 가능성이 높고 손과 겹쳐질 경우 손 분할이 제대로 이루어지지 않는다 이를 위해 레이어 및 에지 기반 손 분. (edge)할을 고려하고 있다 여기서 레이어는 배경 몸통 손 등 세 가지이다 일반적으로 손. , , .동작은 몸통보다 앞에서 수행되기 때문에 카메라로부터 손 몸통 배경 순으로 떨어져, ,있다는 가정이다 몸통과 배경 레이어에 기반한 배경 모델링으로 손과 겹쳐지는 배경.의 피부색 영역을 다수 제거할 수 있다는 아이디어이다 레이어 기반 배경제거로부터.얻어진 손 분할 영상에서 이진 영상이 부정확할 수 있기 때문에 에지 영상을 이용하여 손 모양을 인식한다 이때 사용할 에지 매칭 방법론을 구상하고 있다. .세째 우리는 한 명의 사용자만 프로그램을 제어한다고 가정하고 있다 이러한 가, .정하에서 피부색 블랍의 크기만으로 얼굴 검출을 수행하였고 안정적인 결과를 얻을수 있었다 이러한 상황은 일반적이지 않기 때문에 피부색을 이용하여 얼굴을 검출하.기 위한 효과적인 방법론을 구상 중이다 검출된 다수의 피부색 블랍 가운데 몇가지.특징을 만족하는 피부색 블랍을 얼굴로 인식하는 것이다 이를 위해 얼굴 특징에 대.한 연구가 진행 중이다 눈과 입술 영역의 밝기가 볼 영역의 밝기보다 어두운 것이 이.러한 특징의 예라 할 수 있다.위의 세 가지 가정을 모두 만족하는 즉 형광등이 켜져 있는 실내에서 배경이 단, ,순하고 한 명의 사용자만 출현할 경우 개발된 프로그램은 실시간으로 안정적으로 동작한다 특히 제안한 손 추적 방법론과 인식 방법론은 단순하고 효과적이라는 장점이. ,있으며 실제 상황에서 에 가까운 인식 성능을 보인다, 100% .


116

참고 문헌참고 문헌참고 문헌참고 문헌


117


118

[26] J. R. Quinlan. (1993) “C4.5: Programs for Mahine Learning”. Morgan Kaufmann.

etri_v08

Technology