모바일 센서융합을 이용한 증강 실 시스템의 강인한 자세추정 871

․본 연구는 이 논문은 2012년도 정부(교육과학기술부)의 재원으로 한국

연구재단의 지원을 받아 수행된 기 연구사업임(2012-0004767)

․본 연구는 지식경제부 정보통신산업진흥원의 IT융합 고 인력과정

지원사업의 연구결과로 수행되었음(NIPA-2012-C6150-1202-0011)

․이 논문은 2012 한국컴퓨터종합학술 회에서 ‘모바일 센서를 이용한 QR

코드 기반의 인터랙티 증강 실 시스템’의 제목으로 발표된 논문을 확

장한 것임

†

††

†††

학생회원

종신회원

비 회 원

논문 수

심사완료

:

:

:

:

:

경북 학교 자 기컴퓨터학부

jppark@vr.knu.ac.kr

경북 학교 IT 학 컴퓨터학부 교수

skjung@knu.ac.kr

(Corresponding author임)

경북 학교 자 기컴퓨터학부

mwpark@vr.knu.ac.kr

2012년 8월 21일

2012년 10월 4일

CopyrightⒸ2012 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작

물의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다.

이 때, 사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처

를 반드시 명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든

유형의 사용행 를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야

합니다.

정보과학회논문지: 컴퓨 의 실제 터 제18권 제12호(2012.12)

모바일 센서융합을

이용한 증강 실

시스템의 강인한 자세추정

(Robust Pose Estimation for

Augmented Reality System

using Mobile Sensor Fusion)

박 정 필† 정 순 기

††

(Jung Pil Park) (Soon Ki Jung)

박 민 우†††

(Min Woo Park)

요 약 증강 실이 발 함에 따라 사용자들은 기존의

단순한 결과물에서 벗어나 다양한 정보가 가시화되기를 원

한다. 따라서 본 시스템에서는 다양하고 복잡한 콘텐츠정보

를 담기 해 QR코드를 마커로 활용한다. 한, 기존 증강

실 시스템에서 사용하는 상처리기반의 자세추정방법으

로 인해 발생하는 문제 을 개선하고 강인한 카메라자세

추정을 수행하기 해서 상처리와 모바일센서를 융합한

자세추정방법을 제안한다.

키워드 : 모바일 센서, 증강 실, 자세추정

Abstract With the development of augmented reality,

user want to visualize a variety of information. Therefore,

this system for a variety of content information is used

as a marker QR code. In addition, this system improve

the problem of motion blur on image processing-based

pose estimation method. And we propose the robust

camera pose estimation using mobile sensor fusion.

Key words : Mobile Sensor, Augmented Reality,

Pose Estimation

1. 서 론

지난 40여 년 동안 증강 실에 한 연구가 활발히

진행되었고, 이를 가시화하기 한 기기들도 차 소형

화 되어왔다[1]. 특히, 다양한 센서들이 내장된 스마트폰

이 등장함에 따라 증강 실 기술에 한 수요는 폭발

으로 증가되었다. 그로 인해, 증강 실 분야에서는 스마

트 폰을 이용한 다양한 연구들이 활발히 진행되고 있다.

특히, 최근에는 많은 양의 정보를 가시화하기 해서

QR코드와 메타데이터를 이용한 연구도 활발히 진행되

고 있다[2-4]. 이와 함께 3차원 공간에 가상의 모델을

증강하기 한 카메라 자세 추정 련 연구도 꾸 히

진행되고 있다. 카메라 자세추정기술은 마커기반기술과

마커리스기술로 나 수 있다. T. Liu등은 QR코드를

사용하여 증강된 객체를 가시화하는 방법에 한 연구

를 수행하 고, Korah등은 마커리스기반 자세추정을 수

행하여 별모양 객체의 치를 추정한다[5-7]. 하지만 카

메라를 사용하는 상처리기반기술은 일정이상의 흔들

림에 의해 모션블러(motion blur)가 발생할 경우, 올바

른 자세를 추정하지 못한다.

본 논문에서는 이러한 모션블러에 강인한 자세추정을

해 모바일기기에 내장된 센서들과 기존의 상처리기

술을 융합하는 방법을 제안한다. 특히 모바일기기에 내

장된 가속도센서, 자이로센서 방향센서를 이용하여

모션블러가 발생하더라도 지속 으로 가상의 객체가 증

강되도록 한다. 한 다양한 콘텐츠 리 제작을

해 QR코드 기반의 메타데이터를 활용한다.

본 논문의 구성은 다음과 같다. 2 에서는 본 시스템

의 체 인 흐름에 하여 소개하고, 3 에서는 모바일

자세추정에 하여 기술한다. 4 에서는 제안한 방법에

한 실험결과를 기술하고 분석하며, 5 에서는 결론을

맺고 향후 연구 과제에 해서 검토한다.

2. 시스템 개요

본 논문에서 제안하는 시스템은 그림 1과 같이 메타

데이터 분석단계와 센서융합을 이용한 카메라 자세추정

단계로 구성된다. 먼 카메라에 입력된 상으로부터

QR코드 메타데이터를 획득한다. 그리고 메타데이터에

872 정보과학회논문지 : 컴퓨 의 실제 터 제 18 권 제 12 호(2012.12)

그림 1 시스템 구성도

따라 서버로부터 콘텐츠 상세 메타데이터를 획득하여

리소스를 요청한다. 리소스 획득 가시화 비가 끝나

면 센서융합을 이용한 카메라 자세추정단계의 차에

따라 콘텐츠를 가시화한다. 자세 추정을 해 본 연구에

서는 상처리기반 자세추정방법과 센서기반의 자세추

정방법을 융합하여 사용한다. 먼 , 메타데이터 분석단

계에서 가시화 비가 되면, 기본 으로 마커기반 자세

추정방법으로 기화 트래킹을 수행한다. 마커기반

자세추정은 빠르게 동작하지만, 카메라의 시야에서 QR

코드의 일부 는 체가 사라지면 더 이상 트래킹

자세 추정을 할 수 없다. 그래서 마커 검출이 실패하면,

특징 추출 매칭을 이용한 /후 임간의 호모

그래피로 모바일기기의 자세를 추정한다. 임기반의

자세추정방법은 호모그래피 계산으로 속도는 느리지만,

기존의 마커에 의존하지 않고 더 강인한 카메라 자세

추정을 수행한다. 그리고 일정이상의 흔들림으로 모션블

러가 발생하여 자세추정이 불가능한 경우, 카메라에 의

존하지 않는 모바일 센서를 사용하여 자세를 추정한다.

먼 상처리기반 센서기반 자세추정을 함께 사용

하기 해 가속도센서로부터 흔들림을 감지한다. 이때,

흔들림은 가속도센서정보를 이용하여 식 (1)과 같이 계

산된다. 가속도벡터 크기가 400를 과 할 경우 기

존의 상처리기반 자세추정에서 센서기반 자세추정모

드로 환한다.

가속도벡터

×∆ (1)

식 (1)에서 는 재 가속도 센서로부터 획득

한 값을 의미하고, 는 ∆시간 이 의

가속도를 의미한다. 센서기반의 자세추정을 해서 가속

도센서, 자이로센서, 방향센서가 사용된다. 먼 3차원의

치()를 측정하기 해 선가속도센서를 사용한

다. 선가속도센서는 가속도센서와 력센서()의 차로

계산되어진 소 트웨어 방식의 센서로서 3차원 공간에

서 모바일기기의 치를 획득할 수 있다. 그리고 모바일

기기의 회 을 계산하기 해 가속도센서를 사용한다. 그

러나 가속도센서로는 축방향의 회 을 측정할 수 없

다. 따라서 요()를 측정하기 해서 방향센서를 사용

한다. 하지만 모션의 움직임이 빠른 모바일기기에서는

방향센서만으로 요()를 측정하기에는 그 속력이 많

이 느리다. 그래서 더욱 강인한 방향측정을 하여 속도

가 빠른 자이로센서를 함께 사용한다. 하지만 자이로센

서 역시 오차로 인해 잘못된 요()회 을 발생시

키므로, 이를 보정하기 해 방향센서를 사용하여 일정

시간마다 기화를 수행한다. 끝으로 카메라 자세추정결

과와 가시화 비가 끝난 3차원의 모델을 QR코드 에

증강시킨다.

3. 모바일 기기 자세추정

본 에서는 상처리 기반의 자세추정방법과 센서기

반의 자세추정방법을 융합하여 모바일기기의 자세를 추

정하는 방법에 해 설명한다.

3.1 상처리기반 자세 추정

QR코드가 포함된 상이 입력되면, 본 시스템에서는 우

선 QR코드의 외곽사각형을 마커로 이용하여 마커기반의

자세 추정을 수행한다. 마커기반의 자세 추정은 입력 상

내의 QR코드 외곽사각형의 네 모서리와 실제 3차원 공간

상에 존재하는 QR코드 외곽사각형 간의 호모그래피( )

를 계산하여 식 (2)와 같이 카메라의 자세를 추정한다.

모바일 센서융합을 이용한 증강 실 시스템의 강인한 자세추정 873

(2)

×

식 (2)에서 는 카메라의 내부 라미터, 는 카메

라의 외부 라미터를 의미한다. 과 는 축과 축

각각에 한 회 변환 벡터, 그리고 은 이동변환벡터

를 의미한다. 이 방법은 계산량이 은 사각형 검출을

기반으로 하기 때문에 빠른 속도와 높은 정확도를 보인

다. 하지만, 마커기반의 자세 추정은 마커 검출 능력에

의존 이므로 마커의 일부 혹은 부가 가려질 경우 카

메라 자세를 구하는 것이 불가능해 진다. 따라서 이 경

우 특징 매칭을 통한 모션추정에 기반하여 임간

의 호모그래피( )를 계산한 뒤, 식 (3)과 같이 시

킨다. 된 결과()를 사용하여 재 임에 한

자세를 추정하는 방법이 사용된다[7,8].

⋯ (3)

3.2 모바일 센서를 이용한 자세추정

기존의 증강 실 시스템은 주로 카메라기반의 상처

리 기술을 사용하여 자세 추정을 수행한다. 이 경우, 모

션블러가 발생하면, 마커 트래킹 특징 추출이 불가

능하여 정확한 자세추정이 어렵다. 하지만 최근에 모바

일기기 성능의 비약 인 발 으로 다양한 센서가 탑재

되었다. 따라서 본 에서는 모바일기기에 내장된 하드

웨어기반의 가속도센서, 자이로센서 방향센서와 소

트웨어기반의 선가속도 센서를 활용한 자세추정방법에

해 설명한다.

먼 , 3차원 치를 측정하기 해 소 트웨어 기반의

선가속도센서를 사용한다. 선가속도센서는 가속도센서와

력센서의 오차로서, 원주 길이를 따라서 측정한 속도

의 변화율을 나타낸다. 선가속도센서 기반의 3차원의

치는 다음 식 (4)로 구할 수 있다[4,9].

(4)

∆ ∆

일정 시간()동안 입력된 선가속도 센서의 값( )을 가

지고 재 속력( )을 계산한다. 그리고 재 속력( )을

이용하여 재 이동거리( )를 계산한다. 이를 통해 선가

속도센서를 이용하여 재 3차원의 치를 추정한다[4,9].

arctan

(5)

arctan

식 (5)와 같이 가속도센서를 이용하여 카메라의 회

을 추정한다. 이때, 가속도센서만을 사용하여 모바일이

바라보는 방향을 추정할 수 없다. 이러한 문제를 해결하

기 해 그림 2와 같이 방향센서와 자이로센서를 함께

활용하여 축 방향의 회 을 측정한다.

방향센서는 자이로센서에 비해 느린 속도로 방향을

추정하지만 정확한 방향 추정이 가능하다. 반면, 자이로

센서는 빠른 모션감지가 가능하지만, 회 에 따른

으로 오차가 발생하므로 정확한 방향추정이 어렵다. 따

라서 센서기반의 자세추정방법으로 축 방향의 회 을

측정하기 해 식 (6)을 용한다.

(6)

모션블러가 가속도센서로부터 탐지될 때, 모바일 센서

를 이용하여 실시간 자세를 측정하기 해 다음과 같은

차를 따른다. 먼 , QR코드로부터 회 된 모바일기기

의 회 각도(Pr)와 방향센서정보()를 장한

다. 그리고 자이로센서()를 하여 자세를 추

정한다. 그리고 자이로센서의 오차를 해결하기 해

방향센서로부터 재 방향()을 실시간 획득하고,

변경된 회 각도()를 계산한다. 마지막으로, 최종

요()회 을 계산하기 해 기회 (Pr)으로부

터 변경된 회 ( )의 합을 계산한다.

그림 2 방향 센서와 자이로 센서를 활용한 축 방향의

회 측정

4. 실험 결과 분석

본 논문에서 제안한 시스템은 안드로이드 OS기반의

1.2GHz Exynos cpu와 4.3인치 WXGA 800×480 디스

이, 800만 화소의 카메라를 탑재한 기기에서 Zxing

Library와 OpenCV를 이용하여 구 하 다.

874 정보과학회논문지 : 컴퓨 의 실제 터 제 18 권 제 12 호(2012.12)

(a) 추정결과 (d) 오차

(b) 추정결과 (e) 오차

(c) 추정결과 (f) 오차

그림 3 모바일 센서 융합의 정확도 측정

4.1 모바일 센서 융합의 정확도

본 실험에서는 모바일 센서기반의 자세추정 정확도를

측정하기 해서 모션캡쳐시스템을 정답데이터(ground

truth)로 사용한다[10]. 정답데이터를 기 으로 상처리

기반 자세추정방법과 모바일센서와 상처리가 융합된

자세추정방법을 비교하 다. 그림 3의 축은 시간

(sec)이며, 축은 각 회 축에 한 회 각도()를

나타낸다.

그림 3에서는 모션블러 발생시에도 센서융합기반 자세

추정방법이 얼마나 정확한 자세 추정이 가능한지 확인하

기 해서 170시 에서 임의의 모션블러를 발생시키

고, 그 결과를 정답데이터와 함께 측정하 다. 모션블러

발생 이 까지는 두 방법 모두 각 회 에 해 상처리

기반의 자세추정방법만을 수행하며 정답데이터와 유사한

자세추정 결과를 보 다. 하지만, 모션블러 발생 후인 음

역(180∼270)에서는 상처리기반의 자세추정방

법은 올바른 자세를 추정하지 못했으나, 가속도 센서와

자이로 방향센서를 사용한 센서융합기반의 자세추정

방법은 올바른 자세 추정을 수행하 음을 볼 수 있다.

그림 3의 (a),(b),(c)는 정답데이터와 상처리기반의

자세추정결과 센서융합기반의 자세추정결과를 보여

주고, (d),(e),(f)는 센서융합기반 자세추정의 정확도를

모바일 센서융합을 이용한 증강 실 시스템의 강인한 자세추정 875

(a) 제품 고 가시화 (b) 실시간 상세 정보 가시화 (c) 문화정보 가시화

그림 4 QR코드 기반 증강 실을 한 시스템 콘텐츠

비교하기 해 정답데이터와 각각의 자세추정방법에

한 오차를 나타내었다.

4.2 QR코드 기반 증강 실을 한 시스템 콘텐츠

그림 4의 (a)는 제품에 부착된 QR코드를 증강 실기

술을 사용하여 냉장고와 같은 상품의 3차원 모델 혹은

고를 가시화해주는 서비스이다. 이를 통해 사용자는

물건을 구매하기 부착된 QR코드를 통해 모바일에서

상품에 한 설명과 정보를 획득할 수 있다.

그리고 (b)는 비즈니스에서 자주 사용하는 명함이다.

명함은 시간의 흐름에 따라 사용자의 정보가 바 게 되

어 더 이상 사용할 수 없게 된다. 하지만 명함속의 QR

코드를 이용하면, 데이터 서버로부터 사용자의 정보를

항상 최신으로 유지할 뿐 아니라 부가 인 정보도 얻을

수 있다.

(c)는 지 표지 에 QR코드를 부착함으로써, 그

문화에 한 실시간 상 부가정보를 나타내는 콘텐

츠를 보여 다.

5. 결론 향후 연구

본 논문은 QR코드기반 증강 실을 해 모바일센서

를 융합하여 사용하는 방법을 제안하 다. 이를 해 먼

QR코드의 외곽사각형을 검출하 다. 그리고 마커의

일부 혹은 부가 가려질 경우 특징 매칭을 통한 모

션추정에 기반하여 임간의 호모그래피를 계산하고,

이를 이용하여 자세를 추정하 다.

한, 모바일기기의 흔들림으로 모션블러가 발생 할

경우, 장착된 센서를 사용하여 자세를 추정하 다. 그

결과 제안된 시스템은 사용자가 모바일기기를 빠르게

움직이더라도 강인한 자세추정을 가능하게 한다. 향후

연구로는 력 컴퓨 워의 모바일기기에서 자세추

정을 한 트래킹을 알고리즘을 최 화하여 속도를 더

욱 향상시키기 한 연구가 수행될 것이다.

참 고 문 헌

[ 1 ] F. Zhou, H. Been-Lim Duh, M. Billinghurst,

"Trends in Augmented Reality Tracking, Inter-

action and Display : A Review of Ten Years of

ISMAR," IEEE International Symposium on Mixed

and Augmented Reality, pp.193-202, 2008.

[ 2 ] H.S. Yoon, N.Y. Park, W.W. Lee, Y.K. Jang, W.T.

Woo, "QR Code Data Representation for Mobile

Augmented Reality," International AR Standards

Meeting, pp.17-19, 2011.

[ 3 ] M.W. Park, J.P. Park, S.K. Jung, "An Implemen-

tation of QR code based On-line Mobile Augmented

Reality System," Korea MultiMedia Society, vol.15,

no.8, pp.101-113, 2012.

[ 4 ] J.P. Park, M.W. Park, S.K. Jung, "QR code based

Interactive Augmented Reality System using Mobile

Sensors," Korea Computer Congress, vol.39, no.1,

pp.400-402, 2012.

[ 5 ] T. Liu, T. Tan, Y. Chu, "2D Barcode and Aug-

mented Reality Supported English Learning System,"

IEEE Conference on Computer and Information

Science, pp.5-10, 2007.

[ 6 ] T. Korah, J. Wither, Y. Tsai, R. Azuma, "Mobile

Augmented Reality at the Hollywood Walk of Fame,"

IEEE Conference of Virtual Reality, pp.183-186, 2011.

[ 7 ] V. Teichrieb, JPS do Monte Lima, E. L.

Apolinario, TSMC de Farias, M. A. S. Bueno, J.

Kelner, Ismael H. F. Santos, "A Survey of Online

Monocular Markerless Augmented Reality," Inter-

national Journal of Modeling and Simulation for

The Petroleum Industry, vol.1, no.1, 2007.

[ 8 ] R. Hartley, A. Zisserman, Multiple View Geo-

metry in Computer Vision, Cambridge.

[ 9 ] E. Eyjolfsdottir, M. Turk, "Multisensory Em-

bedded Pose Estimation," WACV '11 Proceedings

of the 2011 IEEE Workshop on Applications of

Computer Vision (WACV), pp.23-30, 2011.

[10] optiTrack. (2012). [Online]. Available : http://www.

naturalpoint.com/optitrack/