제스처기반사용자인터페이스에대한연구동향icserv.gist.ac.kr/mis/publications/data/2008/hong.2008d.pdf ·...

403

홍동표, 우운택: 광주과학기술원

제스처기반사용자인터페이스에대한연구동향

Recent Research Trend of Gesture-based User Interfaces

홍동표·우운택

Dongpyo Hong ·Woontack Woo

본 논문에서는미디어콘텐츠와의자연스러운사용자 상호작용을지원하기위한제스처(Gesture)기반 사용자 인터페이스에대한관련연구동향을살펴본다. 최근 정보 통신기술의발전과함께사용자들은언제어디서나다양한미디어 콘텐츠들을 다양한 장치들을 통해서 즐길 수 있게 되었다. 하지만 상호작용 측면에서 보면, 사용자는 여전히부자연스러운사용자인터페이스를사용해야만할뿐만아니라새로운인터페이스를매번학습을해야하는불편함을감수해야한다. 따라서다양한장치들과미디어콘텐츠와의보다자연스럽고편안한사용자상호작용을지원하기위해서사용자의움직임을이용한제스처기반사용자인터페이스에대한연구가국내·외적으로활발히진행되고있다.제스처기반사용자인터페이스는다른사용자인터페이스(음성, 촉감, 시점등)에비해서비교적직관적이고간단하기때문에사용자들에게보다자연스러운사용자상호작용을제공할수있다. 뿐만 아니라콘텐츠와의상호작용에제약조건이많은모바일장치의경우에도, 직관적이고간단한제스처기반사용자인터페이스는효과적이다. 따라서 유비쿼터스컴퓨팅환경과같이사용자중심의멀티-모달(Multi-modal) 상호작용을 지원하기위해서는사용자의움직임뿐만아니라사용자의맥락도함께고려된개인화된제스처기반사용자인터페이스가요구된다.

주제어: 사용자인터페이스, 제스처기반인터페이스, 맥락인식, 유비쿼터스컴퓨팅, 증강현실

In this paper, we review recent research trends in gesture-based user interfaces to support natural userinteractions with media contents. With the developments of information and communication technology, usersare able to enjoy varous media contents through various devices anytime and anywhere. From the perspective ofuser interactions, however, we still suffer from unnatural user interfaces and learning phase of new userinterfaces on the various types of media contents and devices. Thus, to support more natural and comfortableuser interfaces, there have been many research activities on the development of gesture-based user interfaces.The gesture-based user interface is relatively intuitive and simple in comparison with other user interfaces, suchas speech, haptics and eye-gaze, so that it can support more natural user interactions. In particular, the gesture-based user interface is more effective on mobile devices due to its intuitiveness and simplicity. Therefore, webelieve personalized gesture-based user interface is required to support user-centered multi-modal interactions inubiquitous computing environment.

Keywords: User Interfcae, Gesture-based Interface, Context-awareness, UbiComp, Augemented Reality

비교적정확한사용자의제스처들을추적하고인식하는데 사용되지만, 사용자는 부자연스러운 장비를 이용해야 하는 불편함을 감수해야 한다. 이와 달리 비접촉식방법은사용자로부터불필요한장비를해소하고자연스러운 움직임을 보장하지만, 상대적으로 사용자의 움직임에대한특징점을추적하는데어려움이있다. 따라서이와같은문제점을보완하기위해서이미특징점에대한속성을알고있는특정마커를사용하거나다중카메라를사용하기도한다. 하지만비접촉식방법은여전히조도과 같은 주변 환경의 변화에 민감하다. 그럼에도불구하고, 비접촉식방법은접촉식방법에비해서카메라와 같이 저가의 장비를 이용하면서도 다양한 제스처를이용할수있는장점이있다. 또한최근에는센서와관련된 기술의 발전으로 모바일 장치를 통해서 사용자의 움직임을 추적하고 인식하는 방식의 제스처기반 사용자인터페이스가연구되고있다. 따라서 제스처기반사용자인터페이스는사용자의직관적인움직임을통해서미디어콘텐츠와자연스러운상호작용할수있는인터페이스로기대된다. 본 논문의 구성은 다음과 같다. II장에서는 다양한

사용자인터페이스들에대한기술들을간단히소개하고각인터페이스들의장·단점을비교해본다. III장에서는 제스처기반 사용자 인터페이스를 사용된 기술에 따라 분류하고 각 기술에 대해서 자세히 살펴본 뒤 IV장에서는 모바일 장치에 사용되는 제스처기반 사용자 인터페이스를 소개한다. 마지막으로 V장에서는 결론과함께유비쿼터스컴퓨팅환경에서의제스처기반사용자인터페이스를전망해본다.

II. 사용자인터페이스

본 장에서는 사람과 컴퓨터간의 상호작용에 있어서다양한 사용자 인터페이스들을 살펴보고 비교해 본다.컴퓨터성능의급속한발전과달리, 사용자 인터페이스는별다른발전을이루고있지못하고있다. 예를들면1960년대에개발된마우스와 1970년대에개발된키보드는지금까지도컴퓨터와의상호작용에보편적으로사용되고있는사용자인터페이스들이다. 따라서보다자연스러운 상호작용을 지원하기 위한 새로운 형태의 사용자 인터페이스에 대한 다양한 연구들이 시작되었다.본 장에서는 음성, 촉감, 시점 그리고 사용자 제스처를이용한사용자인터페이스에대해서간단히살펴본다.

1. 음성기반사용자인터페이스

음성은 사람들간의 상호작용에 있어서, 가장 쉽고보편적이며편리한수단이다. 또한 다른인터페이스들과함께사용가능한장점도있다[7]. 특히음성을이용한 상호작용을 위해서 음성기반 사용자 인터페이스

I. 서 론

“인간은 사회적 동물이다”라는 철학적 명제로부터우리는우리가속한사회안에서그구성원들과끊임없는 상호작용(Interaction)을 하고 있다. 즉, 상호작용이란주어진환경에서둘이상의개체가서로간에영향을 주고 받는 행위이다. 예를 들면 인간은 말(語)이나문자라는인터페이스(Interface)를 통해서상대방과상호작용을한다. 하지만서로간의인터페이스가다르거나부자연스러울경우, 서로간에오해가생기거나문제가발생하게된다. 따라서사람과컴퓨터간의상호작용에 있어서도 보다 효과적인 상호작용을 하기 위해서는두 개체 간의 의사를 잘 이해할 수 있는 편리하고 자연스러운인터페이스가요구된다.사용자와 컴퓨터간의 자연스러운 상호작용에 있어

서맥락인식 (Context-awareness)은 중요한요소이다[1]~[3]. 즉, 사용자의직접적인정보(상황-狀況) 뿐만 아니라 경험이나 지식에 기반한 정보(맥락-脈絡)를활용하면 컴퓨터와 보다 자연스러운 상호작용을 할 수있기때문이다[4]~[6]. 따라서음성(Speech)[7],[8],촉감(Haptic)[9],[10], 시점(Eye-Gaze)[11],[12], 제스처 (Gesture)[13]~[16] 등과 같이 사용자의 맥락정보를 사용자 인터페이스로 활용하려는 연구들이 국내·외적으로 활발히 진행되고 있다. 각 인터페이스들에 대한 장·단점은 II장에서 자세히 소개한다. 특히,제스처기반사용자인터페이스는다른인터페이스에비해서 비교적 다양한 센서들(예, 카메라, 가속도 센서,기울기 센서 등)을 활용할 수 있고, 직관적인 사용자의움직임을 통해서 상호작용이 가능하기 때문에 가상 현실, 게임시스템에서부터모바일, 착용형시스템까지다양한 상호작용 시스템에 활용되고 있다[17]~[20]. 하지만, 제스처기반 사용자 인터페이스을 통한 상호작용의 경우라도 부가적인 장치(예, 데이터 글로브[13],[20], 움직임추적장치[14])를 사용해야하는불편함이 있다. 따라서, 부가적인 장치의 사용에 따른 불편을해소하고사용자의자연스러운움직임을보장하기위해서, 시각(Computer Vision)기술만을 이용한 제스처기반 사용자 인터페이스에 대한 연구가 활발하다[15],[16]. 본 논문에서는 미디어 콘텐츠와 자연스러운 상호작

용을 지원하기 위한 제스처기반 사용자 인터페이스에대한연구동향을살펴본다. 제스처기반사용자인터페이스는 사용자의 손동작과 몸짓 등 사용자의 직관적인움직음을통해서사용자가컴퓨터와자연스럽게상호작용할수있도록해주는사용자인터페이스이다. 제스처기반 사용자 인터페이스는 센서나 장비를 사용자의 신체에 부착시켜 사용자의 움직임을 이용하는 접촉식 방법과 사용자의 움직임을 카메라로 획득하고 획득된 영상을 시각 기술만을 이용하는 비접촉식 방법으로 구분된다. 접촉식 방법은 고가의 장비나 센서를 이용하여

404 Telecommunications Review·제18권3호·2008년6월

는키보드나마우스보다는눈동자의움직임으로상호작용할수있는시점기반사용자인터페이스가보다효과적이다. 시점기반 사용자 인터페이스는 컨텍트 렌즈,피부, 헬멧등에추적장치를설치하여시점을추적하는방법과 카메라를 이용하여 시각 기술과 눈의 기학학적속성만을 통해 시점을 추적하는 방법이 있다. 컨텍트렌즈 등과 같이 부가적인 장치를 이용할 경우, 비교적정확한추적은가능하지만사용자들에게거부감을주게된다. 그리고 시각 기술을 이용할 경우에는 카메라 파라미터의 변화, 노이즈, 조도 변화 등에 민감하기 때문에일정한입력영상을획득하는것이쉽지않다. 뿐만아니라 영상의 크기, 임계값(Threshold Value) 등의설정에따라전체추적성능에많은영향을주게된다.

4. 제스처기반사용자인터페이스우리는 일상생활에서 다양한 움직음을 통해서 간편

하고 빠르게 의사전달을 하고 의사전달에 부가적인 의미를부여하거나강조하기도한다. 따라서 제스처기반사용자인터페이스는사용자의움직임을통해서미디어콘텐츠와 직관적이고 간편한 상호작용할 수 있도록 한다[13]~[16]. 특히, 사용자의 움직임을 이용한 상호작용의경우, 평면적인 2차원상호작용이아니라 3차원상호작용이 가능하기 때문에, 사용자에게 보다 편안하고자연스러운상호작용을제공할수있다. 제스처기반사용자인터페이스에대해서는다음장에서보다자세하게 설명 한다. 표 1은 다양한 사용자 인터페이스의 장점과단점들, 그리고응용분야를비교한표이다.표 1에서 볼 수 있듯이, 각각의 인터페이스들은 서

로다른장·단점을갖고있기때문에응용시스템에따라서 적절한 사용자 인터페이스를 활용하는 것이 효과적일 것이다. 하지만, 제스처기반 사용자 인터페이스는다른 사용자 인터페이스들에 비해서 다양한 표현이 가능할뿐만아니라직관적이고사용하기에편리하다.

Man-Machine Interface: 제스처기반사용자인터페이스에대한연구동향 405

(VUI: Voice User Interface)는 사용자의음성을인식하는것이외에도사용자가말하는내용을이해할수있어야하며 실시간으로 사용자의 입력에 반응할 수 있어야 한다[8]. 하지만 보다 자연스럽고 편리한 음성기반상호작용을위해서는노이즈에강건한음성인식기술,다중사용자들로부터특정화자를구별할수있는화자인식기술, 음성입력과새로운단어학습기술등의발전이요구된다.

2. 촉감기반사용자인터페이스

일상생활의 상호작용에 있어서 우리는 촉감에 의존할때가많다. 예를 들면, 물체의 단단함정도혹은제질이나질감등은사람의촉감을통해서만얻을수있는정보들이다. 따라서 촉감(Haptic)기반 사용자 인터페이스는 사용자가 미디어 콘텐츠의 질감이나 단단함 등을 느낄 수 있어야 하는 제품 디자인과 같은 특화된 시스템에많이활용되고있다[9]. 하지만, 촉감기반상호작용을 위해서는 충돌 검출(collision detection), 접촉저항력 계산(contact impedance), 형상 표현(shaperepresentation), 마찰력(surface friction), 동역학 계산(dynamics), 표면 무늬 및 굴곡 표현(surfacecurvature), 질감표현(texture modeling), 물리적 제약상태(physical constraints) 등의 기술적 내용들이반듯이수반되어야한다. 특히, 컴퓨터와촉감기반상호작용을 위해서는 촉감 반응 속도(1KHz)와 시각 반응속도(~30Hz)의차이를극복할수있는방법이필요하다[10].

3. 시점기반사용자인터페이스

시점(Eye-Gaze)기반 사용자 인터페이스는 사용자의관심또는의도를사용자의눈동자움직임을통해서파악하고 이를 상호작용에 활용하는 기법이다[11],[12]. 특히, 움직임이 부자연스러운 사람들에게

응용분야

•음성-문자변환기

•음성자동주문시스템

•콜-센터

•체험형시뮬레이션(게임, 자동차,비행기, 의료, 수술재활등)

•거동이불편한사용자들을위한인터페이스

•영화, 게임, 애니메이션등을위한모션캡쳐

사용자인터페이스

음성기반

촉감기반

시점기반

제스처기반

장점

•간단한입출력장치이용

•화자, 감정정보포함

•힘, 무게, 반발력체험가능

•반응이시,청각에비해빠름

•사용자의의도, 관심파악에용이

•3차원동작표현가능

•다양한표현가능

•적용분야다양함

단점

•주변소음에취약함

•공공장소에서사용하기부적합함(프라버시보장이어려움)

•고가의장치

•고정형

•고해상도의카메라

•주변환경에영향을받음

•고가의센싱장비

•주변환경변화에영향을받음

표 1. 사용자인터페이스에따른장·단점에분석

III. 제스처기반사용자인터페이스

II장에서살펴보았듯이제스처기반사용자인터페이스는 상대적으로 다른 사용자 인터페이스들에 비해서직관적이고다양한형태의상호작용이가능하다는점에서 많은 이점이 있다. 본 장에서는 제스처기반 사용자인터페이스를접촉식방법과비접촉식방법으로구분하여 각각의 방법에 대해서 자세히 살펴본다. 접촉식 제스처기반사용자인터페이스는센서나장치를사용자의신체 일부분에 부착하여 부착된 센서나 장치로부터 획득된 사용자의 움직임 정보를 이용하여 상호작용을 하는 방법이다. 이와 달리 비접촉식 제스처기반 사용자인터페이스는주로카메라를이용하여사용자의움직임정보를 획득하고 이를 통해서 상호작용하는 방법이다.그리고 비접촉식 방법은 사용자에게 특정 마커를 부착시켜사용자의움직임을비교적쉽게추적할수있는마커(Marker) 기반과순수시각기술만을이용하는마커리스(Markerless) 기반으로 구분된다. 특히, 제스처기반 사용자 인터페이스를 보다 효과적으로 사용하기 위해서는 손동작, 몸동작, 그리고 머리동작과 같은 구체적인동작을 인식하는 제스처 인식 알고리즘을 활용한다. 하지만본논문에서는제스처인식알고리즘과관련된내용보다는제스처추적에초점을맞추어살펴본다.

1. 접촉식제스처기반사용자인터페이스

접촉식 제스처기반 사용자 인터페이스는 사용자의움직임감지가가능한센서나장치를사용자가직접착용하여상호작용하는방법이다. 접촉식 방법의장점은비교적 고가의 장비를 이용하기 때문에 정확한 사용자제스처 정보를 획득할 수 있다. 또한 사용자 움직임의3차원정보를활용할수있기때문에, 특히 3차원가상

객체들과의상호작용에있어서효과적이다. 접촉식 방법으로 사용되는 대표적인 인터페이스들로는 광섬유,마그네틱센서, 그리고 자이로센서들을이용한데이터글로브(Data Glove)[13],[21]와 모션 트랙커(Motion Tracker)[14] 등이대표적이다. 그림 1은접촉식 제스처기반 사용자 인터페이스에 사용되는 입력장치들의예를보여주는그림이다. 그림 1에서처럼 제스처기반 사용자 인터페이스를

위한접촉식방법에사용되는입력장치들은이미상용화가되었으며 특히 가상 현실 시스템을 중심으로 많이사용되고 있다[13],[21]. 또한 착용형 컴퓨팅 환경에서도 사용자의 제스처나 음성을 이용한 사용자 인터페이스에 대한 연구가 많이 진행되고 있다[20]. 하지만접촉식제스처기반사용자인터페이스는사용자가부자연스러운장비를착용해야하는불편함이있다. 그리고장시간사용할경우, 에러가 누적되는문제뿐만아니라복잡한 장비 보정(Calibration) 과정은 여전히 해결되어야할문제이다.

2. 비접촉식제스처기반사용자인터페이스

비접촉식 제스처기반 사용자 인터페이스는 대부분시각 기술에 기반하고 있다. 따라서 하나의 카메라 혹은여러대의카메라들을통해획득된영상으로부터사용자의 움직임을 추적하고 인식한다. 일반적으로 시각기술에기반한비접촉식방법은초기화(Initialization),추적(Tracking), 사용자 자세 예측(Pose Estimation)그리고인식(Recognition)의 과정을거친다. 초기화과정을 보통 카메라 보정(Calibration)이라고 하며, 카메라의내·외부파라미터를결정하는과정이다. 그리고추적은사용자의움직임이있는영상으로부터특징점들을추출하고추출된특징점들을계속추적하는것이다.추적된특징점들을분석함으로써사용자의자세를예측하고사용자의움직임을인식하는과정을거치게된다.비접촉식제스처기반사용자인터페이스는접촉식방법에 비해 사용자에게 보다 자연스러운 움직임을 제공하


(가) 데이터글로브1)(5DT Inc. Data Glove 14 Ultra) (나) 모션트랙커2)(Polhemus FastrakⓇ)

그림 1. 접촉식제스처기반사용자인터페이스

1) http://www.5dt.com/

2) http://www.polhemus.com/

는이점이있지만사용자움직임에대한특징점을찾고,이를 추적하는데 어려움이 있다. 따라서 이와 같은 취약점을 개선하기 위해서 비접촉식 제스처기반 사용자인터페이스는 특정 마커(Marker)를 사용자에게 부착시키는방법혹은다수의카메라를이용하는등다양한연구가진행되고있다. 마커를 이용한 비접촉식 제스처기반 사용자 인터페

이스는사용자의신체부위에특정마커를부착시키고,부착된 마커를 시각 기술을 이용하여 추적하는 방법이다[14]. 특정마커를사용할때의장점은이미해당마커에대한속성(예, 컬러, 형태 등)을 알고있기때문에비교적쉽고빠르게사용자의제스처를추적할수있는장점이 있다. 사용되는 마커의 종류에 따라, 액티브(Active) 마커와패시브(Passive) 마커로구분될수있다. 액티브 마커의경우에는마커자체의속성이외에도조명의 영향에 강건할 수 있는 특성(예, LED, 적외선LED 등)을 지닌 마커이다[22],[23]. 이와 달리, 패시브마커의경우에는일반적으로획일적인(Uniform) 컬러를 이용한 마커이다[24],[25]. 마커를 이용할 경우,특징점추출은상대적으로빠르게할수있지만접촉식제스처기반사용자인터페이스와같이여전히사용자는부자연스러운마커를부착해야하는단점이있다. 뿐만아니라, 마커가중첩되거나마커의수가많아지면, 마커간의 구분이 어렵게 되어 강건하고 정확하게 사용자의제스처추적이어렵다. 그림 2는마커를이용한비접촉식제스처기반사용자인터페이스이다. 마커리스(Markerless) 방법은 마커를 이용하는 불

편함을해소하기위해서카메라만을사용하여사용자의움직임을추적하는방법이다. 이러한 마커리스의장점은 다른 제스처기반 사용자 인터페이스들보다 설치가

용이할뿐만아니라상대적으로저렴하다. 시각기술을이용한사용자의움직임추적연구는주로옵티컬플로우(Optical Flow)[16],[17], 배경 분리 기법(Background Subtraction)[26]~[28], 모션 히스토리 이미지(Motion History Image)[29],[30] 등의 알고리즘을사용한다. 옵티컬 플로우알고리즘은연속된영상들에서 특징점간의 유사성을 보통 SSD(Sum ofSquared Difference) 조건을 통해서 구한다. 따라서옵티컬 플로우 알고리즘을 이용하면 사용자 움직임의방향과 속도를 영상으로부터 추출할 수 있다. 하지만특징점에 대한 영상의 밝기가 밝을 경우에는 움직임의방향과 속도를 구하기 어렵운 단점이 있다. 배경 분리기법은참조영상과현재영상간의차이를통해서추출된사용자의제스처를추적하는알고리즘으로마커리스제스처기반사용자인터페이스에서일반적으로많이사용되고있다. 우선, 알고리즘이실시간성을보장하면서도 복잡하지 않으며 효과도 좋기 때문이다. 모션 히스토리 이미지 알고리즘은 모션 에너지 이미지(MotionEnergy Image)들을 시간에 따라 하나의 영상에 기록하여특정시간동안의사용자움직임을추적하는알고리즘이다. 모션히스토리이미지에기록된영상의픽셀이 밝을 수록 최근에 움직인 부분이다. 모션 히스토리이미지알고리즘은옵티컬플로우보다수행시간이빠르지만 사용자의 움직임 방향과 카메라의 위치가 중요하다. 하지만마커리스방법은여전히광원의간섭, 그림자 등과 같은 외부 요인에 취약하다. 그림 3은 마커리스방법에사용된각알고리즘으로구현된사용자인터페이스를보여주는그림이다.또한, 비접촉식제스처기반사용자인터페이스의단

점인 가려짐(Occlusion) 문제나 빛의 간섭 문제 등을보완하기 위해서 여러 대의 카메라를 이용하거나 적외선카메라와같이특수한장치를함께사용하기도한다[31]~[35]. 특히, 사용자의 움직임은 3차원 공간 상에서 이루어지는 3차원 정보이기 때문에, 최근에는 한


(가) 액티브마커3) (나) 패시브마커[25]4)

그림 2. 마커를이용한비접촉식제스처기반사용자인터페이스

3) http://www.mocap.lt/


대의카메라를이용하여사용자의 3차원공간에서의움직임을 추적하는 연구도 진행중에 있다[36]. 따라서자연스러운 사용자 상호작용을 지원하기 위해서는 3차원정보인사용자의움직임을효과적으로추적하면서도계산 복잡도가 낮은 제스처기반 사용자 인터페이스에대한연구가필요하다. 그림 4는다수의카메라를이용한비접촉식제스처기반사용자인터페이스들을보여주

는그림이다.

IV. 모바일장치를이용한제스처기반사용자인터페이스

본장에서는모바일장치에사용된센서를중심으로

(가) 옵티컬플로우기법을이용한게임[17]

(나) 배경분리기법을이용한사용자움직임추적[26]

(다) 모션히스토리이미지기법을이용한발동작추적[30]

그림 3. 마커리스방법을이용한제스처기반사용자인터페이스


제스처기반사용자인터페이스를살펴본다. 최근 디지털 컨버전스 시대를 맞이하여 사용자들은 음악, 영화,게임등다양한콘텐츠를모바일장치를통해서즐길수있게되었다. 또한센서기술의발전은터치스크린, 카메라, 가속도센서, GPS(Global Positioning System)수신기등다양한센서들이포함된모바일장치를만들수 있게 되었다. 따라서 최근에는 모바일 장치가 갖는제약 조건(예, 제한적인 입·출력, 잦은 이동 등)을 간단한센서와직관적인움직임을통해서극복할수있는새로운 사용자 인터페이스들이 개발되고 있다[19],[37],[38]. 모바일장치에부착된기울기센서는사용자가모바

일장치를기울이는방향에따라디지털콘텐츠를스크롤하거나화면의방향을전환하는데주로사용된다. 가

속도 센서의 경우에는 사용자가 모바일 장치를 흔드는것을 통해서 콘텐츠에 변화를 주거나 사용자의 의도를전달할때사용된다. 터치스크린의경우에는예전부터모바일장치의입력장치로사용되어왔으며필기체인식등을이용하는사용자인터페이스로활용되었다. 최근에는 멀티-터치4)의 기술이 적용되어 콘텐츠의 크기를변화시키거나변형하는등보다다양한형태로사용되고 있다. 따라서 사용자는 별도의 키 조작이나 버턴조작없이도콘텐츠를원하는형태의상호작용을직관적으로할수있다. 그림 5는모바일장치를이용한제스

(가) 2대의카메라를이용한사용자움직임추적[31]

(나) 멀티-뷰카메라를이용한공간센서[33]

(다) 적외선카메라와일반카메라를이용한인터페이스[34]

그림 4. 다중카메라를이용한제스처기반사용자인터페이스

LCD projector(front projection)

LCD projector(Rear projection)

Infraredcamera

Colorcamera

Plasmadisplay

4) http://support.apple.com/kb/HT1636


처기반 사용자 인터페이스를 적용한 예를 보여주는 그림이다. 모바일 장치를 이용한 제스처기반 사용자 인터페이

스는 기존의 인터페이스와 같이 사용자가 특정 위치에있어야 하거나 부자연스러운 장비를 착용하지 않아도되는 장점이 있다. 하지만 모바일 장치를 이용한 제스처기반사용자인터페이스가기존의제스처기반사용자인터페이스와 같이 3차원 콘텐츠와의 상호작용에 활용되기 위해서는 모바일 장치에 부착된 카메라를 활용하는형태의인터페이스에대한연구가필요하다.

V. 결론및전망

본 논문에서는 제스처기반 사용자 인터페이스에 대한연구동향을살펴보았다. 다양한미디어콘텐츠와의상호작용에있어서제스처기반사용자인터페이스는다른사용자인터페이스들에비해서사용자에게직관적이고자연스러운인터페이스를제공한다. 특히, 제스처기반사용자인터페이스는사용자의 3차원움직임을그대로 상호작용에 적용할 수 있기 때문에 3차원 콘텐츠와의상호작용에있어서많은장점을갖고있다. 또한콘텐츠와의 상호작용에 제약 조건이 많은 모바일 장치의경우에도 간단한 사용자의 동작을 통한 제스처기반 사용자인터페이스가효과적으로활용된다. 따라서 제스처기반사용자인터페이스는가상현실과같은기존시스템뿐만 아니라 모바일 장치와 같이 직관적인 상호작용이필요한시스템에필요한기술이다.지금까지우리는컴퓨터와상호작용에있어서, 사용

자에게가시적으로보이는대상과상호작용하는데필요한기술들을살펴보았다. 하지만유비쿼터스컴퓨팅환

경은 사용자에게는 보이지 않지만 수많은 서비스들이항상 사용자 주변에 존재하고 상호작용할 준비가 되어있다. 이와같이사용자에게노출되지않은서비스들과상호작용하기위해서는사용자에게보이지않는서비스들을사용자에게가시화시켜줌으로써사용자에게기존의상호작용과유사한형태의상호작용을할수있는증강 현실 기술(Augmented Reality: 현실 공간에 가상의 객체를 이음매없이 증강시키는 기술)들이 필요하다[39]. 또한 유비쿼터스컴퓨팅환경에서의제스처기반사용자 인터페이스는 사용자의 움직임이라는 단편적인정보만활용하는것이아니라사용자의맥락정보도함께 고려된 형태의 개인화된 제스처기반 사용자 인터페이스에관한연구가필요하다.

[참고문헌][1] M. Weiser, ''The Computer for the 21st Century,''

Scientific American, Vol. 265, No. 3, 1991, pp. 94-104.[2] B. Schilit, N. Adams, and R. Want, ''Context-Aware

Computing Applications,'' in Proceedings of IEEE Workshop on Mobile Computing Systems and Applications, 1994, pp. 85-90.

[3] H. Lieberman and T. Selker, ''Out of context: Computer systems that adapt to, and learn from, context,'' IBM Systems Journal, Vol. 39, No. 3 - 4, 2000, pp. 617 - 631.

[4] A. K. Dey and G. D. Abowd, ''Towards a Better Understanding of Context and Context-awareness,'' in the Workshop on The What, Who, Where, When, and How of Context-Awareness, as part of the 2000 Conference on Human Factors in Computing Systems (CHI 2000), 2000.

(가) 기울기센서를이용한콘텐츠제어[19]

그림 5. 모바일장치를이용한제스처기반사용자인터페이스

(나) 가속도센서를이용한콘텐츠제어[38]

[5] A. Schmidt, M. Beigl, and H.-W. Gellersen, ''There is more to Context than Location,'' Computers and Graphics, Vol. 23, No. 6, 1999, pp. 893-901.

[6] B. J. Rhodes, ''The Wearable Remembrance Agent: A System for Augmented Memory,'' in Proceedings of The First International Symposium on Wearable Computers, 1997, pp. 123-128.

[7] A. Sears, J. Feng, K. Oseitutu, and C.-M. Karat, ''Hands-Free, Speech-Based Navigation During Dictation: Difficulties, Consequences, and Solutions,''Human-Computer Interaction (HCI) Journal, Vol. 18, No. 3, 2003, pp. 229-257.

[8] V. F. M. Salvador, J. S. de Oliveira Neto, and A. S. Kawamoto, ''Requirement Engineering Contributions toVoice User Interface,'' in Proceedings of First International Conference on Advances in Computer-Human Interaction, 2008, pp. 309-314.

[9] K. Kyung and J. Park, “햅틱스기술개발동향및연구전망,”전자통신동향분석, Vol. 21, No. 5, 2006,pp. 93-108.

[10] L. Kim and S. Park, “햅틱인터페이스를이용한가상조각시스템,”정보과학회논문지: 시스템및이론,Vol. 31, No. 11-12, 2004, pp. 682-691.

[11] K. R. Park and J. Kim, ''Real-time Facial and Eye Gaze Tracking System,'' IEICE Transactions on Information and Systems, Vol. E88-D, No. 6, 2005, pp. 1231-1238.

[12] M. R. M. Mimica and C. H. Morimoto, ''A Computer Vision Framework for Eye Gaze Tracking,'' in Proceedings of the XVI Brazilian Symposium on Computer Graphics and Image Processing, 2003, pp. 406-412.

[13] D. J. Sturman and D. Zeltzer, "A Survey of Glove-basedInput," IEEE Computer Graphics and Applications, Vol. 14, No. 1, 1994, pp. 30-39.

[14] G. B. Guerra-Filho, ''Optical Motion Capture: Theory and Implementation,'' Journal of Theoretical and Applied Informatics (RITA), Vol. 12, No. 2, 2005, pp. 61-89.

[15] T. B. Moeslund and E. Granum, ''A Survey of Computer Vision-Based Human Motion Capture,''Computer Vision and Image Understanding, Vol. 81, No. 3, 2001, pp. 231-268.

[16] M. Turk, ''Computer Vision in the Interface,''Communications of the ACM, Vol. 47, No. 1, 2004, pp. 60-67.

[17] W. T. Freeman, D. B. Anderson, P. A. Beardsley, C. N. Dodge, M. Roth, C. D. Weissman, W. S. Yerazunis, H. Kage, K. Kyuma, Y. Miyake, and K. ichi Tanaka, ''Computer Vision for Interactive Computer Graphics,''IEEE Computer Graphics and Applications, Vol. 18,

No. 3, 1998, pp. 42-53.[18] P. Maes, T. Darrell, B. Blumberg, and A. Pentland,

''The ALIVE system: Full-body Interaction with Autonomous Agents,'' in Proceedings of Computer Animation, 1995, pp. 11-18.

[19] K. Hinckley, J. Pierce, M. Sinclair, and E. Horvitz, ''Sensing Techniques for Mobile Interaction,'' in Proceedings of the 13th annual ACM symposium on User Interface Software and Technology, 2000, pp. 91-100.

[20] H. Witt, T. Nicolai, and H. Kenn, ''Designing a Wearable User Interface for Hands-free Interaction in Maintenance Applications,'' in Proceedings of the Fourth Annual IEEE International Conference on Pervasive Computing and Communications Workshops (PERCOMW’06), 2006.

[21] T. G. Zimmerman, J. Lanier, C. Blanchard, S. Bryson, and Y. Harvill, ''A Hand Gesture Interface Device,''in Proceedings of the SIGCHI/GI conference on Human factors in computing systems and graphicsinterface, 1987, pp. 189-192.

[22] K. Kurihara, S. Hoshino, K. Yamane, and Y. Nakamura, ''Optical Motion Capture System with Pan-Tilt Camera Tracking and Realtime Data Processing,'' in Proceedings of the 2002 IEEE International Conference on Robotics and Automation,Vol. 2, 2002, pp. 1241-1248.

[23] H. Chen, G. Qian, and J. James, ''An Autonomous Dance Scoring System using Marker-based Motion Capture,'' in Proceedings of IEEE 7th Workshop on Multimedia Signal Processing, 2005, pp. 1-4.

[24] C. Keskin, A. Erkan, and L. Akarun, ''Real Time Hand Tracking and 3D Gesture Recognition for Interactive Interfaces using HMM,'' in Proceedings of the Joint International Conference ICANN/ICONIP 2003, 2003.

[25] Y. Tao and H. Hu, ''Colour Based Human Motion Tracking for Home-based Rehabilitation,'' in Proceedings of IEEE International Conference on Systems, Man, and Cybernetics, Vol. 1, 2004, pp. 773-778.

[26] I. Haritaoglu, D. Harwood, and L. S. Davis, ''W4: Who?When? Where? What? A Real Time System for Detecting and Tracking People,'' in Proceedings of International Conference on Face and Gesture Recognition, 1998, pp. 222-227.

[27] T. Horprasert, D. Harwood, and L. S. Davis, ''A Statistical Approach for Real-time Robust Background Subtraction and Shadow Detection,''in Proceedings of the 7th IEEE International Conference on Computer Vision, Frame Rate


Workshop (ICCV ’99), 1999, pp. 1-9.[28] D. Hong and W. Woo, ''A Background Subtraction for

a Vision-based User Interface,'' in Proceedings of the Fourth International Conference on Pacific Rim Conference on Multimedia, Vol. 1, 2003, pp. 263-267.

[29] A. F. Bobick and J. W. Davis, ''The Recognition of Human Movement Using Temporal Templates,''IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, 2001, pp. 257-267.

[30] G. R. Bradski and J. W. Davis, ''Motion Segmentation and Pose Recognition with Motion History Gradients,''Machine Vision and Applications, Vol. 13, No. 3, 2002, pp. 174-184.

[31] T. Horprasert, I. Haritaoglu, C. Wren, D. Harwood, L. Davis, and A. Pentland, “Real-time 3D Motion Capture,”in Proceedings of 2nd Workshop on Perceptual User Interfaces, 1998.

[32] G. K. Cheung, S. Baker, J. Hodgins, and T. Kanade, ''Markerless Human Motion Transfer,'' in Proceedings of 2nd International Symposium on 3D Data Processing, Visualization and Transmission, 2004, pp. 373-378.

[33] D. Hong and W. Woo, ''A 3D Vision-based Ambient User Interface,'' International Journal of Human Computer Interaction, Vol. 20, No. 3, 2006, pp. 271-284.

[34] K. Oka, Y. Sato, and H. Koike, ''Real-Time Fingertip Tracking and Gesture Recognition,'' IEEE Computer Graphics and Applications, Vol. 22, No. 6, 2002, pp. 64-71.

[35] T. Starner, B. Leibe, D. Minnen, T. Westyn, A. Hurst, and J. Weeks, ''The Perceptive Workbench: Computer Vision-Based Gesture Tracking, Object Tracking, and 3D Reconstruction for Augmented Desks,'' Machine Vision and Applications, Vol. 14, No. 1, 2003, pp. 59-71.

[36] A. Bottino and A. Laurentini, ''How to Make a Simple and Robust 3D Hand Tracking Device using a Single Camera,'' in Proceedings of the 11th WSEAS International Conference on Computers, 2007, pp. 414-419.

[37] S.-J. Cho, C. Choi, Y. Sung, K. Lee, Y.-B. Kim, and R. Murray-Smith, ''Dynamics of Tilt-based Browsing on Mobile Devices,'' in CHI ’07 Extended Abstracts on Human Factors in Computing Systems, 2007, pp. 1947-1952.

[38] E.-S. Choi, W.-C. Bang, S.-J. Cho, J. Yang, D.-Y. Kim, and S.-R. Kim, ''Beatbox Music Phone: Gesture-based Interactive Mobile Phone using a Tri-axis Accelerometer,'' in IEEE International Conference

on Industrial Technology (ICIT 2005), 2005, pp. 97-102.

[39] D. Hong and W. Woo, “모바일증강현실시스템에대한연구동향,”한국정보과학회지, Vol. 26, No. 1, 2008, pp. 88-97.


홍동표(Dongpyo Hong)

1992~2001: 동아대학교컴퓨터공학과학사2002~2004: 광주과학기술원정보통신공학과석사2004~현재: 광주과학기술원정보통신공학과박사과정관심분야: Mobile Context-Aware AR,

Vison-based HCI 등E-mail: [email protected]:+82-62-970-3157Fax:+82-62-970-2204


우운택(Woontack Woo)

1984~1989: 경북대학교전자공학과학사1989~1991: 포항공과대학교전기전자공학과석사1993~1998: University of Southern California,

Electrical Engineering-System 박사1991~1992: 삼성종합기술연구소연구원1999~2001: ATR MIC Labs. 초빙연구원2001~현재: 광주과학기술원정보통신공학과부교수관심분야: 3D computer vision and its applications

including attentive AR and mediated reality, HCI, affective sensing and context-aware for ubiquitous computing 등

E-mail: [email protected]:+82-62-970-2226Fax:+82-62-970-2204

제스처기반사용자인터페이스에대한연구동향icserv.gist.ac.kr/mis/publications/data/2008/hong.2008d.pdf ·...

Documents