연세대학교 미디어시스템 연구실 서종훈 / jonghoon.seo@msl.yonsei.ac.kr

http://msl.yonsei.ac.kr

"닥치고 동작“ 모션인식 2.0: 키넥트 이후의 모션인식 기술

1. 모션 인식 기술

1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. Kinect 이후의 모션 인식 기술들

2-1. LeapMotion 2-2. MYO 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양한 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀한 인식: 고정밀 인식 3-3. 더 편리한 인식: NUI Platform 공개 3-4. 더 다양한 환경: 인식 환경의 변화 4. 차세대 모션 기반 UX 미래 전망

i n d e x

Douglas Engelbart

현재의 모션 인식 기술은 신체 골격을 인식하여 각 관절의 정보를 이용

하여 상호작용한다. 이에 따라 원거리 추적에 적합하고 이를 이용한 제

스처 인식 기반 상호작용을 제공한다.

Douglas Carl Engelbart

(January 30, 1925 – July 2, 2013)

[1] http://www.google.com/patents/US3541541

최초의 마우스에 대한 특허 US 3,541,541 (X-Y position indicator for a display system)

1. 모션 인식 기술

1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. Kinect 이후의 모션 인식 기술들

2-1. LeapMotion 2-2. MYO 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양한 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀한 인식: 고정밀 인식 3-3. 더 편리한 인식: NUI Platform 공개 3-4. 더 다양한 환경: 인식 환경의 변화 4. 차세대 모션 기반 UX 미래 전망

i n d e x

사용자 신체의 움직임을 인식하여 컴퓨터와 상호작용하는 기술

모션 인식 기술

[1] http://www.invensense.com/mems/motioninterface.html

모션 인식 기술 동향 Microsoft Kinect

사람의 골격(Skeleton) 정보를 기반으로 제스처 기반 상호작용 제공.

각 골격 정보를 원거리에서 추적하므로 정밀한 인식 성능은 제공하지 못함.

다양한 포스처 인식이 불가능하였고(1.7버전부터 지원),

손에 대한 추적(Tracking)과 이를 이용한 상호작용 제공.

현재의 모션 인식 기술은 신체 골격을 인식하여 각 관절의 정보를 이용

하여 상호작용한다. 이에 따라 원거리 추적에 적합하고 이를 이용한 제

스처 인식 기반 상호작용을 제공한다.

모션 인식 기술 동향 스마트 TV

손을 추적하여 포인트를 이동하고,

선택, 좌/우 등의 제스처 인식 가능

TV 의 분야에 있어서도 원거리 인식을 타겟으로 하기 때문에 손의 추적

이 주목적이다. 선택과 좌우 Swipe 등의 간단한 형태의 제스처를 인식

한 편리한 인터렉션을 제공한다.

[1] http://en.wikipedia.org/wiki/Touchscreen#.22Gorilla_arm.22

모션 인식 기술 동향 스마트 폰

좌/우 스와이프(Swipe) 기반 제스처 인식 기능.

Hovering panel을 이용한 근거리 손가락 추적 기능.

좌/우 스와이프(Swipe) 기반 제스처 인식 기능.

스마트 폰의 경우 다양한 센서를 이용하여 많은 제스처 기반 상호작용을

지원하는 연구가 계속되고 있다. 최근에는 Hovering panel을 이용하여

손가락을 추적하는 기술도 제공된다.

1. 모션 인식 기술

1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. Kinect 이후의 모션 인식 기술들

2-1. LeapMotion 2-2. MYO 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양한 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀한 인식: 고정밀 인식 3-3. 더 편리한 인식: NUI Platform 공개 3-4. 더 다양한 환경: 인식 환경의 변화 4. 차세대 모션 기반 UX 미래 전망

i n d e x

leap motion

Leap Motion은 저렴한 가격으로도 초고정밀 해상력과 빠른 인식 성능

을 제공하여 큰 반향을 일으켰다. 기존의 TV와 같은 대형 제스처 인식이

아니라 데스크톱과 같은 근거리 환경을 타켓하고 이러한 환경에서 기존

의 인터페이스를 대체하고 특히 3D 환경을 지원하기 위하여 개발되었다.

Leap Motion은 $79.99의 저렴한 가격으로도 1/100 mm의 정밀도로 손가락과 기타 물체를 인식할 수 있는 입력장치이다. 기존의 TV와 같은 대형 모션 인식 환경

이 아니라 데스크톱과 같은 근거리 환경을 타겟으로 개발되었다. 이러한 환경에서 기존의 인터페이스를 대체하고 특히 3D in-air tracking 기술을 지원한다. 기술 개

발의 목적이 3D 모델링과 같이 기존의 데스크톱 인터페이스로 수행이 어려운 작업을 쉽게 수행하여 Virtual Clay를 Molding 하는 것과 같은 효과를 얻기 위하여 개

발되었기 때문에 정밀하고 빠른 인식 성능을 제공한다.[1] 현재 2013년도 하반기부터 ASUS 의 high-end 노트북과 All in One PC에 탑재되기로 하였으며, HP의

컴퓨터에도 탑재하기로 되었다.

[1] http://www.engadget.com/2012/05/25/leap-motion-gesture-control-technology-hands-on/

[2] Leap Motion 홈페이지: https://www.leapmotion.com/

leap motion

Leap Motion은 2 개의 IR 카메라와 3 개의 IR LED의 조합으로 이루어

져 저렴하게 구현되었다. 하지만 내부 동작 원리는 특허 관계로 아직 공

개되지 않고 있다.

고무 시트

내부에서의 빛의 반사를 차단하여 내부 조명으로 인한 간섭현상을 최소화 [1]

적외선 LED x 3

적외선 카메라를 위한 광원. 양 측면 LED는 약간 가려져 있어 빛의 반사를 막고, 빛이 조사되는 영역도 조정하여 조명의 오버랩을 방지한다.[1]

적외선 카메라 x 2

2대의 CMOS 적외선 인식 모듈을 적재하여 깊이 인식

leap motion Next Desktop Interface

In-air Text Entry Mouse Control

Leap Motion의 높은 해상 능력을 활용하여 마우스를 대체하거나 문자 입력을 지원하여 기존의 데스크탑 인터페이스를 어느 정도 대체할 수 있을 것으로 기대됨.

leap motion Data Manipulation

투명 디스플레이에서 3D 객체 제어 멀티 디스플레이 제어 가상 지도 네비게이션

Leap Motion의 고정밀 3차원 인식 성능과 다양한 포스처 인식 기능을 활용하여 3차원 객체 제어나 네비게이션 등으로의 활용이 기대됨.

leap motion Gorilla Arm Syndrome

Weak for Ambient Lights

[1] Tim Carmody, “Why ‘Gorilla Arm Syndrome’ Rules Out Multitouch Notebook Displays”, WIRED Gadget Lab., http://www.wired.com/gadgetlab/2010/10/gorilla-arm-multitouch/

Leap Motion은 기기 위로 손을 뻗어 사용해야 하는 방식이기 때문에

Gorilla Arm Syndrome이 발생될 가능성이 있다. 또한, 적외선 조명을

사용하므로 Ambient Light가 존재하는 야외에서는 오차가 발생하게 된

다.

myo

MYO는 팔에 착용하는 암밴드 형태의 입력장치로 근육의 움직임을 인

식하여 손가락과 팔의 25가지 동작을 인식한다. Mac과 PC 뿐만 아니라

iOS와 안드로이드 환경까지 지원할 계획으로 다양한 분야에 활용될 것

을 기대할 수 있다.

MYO는 사용자의 팔에 착용하여 사용하는 암밴드(Arm-band) 형태의 입력장치로 근육의 움직임을 인식하여 손가락과 팔의 총 25가지 동작을 인식한

다. Mac과 PC를 비롯하여 iOS와 안드로이드 환경까지 지원할 계획으로 다양한 분야에 활용이 기대된다. 현재 2014년 상반기 출시를 목표로 사전구매

예약을 받고 있으며, 사전구매가는 $159에 제공된다.

myo

[1] https://www.youtube.com/watch?v=oWu9TFJjHaM

myo

기존의 손 추적(Tracking) 기반의 단순한 상호작용에서 발전되어,

다양한 포스처(Posture, Static Gesture) 인식을 통한 다양한 상호작용

을 제공하며, 더 나아가 손의 Full DoF(Degree-of-Freedom)를 인식하

여 자연스러운 상호작용 제공하는 방향으로 진화한다.

Rich Posture / Gesture

myo

기존의 손 추적(Tracking) 기반의 단순한 상호작용에서 발전되어,

다양한 포스처(Posture, Static Gesture) 인식을 통한 다양한 상호작용

을 제공하며, 더 나아가 손의 Full DoF(Degree-of-Freedom)를 인식하

여 자연스러운 상호작용 제공하는 방향으로 진화한다.

Ambient Use

High Precision

myo

MYO와 가장 유사한 연구인 MSR의 2010년 CHI 논문. 암밴드에 10개

의 센서를 부착하고 이 파형을 머신 러닝으로 학습하여 제스처 인식. 사

용자 군에 따라 정확도의 차이가 발생하는 것을 볼 수 있음. MYO에서도

이러한 사용자에 따른 인식율 차이를 줄이는 방법에 대한 보완이 필요할

것으로 예상됨.

[1] Chris Harrison, Desney Tan, and Dan Morris. 2010. Skinput: appropriating the body as an input surface. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI '10). ACM,

New York, NY, USA, 453-462.

1. 모션 인식 기술

1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. Kinect 이후의 모션 인식 기술들

2-1. LeapMotion 2-2. MYO 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양한 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀한 인식: 고정밀 인식 3-3. 더 편리한 인식: NUI Platform 공개 3-4. 더 다양한 환경: 인식 환경의 변화 4. 차세대 모션 기반 UX 미래 전망

i n d e x

more rich

Kinect for Windows SDK 1.7부터 Interaction Stream을 제공하여

Grip 과 Push Interaction 인식을 제공한다.

SIGGRAPH 2009[1] 3Gear Systems 2013

3Gear Systems: MIT에서 연구되었던 Color Glove 기술을 발전시켜 Bare Hand에 대한 Full

DoF(Degree-of-Freedom) 인식 기술 개발

Antonis Argyros, et al.[2], FORTH, Greece

기존의 손 추적(Tracking) 기반의 단순한 상호작용에서 발전되어,

다양한 포스처(Posture, Static Gesture) 인식을 통한 다양한 상호작용

을 제공하며, 더 나아가 손의 Full DoF(Degree-of-Freedom)를 인식하

여 자연스러운 상호작용 제공하는 방향으로 진화한다.

[1] Robert Y. and Wang, Jovan Popović, "Real-Time Hand-Tracking with a Color Glove" ACM Transactions on Graphics 28(3), 2009.

[2] I. Oikonomidis, N. Kyriazis and A.A. Argyros, “Tracking the articulated motion of two strongly interacting hands”, to appear in the Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2012, Rhode Island, USA, June 18-20, 2012..

more precise

모션 인식 기술을 이용하여 데스크탑 환경을 제어하기 위하여 좀 더 빠

른 인식 속도를 통하여 고정밀 인식 성능을 제공하는 다양한 기술들이

개발되고 있다.

Leap Motion: 0.01 mm 정밀도 인식 가능

DUO: Code Laboratories에서 KickStarter를 통해 진행하는

DIY 3D 센서. 374 FPS의 높은 속도로 인식 가능

more easy

다양한 모션 인식 SDK 제공되고 있음

다양한 환경에서 모션 인식을 제공하기 위한 다양한 NUI Platform 들이

제공되고 있으며, 지속적인 업데이트를 통하여 계속적으로 기능이 추가

되고 있다.

more easy

SoftKinetic iisu 3.6 free

Intel Perceptual Computing

Microsoft Kinect for Windows

PrimseSense OpenNI/NITE

Leap Motion MYO

License

commercial use X O O O O -

short range features

hands O O O O O O

fingers O O X X O O

face X O O O X X

voice X O O O X X

long range features

full body O X O O X X

scene management X X O O X X

multi-user 4 limited to 1 after

3 months X 2 2 X X

다양한 환경에서 모션 인식을 제공하기 위한 다양한 NUI Platform 들이

제공되고 있으며, 지속적인 업데이트를 통하여 계속적으로 기능이 추가

되고 있다.

more various environments 1. Wearable Device

MYO

DIGITS [1]

[1] Kim, David, et al. "Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor." Proceedings of the 25th annual ACM symposium on User interface software and technology. ACM, 2012.

기존의 TV나 Desktop 환경을 벗어나 다양한 환

경에서 모션 인식을 제공하기 위한 다양한 기술

들이 개발되고 있다.

more various environments 2. Portable Device

PrimeSense: Capri 3D sensor at CES 2013

PMD: Camboard Pico

기존의 TV나 Desktop 환경을 벗어나 다양한 환

경에서 모션 인식을 제공하기 위한 다양한 기술

들이 개발되고 있다.

more various environments 3. Ambient Environment

wisee

SoundWave LightWave

기존의 TV나 Desktop 환경을 벗어나 다양한 환

경에서 모션 인식을 제공하기 위한 다양한 기술

들이 개발되고 있다.

1. 모션 인식 기술

1-1. 모션 인식 기술 개요 1-2. 모션 인식 기술 동향 2. Kinect 이후의 모션 인식 기술들

2-1. LeapMotion 2-2. MYO 3. 차세대 모션 인식 기술의 방향 3-1. 더 다양한 인식: Finger Gesture / Full DoF 인식 기술 3-2. 더 정밀한 인식: 고정밀 인식 3-3. 더 편리한 인식: NUI Platform 공개 3-4. 더 다양한 환경: 인식 환경의 변화 4. 차세대 모션 기반 UX 미래 전망

i n d e x

모션 인식 기술 간 융합 Far-range Depth Camera

Short-range High Precision Sensor

Wearable Motion Sensor

Oblong Greenhouse

다양한 모션 인식 기술들이 서로 융합되어 좀 더 편리한

상호작용을 제공하여야 한다. 이를 위하여 모션 인식 기

술 융합 시나리오가 많이 개발되어야 하며, 이를 효율적

으로 지원하기 위한 기술의 개발이 필요하다.

멀티 모달 간 융합

현재 사용자를 중심으로 다양한 Modal 방법들이 연구,

발전되고 있다. 모션 인식 기술은 이러한 다양한 멀티

모달 기술 간의 융합을 통하여 좀 더 편리하고 효율적인

인터페이스를 제공하여야 한다.

Projection AR

Smart Watch

Input Modalities Output Modalities

Smart Glass

Skin Touch

Gaze Tracking

Speech Recognition

Motion Interface

NUI 융합 플랫폼

[1] http://msl.yonsei.ac.kr

이러한 모션 인식 기술 간, 또는 멀티 모달 기술 간의 융합을 손쉽게

지원하기 위하여 이러한 기술들을 통합하여 지원할 수 있는 NUI 융

합 플랫폼의 연구가 필요하다. 이러한 플랫폼 위에서 융합 시나리오

를 도출하고 빠르게 검증하는 것이 점차 중요해 질 것이다.

Kinect Gestural UI by J. Nielsen

• Inconsistent gestures

• Invisible commands

• Overlooked warnings

• Awkward dialog confirmations

Leap Motion, MYO 등을 위한 사용성 가이드라인 개발의 필요성

사용성 가이드라인 마련

[1] Norman, D. A., Natural User Interfaces Are Not Natural, Interactions, 17, No. 3 (May – June)

[2] Donald A. Norman and Jakob Nielsen. 2010. Gestural interfaces: a step backward in usability.interactions 17, 5 (September 2010), 46-49.

[3] Nielsen, Jakob. "Kinect Gestural UI: First Impressions." Jakob Nielsen's Alertbox (2010).

인간공학, 심리학, 산업공학 측면에서 모션 인식 기술

에 대한 분석이 필요하며, 이를 통하여 향후 개발되는

다양한 모션 인식 기술들에 대한 사용성 가이드라인

이 개발되어야 한다.

향후 모션 인식 기술의 방향

• more rich

• more precise

• more easy

• more various environments

모션 인식 시대의 UX 발전 방향

• 모션 인식 기술 간 융합 시나리오 도출

• 다양한 멀티 모달 기술 간 융합 시나리오 도출

• 모션 인식 UX 사용성 가이드라인 마련

결론

모션인식 2.0: 키넥트 이후의 모션인식 기술

연세대학교 미디어시스템연구실

http://msl.yonsei.ac.kr