2012 영상디자인스튜디오 presentation- 1주차(기술조사)

plus X

멀티모달 기술과관련 문헌,사례 조사

이재호

백기환

권해정

이정현

조건미

2012.03.20

2012년 1학기 영상디자인 스튜디오

plus X

목차 0. 터치가 우리의 미래인가?

1. 멀티모달이란?

2. 멀티모달 인터랙션의 장점

3. 멀티모달 인터랙션의 역사와 사례

4. 멀티모달 인터랙션의 과제

2012.03.20

2012년 1학기 영상디자인 스튜디오

plus X


plus X?

plus X


이재호 + 백기환 + 권해정 + 이정현 + 조건미

plus X+experience

!

plus X


©M

icro

soft

0. 터치가 우리의 미래인가?

Microsoft의 Future Vision (2011)

plus X


©B

ret

Vic

tor

애플의 Human-Interface Inventor로 일했었던 Bret Victor의 비판 ●


plus X


©B

ret

Vic

tor


“Any dancer or doctor knows full well what an incredibly expressive device your body is. 300 joints! 600 muscles! Hundreds of degrees of freedom!”

plus X



우리가 인간과 소통할 때는 목소리의 톤, 손짓, 몸의 기울기, 말하는 속도, 얼굴 표정 등 수많은 입력과 출력 요소들을 이용한다.

컴퓨터도 ‘눈치’가 있어야 하는 것 아닐까?

plus X


1. Multimodal?

멀티모달이란?

전통적인 WIMP와 같은 유니모달 패러다임과 달리 다양한 입력과 출력 장치,즉 다양한 모덜리티를 통해 컴퓨터와 소통하는 것.

©W

3C

plus X


1. Multimodal?

WIMP

Windows, Icons, Menus, Pointer

전통적인 그래픽 유저 인터페이스

제록스 PARC에서의 개발 (1973)매킨토시 (1984) -대중화된 GUI

plus X


1. Multimodal?

일반적인 모달리티

WIMP형 GUI에서 사용하는입력과 출력을 하는 방식들

키보드

영상

마우스

음성

필기

WIMPModalities

plus X


1. Multimodal?

멀티모달에서의 모달리티

멀티모달 디바이스에서 입력을 하거나 출력을 받는 방식들

새로운 모달리티에 대한연구들도 계속 진행되고 있음

(발의 스텝, 대화 간격, 사람과 사람간의 간격,

목소리에 담긴 감정 등)

MultimodalInteraction

온도, 광량 등

몸동작(Gesture)

시선(Eye gaze)

GPS마우스

키보드

음성

필기

plus X



멀티모달 인터랙션이 왜 필요한가?

-더 자연스럽고 쉬운 인터페이스

-더 효율적인 작업 수행

-장애인이나 초심자에 대한 접근성

plus X



더 자연스럽고 쉬운 인터페이스

스크롤이나 버튼 누르기 등의 단순한 조작일 경우, 사람들은 유니모달 인터페이스를 이용하지만 여러가지 컨텍스트가 혼합된 복잡한 작업을 수행할 경우 멀티모달 인터페이스를 더 사용했다는 연구

(Oviatt et al., 1997)

©Sh

aro

n O

viat

t

plus X



더 효율적인 인터페이스

연구사례:-사용자가 컴퓨터 전문 용어에 대해 잘 모를 때 생길 수 있는 문제와 기타 심각한 오류들이 멀티모달 인터페이스를 사용할 시 36%에서 50%까지 줄어들음

-펜과 음성인식을 동시에 사용해 작업을 수행할 경우 음성인식만 사용하는 것보다 더 문장이 간결해짐.

(Oviatt, 1997)

plus X



장애인이나 초심자에 대한 접근성

-장애인들은 제한적인 운동 환경과 인지 능력을 가지고 있으므로, 기계들의 사용 자체(버튼 등)은 편하게 되어 있지만 한가지 기계로너무 많은 작업을 수행해야 해서 Cognitive load(인지부하)가 크다

-다양한 모달리티의 사용으로 장애인들의 미디어 센터에대한 작업 속도와 만족도의 개선을 연구한 사례

(Turunen, 2010)

© T

urun

en e

t al

.

plus X



멀티모달 인터랙션의 역사

Evan Sutherland의 Sketchpad(1962)

라이트 펜을 이용한 CAD 입력 장치,원하는 곳을 펜으로 가리키고 명령 버튼을 누르는 방식

Draw, circle center, stop, move, delete...

plus X




Doug Engelbart의 최초의 현대적 모달리티 시연,“The mother of all demos” (1968)

마우스와 키보드 등을 이용한 비디오 컨퍼런스, 워드프로세서, 하이퍼미디어 등의 프로그램 시연.

© F

rog

des

ign

plus X




Put That There (1979) ●

최초의 본격적인 멀티모달 인터페이스 연구음성인식, 제스쳐 인식(가리키기), 조이스틱을 이용한 조작

Make, put, delete, call...

© B

olt,

R.

http://www.youtube.com/watch?v=0Pr2KIPQOKE

plus X




표준 제정 연구

W3C Multimodal Interaction Working GroupIBM X+VMS SALT(Speech Application Language Tags)OMA(Open Mobile Alliance)

© W

3C

plus X




© G

ameR

ant.

com

게임용 NUI 디바이스들의 등장과 그의 응용

plus X




모바일 스마트 디바이스들의 대중적 보급

모바일 웹 트래픽의 증가 ●

Q4 2010 – 6.25%Q1 2011 – 6.93%Q2 2011 – 8.35%Q3 2011 – 10.34%Q4 2011 – 12.59%

http://www.blogdemy.com/mobile-traffic-statistics-q4-2011/

plus X



멀티모달 인터랙션의 역사 ●

©G

oo

gle

2002

19941985

http://books.google.com/ngrams/graph?content=multimodal+interaction&year_start=1970&year_end=2008&corpus=0&smoothing=3

plus X




Microsoft Research 사례들

Interactive Displays Behind the Screen Overlay InteractionsInteractive Displays Seeing DisplaysAugmenting Indoor Spaces Using Interactive Environment-aware Handheld ProjectorsDaVinciWearable Multitouch ProjectorPen + TouchNatural User Interfaces with Physiological SensingHoloflector...

© T

echg

enie

.co

m

plus X



멀티모달 인터랙션의 문제점과 향후 과제

-사용성 평가의 어려움

-인간의 멀티모달 컨텍스트를 기계로 자연스럽게 번역하는 것

plus X



사용성 평가의 어려움

-입력과 출력의 모드가 많고, 또한 굉장히 다양한 만큼 테스트를 해야 하는 항목이 많이 늘어나게 되며, 또한 멀티모달 인터랙션은 실제 사용의 컨텍스트가 다양(집, 공공장소 등...)하므로 사용성의 평가가 어렵다.

-사용자들은 멀티모달 인터페이스일 경우 유니모달일 때와 다른 행동양태들을 보이므로, 그에 맞는 사용성 평가 방법이 필요함 (Oviatt, 1999)

plus X



인간의 멀티모달 컨텍스트를 기계로 자연스럽게 번역하는 것

-인간이 다양한 도구나 신체 기관을 이용하여 소통하긴 하지만,기계와의 소통은 또 다른 문제

-여러가지의 모드를 동시에 사용할 때 자연스럽게 느낄 수 있도록모달리티의 조합을 디자인하는 것이 과제

plus X


결론

결론:

-NUI 디바이스와 스마트 모바일 디바이스의 보급으로 멀티모달의 미래가 점차 현실화되어가고 있으나, 엔터테인먼트 기기 외에 대중적으로 응용할 수 있는 멀티모달 기술이나 연구는 기초적인 수준에 머물러 있음

-여러가지 문제점들이 있지만 멀티모달 기술의 발전은 더욱 자연스럽고 쉬운 인터페이스의 이용을 위해 필수적이며 디자인 방법, 사용성 평가 등에서의 연구 개척이 요구되는 상황

plus X


References

참고한 문헌과 자료들 (순서대로)

Victor, B. A Brief Rant on the Future of Interaction Design. 2011. http://worrydream.com/ABriefRantOnTheFutureOfInteractionDe-sign

Oviatt, S.L., DeAngeli, A. and Kuhn, K. Integration and synchronization of input modes during multimodal human-computer interaction.In Proceedings of Conference on Human Factors in Computing Systems CHI‘97 (March 22–27, Atlanta, GA). ACM Press, NY, 1997, 415–422.

Oviatt, S.L. Multimodal interactive maps: Designing for human performance. Human-Computer Interaction 12, 1997, 93–129.

Markku Turunen, H Soronen, S Pakarinen, J Hella, T Laivo, J Hakulinen, A Melto, J P Rajaniemi, E Makinen, T Heimonen, Et Al. Ac-cessible Multimodal Media Center Application for Blind and Partially Sighted People. Computers in Entertainment CIE, ACM, 2010, Volume 8, Issue 3, 16.

Oviatt, S. Mutual disambiguation of recognition errors in a multimodal architecture. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems: the CHI is the Limit (1999) 576-583.

plus X


발표를 경청해 주셔서

감사합니다.

2012 영상디자인스튜디오 presentation- 1주차(기술조사)

Documents