시선운동 및 추적행동 분석 및 모델링 

인간 시선행동 분석 및 자연스러운 시선 행동 구현 연구 

AndroidLab.

로봇융합연구그룹

한국생산기술연구원

KoreaInstituteofIndustrialTechnology

TechnicalReport:TR‐2012‐01

RevisionHistory

Date Editor Contents Etc

2012/11/25 이동욱 초안작성

2012/12/18 이동욱 본문수정(3.2 절)

2012/1/4 이동욱 본문수정(결론)

Contents

1. INTRODUCTION....................................................................................................................................................1

1.1 문서의구성......................................................................................................................................................................1

1.2 연구배경...........................................................................................................................................................................2

2.HUMANEYEMOTION..........................................................................................................................................5

2.1 인간의안구구조...........................................................................................................................................................5

2.2 인간의안구운동...........................................................................................................................................................6

3.ROBOTEYEMODEL.............................................................................................................................................8

3.1 로봇의기구구조...........................................................................................................................................................8

3.2 시선운동모델링.........................................................................................................................................................10

4.CONCLUSION........................................................................................................................................................18

5.REFERENCES........................................................................................................................................................19

1|P a g e

1. Introduction

1.1 문서의구성

이문서는안드로이드연구실(이하AndroidLab.)에서수행하고있는“인간친화적로봇

서비스환경에서판단적합성90%이상인복합지식기반판단및의미기반로봇표현기술개발”

과제의내용중,“시선운동및추적행동구현”을위한연구내용을정리한기술문서이다.

“시선운동및추적행동구현”의세부연구내용은다음과같다.

‐인간의안구운동분석

‐대상로봇의시각시스템

‐시선운동및추적행동모델링

2|P a g e

1.2 연구배경

의사소통이란두사람이상의사이에서언어적,비언어적수단을통한감정,태도,사실이나

정보,신념,생각등을전달하는과정이다.의사소통은의도적또는비의도적으로이루어지고한번

이루어진의사소통은되돌릴수없으며반복될수없다.따라서단한번의표현으로의도를

명확하게표현할수있어야한다.

사람의의사소통은크게언어적의사소통과비언어적의사소통으로구분한다(그림1).언어적

의사소통은음성을이용한소통방법이고,비언어적의사소통은음성외표정,몸짓등을이용한

소통방법이다.인간은다른동물과구분되어언어를통하여자신의의사를표현할수있다.그러나

언어의1 차적의미만으로그내용을파악하기에는다소무리가있다.발화상황,말의억양이나

강조,동작등의2 차적요소들이언어의내용을보다구체화시켜주기때문이다.비언어적

의사소통은언어적의사소통보다더강한의미를전달하거나언어적의사소통에정확성을더하는

역할을한다.이는의사전달에서70%이상의역할을차지한다.따라서언어적의사소통과

비언어적의사소통을조화롭게사용하는것이중요하다.

그림1.인간의의사소통방법

Communication of Human

Verbal communication

Speech

Paralinguistic language

…

Nonverbal communication

Posture

Gesture

Haptic

Eye gaze

…

3|P a g e

비언어적의사소통의표현은신체각부위를통한비언어적의사소통,음성을통한비언어적

의사소통,환경을통한비언어적의사소통등으로분류한다.신체부위를통한비언어적

의사소통으로는눈마주침,자세,표정,반복적행동,접촉등이있다.특히눈마주침은관심및

감정교류의통로가되며의사소통에서중요한역할을한다.예를들면상대방의시선회피를통해

대상에대한혐오,관심또는진실성의결여등을파악할수있다.

Mori는로봇이사람과의유사성이높아질수록어떤구간에서급속히친밀도가떨어지는것을

발견하였는데이를Uncanneyvalley라고한다(Mori1970).안드로이드형로봇이사람과닮으면

닮아질수록점점더이상해지는현상이나타나는이유를이것으로설명할수있다.또한

그림 2 에서시체와같이움직이지않는것이친밀도를급격하게떨어뜨리는데이것은사람의

자연스러운행동이친밀도를높이는데매우중요함을알수있다.

휴머노이드 로봇

분라쿠 인형

산업용 로봇

박제 동물

시체

좀비

의수

건강한사람

사람과의유사성

친밀도

그림2.Uncannyvalley

Kanda(2001)는로봇과인간의상호작용에서도눈마주침의중요성을언급하였다.로봇은

인간과의눈마주침을통하여신뢰감및친밀감을향상시킬수있다.특히안드로이드로봇은,

사람과유사한외모를바탕으로자연스러운시선운동적용시보다더친밀한인간과의

의사소통이가능하다(Shimada,2008).

4|P a g e

이러한안구움직임의로봇적용에관한연구는활발히진행되고있다.DiSalvo(2002)는

로봇에서눈의존재의중요성을언급하였고,Breazeal(1999)과Scassellati(1998)는시야의여러

대상중관심대상을선정하여foveation(상을망막의중심와에맺히게하는운동)및saccade 와

smoothpursuit 을구현하였고,Shah(2003)은턴테이블과팬틸트유닛(pan‐tiltunit)을이용하여

신경학자들이밝혀낸안구운동모델(Carpenter,1988)을구현하였다.

본연구에서는인간의몇가지주요한안구운동을안드로이드에적용함으로써인간이

안드로이드와의사소통시자연스러움을향상시키고자한다.본연구에서는인간의안구운동중

saccade 와smoothpursuit,vergence 를로봇시스템에적합하게적용하여,시선대상의위치에

따라즉각적으로반응하고보정할수있도록한다.

5|P a g e

2. HumanEyeMotion

2.1 인간의안구구조

인간의안구를회전시키기위한근육들은그림3 과같이구성되어있다.하나의안구는6 개의

근육들로지지되며운동한다.이는두쌍의직근(直筋,rectusmuscle)과한쌍의사근(斜筋,

obliquesuperior)으로이루어져있으며,직근은pitch,tilt 방향의움직임을,사근은roll 방향의

움직임을담당한다.각쌍의근육의수축과이완을통해안구가회전하게

그림3.인간의안구근육구조

된다.직근쌍은시선방향과평행하게배치되어있지않아pitch,tilt움직임외에도약간의

roll 움직임을유발하는데,사근은이를상쇄시키는역할을한다(Ushida,2007).

6|P a g e

2.2 인간의안구운동

인간의안구운동은두가지기능을한다.하나는대상을급속히망막의중심와(fovea)에놓는

기능이고,다른하나는망막에비친상을안정하게유지시키는기능이다.인간안구운동의종류는

표1 과같다(Sparks,2002).

표1.인간안구운동의종류

종류 기능VestibularReflex 머리의운동에의해야기되는짧은기간동안의망막영상의

이동을보상하기위한안구운동OptokineticReflex 장시간동안지속되는머리의운동에의한망막영상의움직임을

보상하는안구운동Fixation 안구소켓의한위치에안구를고정함.Tremor 와Drift 의형태가

있음Saccade 주변시야의물체의영상을중심와에빠른속도로위치시키는

안구운동Pursuit 이동하는물체의영상을중심와에유지하는안구운동Vergence 양안의운동방향이반대이면서물체의영상을양안의중심와에

위치시키는운동

사람이어떤대상을응시하기위해서는눈과목을이동하며,경우에따라서허리나다리를

이동하기도한다.눈과목의관점에서보았을때,시선이동을위한눈,목의이동패턴은그림4및

그림 5 와같다(Pelisson,1989).눈과목은빠른속도로대상으로시선을이동시킨다.눈은관성이

작고이동속도가빨라먼저반응하여목표에근접하게이동한다.그러나안구이동범위의제약및

안구근육의피로도의증가로원위치로되돌아오려는성향을가진다.한편목은눈에비하여

속도가느리나동작범위가크고회전축의위치가눈후면에위치하므로적은각의변화로큰

시선이동효과를낼수있다.따라서시선이동시눈이먼저이동을하고목이이를보완하기위해

7|P a g e

저속으로대상방향으로이동을하여시선이목표에도달하면,목은관성에의해특정목적까지

이동하고,눈은시선을유지하게원위치방향으로돌아오는운동을한다(Morasso,1973).

그림4.인간의안구운동패턴

그림5.시선추적행동

8|P a g e

3. RobotEyeModel

3.1 로봇의기구구조

안드로이드로봇EveR(그림6)의시선이동을위한하드웨어시스템은다음과같이구성된다.

시스템은목3 자유도(roll,yaw,pitch),눈3 자유도(commontilt,leftpan,rightpan)의총

6 자유도로구성되어있다.사람이어느대상을응시할때주로위치(x,y,z)만의식하고방위(roll.

pitch,yaw)는무의식적으로조절한다.따라서이시스템은위치3 자유도에액츄에이터6 개를

갖는여유자유도시스템으로해석할수있다.그림7 은로봇의눈및목구조의개략도를나타낸다.

그림6.안드로이드로봇EveR

그림7.로봇의목,눈기구구조

xy

z

9|P a g e

정확한트래킹을위해서는대상의정확한위치를아는것이필요하다.현재보고있는지점과

보고자하는대상의위치를파악하여목적에맞는트래킹조건을이용하여시선을이동한다.양

카메라의pan 각과tilt 각을이용하여현재로봇이응시하고있는지점의위치를알수

있다(그림 8).

그림8.로봇이응시하고있는시스템구조

목부터 눈을 거쳐 시선에 이르는 전체 시스템을 그림 9 에 나타내었다.

panL

panR

,P G

,R Gl

,L Gl

d

d

tilt

10|P a g e

그림9.목및안구를포함한로봇의시선이동시스템

3.2 시선운동모델링

먼저, 두 눈이 이루는 시차는 다음과 같이 계산될 수 있다.

(1)

: 현재 응시하고 있는 지점의 시차각(Parallax angle

of Gaze)

: 왼쪽 눈의 pan 각

: 오른쪽 눈의 pan 각

이를 이용하여 을 구할 수 있다.

(2)

: 양 눈의 중심으로부터 한쪽 눈까지의 거리

: 왼쪽 눈에서 시선 대상까지의 거리(G : Gaze)

: 오른쪽 눈에서 시선 대상까지의 거리

11|P a g e

두 카메라의 중심선으로 형성되는 평면을 작업공간이라 하면 가로 방향

모빌리티(mobility)는 다음과 같다.

(3)

: 모빌리티(Mobililty)

이 부분시스템의 active joint 는 2 개 이므로, 실제 joint 인 양 눈의 pan 각으로 위치를 결정

할 수 있다. 이는 한 쪽 눈의 pan 각인 revolute joint 와 시선을 나타내는 가상의 prismatic

joint 를 이용하여 얻는 기구학과 active angle 과의 관계를 통하여 계산할 수 있다.

왼쪽 눈의 pan 관절을 거치기 직전의 좌표계로 정리하면

(4)

: 왼쪽 눈을 기준으로 한 좌표계

(5)

(6)

가 된다.

각각을 시간으로 미분하면

12|P a g e

(7)

(8)

이 된다. 이를 행렬 형태로 정리하면

(9)

가 된다.

이때 가상의 prismatic joint 는 에 의해 결정되는 passive joint 이므로 이를 active

joint 로 나타내기 위해 다음과 같은 과정을 거친다.

(10)

13|P a g e

(11)

(12)

이는 한쪽 눈의 기구로 표현할 수 있다. 왼쪽 눈을 기준으로 정리하면

(13)

이다.

본 연구에서는 안구운동의 급속 운동인 saccade 와 이동하는 대상에 대한 추적 운동인

smooth pursuit 운동을 구현한다. 시야 내 관심 대상의 급작스런 등장, 관심 대상의 전이, 눈

깜빡임 이후 등 대상이 카메라에 맺힌 상이 이미지 중심과의 거리가 멀 경우에는 saccade,

이미 대상이 optical center 에 위치한 후 움직일 경우에는 pursuit 운동을 한다. 그리고

시선은 시차(parallax)를 가지고 운동하며, 시차는 대상의 위치나 거리에 따라 변한다.

먼저 시선이 가는 경로를 위치의 trajectory 를 통해 모델링한다.

는 의 함수로 구할 수 있다.

(14)

: 관심 대상의 위치

: 현재 시선의 위치(= )

14|P a g e

여기서 는 기구의 현재 위치로 구할 수 있다. 식 4 의 은 다음과 같이 기준 좌표계로

표시될 수 있다.

(15)

: 기준 좌표계에서 목까지의 변환 행렬

: 목부터 왼쪽 눈까지의 변환 행렬

: 기준 좌표계에서 왼쪽 눈까지의 변환 행렬

는 기구의 현재 위치와 시선 각으로 구할 수 있다. 시선 각은 다음과 같이 구할 수 있다.

그림 10. 시선 모델링

먼저 카메라로부터의 물체의 상대위치는 영상의 좌표를 결정한다. 상대위치는

3 자유도( )이고 화면상 좌표는 2 자유도(u, v)이므로, 한쪽의 영상만으로는

대상의 위치를 계산할 수 없다. 그러나 양 눈 사이의 거리가 고정이므로 한 물체가 투영된 두

영상의 좌표를 이용하여 물체의 위치를 계산할 수 있다.

View Planeu

v

-yE

xE

xE

zE

yE

u

f

15|P a g e

대상의 카메라로부터의 상대위치에 따른 가로 방향에 투영되는 길이 a 는 대상의

좌표로 계산될 수 있다(그림 10).

(16)

(17)

초점거리

CCD 에 투영된 가로 방향 길이

: 카메라의 초점을 중심으로 하는 상대 좌표(E : Eye)

화면상 화소 좌표 u 로 변환하면(기준 : 화면 중심)

(18)

화면 상 가로 좌표

가로 방향 한 픽셀 당 길이

가 된다.

카메라의 중심(optical axis)을 기준으로 대상의 위치를 각(그림 10)으로 나타내면 다음과

같다.

(19)

마찬가지로 세로방향(z 방향)은 다음과 같이 구해진다.

16|P a g e

(20)

(21)

(22)

화면 상 세로 좌표

세로 방향 한 픽셀 당 길이

: 카메라의 초점을 중심으로 하는 상대 좌표

은 에 , 에 , 에 를 대입하여 식 1 부터 식 6 까지의 과정을 통하여

식 23 과 같이 구한다.

(22)

(23)

오차가 일정 범위를 벗어나면 안구는 급속히 이동하고(saccade), 적은 오차의 일정 범위

이내에서는 안구는 안정화를 위해 저속으로 이동한다(pursuit).

17|P a g e

(24)

: 최고 속도를 결정하는 상수

: 그래프의 기울기를 결정하는 상수

18|P a g e

4. Conclusion

로봇이인간과같은공간에서생활하며서비스를제공하기위해서로봇의커뮤니케이션기술은

계속연구되어야한다.인간의외모와행동을모방한안드로이드로봇은이러한목적에부합하며

사람이기계에대한거부감을줄이고다른사람들과의사교환을하듯이로봇과소통할수있도록

고도의인식,상황판단,행동모방의기술이요구된다.

비언어적커뮤니케이션,특히눈의움직임은사람들간의사소통을하는데큰역할을차지한다.

사람은상대방의눈을통하여그사람의관심,신체상태등을파악할수있다.또한상호시선

교류를통해친밀감을높이기도한다.따라서안드로이드로봇도사람과의시선교류를통해

친밀감을향상시키고,보다사람과유사한시선움직임의모방을통해이질감을줄일수있도록

해야한다.

본연구에서는시선시스템을카메라로들어오는시선입력을passivejoint 로하는hybrid

manipulator 로모델링하고위치경로,pseudoinversejacobian 의weighting,목적함수를

이용하여인간의안구운동인saccade,smoothpursuit,parallax운동을구현하여보다인간과

가까운안구운동을실현하여보다자연스러운사람‐안드로이드로봇간의커뮤니케이션이

가능하도록하고자하였다.

19|P a g e

5. References

Breazeal,C.,andScassellati,B.(1999),'Acontext‐dependentattentionsystemforasocial

robot,'Proc.ofthe16thInt.Conf.onArtificialIntelligence,1146‐1151.

MacDorman,K.F.,andIshiguro,H.(2006),'Theuncannyadvantageofusingandroidsin

cognitiveandsocialscienceresearch,'INTERACTSTUD,Vol.7,Issue3,297‐337(41).

Morasso,P.,Bizzi,E.,andDichgans,J.(1973),'Adjustmentofsaccadiccharacteristicsduring

headmovements,'ExperimentalBrainResearch,Vol16,No.5,492‐500.

Mori,M.(1970),'Theuncannyvalley,'Energy,Vol.7,No.4,33‐35.

Pelisson,D.,Guitton,D.,andMunoz,D.P.(1989),'Compensatoryeyeandheadmovements

generatedbythecatfollowingstimulation‐inducedperturbationsingazeposition,'Exp.Brain

Res.78:654‐658.

Shimada,M.,andIshiguro,H.,(2008),'MotionBehavioranditsInfluenceonHuman‐likeness

inanAndroidRobot,'Conf.oftheCognitiveScienceSociety,2468‐2473.

Sparks,D.L.(2002),'Thebrainstemcontrolofsaccadiceyemovement,'Ann.Rev.Neurosci,

Vol3.952‐964.

Ushida,S.,andDeguchi,K.(2007),'Vision‐basedmotioncontrolofabipedrobotusing2dof

gazecontrolstructure,'HumanoidRobots:Human‐likeMachines,Vienna:MatthiasHackel,642‐

657.