- 16 -

둘째 마당

가상현실 시스템을

구성하는 요소는?

학습 목표□

가상현실 시스템 구조에 대해 이해한다­ .

가상현실 입력 및 출력 장치의 종류와 장비들을 살펴본다­ .

가상세계 표현을 위한 시각적 콘텐츠 제작 방법을 알아본다­ .

- 17 -

가상현실 시스템 구성요소1.

북극에서 롤러코스터를 타는 가상체험을 해보면서 이러한 가상현실 시스

템을 어떻게 만들었을까를 상상해 보자.

그림 북극에서 롤러코스터를 타는 가상체험17.

가상현실 시스템을 개발하기 위해서는 가상현실 엔진 입력 및 출력을 담,

당하는 인터페이스 가상세계에 대한 다양한 컨텐츠를 저장하고 있는 데,

이터베이스가 필요하다 사용자는 주어진 임무를 달성하기 위해서 다양한.

가상현실 입출력 장치를 통해 가상세계를 경험하게 된다.

가상현실가상현실엔진엔진입력입력장치장치출력출력장치장치

소프트웨어소프트웨어데이터베이스데이터베이스

사용자사용자

임무임무

가상현실가상현실엔진엔진입력입력장치장치출력출력장치장치

소프트웨어소프트웨어데이터베이스데이터베이스

사용자사용자

임무임무

••신체부위에신체부위에 대한대한 행동행동 추적추적정보를정보를 컴퓨터에게컴퓨터에게 전달한다전달한다((입력장치의입력장치의 역할역할))

••다섯다섯 감각감각 기관에기관에 의한의한 느낌을느낌을사람에게사람에게 전달한다전달한다..((출력장치의출력장치의 역할역할))

그림 가상현실 시스템 구성요소18.

- 18 -

가상현실 시스템을 위한 입력 장치2.

가상현실에서의 입력장치의 역할은 사용자의 행동을 추적하여 그 정보를

가상세계에 반영하는 것이다 예를 들어 신체의 움직임을 추적한다면 컴. ,

퓨터는 사용자가 무슨 행동을 하고 있는지 어떻게 알 수 있을까?

움직임 추적에 앞서 먼저 자유도 를 이해(Degrees of Freedom : DOF)

해야 한다 자유도의 개념을 쉽게 이해하기 위해서 다음 그림은 자유도. 1

의 입력을 줄 수 있는 오디오의 볼륨 조절 장치와 게임에서 자주 사용되

는 조이스틱을 보여준다 조이스틱은 축과 축으로 개의 자유도를 갖는. x y 2

다.

자유도 입력장치 자유도 입력장치1 2

오디오의 볼륨 조절기 조이스틱( ) ( )

그림 자유도에 따른 입력장치 예19.

정확한 차원 세계를 표현하기 위해서는 위치정보 와 회전각 정3 (x, y, z)

보 를 갖는 자유도가 필요하다(roll, pitch, yaw) 6 .

- 19 -

그럼 인간은 얼마나 많은 자유도를 가지고 있을까 손가락과 발가락의?

움직임을 제외하면 자유도를 갖는다42 .

목 자유도 어깨 자유도 팔꿈치 자유도: 6 , : 6 , : 4

손목 자유도 허리 자유도 엉덩이 자유도: 5 , : 6 , : 6

무릎 자유도 발목 자유도: 4 , : 5

그림 인간의 자유도20.

- 20 -

입력을 위한 위치추적 방식

위치 추적을 위한 가상현실 입력 장치에는 다음과 같은 것들이 있다.

전자기를 이용한 추적 입력장치- (Electromagnetic)

기계식 추적 입력장치- (Mechanical)

광학식 추적 입력장치- (Optical)

초음파를 이용한 추적 입력장치- (Ultrasonic)

신경 근육 을 이용한 추적 입력장치- ( ) (Neural/Muscular)

관성 추적기- (Inertial)

전자기를 이용한 추적 입력장치는 세 방향으로 자기장을 형성하는 트랜"

스미터 와 위치를 표현하는 리시버 를 이용 한다 그림 의 하단 그림" " " . ( 21)

은 코일에 전류가 흘렀을 때의 자기장의 흐름을 보여준다.

전세계적을 가장 널리 사용되는 추적 장비인 PolhemusTM 은 하FASTRAK

나의 트랜스미터와 최대 개의 리시버를 장착할 수 있다 더 많은 리시버4 .

가 필요한 경우에 최대 개의 시스템 개 리시버 을 연결하여 사용할 수8 (32 )

있으며 시스템을 추가로 장착하여도 각각의 시스템의 업데이트 율은 같,

은 속도로 작동한다 그러나 자성을 띈 물체가 근처에 있을 경우 추적할.

수 있는 공간에 영향을 받는다.

- 21 -

트랜스미터

리시버

트랜스미터

리시버리시버

그림 전자기를 이용한 추적 입력 장치21.

기계식 추적 입력장치는 사람의 관절부위에서의 위치와 각도 정보를 얻기

위해 저항을 감지하는 관절이 있는 철제장치를 착용한다 직렬 또는 병, .

렬의 물리적인 구조로 구성된 추적기로써 센서화된 관절들이 내부적으로

연결되어 있다 이러한 기계식 추적 입력장치는 인간의 모션을 캡쳐하여.

영화에서 모델의 움직임에 많이 이용된다3D .

- 22 -

그림 기계식 추적 입력 장치22.

광학식 추적 입력장치는 시각적 정보를 이용하여 사용자의 위치와 방향을

추적하는 비접촉식 입력장치로 비디오 카메라와 빛을 잘 반사하는 마커를

이용한다.

그림 광학식 추적 입력장치23.

초음파를 이용한 추적 입력장치는 신체부위에 초음파를 수신하는 마이크

로폰과 소리를 발생시키는 초음파 스피커를 장착하여 사용자의 위치를 추

적한다.

- 23 -

마이크로폰초음파

스피커

컴퓨터

컨트롤유닛

마이크로폰초음파

스피커

컴퓨터

컨트롤유닛

그림 초음파식 추적 입력장치24.

신경 근육 을 이용한 추적 입력장치 는 손가락의 움직임( ) (Neural/Muscular)

등을 추적하는 작업에 적합하다 그림 는 근육의 움직임을 감지하는. ( 25)

센서들을 이용한 입력 인터페이스의 예를 보여준다.

근육의움직임을감지하는센서들근육의움직임을감지하는센서들

그림 신경 추적 입력장치25.

- 24 -

관성을 이용한 추적은 수십 년 전부터 우주선이나 항공기 그리고 잠수함

등에 사용되어졌던 기술로써 움직이는 비행체의 몸체에 직접 센서를 붙여

서 움직인 모션에 비례하는 센서의 출력을 측정함으로 사용 된다 상업적.

인 분야에 사용된 예가 그리 많지 않은데 이는 관성센서의 가격이 비싸,

고 크기가 기본적으로 크기 때문이다.

입력을 위한 손동작 추적

손동작 추적이란 손바닥과 손가락의 움직임을 추적하는 것으로 가상세계,

에 존재하는 물체를 가리키거나 물체를 잡고 이동하는 작업 등에 사용된,

다 손동작 추적을 위해서는 손에 착용하는 장갑 글러브 이 필요하다. ( ) .

사이버글러브의모습

손가락의관절에부착된센서

그림 26. ImmersiveTM 사이버 글러브

먼저 사이버 글러브를 그림 과 같이 손에 착용한다 그 다음 사용자( 27) .

의 손에 장갑이 착용하기 좋도록 교정 단계 즉 캘리브레이션 단계를 거친

다 즉 다양한 손 크기 및 모양이 있으므로 초기에 지정된 손 모양을 수. ,

행함으로써 교정을 하게 되는 것이다 그림 은 이러한 캘리브레이션. ( 28)

- 25 -

과정을 보여준다.

그림 사이버 글러브 착용27.

교정이전의손모양 교정이후의손모양

그림 손모양의 교정28.

- 26 -

사이버 글러브 이전에 개발된 글러브로는 핀치 글러브와 데이터 글러브가

있다 핀치 글러브는 엄지손가락의 끝과 나머지 손가락의 끝의 센서들이.

부딪힘으로 제스처를 인식할 수 있는 글러브이다 그 모습이 마치 꼬집는.

모습이기 때문에 핀치 글러브가 되었다(Pinch) .

데이터 글러브는 사용자의 손의 오리엔테이션 과 손가락(pitch and roll)

의 굴곡 작용 손가락 하나마다 하나의 센서 을 특징으로 한다(flexture) ( ) .

데이터 글러브 는 데이터 글러브 의 무선 버전으로5DT 5-W 5DT 5 20

미터의 거리까지 센서의 동작이 가능하다.

핀치 글러브Fakespace

데이터 글러브5DT

그림 손동작 입력을 위한 다양한 글러브29.

- 27 -

그림 은 세종대학교 연구실에서 사이버 글러브를 이용하여 개발( 30) GVR

한 바둑게임 시스템이다VR .

그림 바둑 게임30. VR

사이버 글러브를 착용하고 농구공과 축구공을 테이블에서 떨어뜨려 봅시

다 체험실습.( )

그림 사이버 글러브 체험31.

- 28 -

가상현실 시스템을 위한 출력 장치3.

가상현실 시스템 구축을 위한 그래픽 디스플레이로는 고정된 출력장치,

머리 장착형 출력장치 손 장착형 출력장치 등이 있고 사운드 디스플레, ,

이는 고정형태의 소리 출력장치 머리 장착형 소리 출력장치 등이 있다, .

이러한 장치들을 사진으로 살펴보자.

그림 가상현실 출력장치32.

- 29 -

출력 시각:

스크린과 비디오 카메라를 이용한 다양한 시각적 출력장치들이 개발되고

있다 그림 은 고정된 출력장치로써 단일 스크린 다중 스크린 장치. ( 33) ,

를 보여준다.

단일스크린 다중스크린

그림 스크린의 종류33.

시선의 위치에 맞게 영상을 생성하기 위해서는 머리 추적 장치가 필요하

고 입체 영상 생성을 위해서는 좌측 및 우측 영상을 동기화 하기 위해,

에미터와 셔터 글래스가 필요하다 그림. ( 34)

그림 입체 영상 생성34.

- 30 -

스크린과 프로젝터를 이용한 프로젝션 기반 출력 장치에는 반사형 프로젝

션 장치와 투과형 프로젝션 장치가 있다.

프로젝터프로젝터

스크린스크린

거울거울

그림 프로젝션 기반 출력장치35.

투사 형태의 출력장치의 종류에는 가상 워크벤치 다중 스크린 프로젝션, ,

프로젝션 월 구형 프로젝션 동굴 형태의 프로젝션 장치 등이 있, , (CAVE)

다.

그림 가상 워크벤치 왼쪽 와 다중 스크린 프로젝션 오른쪽36. ( ) ( )

- 31 -

그림 프로젝션 월36.

,

그림 구형 프로젝션38.

- 32 -

그림 동굴 케이브 형태의 투사 출력장치39. ( )

머리 장착형 출력 장치 에는 폐쇄형과 개방형 두 종류가 있다 폐쇄(HMD) .

형 출력장치를 머리에 착용하면 눈앞에 있는 스크린에서 가상세계가 출력

된다.

개방형 머리 장착 장치는 폐쇄형과는 달리 모두 가상세계가 출력되진 않

는다 실제의 세계위에 가상의 오브젝트가 출력되는 증강현실 세계를 구.

축하는데 많이 사용되어진다.

그림 40. Stereo3DTM 머리 장착 장치VFX3D

- 33 -

그림 개방형 머리 장착형 출력장치41.

그림 개방형 머리 장착형 출력장치를 사용한 시스템 예42.

- 34 -

손 장착형 출력 장치는 사용자가 자유롭게 손에 들고 이용하는 출력장치

이다 장치 내부에 신체 추적 장치를 포함하고 있다. .

그림 손 장착형 출력장치43.

- 35 -

출력 청각:

고정 형태의 소리 출력장치는 스피커를 이용하고 머리 장착형 소리 출력,

장치로는 헤드폰을 주로 이용한다 가상현실에서의 소리 출력장치는 차. 3

원 가상 사운드를 사용자에게 들려줌으로써 소리가 어디에서 발생했는지

를 알 수 있도록 해준다.

가상의 공간이 를 착용했을 때 눈앞에 나타나고 간단한 조작으로HMD , ,

이 공간을 움직일 수 있는 체험을 해보자 거리에 따라 물소리 등 사운드.

가 차원으로 출력된다3 .

그림 차원 사운드 출력44. 3

- 36 -

가상 세계 구축을 위한 시각적 컨텐츠 생성4.

가상세계를 만드는 작업은 실제 우리가 사는 세계를 컴퓨터 안에다 옮기

는 작업이다 즉 눈으로 보는 세계 소리로 듣는 세계 손으로 느끼는 세. , , ,

계 냄새 맛 등이 있다 이중에서 눈에 보이는 시각적인 면이 가장 중요, , .

하고 전체의 정도를 차지한다70% .

컴퓨터의세계

입력

•몸동작추적•목소리및사운드•물리적힘

출력

•시각적디스플레이•목소리디스플레이•햅틱 디스플레이

소프트웨어장치가상세계의표현

•실세계의가상세계화•컴퓨터그림생성

입출력하드웨어장치

컴퓨터의세계

입력

•몸동작추적•목소리및사운드•물리적힘

출력

•시각적디스플레이•목소리디스플레이•햅틱 디스플레이

소프트웨어장치가상세계의표현

•실세계의가상세계화•컴퓨터그림생성

입출력하드웨어장치

그림 가상현실 세계 구성45.

- 37 -

차원 그래픽 툴을 이용한 모델 생성3

일반적으로 차원 모델을 생성하는 것은3 AiasTM MAYA, Autodest TM 3ds

등과 같은 모델링 저작도구를 이용한다 또는 와 같은MAX . MAYA MAX 3

차원 그래픽 툴을 이용하여 모델을 생성하기 위해서는 먼저 무엇을 만들

지를 정하고 스케치 한다 그리고 폴리곤으로 모델을 구성한다 모델에. .

색상을 입히고 행동을 부여한다 마지막으로 가상공간에 위치시킨다, . .

그림 차원 인물 생성 절차46. 3

- 38 -

그림 행동 부여하기47.

그림 다양한 렌더링 방법48.

그림 와 같이 배경도 인물과 유사한 과정을 거쳐 제작되어진다 그( 49) . (

림 은 같은 차원 모델이라도 날씨의 변화를 잘 표현하게 하기 위해50) 3

다르게 렌더링된 결과를 보여준다 최종적으로 제작된 배경과 사람 등의.

객체를 가상공간 상에 위치 시켜 합성한다.

- 39 -

그림 배경 제작 방법49.

그림 날씨 표현50.

- 40 -

그림 배경과 인물의 합성51.

- 41 -

표정 및 감정정보를 이용한 가상 인간

가상 인간을 생성하는 절차를 좀 더 자세히 알아보자 신체 부위에서 가.

장 중요한 얼굴 표현을 위해서는 얼굴 형상 모델링과 표정 애니메이션 과

정을 거친다 그리고 동작 정보 트랙킹 특수효과를 이용하여 배경 및 그.

림자 등을 생성하고 전체 가상공간에 합성하게 된다 그림 는 이러한. ( 52)

가상인간이 응용된 예를 보여준다.

그림 가상 인간 생성 절차52.

가상 인간에게 필요한 요소를 살펴보자 먼저 보고 듣고 만지는 것을 통.

해 세상을 느낄 수 있어야 한다 즉 감각 인식이 필요하다 이러한 인식. , .

을 통해 얻어진 정보를 분석해서 감정 및 생각을 부여할 수 있다 생각과.

감정을 표현하기 위해 동작과 실행을 한다.

- 42 -

그림 가상 인간에 필요한 요소53.

그림 는 세종대학교 연구실에서 개발한 시스템으로 인간의 눈동( 54) GVR

자의 움직임을 추적하여 가상 인간의 눈동자 움직임에 적용한다 그림. (

는 같은 모델을 카툰 렌더링으로 표현한 결과이다 카툰 렌더링은 비55) .

사실적인 렌더링 기법으로써 보는 이의 흥미를 유발 시키는 데 사용할 수

있다.

그림 사용자 눈동자의 움직임을 가상인간의 눈동자에 적용54.

- 43 -

그림 얼굴의 카툰 렌더링 결과55.

그림 은 인간의 감정을 표현하는 사이버 공간 상의 아바타를 사실( 56)

적 렌더링 비사실적 렌더링 실루엣 기반 으로 보여준다 실제 사용자의, ( ) .

눈동자 움직임을 트랙킹해서 아바타에 그대로 표현한 최종 결과 영상이

다.

그림 얼굴 렌더링과 눈동자 애니메이션56.

- 44 -

그림 은 가상 인간의 다양한 사례를 보여준다( 57) .

그림 가상 인간57.

- 45 -

차원 스캐너를 이용한 모델 생성3

가상세계를 구축하기 위해서는 다양한 객체들이 필요하다 차원 스캐너. 3

란 실물로부터 컴퓨터에서 이용 가능한 정보 색 형태 를 획득하는 장치( , )

이다 그림 은 실제 사람의 발을 차원 스캐너를 통하여 입력하여. ( 58) 3 3

차원 모델을 생성한 결과이다.

이러한 스캐너의 종류에는 실제 물체의 표면을 접촉하면서 형태 정보를

획득하는 접촉식 스캐너와 물체의 표면에 레이져 광선을 쏘아 형태 및 색

정보를 획득하는 레이져 스캐너가 있다.

실제사람의발

3D 스캐너로획득한모델

그림 스캐너로 획득한 모델58. 3D

그림 와 같은 차원 스캐너를 통해 모델을 자동으로 획득하려면 먼( 59) 3

저 차원 스캐너를 고정하여 배치한다 그 다음 모델로 만들고자 하, 3 . 3D

는 물체를 적당한 거리에 배치한다 포커스를 맞춘 후 스캐닝을 시작한.

다 마지막으로 획득한 무수히 많은 점 위치 값 들을 적절히 처리하여. ( ) 3D

모델로 완성한다.

- 46 -

그림 59. MINOLTATM 스캐너VIVID 910 3D