가상증강현실 인터랙션 기술의 최신 동향 및 사례 · 하태진, 이형묵,...

스스로 해보는 VR/AR

하태진 박사버넥트 대표

VIRNECT.COM

DESIGN YOUR IP

Copyright ⓒ 2016 VIRNECT. All rights reserved. 2

연사 소개

• 대표이사, ‘15-현재– 버넥트

• 연구원 및 연구교수, ’13 – ‘15– KAIST 문화기술연구소 (CTRI)

• Ph.D., ‘13– KAIST 문화기술대학원 UVR Lab. (우운택 교수)

• 방문연구– Columbia University CGUI Lab. (Prof. Steven Feiner), 2013-2014– HIT Lab. NZ. (Prof. Mark Billinghurst), 2007, 2010


지능형 휴머노이드 로봇

VR 체감 게임

Garden Alive

AR 메모

Air-Jet Button Effects 애니메이션 저작 AR 미니어처

WeARHandPerformance modeling

AR 디지로그 북 & 저작AR 프로토타이핑

AR Wand AR 월드빌더

AR 원격 협업

ARSnapping

Robot/Game(2003-2005) IndustrialAR(2005-2007) TangibleAR(2007-2012) WearableAR(2013-2015)

R&D History


버넥트 VIRNECT: VIRtual +conNECT

버넥트는 VR/AR 기술 전문 벤처기업으로

2015년 가상현실 체험 시스템인 oReal 출시를 시작으로 본격적인 기업활동을 시작하였습니다.

버넥트는 사람, 미디어, VR/AR에 대한 이해를 바탕으로 창의적인 인터랙션 기술이 담긴 제품과 서비스를 창조하기 위해 노력합니다.

About Us

Solution

AR Solution AR authoring

오리얼 원격 협업오리얼 메이커

AR remote collaboration

oReal Maker oReal Remote

AR 저작도구인 오리얼 메이커는 일반사용자도 쉽게 AR 콘텐츠를

제작 할 수 있도록 만든 솔루션 입니다. 오리얼 메이커를 통해 사

물과 콘텐츠를 연결하고 많은 사람들과 공유할 수 있습니다.

AR Authoring오리얼 메이커

AR Solution 1

oReal Maker

코딩없이 쉽고 빠르게 AR콘텐츠를 만드세요

선생님의 교육자료에서부터, 복잡한 설비의

메뉴얼까지 만들 수 있습니다

제작한 AR 콘텐츠를 많은 사람들과 공유하세요

AR 저

작 기

술

현실-가상 정합 기능

카메라 보정

인식/추적 객체(환경) 생성

현실-가상 좌표계 연동

AR 콘텐츠속성 조작 기능

정적 속성: 오감 속성

동적 속성: 반응/행위

지능 속성: 이벤트/스토리

AR 저작 정보관리 기능

저작 정보 명세화/저장

저작 정보 검색/연결/로딩

하태진, 이형묵, 박노영, 우운택, "개인 제작 증감 방송을 위한 증강현실 저작 기술의 기능적 분류 및 연구 동향," 한국방송공학회, 16(3), pp. 8-19, 2011.

AR 저작 기술의 분류체계 (Taxonomy) 인터페이스의 추상화

VIRNECT오리얼 메이커

Goblin XNA

Metaio

SPOT

DART

전문가를 위한 저작도구

Tinmith

iaTARAMIRE

APRIL

DWARF

ARToolkit

osgART

일반 사용자를 위한 저작도구

그래픽사용자 인터페이스

Graphical User Interface(GUI)

감각형 사용자 인터페이스

Tangible User Interface (TUI)

스크립트

Script프로그래밍

Programming

오리얼 메이커는 일반 사용자를 대상으로 코딩없이 AR 콘텐

츠를 제작할 수 있습니다. 직관적인 3차원 저작 사용자 인터

페이스를 기반으로 2차원 평면 뿐만 아니라 3차원 공간을 대

상으로 AR 콘텐츠를 쉽고 빠르게 제작할 수 있습니다.

AR Authoring오리얼 메이커

AR Solution 1

oReal Maker

오리얼 원격협업 솔루션은 AR 기술을 활용하여 원격 커뮤니케이션 환경

에서의 의사소통을 도와줍니다. 기존의 화상회의 혹은 통화만으로는 힘들

었던 의사소통 과정이 증강현실 기술을 통해 세밀하고 정확해짐으로써

업무의 효율을 높일 수 있습니다.

AR remote collaboration오리얼 원격협업

AR Solution 2

oReal Remote

버넥트의 안정된 실시간 저작 기술은 다양한 분

야에서 활용될 수 있습니다

다양한 디바이스를 활용해 이용할 수 있습니다

복잡한 설명이나 지시사항도 문제없습니다

VR Solution

오리얼 비디오360 video making

oReal Video

오리얼 라이브360 video live streaming

oReal Live

오리얼 플레이어Interactive VR Player

oReal Player

오리얼 글래스VR Glass

oReal Glass

Expand Your Experience

고품질의 360도 영상 제작을 위한 다양한 특수 영상촬영 장비를 보유하고 있으며,

일반적인 360도 영상 뿐만아니라 다수위치/이동/동시/공중 촬영된 특별한 360도

영상을 제작합니다. 콘서트, 연극, 광고, 축제, 실험 등 다양한 영상 촬영 및 편집 경

험을 통해 고품질의 360도 영상을 제작합니다.

360 video making 오리얼 비디오

VR Solution 1

oReal Video

파노라마 타입

피사체가 배경일 때: 무대, 관중

시청

회전기반 다시점 영상 시청 위치기반 다시점 영상 시청

피사체가 중앙에 있을 때: 가수의 전

후좌우 모습 관람

스핀 타입

오리얼 라이브 솔루션은 360도 영상 생중계 기술로 위치이동 기능을 제공하

여 여러 위치로 이동하며 생중계 영상을 관람할 수 있는 기능을 제공합니다.

다수 위치에서 촬영한 360도 영상을 이기종 스마트폰 및 데스크탑으로, 최대

UHD(4K) 화질로 실시간 전송하거나 다운로드할 수 있습니다.

360 video live streaming오리얼 라이브

VR Solution 2

oReal Live

오리얼 플레이어는 영상시청위치 이동이 가능한 360도 영

상 플레이어입니다. 버넥트의 기술로 촬영된 360도 영상을

활용하여 사용자의 니즈에 맞게 설계된 어플리케이션을 제

작해드립니다.

Interactive VR Player오리얼 플레이어

VR Solution 3

oReal Player

8K 화질 이상 영상 촬영, 최대 4K 화질 영상 재생

360도 동영상 스트리밍 (VOD)

다운로드 없이 고품질 영상 전송

360도 동영상 큐레이션

사용자기호에 맞는 유튜브 영상 추천 기능

모바일 360도 동영상 라이브

RTMP (Real-Time Message Protocol) 지원

HLS (HTTP Live Streaming) 지원

빅데이터 분석

사용자, 앱 사용, 콘텐츠 시청/구매 정보 DB 모델링 및

구축

버넥트의 오리얼 글래스는 저가형 VR기기로 “핸드형 헤드마운트 디스플레이”(디자

인등록 30-2015-0047263) 입니다. 플라스틱으로 제작되어 내구성이 좋으며, 홀더

를 부착해 스마트폰 종류에 구애받지않고 사용할 수있습니다. 제품은 오리얼멍키,

오리얼 세레니티가 있는데 이외에도 원하는 그래픽으로 바꿀 수 있다는 장점이 있

어 기업의 홍보물이나 행사 판촉물로 제작되고 있습니다.

VR Solution 4

VR Glass오리얼 글래스

oReal Glass

와디즈 크라우드펀딩 초기 목표 대비 276% 달성

오리얼 글래스 출시2016년

3월전국 홈플러스 매장에서 오리얼 글래스 판매

제네바 국제 발명 전시 참가, 특별상 및 금상 수상

티켓몬스터 판매

4월

5월

VR/AR 소개

Copyright ⓒ 2016 VIRNECT. All rights reserved. 16https://immersivelifeblog.files.wordpress.com/2015/04/vr_history.jpghttps://immersivelifeblog.files.wordpress.com/2015/04/vr_history.jpg

• 실제같은 느낌 (Presence)를 제공하기 위해 컴퓨터로 만들어진 환경• 오감(시청촉미후각)을 재현하는 몰입형 멀티미디어(Immersive multimedia)

가상현실 (VR: Virtual Reality)


Virtual Reality Continuum

• P. Milgram 현실-가상 연속체(Continuum), `94

17

증강현실(AugmentedReality)현실 가상현실증강가상현실(AugmentedVirtuality)

혼합현실(MixedReality:MR)(Reality) (VR)

P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays IEICE Transactions on Information and Systems, E77-D(12), pp.

1321-1329, 1994.


증강현실의 정의

• R. Azuma, `97– 현실과 가상의 결합 (Combine real and virtual)– 실시간 상호작용 (Interactive in real time)– 3차원 실세계에 정합 (Registered in real 3D world)

• 실세계와 가상현실의 카메라 움직임을 동일하게 하는 것

현실세계 가상세계

실세계의 카메라

(사용자의 시점)

가상현실의 카메라

(가상세계의 카메라 시점)

카메라 위치·자세를 동일하게 함

(카메라 트래킹)

초점거리나 화각 등의 특

성을 동일하게 함

(카메라 보정)

현실세계와 가상세계의

기준좌표계를 동일하게 함

(정합)

기준좌표계 기준좌표계


Made by 우운택 교수, KAIST UVR Lab.

증강현실의 역사


Computing Environment

21

Rekimoto, J. and Nagao, K. 1995. The world through the computer: computer augmented interaction with real world environments. In

Proceedings of the 8th Annual ACM Symposium on User interface and Software Technology. UIST '95. ACM, New York, NY, 29-36.


시스템 환경에 따른 분류

• 데스크톱 환경 (Desktop VR/AR)– 컴퓨터 모니터, 조이스틱 등을 이용

• 몰입형 환경 (Immersive VR/AR)– HMD(Head Mounted Display), 데이터 장갑(Data glove) 등을 착용

• 3인칭 환경 (Third person VR/AR)– 가상공간에 비디오카메라로 촬영된 자신의 모습을 표시

• 원거리 환경 (Tele-robotics, communication)– 카메라가 장착된 로봇을 조종– 물리적으로 떨어져 있는 장소를 탐사하거나 관찰


트래킹 기술

• Active– 공간에 트래킹 기기를 설치– 초음파, 적외선, 자기장, GPS, WIFI

• Passive– 내장 센서만 사용: 카메라, Gyro, Compass

• Hybrid Tracking– 센서 퓨전: Active-Passive

Active trackingPassive tracking

(Natural feature tracking)


기반기술

• 광학기술

• 3차원 컴퓨터 비전

• 컴퓨터 그래픽스

• 인공지능

• 통신/제어/계측, 로보틱스

• 예술, 인지과학, HCI

Head Mounted Display(HMD)Head Worn Display(HWD)


인지도

HMD의 대중화


HMD 분류

• (모니터, 프로젝터, 모바일 디스플레이) + 3D 안경

• 비 투과형 HMD (VR HMD)

• 투과형 HMD (AR HMD)– 광학형 HMD (Optical see-through HMD)– 비디오형 HMD (Video see-through HMD)

• 단안(Monocular)/양안(binocular) HMD

• Distortion Lens 유무


Without or with lens

http://smus.com/vr-lens-distortion/


Distortion Lens

http://smus.com/vr-lens-distortion/

Pincushion Effect

Barrel Distortion


Distortion Correction

http://www.gamasutra.com/


투과형 HMD (AR HMD)

• 광학형 HMD (Optical see-through HMD)

• 비디오형 HMD (Video see-through HMD)


• 고해상도 디스플레이를 장착한 스마트폰을 VR 안경으로 변신

삼성 VR 기어구글 카드보드

HMD의 대중화


Oculus Rift HTC/Valve Vive Sony Morpheus

StarVR CastARMS Hololens

4 environment understanding cameras

고성능 HMD


http://mojing.baofeng.com

폭풍마경 3

oReal Glass

Copyright ⓒ 2016 VIRNECT. All rights reserved. 38“핸드형 헤드마운트 디스플레이,” 디자인등록 (30-2015-0047263)

01. 반영구적 사용가능 플라스틱 재질

친환경 플라스틱 재질로 오래오래 사용가능합니다.

02. 스마트폰 강력고정 홀더부착

홀더가 있어 폰을 떨어뜨리지 않고 안정적으로 VR앱을 체험할 수 있습니

다.

03. 부드러운 여닫이 고급자석 사용

금방 떨어지는 찍찍이가 아닌 자석을 사용하여 깔끔하고 부드럽게 열고 닫

oReal Glass


04. 다양한 크기 스마트폰 사용가능

4.7~5.7인치 사이의 다양한 사이즈의 스마트폰을 이용하여 사용 가능합

니다.

05. 편리한 사용을 위한 다양한 방법

셀카봉을 연결하여 보거나 밴드를 부착하여 볼 수 있습니다.

06. 단순 측면 터치 앱 내 조작 가능

oReal Glass

“핸드형 헤드마운트 디스플레이,” 디자인등록 (30-2015-0047263)


VR 앱 추천 (IOS)

• InCell VR (세포를 살리는 교육 게임 어플)• Paris VR (파리의 관광지를 체험하는 어플)• VR Xmas (크리스마스 분위기의 동화속 마을을 체험하는 어플)• InMind VR (사람의 신경을 탐험하면서 질병의 원인이 되는 부위를 치료하는 어플)• VR Planetarium (우주 속을 떠다니며 행성을 관찰하는 어플)• VR Funfair (놀이공원 속의 놀이기구를 체험하는 어플)• VR Moon Walk 3D Cardboard (달 표면을 걸어다니며 우주를 체험하는 어플)• VR Holidays (세계의 관광지를 체험하는 어플)• Jaunt VR (Jaunt에서 만든 VR 영상들을 볼 수 있는 어플)• VR chosun (조선일보에서 만든 VR 영상들을 볼 수 있는 어플)• Cardboard (구글에서 만든 카드보드 기본 어플)


VR 앱 추천(Android)

• A TIME IN SPACE VR CARDBOARD (우주 정거장을 떠나 우주를 여행하는 어플)• InCell VR (세포를 살리는 교육 게임 어플)• Paris VR (파리의 관광지를 체험하는 어플)• VR Cardboard Catapult (왼쪽 측면 터치를 하여 돌로 날아오는 새를 맞추는 게임 어플)• 바다세상 VR (다이버가 되어 바다 속 생물들을 관찰하는 어플)• VR Cosmic Roller Coaster (신비한 우주를 배경으로 즐기는 롤러코스터)• VR Bike (질주하는 오토바이를 타며 묘기를 부리는 어플)• Cedar Point VR (실감나게 롤러코스터를 타는 어플)• ZenFone VR (우주를 탐험하는 어플)• VR조선 (조선일보에서 만든 VR 어플)• 반딧불이 램프-구글카드보드 (반딧불이 램프의 탐험을 함께하는 어플)• InMind VR (사람의 신경을 탐험하면서 질병의 원인이 되는 부위를 치료하는 어플)• Titans of Space(우주를 여행하는 어플)• Jurassic VR (정글에서 움직이는 공룡을 찾는 어플)• VR safari(가상 현실 사파리를 체험해 볼 수 있는 어플)


Ghost in the shell VR

링크

Live 2D 360 VR Inspiration

링크

YOUTUBE 앱에서 원하는 영상을 재생한 후 안경모양 아이콘을 클릭한 다음

안경에 끼워보시면 됩니다.

YOUTUBE VR 영상 추천

하태진 박사버넥트 대표

VIRNECT.COM

감사합니다

가상증강현실 인터랙션 기술의 최신 동향 및 사례 · 하태진, 이형묵,...

Documents