sharevr-enabling co-located experiences for virtual reality...

ShareVR-Enabling co-located experiences for virtual reality between HMD and Non-HMD Users

Jan Gugenheimer et al.CHI 2017

Copyright of figures and other materials in the paper belongs original authors.

Presented by Ki-Sung Jeong

2018. 03. 22

Computer Graphics @ Korea University

Ki-Sung Jeong| 2017. 05. 16 | # 2Computer Graphics @ Korea University

• VR은 다양한 경험을 가능하게 하며 엔터테인먼트의 일부가 되고 있음

• 현재 VR 시스템은 주로 HMD를 착용한 사용자의 몰입 및 경험에 중점

▪ HMD를 착용하지 않은 사용자들이 이러한 경험에서 배제됨

Abstract

HMD를 착용하지 않은 사용자를 위해 가상 세계를

시각화 할 수 있는 ShareVR을 설계하고 구현


• VR은 현재 많은 발전을 통해 가정용 엔터테인먼트 환경의 일부가 됨

▪ 기술의 진보를 통해 사용자가 손을 사용하여 물리적으로 걸어 다니거나상호작용을 할 수 있는 몰입형 가상 환경을 만들 수 있도록 해줌

▪ 이러한 몰입형 가상환경은 HMD사용자에게 몰입감과 즐거움을증가시키는데 도움이 됨

Introduction

Doug A. Bowman and Ryan P. McMahan. 2007. Virtual Reality: How Much Immersion Is Enough? Computer 40, 7 (July 2007), 36–43.


• VR이 가정용 엔터테인먼트의 필수 부분이 되고 있는 지금에도 대부분의VR시스템은 HMD사용자에게 초점이 맞추어져 있음

▪ 가족 구성원들, 혹은 친구들과 함께 콘텐츠를 경험하고 즐기기 위해서는HMD를 착용하지 않은 사용자도 함께 경험해야 함

Introduction

본 연구는 NON-HMD 사용자와 HMD사용자의 상호작용을 위해 어떻게 시스템을 제공해야 하는지에 대해 설문

을 바탕으로 ShareVR을 설계 및 구현


• Contributions

▪ ShareVR의 개념, 설계 및 구현

• VR 얼리 어답터의 피드백 (n = 48)을 기반으로 VR에서 공동 위치 비대칭경험을 위한 프로토 타입

▪ 게임 패드 및 TV로 구성된 기준선과 비교하여 ShareVR이 즐거움, 존재감및 사회적 상호 작용에 미치는 영향을 탐구하고 이점을 보여주는 사용자연구

▪ 공동 배치 된 비대칭 형 VR 경험 및 3 가지 어플리케이션의 구현을 위한설계 공간 탐구

Introduction


Playroom VR


• 계획된 시나리오는 VR이 홈 엔터테인먼트의 필수가 되었다는 가정하에거실을 주변으로 공간을 설정

• NON-HMD 유저를 위한 적절한 시각화 제공

• HMD와 NON-HMD 사이의 상호작용을 고려

Envisioned Scenario


• Collaborative/Spatial Augmented Reality

• Collaborative Virtual Environment

Related Work

Brett Jones et al. RoomAlive: Magical Experiences Enabled by Scalable,Adaptive Projector-camera Units. In Proceedings of the27th Annual ACM Symposium on User Interface Software and Technology (UIST ’14). ACM, New York, NY, USA,

• HMD대신 프로젝션 기술을사용하여 환경을 구성

Aaron Stafford et al./2006. Implementation of God-like Interaction Techniques for Supporting Collaboration Between Outdoor AR and Indoor Tabletop Users. In Proceedings of the 5th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR ’06). IEEE Computer Society,

• AR HMD를 가진 사용자와타블렛을 가진 사용자 사이의비대칭 상호작용

Jauvane C Oliveira, Xiaojun Shen, and Nicolas D Georganas. 2000. Collaborative virtual environment for industrial training and e-commerce. IEEE VRTS 288 (2000).

• 사용자가 서로 상호작용할 수있는 협력가상현실 시스템

Hikaru Ibayashi et al./ Dollhouse VR: a multi-view, multi-user collaborative design workspace with VR technology. In SIGGRAPH Asia 2015 Emerging Technologies. ACM, 8.

• HMD사용자와 PC사용자가 같이 가상의 환경을 만드는 연구


• Asymmetric Co-located VR Gaming

Related Work

• HMD, NON-HMD가 같이 협력하는 Playroom VR

SCE Japan Studio. 2016. The Playroom VR. Game [PS4/PS VR]. (2016). SCCE, London, UK.

• 신체를 통한 참여와 상호작용을 통해 즐거움과 몰입감이증가 될 수 있음

Yue Gao and Regan Mandryk. 2012. The Acute Cognitive Benefits of Casual Exergame Play. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’12). ACM, New York, NY, USA,


• 온라인 설문조사를 통해 Co-located asymmetric Interaction에 대한요구를 탐색

• 초기 사용자(데모 이용자)를 통해 향후 기술에서 기대할 수 있는 사항에대해 자세히 조사

▪ 조사는 메일링을 통해 진행

▪ 총 48건의 응답

• 초기 사용자에 초점을 맞추어 개발 및 분석

Online Survey


• 초기 데모 이용자

▪ 남성 46명, 여성 2명

• 대학학위(77%), 평균 30.85세

• HMD (중복허용)

▪ HTC vive (54%)

▪ GoogleCardboard (41%)

▪ Oculus Rift CV1 (33%)

▪ Oculus Rift DK2 (21%)

▪ Samsung GearVR(19%)

• 가상현실에 대한 관심

▪ 전체 인원의 73%가 관심을 가짐

• 21%가 높은 관심

• 6% 적당한 관심

Online Survey

Demographics


• VR 경험

▪ 94%가 VR을 경험

• 94%중 38%가 정규식 비대칭 상호작용을 경험(AR + VR, 타블렛 +VR …)

• 94%중 13% 비정규식 비대칭 상호작용을 경험(HMD + Non-HMD)

• 사용자사이의 의사소통

▪ 음성(91%)

▪ 컨트롤러(28%)

Online Survey

Current Coping Techniques


• 응답자의 40%가 HMD를 가진 여러명의 사람들과 게임을 즐김

▪ HMD의 상호작용은 주로 음성을 이용

• 사용자들은 친구와 함께 PC등과 같은 플렛폼으로 즐기는 것을 선호

▪ But, HMD를 즐길 수 있는 더 좋은 방법이 있으면 VR을 이용 하기 위해친구들과 더욱 자주 만날 것이라고 함

• HMD & Non-HMD 이용을 위한 방안 질문

▪ 대부분의 응답자가 Playroom VR 과 같은 접근을 선호

• But, 더 새로운 대안에 대한 관심을 가짐

Discussion of the Online Survey

이러한 결과는 현재 사람들이 기본적인 게임 역학에 의존해 있다는 것을 뜻함. 본 연구는 이 결과를 통해 Share VR을 구현하는데 참고(상호작용은 음성을 이용, 시각화와 역할 구분에 초점)


• Concept

▪ Non-HMD사용자가 HMD 사용자 경험의 일부가 되고 두 사용자가상호작용하며 함께 환경을 탐험하는 것을 목표로 Share VR을 설계,구현

▪ 구경꾼들이 가상환경에서 일어나는 일을 보며 HMD사용자,Non-HMD사용자 와 상호작용할 수 있도록 하고 싶음

• “조심해”와 같은 비명소리 등등..

▪ 거실환경에 적합한 엔터테인먼트 시스템을 개발하는 것이 목표

ShareVR Concept and ImplementationⅠ


• Implementation

▪ 본 연구는 거실에서 다양한 사람들이 참여 가능한 시스템을 설계하는것이 중요하다고 생각함

• HMD를 사용하지 않기를 원하는 사용자가 가상 환경 경험의 일부가 되스스로가 참여에 관심을 가질 수 있도록 하는 것

• 이러한 접근은 Non-HMD사용자와 구경꾼들이 서로를 보고 이야기 할 수있기에 또 다른 방식의 상호작용을 허용

▪ 우리는 PlayStation VR과 같은 공간 규모의 VR시스템에 중점을 둠

▪ NON-HMD유저와 HMD유저가 같은 공간에서 같은 수준의 참여를 제공

• 이러한 형태의 신체적 참여와 상호작용은 즐거움과 몰입의 증가를가져옴

ShareVR Concept and ImplementationⅡ


• HMD : HTC Vive

• Projector

▪ BenQ W1080ST 2개를 각각 반대편에 위치

• 공간의 시각화를 위함

ShareVR Concept and Implementation

Concept and Hardware Implementation


• 본 연구는 하나의 물리적 공간에서 HMD, NON-HMD 사용자가 공존

▪ HTC VIVE Controller 1 Non-HMD User

▪ HTC VIVE + HTC VIVE Controller 2 HMD User

▪ 컨트롤러에 부착된 물리적인 소품을 사용

• 그냥 컨트롤러 자체 진동기능….

• 온라인 설문조사를 바탕으로 모든 사용자는 해드폰을 사용하지 않음


Interaction


• 소파에 앉아있는 다른 사용자를 염두에 두고 시각화를 설계

▪ HMD의 시선이 보이는 모니터 등…

• 전체의 공간을 Visualization 할 수 있도록 두개의 프로젝터를 마주보고설치

▪ 이 역시 소파에 앉아있는 다른 사용자가 볼 수 있음

• Non-HMD사용자를 위한 7인치 디스플레이를 설치

▪ Non-HMD유저가 가지고 있는 휴대폰으로 전원 공급

• 무선케이블을 사용하려고 하였으나 디스플레이 지연으로 포기


Visualization


• Unity + SteamVR Unity 플러그인을 사용하여 구현

▪ 추가적으로 NewtonVR을 사용하여 가상객체와의 인터렉션 구현

▪ NewtonVR에 있는 HMD Camera객체(Unity Prefab)를 이용

• NewtonVR Sample Code..

ShareVR Concept and Implementation

Software Implementation


• 3가지 종류의 Sample Scene 제작

▪ BeMyLight, SneakyBoxes, SandBox

• Collaborative : Be My Light

▪ 배경 : 검은 동굴

▪ 목표 : 동굴을 탈출

▪ 내용

• 두 사용자는 동굴을 탈출하기 위해 괴물과 싸우고 수수께끼를 품

• HMD 사용자

▪ 칼을 휘둘러 몬스터에게 피해를 입히고 텔레포트를 통해 이동

• Non-HMD 사용자

▪ HMD사용자 주위에 마법의 요정 빛을 생성(유일한 광원)

∙ 요정은 괴물에게 피해를 줄 수 있는 불덩어리를 던질 수 있음

Implemented Experiences


• Collaborative : Sneaky Boxes

▪ 배경 : 미국의 GreenLight를 모방

▪ 목표 : 숨은 Non-HMD를 찾음

▪ 내용

• HMD User

▪ 배경에 있는 물체 중 하나로 변신하여 HMD 유저를 피해 보석을 찾아야 함

• Non-HMD User

▪ 배경물체가 아닌 NON-HMD를 찾아 죽여야됨



• Collaborative : Sandbox Application

• Soccer

▪ 목표 : 해딩을 통해 목표물을 맞춤

• 장면 내부에 타겟을 배치

• Non-HMD User가 HMD User에게 축구공을 던짐

• HMD유저는 해딩을 통해 장면 내부의 타겟에 축구공을 맞춤




• Lightsaber Duel

▪ 콘텐츠 제작 의도 : Non-HMD사용자가 시각화 없이 HMD사용자와상호작용이 가능한지 실험

• 스타워즈 칼 싸움




• Puzzle

▪ 콘텐츠 제작 의도 : 더 많은 사용자 참여기능에 대한 실험

• 기하학적 도형이 HMD 유저 주변으로 만들어짐

• Non-HMD 유저만 주변의 지형을 볼 수 있음

• HMD 유저는 Non-HMD 컨트롤러 앞의 화살표만 볼 수 있음

• 의사소통은 음성을 통해 이용

▪ 소파에 있는 사람들 역시음성을 통해 HMD 유저를 지원




• Drawing

▪ 콘텐츠 제작 의도 : 기존의 VR 경험을 여러 사용자와함께 작업 할 수 있도록 확장하는 것이 얼마나 간단한지에 대한 실험

• HMD, Non-HMD 유저는 공중에서컨트롤러를 이용하여 그림을 그림



• Share VR이 HMD와 Non-HMD 사용자 간의 즐거움, 몰입감, 사회적상호작용에 미치는 영향을 측정

• Study Design

▪ 실험은 Baseline System, HMD, Experience에 중점을 맞춤

▪ Baseline System은 VIVE Controller 대신 일반 게임패드를 이용한 개별버전을 만들어서 실험

▪ GEQ 설문지를 이용(게임 경험 질문지, 즐거움, 사실감등을 측정)

User Study

Study Design


• 소파, TV화면, HTC VIVE가 움직일 수 있는 거실과 비슷한 공간으로, 대학실험실에서 진행

• 모든 플레이 세션은 공정한 비교를 위해 5분 후에 중단

▪ 각 세션뒤에 참가자들은 경험과 다른 데이터들을 위한 설문을 작성

• 평균 1시간 반이 걸렸고, 참가자들은 실험에 대한 비용을 지불 받음

User Study

Procedure


• 평균 연령 27.63인 16명의 참가자를 모집

▪ 남자 11명 , 여성 5명

▪ 각 참가자들은 쌍으로 모집되었고 편한 친구 사이만 모집

▪ VR Device에 대한 경험이 많은 사람들로 모집

▪ 각 참자가들은 VR에 대한 관심은 높은 편이였지만 향후 1년간 VR기기를직접 구입하려는 의도는 낮았음

User Study

Participants


Results(GEQ)


Results

최종 비교(즐거움, 현존감)

GEQ 수집데이터


• GEQ

▪ 긍정적 경험, 부정적 경험, 피곤함, 현실감 등 4가지 요소로 구성

• HMD 사용자는 Non-HMD 사용자에 비해 긍정적인 경험 점수가 높음

• Non-HMD 사용자는 피곤함에 높은 점수를 보임

• HMD를 사용한 사람이 현실감이 훨씬 높음

▪ ShareVR이 Baseline System보다 훨씬 재밌다는 평가를 받음

• ShareVR에서의 Non-HMD 역할이 Baseline보다 재밌다는 평가를 받음

Results

Enjoyment


• Presence

▪ Baseline System과 비교하여 ShareVR이 훨씬 좋다고 평가를 받음

• Social Interaction

▪ SneakyBoxes는 BeMyLight보다 높은 점수를 기록

▪ 리커트 척도를 통해 시스템은 사회적인 상호작용에 영향을 준다고 평가받음

▪ ShareVR이 Baseline System 보다 훨씬 매력적으로 평가됨

Results

Enjoyment


• 본 연구의 목표는 HMD 와 Non-HMD에 대한 ShareVR의 즐거움, 사실감, 사회적인 상호작용에 대한 영향을 Baseline 과 비교하여 조사하는 것

▪ GEQ 설문지에서 큰 차이가 없었더라도 최종 비교(주관적)에서 Non-HMD를 위해 ShareVR이 좋다는 것에 높은 등급의 평가를 받음

▪ 게임에 따라 GEQ의 설문은 게임의 종류에 따라 영향을 받음

▪ HMD 사용자는 주변의 사용자와 공간적, 시각적으로 분리되지만주변에서 공유되는 정보는 HMD 유저에게 이러한 분리감을 줄여줌

• 이는 Non-HMD 사용자 역시 HMD 유저와 경험을 공유 한다는 걸 보여줌

• ShareVR이 Baseline 보다 즐거움, 사회적 참여 및 사실감을 향상시키는것으로 나타남

▪ 이는 비대칭 접근방식을 위해 기존의 게임을 특별하게 설계해야 한다는걸 의미함

Discussion


• 추가적으로 저자들한테 실험을 진행

▪ Non-HMD 사용자는 가상세계와 HMD사용자의 경험을 비슷하게 제공받음

▪ HMD 사용자는 Non-HMD사용자가 주변에서 관찰하고 있었기 때문에사물에 부딪치지 않고 Tracking Space를 벗어나지 않았음

▪ HMD 사용자의 실수로 인해 Non-HMD유저가 재미를 느낌

• 모든 사용자들이 현장에서 무슨 일이 벌어지는지 완전히 이해함

▪ 소파에 사람이 있을 경우 더 높은 경험을 제공할 수 있음

▪ 축구 게임과 같이 현실에서 경험할 수 있는 활동을 기반으로 하는 게임은재미를 느끼지 못함

DesignSpace and Guidelines


• Projection과 Mobile Display를 사용하는 ShareVR을 제작

▪ HMD, Non-HMD 사용자를 위한 가상세계를 시각화

• 얼리어답터의 피드백을 기반으로 ShareVR을 설계 및 구현

• ShareVR을 BaseLine과 비교하여 즐거움, 사실감, 사회적 상호작용면에서어떤지에 대한 실험을 진행

• 추가적인 간단한 실험을 통해 제작의 가이드 라인을 제시

Conclusion


Result Video


• 본 연구는 현재 2~3명이 함께 노는 것에 제한됨

▪ 완벽한 이해를 위해 더 많은 수의 관측자를 대상으로 더 많은 조사가수행되어야 함

▪ 앞으로 더 많은 플레이어를 통합하고 배치하여 가상현실의 새로운 공간과사회역학에 미지는 영향을 조사 할 수 있음

Limitations and FutureWork

sharevr-enabling co-located experiences for virtual reality...

Documents