Convergence of u-GIS and Augmented Reality

for Smartphone Applications

2010. 06

남 광 우

군산대학교 컴퓨터정보공학과kwnam@kunsan.ac.kr

*본 연구는 건설교통부 첨단도시기술개발사업 – 지능형국토정보기술혁신 사업과제의 연구비지원(07국토정보C05)에 의해 수행되었습니다.

KRNET 2010

Introduction

2

GPS 가속도/지자기 센서

LBS( Location Based Service )

위치기반 증강현실

Introduction

3

iPhone Navigator Layar ScanSearch(url)

AR and u-GIS 융합의 몇 가지 관점 Wonderful AR Applications!

AR Applications supporting Map Data!!

AR Applications as u-GIS Contents Viewer!!!

AR Applications as u-GIS Contents Merger and Activator!!!!

• A Bridge between Real-world and Contents-World

Introduction

4Sekai Camera

Current AR Applications AR Applications supporting Map Data!!

with

• Bar-Code(QR code) Scanner

• Book Search, Music Search, Movie Search

Breaking Points

5

Breaking Points of Current ARs in u-GIS View

Bridging Real-world and Contents Worlds

Augmented Reality Virtual Reality

3D Map Reality(Google Earth)2D Map(Google Maps)

RealWorld

Breaking Points

6

Breaking Points of Current ARs in u-GIS View

Mapping into u-GIS World of AR Events and Data

Mapping into AR Apps of u-GIS Contents

Current Applications : Book Search

Already Ready!Photo, Webcam, Movie, Wikipedia

BookHere!

BookHere!

Breaking Points

7

Sink Node

USN-BridgeSink Node

Sink NodeSink Node

Sink Node

도심

외곽

캠퍼스

가정

고속 도로

Sensor Web World

Breaking Points of Current ARs in u-GIS View

Viewer and Activator for Sensor Web World

Breaking Points

Conceptual Overview

8

BookData

Public Sector Data

Library

SafetyData정부

EnterpriseData

GeoVision

포털

2D Map

AR Events시민용 GIS

서비스정부

VR Data

Sensor Web

Convergence Apps of u-GIS and AR

MovieData

개인화서비스

개인화서비스 Enterprise

Service

개인화서비스

일반시민

일반시민

일반시민

일반시민

전문가

전문가

PublicService

SNSService

General Contents World

Apps World

u-GIS Contents World

Real World

Activation!

u-GIS 컨텐츠 개요

9

국토 데이터

국토정보 컨텐츠국토 정보

u-GIS Spectrum의 확대

2D VectorRS Data

2.5D Data DEM Data

LBS/TelematicsGeoERPWeb GIS

MultiSensor

Phone

U-Device

Real 3D Data GeoPhoto

GeoVideo

Game,Edu,…

Closed Box(Public Sector)

Open Box(Enterpise Sector)

Shared Box(People Sector)

Map 데이터에서 u-GIS 컨텐츠로의 급속한 진화생산 측면 : 공공 생산자 중심의 Data에서 User-Created Contents로

소비 측면 : Closed Market에서 일반인 중심의 Open Share로

활용 측면 : 공공 중심의 응용에서 사용자 밀착형 서비스로

u-GIS 컨텐츠 현황 : 서비스

GPS Photo

10

GPS Camera

u-GIS 컨텐츠 현황 : 서비스

Google StreetView/Daum Roadview

11

u-GIS 컨텐츠 현황 : 서비스

Microsoft Live Local

12

u-GIS 컨텐츠 현황 : 서비스

EveryScape

13

Naver PhotoStreet

u-GIS 컨텐츠 현황 : 서비스

Microsoft Photosynth

14

u-GIS and AR 융합의 발전 방향

15

Panoramic

GeoSensor

GeoMedia+GPS

StreetView/LiveLocal

Photosynth

KML/KMZ

EXIF

국토정보 복합 컨텐츠 표현국토정보 생성 기술의 다양화 국토정보 서비스 기술의 진화

User-Contents

LIDAR

WHAT WHO/WHENHOWGeoMedia컨텐츠 개척융합형 GeoContents 개발

-Sensor Web 과의 연동- 3D/VR과의 연동

공공부문실용화와 상용화민간 서비스 접목

u-GIS and AR 융합의 발전 방향

16

GPS linked GeoAR 컨텐츠

Surround GeoAR 미디어

Geo 컨텐츠

geoSensor 컨텐츠

Geo 컨텐츠Convergence

Geo 컨버전스 기기

Interactive GeoAR 융합 컨텐츠

Interactive/Cooperative 컨텐츠

GeoAR Viewer

u-GIS and AR 융합 요구 기술

u-GIS Contents Framework for AR Apps

u-GIS Contents Query in AR

u-GIS Applications using AR

17

u-GIS Contents Framework for AR

18

현재온도:36도습도 : 60%

현재온도:37도습도 : 65%

국토정보 결합 컨텐츠 모델

Neo GeoContents

Neo GeoPhoto Contents

Neo GeoPhoto Contents

Dynamic Composite GeoContents

ugcML 프레임워크 GeoAR 컨텐츠 시스템

저장 Xml보기/수정

Look At

Heading

Right AngleLeft Angle

스타타워

POSCO

ugcML

GeoAR 제작관리 시스템

Panoramic GeoPhoto 프로토타입

Panoramic GeoPhoto 매쉬업

ugcML for ARugcML의 정의

ugcML : u-GIS Contents Markup Language

u-GIS 컨텐츠에 대한 생성과 표현을 목적으로 하는 마크업 언어GML 3.2.1, XIMA, KML, SMIL 등과 연동 및 참조

ugcML이 표현하고자하는 컨텐츠geoPhoto and GeoAR 컨텐츠

일반 사진 및 Panorama Photo의 표현

StreetView Like한 Road/Direction 복합 표현

Hyper geoPhoto 기능

Dynamic Inner Photo/Contents 표현

복합 컨텐츠일반 Photo 집합에 대한 Geo Schema 표현

GPX 파일과 일반 photo의 결합 표현

다양한 KML 파일과 GPX, Photo 파일에 대한 geo schema 표현

19

ugcML for ARugcML의 구성

ugcHeader와 Contents부, Operation부로 구성

ugcML내의 모든 element는 최상위 element인AbstractObject를 상속하며, 이 element는AbstractGML을 상속하여, 모든 element가 gml:id를 가짐

모든 Contents는 AbstractContents를 상속

20

기본국토정보GML

GPSPoint,TrackPhoto

GeoPhotoPanoramic PhotoAnnotationOverlay

Simple GeoVideoSensored ContentsComposite Contents

12차년도

3차년도

ugcML for AR

Model

21

삼성전자현대빌딩

신호등

http:-mcalab.kunsan.ac.krdistance

angle

ugcML for AR

22

GeoPhoto/GeoAR Annotation 분류 GeoPhoto/GeoAR Description

ugcTitle : GeoPhoto의 제목

ugccopyright : GeoPhoto Copyright Information

ugcEXIF : GeoPhoto의 EXIF 정보

GeoPhoto/GeoAR Contents Annotation ugcURI : Hyper Link

http://, mailto:, ftp://,

Extension : callphone://016-402-8040, SMS:016-402-8040

ugcText : 텍스트 Annotation

ugcHTML: HTML Annotation

ugcDynamic : 센서 정보와 같이 주기적인 업데이트 필요 정보

ugcIcon : Icon Annotation

ugcOverlay<alternative or duplicate>: Photo on GeoPhoto 등

ugcAnimate :html:-mcalab.kunsan.ac.kr/test.jpg

ugcEnlargement : 확대 사진 html:-mcalab.kunsan.ac.kr/test.jpg

ugcFrameXml : StreetView의 도로 정보 표시

ugcML for AR : 주요 기능

GPSPointGPS 정보를 표현하기 위해 사용되는 element로서, NMEA로부터 획득될 수 있는 정보들로 구성되어 있음

GPX : http://www.topografix.com/gpx.asp

23

Track

GPS를 통해 기록되는 위치의 로그 기록과 같이 다수의 GPSPoint 또는 Point 들로 구성

<ugcML xmlns="http://www.u-gis.net/ugcml/1.1" xmlns:gml="http://www.opengis.net/gml/3.2" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.u-gis.net/ugcml/1.1 ..\ugcml08.xsd" >

<ugcHeader><AuthorInfo>

<author><name>군산대</name>

</author></AuthorInfo><creationTime>2001-09-11T09:30:47-05:00</creationTime><secureWord>1234567</secureWord>

</ugcHeader><GPSPoint gml:id="GP01">

<name>String</name><AuthorInfo>

<author><name>String</name>

</author><address>String</address><AddressDetails>String</AddressDetails><phoneNumber>String</phoneNumber>

</AuthorInfo><visibility>String</visibility><creationTime>2001-09-11T09:30:47-05:00</creationTime><description>String</description><secureWord>Text</secureWord><latitude>37.5</latitude><longitude>127</longitude><southNorth>N</southNorth><eastWest>E</eastWest><trackAngle>121.61</trackAngle>

</GPSPoint></ugcML>

GPSPoint

<ugcML xmlns="http://www.u-gis.net/ugcml/1.1" xmlns:gml="http://www.opengis.net/gml/3.2" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.u-gis.net/ugcml/1.1 ..\ugcml08.xsd" >

<Track gml:id="T01"><Position gml:id="PS01">

<gml:Point gml:id="P01" srsName="urn:EPSG:geographicCRS:4326"><gml:pos>140.1 -34.9</gml:pos>

</gml:Point><gml:validTime>

<gml:TimeInstant gml:id="TI01"><gml:timePosition>2005-11-28T14:00:00</gml:timePosition>

</gml:TimeInstant></gml:validTime>

</Position><Position gml:id="PS02">

<gml:Point gml:id="P02" srsName="urn:EPSG:geographicCRS:4326"><gml:pos>140.1 -34.9</gml:pos>

</gml:Point><gml:validTime>

<gml:TimeInstant gml:id="TI02"><gml:timePosition>2005-11-28T14:00:00</gml:timePosition>

</gml:TimeInstant></gml:validTime>

</Position></Track>

</ugcML>

Track

ugcML for AR : 주요 기능

Annotation

24

<ugcML >

<GeoPhoto><operation>

<Annotation><PointTo>

<pointerCurve/></PointTo><source>

<ImageAnnotationContents><imageReference xlink:href="file//./demo/buildinganno.jpg"/>

</ImageAnnotationContents></source><target>

<PointOfInterest><gml:Point gml:id="Pt001">

<gml:pos>30 30</gml:pos></gml:Point>

</PointOfInterest></target>

</Annotation></operation><Position>

<GPSPoint gml:id="ID01"><latitude>37.5</latitude><longitude>127</longitude>

</GPSPoint></Position><gml:validTime>

<gml:TimeInstant gml:id="TI01"><gml:timePosition>2005-11-28T14:00:00</gml:timePosition>

</gml:TimeInstant></gml:validTime><Photo>

<photoReference xlink:href="file//./demo/building.jpg"/></Photo><ViewVolume>

<leftFov>-60</leftFov><rightFov>60</rightFov><bottomFov>-60</bottomFov><topFov>60</topFov><near>1000</near>

</ViewVolume></GeoPhoto>

</ugcML>

ugcML for AR : 주요 기능

Overlay

photo 화면의 특정 부분에 overlay 형태로 표출되도록하는 연산

예) http://nbc.blitzagency.com/

overlay의 지원 종류– alternativeOverlay

– duplicateOverlay

– animateOverlay

25

현재온도:36도습도 : 60%

현재온도:37도습도 : 65%

ugcML for AR : 주요 기능

26

ugcML for AR : Future

27

GeoVideoFrame

ugcMLSimple

GeoVideo

ugcMLGeoVideoAnnotation

31

HealthugcML

GeoPhotoExtension

ugcMLSensored

GeoContents

UPMap Applications

UPMap Vector/Traffic

Enhanced GeoPhoto/Video

geoSpatial DB(지도 정보)

geoPhoto DB(geoPhoto 정보)

ETRI u-GIS Contents Server Platform

geoPhotoViewer

geoVideoViewer

GeoContentsScheme Manager

Smart geoSearchService Manager

geoPhoto/VideoQuery Manager

geoPhoto/VideoIndexing(Index)

중점 연구

ugcServer

OtherETRI

PlatformComponents

GeoContents Repository Manager(GeoClould on Hadoop)

PostGIS/Hadoop

Stream AnalysisManager

geoPhoto/VideoQuery Manager

GeoContentsAutomation Tools

u-GIS for AR : 데이터 서비스

u-GIS for AR : 데이터 서비스

Sight Line Searching

29

iPhone Navigator iPhone LayarSekai Camera

u-GIS for AR : 데이터 서비스

GeoAR Query Indexing

30

삼각형질의

p1

p2

p0위치방향삼각형 형태

바라보는 방향

사용자 위치

데드 스페이스 발생검색 효율 저하

R1

R2검색영역

질의영역

R3

u-GIS for AR : 데이터 서비스

Index for Sight Line Searching

31

Look At

Heading

Right Angle

Left Angle

Look At

Left AngleRight Angle

-파이낸스센터

-한솔빌딩

-버거킹-포스틸타워

-List 없음

CPU Optimized R-tree

Main Memory Cache

Table Cache

R-Tree Extension?for Sight Line

Or GPU?

GeoPhoto/GeoVideo Indexing

GeoVideo Contents Indexing

기술의 확장

32

급제동

실시간 물류 위치 이동 좌표모니터링

과속차량정체

GPS Trajectory

Video+GPS복합 검색 기술 개발

u-GIS for AR : 컨텐츠 서버

PostgreSQL/MCA Architecture

33

PostGIS PostTrajectory

Trajectory Type

TrajectoryIndexing

PostGeoPhoto

GeoPhotoType

GeoPhotoIndexing

GeometryType

R-Tree on GiST

PostGISJavaLib

PostGISJavaLib

PostGISJavaLib

GeoContentsWeb Client

Apache/Tomcat Web Sever

PostgreSQL/MCA Server(ugcServer)

PostGeoVideo

GeoVideoType

GeoVideoIndexing

PostgreSQL DB

GeoContentsAplication

Traj GeoPhoto GeoVideo

GeoContentsDB API

GeoContentsServer

u-GIS for AR : 컨텐츠 서버PostTrajectory의 필요성

GPS Track 데이터 처리

기존 개발 Moving Objects 시스템과의 차별성GeoPhoto/GeoVideo 컨텐츠의 융합 데이터 처리

DBMS등 시스템 S/W가 아닌 미들웨어형 Trajectory 성능 향상

Trajectory 컨텐츠 Warehouse

34

GeoPhoto 및 GeoVideo 데이터의 기반

GeoAR Query UX

35

화면 터치 질의

Multi Touch- 2

검색영역

화면 터치 질의

Single Touch검색 영역

화면 터치 질의

Multi Touch -3

검색영역

화면 터치 질의

Touch Drag검색영역

화면 터치 질의

Touch Zoom검색영역

화면 터치 질의

Multi Touch - 4검색영역

Conclusion

Convergence Points of u-GIS and AR

u-GIS Contents

u-GIS and Real-world Mash-up Tools

AR as the Real-world Activator

Uncovered Secrets!

36

Q&A

감사합니다.

37