IoT 세상과 Linked Data

2014. 01. 24

권순현(kwonshzzang@etri.re.kr)

목 차Sensor Network & Semantic Web 기술동향1

IoT 시맨틱 플랫폼 (COMUS 플랫폼 )2

맺음말33

• 시맨틱 어노테이션 & 변환기술• USN 자원 / 실세계이벤트 / 서비스 / 상황 온톨로지 모델링 기술• IoT 시맨틱 추론기술 ( 병렬 / 분산 추론 )• IoT 시맨틱 레파지토리 적재기술• GEO/ 기상 LOD 구축 및 연계

Sensor Network&Semantic Web 기술동향1

E-H A-LA-H E-L

High-level Sensor Low-level Sensor

Motivation

How do we determine if A-H = A-L ? (Same time? Same place ?)

How do we determine if E-H = E-L ? (Same entity ?)

How do we determine if E-H or E-L constitutes a threat ?

<Source : “Semantic Sensor Web". Amit Sheth . pp. 4. Feb. 2008.>

The ChallengeCollection and analysis of infor-mation from heterogeneous multi-layer sensor nodes

<Source : “Semantic Sensor Web". Amit Sheth . pp. 4. Feb. 2008.>

Why this is a Challenge?

센서데이터의 표현과 동작이 통일되지 못함

리소스의 공유를 위한 수단이 없음

리소스의 사용과 배치가 특정 지역 , 프로그램 , 디바이스에 국한되어 사용되어짐

Resulting in a lack of communication and in-teroperability

<Source : “Semantic Sensor Web". Amit Sheth . pp. 4. Feb. 2008.>

How to deal with?

Sensor Network

Sensor Web

Semantic Sensor Web

상호작용이 없는 네트워크이질적인 데이터 표현사일로 형태의 서비스 제공

공유 가능한 센서 네트워크문법수준의 표준화로 센서데이터를 표현표준 API 기반의 서비스 제공

웹 상에서 개방적인 네트워크의미수준의 센서메타데이터를 표현Semantic Web 기술기반의 서비스 제공

웹 개방적 / 의미적

Sensor Network & Semantic web W3C Semantic Web

Resource Description FrameworkRDF SchemaWeb Ontology LanguageSemantic Web Rule Language

OGC Sensor Web EnablementSensorMLO&MTransducerMLGeographyML

SML-SO&M-STML-S

Web ServicesWeb Services Description LanguageREST

SAWSDLSA_REST

National Institute for Standard and Technology

Semantic Interoperability Community of PracticeSensor Standards Harmonization

SensorOntology

SensorOntology

OGC SWE(Sensor Web Enable-ment)

다양한 타입의 클라이언트

매체

카타로그 서비스

SOS

SAS

SPS

Client

센서 데이터에 접근

서비스

각 센서 시스템에 과제 할당 및 전달

서비스

등록된 클라이언트에게 경보 알림

서비스

서비스 , 센서 , 제공자 ,

데이터에 대한 정보 목록 등록

저장 검색 서비스

O&M센싱 값 ,

측정단위에 대한 표준

TML시스템과

실시간데이터 변환 표준

SML센싱 데이터 표현의 표준

< 출처 : “Semantic Sensor Web”, Amit Sheth, Cory Henson, Satya S.Sahoo>

Semantic Sensor Web 의 출현

Semantic Sensor Web

OGC 표준화 노력

Seman-tic Web

센서 데이터의 의미와 설명을 위한 확장 된 기반 제공

Open Geospatial Consortium (OGC: www.opengeospatial.org) - 산 · 학 , 정부로 조직된 국제 컨소시움 - 웹 기반 센서네트워크와 저장된 센서 데이터를 검색하고 접근할 수

있는 센서 웹의 실현을 위해 표준 프로토콜과 API 의 중요성 강조

W3C 의 Semanticweb Activity (www.w3.org/2001/sw) - 웹에서의 데이터 공유와 재사용을 위한 프레임 제공을 위한 노력

- 센서 데이터의 의미와 설명을 제공할 수 있는 기술 제공

Semantic Sensor Web 의 출현

- 센서가 웹에서 액세스되고 제어가능 하도록 센서데이터 , 센서 데이터 모델 , 센서 웹 서비스 에 관한 표준 API, 모델링 언어에 관한 표준 규격 제공 - 표준 API : O&M, SOS, SPS, SAS, WNS

- 표준 모델링 언어 : SML, TML

- 온톨로지 ( 시간 , 장소 , 주제 온톨로지 및 센서 도메인 온톨로지 )

- 의미 데이터 모델링 언어 : RDF, OWL, SWRL

- 시멘틱 어노테이션 , 룰기반의 추론

OGC 의 SWE(Sensor Web Enablement)

Semantic web technologies

Semantic Sensor Web센서로부터 센싱된 데이터를 온톨로지와 시맨틱 어노테이션으로 의미적 표현이질적인 센서데이터를 표준화된 시맨틱 데이터로 표현함으로써 센서간의 상호운용성을 증대시맨틱 지식기반 융복합 서비스 제공

< 출처 : “Semantic Sensor Web”, Amit Sheth, Cory Henson, Satya S.Sahoo>

Sensor Web vs SSWSensor Web Semantic Sensor Web

IPTV 서비스 모바일 서비스 웹서비스

Value#1

Value#2

Value#3

Value#4

Ser-vice#1

Ser-vice#2

Ser-vice#3

Sensor Data Translator

Static Service Discovery

USN

정적인 센서데이터를 구문적인 데이터로 표현Syntactic 수준의 표준화획일적이고 Silo 한 서비스만을 제공

센서데이터를 의미적이고 동적인 데이터로 표현Semantic 수준의 표준화시맨틱 지식기반 서비스 제공

매쉬업 서비스

USN

Semantic Data Translator

Dynamic Service Discovery

Semantics LOD

모바일 서비스

IPTV 서비스

Service Mashup

IoT 시맨틱 플랫폼 (COMUS 플랫폼 )2

IoT 시맨틱 플랫폼 (COMUS 플랫폼 )

Semantic Translator

Translation Rule

RDF

SensorML/Sensor O&MXML

시맨틱 USN 저장소 Suite

추론기

SPARQL 인터페이스

SPARQL End-point

Context Syn-chronizer

ServiceSynchronizer

USN 자원 / 커뮤니티 / 실세계 이벤트 / 서비스 / 상황 온톨로지

Service Ex-ecutor

Context ServiceO

pen

AP

IPush Service

센서데이터 + 지도서비스 매쉬업

모바일 서비스

스마트홈서비스

도심지

스마트홈

기상센서

Plug&Play 센서

Linking Open Data

온톨로지 규칙기반 추론기술(Rule Entailment Reasoning)

USN 자원 / 실세계이벤트 / 서비스 / 상황온톨로지 모델링 기술 (RDFS, OWL)

시맨틱 어노테이션 & 변환기술(Semantic Annotation&Tranlation) LOD(Linked Open Data)

연계기술

IoT Semantic Repository 적재기술

COMUS PLATFORM

시맨틱 어노테이션 & 변환기술

Run-Time Translator

Collector & Analyzer

Schema Verifier

Triple Creator

Repository Interface

RuleParser

Knowledge Creator

Ontology

Parser

RuleAdder

OntologyAdder

Translation Knowledge

Rule SetClasses Properties

Ontology Schema KB

Sensor Network

JSON/XML/RDB

Resource Description Framework(RDF)IoT Semantic Repository

PersonDevice Time

SpatialCon-text Ser-

viceActionUpper

Domain

id= { {“jobtype”, “1”}, {“subjet”, “id$”}, {“object”, “resource:SensorNode”} } positon={ {“jobtype” , “1”}, {“subject”, “position_uri$”}, {“object”, “geo:Location”), ……………………………………….. }

reference

JSO

N

RDF(S)/OWL

Build

Sensor Specifica-tion

Sensor Observa-tion

Real Event/Con-text

Invoke Service

Translation Rule Target Ontology Schema

시맨틱 어노테이션 & 변환기술

id= { {“jobtype”, “1”}, {“subjet”, “id$”}, {“object”, “resource:SensorNode”} } positon={ {“jobtype” , “1”}, {“subject”, “position_uri$”}, {“object”, “geo:Location”), ……………………………………….. }

Semantic Transla-tor

AWS Data

변환온톨로지모델Translation Rule

resource:323 rdf:type resource:SenosorNoderesource:323 resource:daily

22.5^^xsd:floatresource:323 resource:weekly

23.8^^xsd:float

RDF Data

JSON/XML/RDF

시맨틱 어노테이션 & 변환 예제{ {“awsID”, “323”}, {“manufacturer”, “ETRI”}, {“position”, “pos_323”}, {“coordinate”, { {“latitude”, “32.7296”}, {“longitude”, “127.1141”}, {“altitude”, “101.31”}, } } }

Input Data(JSON)

awsID= { { “jobtype”, “1”},

{“subject”, “awsID$“}, {“object”, “resource:SensorNode”}}

Translation Rule #1

resource:323 rdf:type resource:SenosorNode

RDF 생성

resource:SensorNode

resource:323

rdf:type

manufacturer= { {“jobtype”, “3”}, {“subject”, “awsID$”}, {“predicate”, “has||Manufacturer@”}, {“object”, “manufacturer$^^xsd:string”} }

Translation Rule #2

resource:323 resource:hasManufacturer “ETRI”

ETRI

resource:hasManufacturer

position= { { {“jobtype”, “1”}, {“subject”, “postion$”}, {“object”, “geo:LocationCoordinate”}}, { {“jobtype”, “2”}, {“subject”, “awsID$”}, {“predicate”, “has||Position@”}, {“object”, “position$”}} }

Translation Rule #3space:pos_323 rdf:type geo:LocationCoordinate

geo:LocationCoordinate

resource:323 resource:hasPosition space:pos_323

Space:pos_323 space:latitude 32.7296

space:pos_323

rdf:typeresource:hasPosition

32.7296

space:latitude

USN 자원 / 실세계이벤트 / 서비스 / 상황 모델링

Resource Ontology

Policy Ontology

Community Ontology

Time Ontology

Space Ontology

Event Ontology

Weather Ontology

실세계 이벤트 온톨로지군

Service

Context

Policy

Agent

서비스 Upper 온톨로지

Service

Context

Agent

Policy

rdfs:subClassOfrdfs:subClassOf

rdfs:subClassOf

rdfs:subClassOf

서비스 Domain 온톨로지

실세계 이벤트 모델 개요

• 실세계 이벤트 (Real Event)COMUS 플랫폼에서 유통되는 센서데이터를 특정 서비스 도메인과 독립적 , 일반적 지식 ( 기상 , 위치 , 시간 , 사용자 정책 등 ) 과 연계하여 추상화한 개념

• 실세계 이벤트 모델링실세계 이벤트 데이터 생성을 위한 명세정보와 프로세스를 모델링화한 지식베이스– 입력

• RDF 로 변환된 정량적인 센서데이터• Resource 온톨로지의 인스턴스값

– 출력• 추상화된 실세계 이벤트 정보• 프로세스된 Event 온톨로지의 인스턴스값

실세계 이벤트 모델 개괄구조

Resource Ontology

Event Ontology

Time Ontology

Spatial Ontology

Agent Ontology

FOAF Ontology

owl:equivalentClassOf/owl:equivalentPropertyOf

Weather Ontol-ogy

OWL-Time Ontology

Service Ontol-ogy

owl:imports

OpenCYC/OpenGIS Ontology

CommunityOntology

Service Ontol-ogy

실세계 이벤트 데이터 Flow

Sensor_2 Sensor_3

Sensor_1

Ontology Transla-tion

Context1 Context2 Context3 Service1 Service2 Service3

서비스 도메인 온톨로지

SensorML/Sensor O&M/COMUS XML

Resource 기본명세

Resource 소유정보

Resource 위치정보

Resource 센싱정보

Resource 커뮤니티정보

data

Space기본명세

Space연계정보

Space Geo 정보

Spatial Ontology

Time 인스턴스정보

Time 인터발정보

인터발 관계정보

Time Ontology

data

기상지역정보

기상시간정보

기상데이터정보

Weather Ontology

Static Pol-icy

규칙정보

Dynamic Pol-icy

규칙정보

Policy 관계정보

Policy Ontology

data

Agent명세정보

AgentSNS 정보

Agent Ontology

AgentPolicy 정보

Resource Ontology

Resource Policy 정보

data

이벤트데이터

Event명세정보

Event관계정보

Event 값정보 ( 정량 ,

정성 )

Event Ontology

Ontology Infer-ence

센서데이터의 시맨틱 가공단계

센싱데이터 이벤트정보 상황정보 서비스정보

센싱데이터 시맨틱 가공단계

시맨틱 USN 저장소( 센싱데이터 , 이벤트정

보 )

시맨틱 USN 저장소( 상황정보 , 서비스정보 )

실시간 이벤트 추론 상황추론엔진

• 서비스 독립적 데이터• 대용량 데이터• 빠른추론 , 간편한 모델

• 서비스 의존적 데이터• 주관적 , 디테일 데이터• 상세추론 , 세밀한 모델

실세계 이벤트 모델 처리 프로세스

Resource On-tology

Event Ontology

Spatial Ontol-ogy

Time Ontol-ogy

Weather Ontol-ogy

hasPosi-tion

hasTime

detects

triggeredEvent

hasSpace

hasTime

hasEventRe-source

hasEventSpace

hasEventTempo-ral

① 입력( 센서명세정보 , 실시간 센서데이터를 시맨틱 변환하여 적재 )

hasEven-

tWeather

센서의 명세정보와실시간 센서데이터의 연계

③ 공간온톨로지정량적인 공간정보를 개념화된 공간개념으로 확장 ( 센서가 존재하는 위치에 대한 개념정보 )

④ 기상온톨로지정량적인 기상정보를 개념적인공간정보와 시간정보로 연계한온톨로지

⑤ 이벤트 온톨로지이벤트 데이터를 생성하고 실세계이벤트 실세계 이벤트 각 요소 ( 공간 ,시간 , 기상 ) 과 연계하는 온톨로지

⑥ 출력실세계 이벤트 정보를 각 도메인 서비스에게 제공함

Object

센서명세정보

SensorN-ode

Sensor

TRAFFIC_SERVICE_1_1_1TRAFFIC_SERVICE_1_1

rdf:type rdf:type

TEMPERATURE

consistOf

hasPosi-tion

spatial:Pos127.212

1

37.4232

0.0

long

alt

lat

hasGoal

ObjectIn-put

Obs_1212_1121221

hasValue

weather101

rdf:type

hasTimeTime_102121

detects

2012:09:19T18:50:00

inXSDDateTime

센싱값정보

event

hasPOI

역삼동

sub-sumedBy

강남구

서울

sub-sumedBy

sub-sumedBy회사밀집지역

유흥가

상업지역

rdf:type

rdf:type

rdf:type

Geo 정보로의 확장

한가을

저녁

퇴근시간

러쉬아워

rdf:type

rdf:type rdf:typ

e rdf:type

시간개념으로의 확장

hasEventSpa-tial

21

tempera-ture

80humidity

10

uv

rainy

sta-tus

hasS-pace

has-Time

기상정보의 연계호우경보

강남역

hasEventTemporal

hasEventWeather

이벤트 데이터 생성

회피지역존재상황기상특보가 발휘되고러쉬아워인 지역

상황정보로의 활용

IoT 시맨틱 추론 기술 ( 병렬 / 분산 )

import Resource 센싱값 생성

Temporal 처리

Spatial 처리

Agent 정보리턴

JSON

Policy 정보리턴

Weather 처리

Event 처리 export

Inferred RDF

실세계 이벤트 추론 WorkFlow

MapReduce MapReduce MapReduce MapReduce

imple

menta

tion

impl

emen

tation

implementation

implem

entation

implem

entation

impl

emen

tatio

n

Job Tracker

Job Control

HBase/HDFS

IoT 시맨틱 레파지토리 적재기술

Repository API

HTTP Serverapplication

SeRQLSPARQL

SAIL APIRIO

RDF Model

HBase Reposiotry API

HDFS

HBaseMap

Reduce

extended Sesame Apache

Sesame Repository API를 상속하여 기능 확장

HBase 기반 시맨틱 레파지토리

GEO/ 기상 LOD 구축http://comus.linkeddata.kr : 안행부 새도로명 주소 , 기상청 AWS 기반 구축

<SPARQL Endpoint>

GEO/ 기상 LOD 구축

Sensor

Transducer

rdfs:subClassOf

TR_101

rdf:type

TEMPERATURE

imple

-

ments

Location_101

hasP

osi

-ti

on

127.345longitude

37.113latitude

19.432

altitu

de

ObservationValue

Req_1350

produces

rdf:type has-

Value10

TMP_20130908132435

hasTime

2013-09-08T13:24:35

owltime:inXSDDateTime

Autumn

Afternoonrd

f:typ

e

rdf:type

GEO LOD

Weather LOD

ETRIhasPOI

Gajeongrogeo:spatiallySubsume

dBy

Daejeon

geo:spatiallySubsume

dBy MetropolitanRegion

rdf:type

W_101

InterVal_101 hasTime

ow

ltim

e:I

nsid

es

Heavy RainWarning

Weather

rdf:

typ

e

rdf:type

Rainy

hasQualitative

9.8

130

windSpeed

precipitatoin

hasS-pace

LOD 의 활용23

커뮤니티 (Community)

• 특정 목적 ( 이벤트 ) 에 따라 동적으로 발생되고 소멸되어지는 센서 ( 리소스 ) 들의 논리적인 집합

– 목적• 화재 , 홍수 , 범죄 , 백화점 세일 , 연휴기간

– 동작• 이벤트 발생시 명세된 커뮤니티의 역할에 따라 동적 커뮤니티 생성• 생성된 커뮤니티의 조건에 따라 협업할 센서 ( 리소스 ) 리스트

발견• 커뮤니티 구성원 ( 센서 ) 으로부터 센서데이터 수집 및 분석 (

상황인지 )• 커뮤니티간의 데이터 공유를 통한 협업 진행

커뮤니티 온톨로지 구조

Community

comm_101

rdf:type

comm_102

comm_103

Status

hasStatus

GoalhasGoal

rdf:type

rdf:type

comm_104

rdf:type

Detect Fire

hasGoal

rdf:type

Service

Context

EmergencyCon-text EscapeContext

rdf:t

yp

e

rdf:typedriv

es

Community Ontology Service Ontology

Invoke Context/Service

SpaceWeather

hasSpaceWeatherForecast

hasFore-cast

Resource

ObservationValue

ResourceType

FLAME

SMOKING

OXYGEN

rdf:type

rdf:type rdf:typ

e

hasR

ela

teR

esou

rce-

Typ

e

hasRelateResource-Type

hasResource-

Type

hasR

e-

sourc

e

Time

hasTime

Location

hasPosi-tion

hasPOI

produces

Discovery Resource

Linked Data

Platform Data

커뮤니티동작 (Discovery Resource)

Resource

resource_101

resource_102

resource_103

rdf:type

rdf:type

rdf:type

FLAME

hasR

esou

rce-

Type

SMOKING

hasR

eso

urc

e-

Type

OXYGEN

hasR

esou

rce-

Type

comm_102

Community

rdf:type

hasRelateResource-

Type

hasRela

teReso

urce-

Type

hasR

ela

teR

esou

rce-

Typ

e

hasGoal

Detect Fire

ActivehasStatus

Policy

hasCondi-tioncon_101

rdf:type

HyunDai Department

CALT

COEX

Samsung-Dong

adja

-ce

nt

adja

-ce

nt

adja

-ce

nt

isPartOf

Space

rdf:type

rdf:type

rdf:typ

e

rdf:typ

e

rdf:typ

e

Weather

rdf:type

Rainy

hasQualitative

W_101

hasSpace

hasSpace

hasSpace

hasSpace

continuousweather

traffic

adjacent

hasDetecting-

PolicyhasCollaborate

hasSpacePolicy

hasEventSpace

hasEven-tWeather

hasResource

hasResource

hasResource

GEO LOD

Weather LOD

Discovery Resource

hasResource

커뮤니티동작 (Context Aware)

Community

rdf:type

comm_102

COEX

hasEven

tSp

ace

BusinessArea

EntertainmentArea

rdf:type

rdf:type

hasEventRe-

source

Resource_101

prod

uces

obs_101

has-

Valu

e

8.9

Tmp_20131127182133

2013-11-27T18:21:33

hasTim

e

owltime:xsdDateTi

me

EarlyWinter

ClosingHour

RushHour

rdf:type

rdf:type

rdf:type

Weather_101

hasEven-

tWeather

Sleet

rdf:type

Resource_102

hasEventRe-source

produces

obs_102

hasTi

me

3.3

Resource_103

hasEventRe-

source

obs_103

produces

hasTim

e

hasEventTime

7.3

has-Value

has-Value

DifficultyEntry

InitialState Fire

커뮤니티동작 (Collaborate 커뮤니티 )

HyunDai Department

CALT

COEX

adja-cent

adja-

cent

GEO LOD

comm_102

hasE

ventS

pace

Detect Fire

hasGoal

Activated Community

DifficultyEntry

InitialState Fire

rdf:typerdf:type

VehicleControl

Prohibitof PassingProhibit

come out of car

comm_101

Detect Traf-fic

hasGoalhasEventSpace

TrafficCongestion

SlideRoad

Recommendpublic transit

rdf:typerdf:type

rdf:type

shared context

hasEventSpace

Detect Customer NumberhasGoal

comm_103

NoParking

Crowed

rdf:type

rdf:type

shared context

LOD 연계를 통한 기상데이터의 활용

리소스

resource:res_101

resource:res_101_obs

측청된다

resource:UV

목적을 가진다

측정값

time:tmp_101

시간을 가진다

2013-07-23T14:34:53

한여름

장마

오후

시간값

위치한다

space:pos_101

Geo LOD

지역광역시

중구

128.232

37.4213

10.323

경도

위도

서울시 열린 데이터광장

문화재

남대문

9

값을 가진다

……

…

……구조관련역사

재원

기상 LOD

기상

weather:w101폭우

예보정보를 가진다

2013-07-24

event:ev_101

문화재관리의 위험상황

현재 자외선지수가 높고 내일 습도가 높을 것으로 예상됨

owl:ObjectPropertyowl:DatatypeProperty

rdf:typerdfs:subClassOfrdfs:subPropertyOf

시간값전이다

시간을 가진다

시간을 가진다측정값을 가진다

고도

YTN Tower

남대문

위치를 가진다

포함된다

포함된다가깝다

지역을 가진다

위치를 가진다

같다

기상센서 API

웰라이프 수면관리 서비스

오미 ( 五味 ) 길 서비스

센서웹과 시맨틱웹의 만남은

시맨틱 어노테이션 ,

온톨로지을 통해 센서 웹의 문법적 표준화 서비스에 풍부한 의미을 부여하고 ,

To Enrich

온톨로지를 이용해서 의미적 모호성을 감소시키고 ,

컴퓨터가 이해할 수 있는 데이터를 제공하여 상이한 장비와 제반 프로세스라도 처리 가능하게 하여 ,

센서정보와 웹정보를 표출시켜 다양한 융복합 기반의 Linked Data

서비스를 가능하게 한다 .

To Reduce To Provide To Connect

의미적 상호운용성을 통한 소통의 단절 해소 융복합을 통한 지식과 서비스 창출

센서데이터 재사용 가능