데이터의 진화: 오픈 데이터에서 스마트 데이터로

22
데이터의 진화: 오픈 데이터에서 스마트 데이터로 2015 Big data conference 빅데이터 사회 혁신을 꿰뚫다 Open Knowledge Korea, 2015

Upload: ok-korea

Post on 19-Feb-2017

533 views

Category:

Technology


0 download

TRANSCRIPT

Page 1: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

데이터의����������� ������������������  진화:����������� ������������������  오픈����������� ������������������  데이터에서����������� ������������������  스마트����������� ������������������  데이터로����������� ������������������  

2015����������� ������������������  Big����������� ������������������  data����������� ������������������  conference����������� ������������������  빅데이터����������� ������������������  사회����������� ������������������  혁신을����������� ������������������  꿰뚫다����������� ������������������  

Open����������� ������������������  Knowledge����������� ������������������  Korea,����������� ������������������  2015����������� ������������������  

Page 2: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

김선호����������� ������������������  /����������� ������������������  Seonho����������� ������������������  Kim����������� ������������������  발표자����������� ������������������  

2

Core Team, Open Knowledge Korea

Managing Director, ODI Seoul Node

Research Engineer, Saltlux Inc.

•  관심분야: 시맨틱웹, 링크드 오픈 데이터, 빅데이터, 인공지능

Page 3: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

우리의����������� ������������������  일상생활에서����������� ������������������  발생하는����������� ������������������  데이터����������� ������������������  그리고����������� ������������������  빅데이터����������� ������������������  Overview����������� ������������������  

3

Page 4: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Small����������� ������������������  Data����������� ������������������  vs����������� ������������������  Big����������� ������������������  Data����������� ������������������  Overview����������� ������������������  

4

Page 5: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

연결된����������� ������������������  세상:����������� ������������������  우리는����������� ������������������  지금����������� ������������������  연결되어����������� ������������������  있는가?����������� ������������������  Overview����������� ������������������  

5

Page 6: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

열린����������� ������������������  데이터의����������� ������������������  품질����������� ������������������  및����������� ������������������  접근성의����������� ������������������  향상을����������� ������������������  통한����������� ������������������  활용성����������� ������������������  증가����������� ������������������  Backgroud����������� ������������������  

6

•  서로����������� ������������������  다른����������� ������������������  데이터셋����������� ������������������  사이의����������� ������������������  관계를����������� ������������������  정의하기����������� ������������������  어려움����������� ������������������  

•  서로����������� ������������������  다른����������� ������������������  유형의����������� ������������������  데이터를����������� ������������������  연결����������� ������������������  및����������� ������������������  통합하기����������� ������������������  어려움����������� ������������������  

•  단순한����������� ������������������  메타데이터의����������� ������������������  리스트를����������� ������������������  제공하고����������� ������������������  있음����������� ������������������  

•  이종의����������� ������������������  데이터셋에����������� ������������������  존재하는����������� ������������������  동일한����������� ������������������  값을����������� ������������������  구분하기����������� ������������������  어려움����������� ������������������  

•  한글����������� ������������������  데이터는����������� ������������������  한국어를����������� ������������������  이해하는����������� ������������������  사용자로����������� ������������������  제한됨����������� ������������������  

•  도시����������� ������������������  중심의����������� ������������������  오픈����������� ������������������  데이터는����������� ������������������  공개를����������� ������������������  통한����������� ������������������  협력����������� ������������������  가능성����������� ������������������  제한����������� ������������������  

3 2 1 단편적인����������� ������������������  데이터����������� ������������������   연결되지����������� ������������������  않은����������� ������������������  데이터����������� ������������������   접근이����������� ������������������  제한된����������� ������������������  데이터����������� ������������������  

Page 7: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

열린����������� ������������������  데이터의����������� ������������������  품질����������� ������������������  및����������� ������������������  접근성의����������� ������������������  향상을����������� ������������������  통한����������� ������������������  활용성����������� ������������������  증가����������� ������������������  Backgroud����������� ������������������  

7 h"ps://theodi.org/data-­‐spectrum    

Page 8: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

데이터����������� ������������������  사이의����������� ������������������  의미적����������� ������������������  연결을����������� ������������������  통한����������� ������������������  Data����������� ������������������  Enrichment����������� ������������������  실현����������� ������������������  Background����������� ������������������  

8

Page 9: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

데이터����������� ������������������  사이의����������� ������������������  의미적����������� ������������������  연결을����������� ������������������  통한����������� ������������������  Data����������� ������������������  Enrichment����������� ������������������  실현����������� ������������������  Background����������� ������������������  

개별����������� ������������������  데이터셋과����������� ������������������  외부����������� ������������������  데이터����������� ������������������  연결을����������� ������������������  통한����������� ������������������  데이터����������� ������������������  표현력����������� ������������������  향상����������� ������������������  

9

1 *����������� ������������������  서울시����������� ������������������  열린����������� ������������������  데이터����������� ������������������  사이의����������� ������������������  연결����������� ������������������  관계����������� ������������������  구축을����������� ������������������  통한����������� ������������������  데이터����������� ������������������  활용성����������� ������������������  증가����������� ������������������  *����������� ������������������  Linked����������� ������������������  Data와����������� ������������������  연결을����������� ������������������  통한����������� ������������������  데이터����������� ������������������  항목의����������� ������������������  상세����������� ������������������  정보����������� ������������������  및����������� ������������������  관련����������� ������������������  정보����������� ������������������  확보����������� ������������������  *����������� ������������������  콘텐트����������� ������������������  생산����������� ������������������  및����������� ������������������  유지����������� ������������������  비용����������� ������������������  감소����������� ������������������  

웹����������� ������������������  표준����������� ������������������  기반����������� ������������������  열린����������� ������������������  데이터셋의����������� ������������������  의미적����������� ������������������  연결����������� ������������������  관계����������� ������������������  구축����������� ������������������  2 *����������� ������������������  서로����������� ������������������  다른����������� ������������������  형식의����������� ������������������  데이터셋을����������� ������������������  웹����������� ������������������  표준에����������� ������������������  기반하여����������� ������������������  표현����������� ������������������  및����������� ������������������  통합할����������� ������������������  수����������� ������������������  있음����������� ������������������  *����������� ������������������  새로운����������� ������������������  데이터셋을����������� ������������������  연계하기����������� ������������������  위한����������� ������������������  수정����������� ������������������  비용����������� ������������������  최소화����������� ������������������  및����������� ������������������  확장����������� ������������������  용이성����������� ������������������  확보����������� ������������������  *����������� ������������������  타기관����������� ������������������  데이터셋과����������� ������������������  연계����������� ������������������  및����������� ������������������  통합을����������� ������������������  위한����������� ������������������  데이터모델����������� ������������������  확보����������� ������������������  ����������� ������������������  

데이터����������� ������������������  영문����������� ������������������  변환����������� ������������������  및����������� ������������������  Linked����������� ������������������  Data����������� ������������������  적용을����������� ������������������  통한����������� ������������������  접근성����������� ������������������  확대����������� ������������������  3 *����������� ������������������  비한국어����������� ������������������  사용자의����������� ������������������  데이터����������� ������������������  접근성����������� ������������������  향상을����������� ������������������  통한����������� ������������������  데이터����������� ������������������  활용����������� ������������������  사례의����������� ������������������  다변화����������� ������������������  *����������� ������������������  세계����������� ������������������  도시와����������� ������������������  데이터����������� ������������������  공개����������� ������������������  전략����������� ������������������  및����������� ������������������  사례����������� ������������������  공유를����������� ������������������  할����������� ������������������  수����������� ������������������  있는����������� ������������������  기반����������� ������������������  확보����������� ������������������  *����������� ������������������  서울����������� ������������������  열린����������� ������������������  데이터와����������� ������������������  외부����������� ������������������  오픈����������� ������������������  데이터의����������� ������������������  연계를����������� ������������������  통한����������� ������������������  데이터����������� ������������������  레퍼런스����������� ������������������  역할����������� ������������������  확보����������� ������������������  

Page 10: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

데이터����������� ������������������  분석����������� ������������������  및����������� ������������������  변환����������� ������������������  Linked����������� ������������������  Data����������� ������������������  ����������� ������������������  시스템����������� ������������������  구현����������� ������������������  

Development����������� ������������������  

데이터����������� ������������������  모델링����������� ������������������   데이터����������� ������������������  상세화����������� ������������������  

열린����������� ������������������  데이터����������� ������������������  광장의����������� ������������������  데이터를����������� ������������������  RDF����������� ������������������  (Linked����������� ������������������  Data)로����������� ������������������  변환����������� ������������������  

1 2 3 4

•  Excel����������� ������������������  to����������� ������������������  RDB����������� ������������������  •  문화재����������� ������������������  •  문화시설����������� ������������������  •  전통시장����������� ������������������  •  공공����������� ������������������  WiFi����������� ������������������  •  안심먹거리����������� ������������������  

•  공통����������� ������������������  항목����������� ������������������  추출����������� ������������������  •  RDF����������� ������������������  어휘����������� ������������������  검토����������� ������������������  및����������� ������������������  공통����������� ������������������  어휘����������� ������������������  추출����������� ������������������  

•  데이터별����������� ������������������  온톨로지����������� ������������������  모델링����������� ������������������  

•  온톨로지����������� ������������������  명세서����������� ������������������  개발����������� ������������������  

•  Named����������� ������������������  Entity����������� ������������������  URI����������� ������������������  설계����������� ������������������  규칙����������� ������������������  명세서����������� ������������������  개발����������� ������������������  

•  Linked����������� ������������������  Data����������� ������������������  설계����������� ������������������  •  SameAs����������� ������������������  관계����������� ������������������  도출����������� ������������������  

•  동일한����������� ������������������  관계����������� ������������������  표현����������� ������������������  •  seeAlso����������� ������������������  관계����������� ������������������  도출����������� ������������������  •  추가����������� ������������������  정보����������� ������������������  표현����������� ������������������  •  데이터����������� ������������������  연결����������� ������������������  •  내부����������� ������������������  데이터����������� ������������������  간����������� ������������������  연계����������� ������������������  

•  외부����������� ������������������  데이터����������� ������������������  연계����������� ������������������  ����������� ������������������  

•  RDF����������� ������������������  데이터����������� ������������������  유효성����������� ������������������  검사����������� ������������������  

•  RDF����������� ������������������  파일����������� ������������������  생성����������� ������������������  •  SPARQL����������� ������������������  Endpoint����������� ������������������  구현����������� ������������������  

•  Relationship����������� ������������������  Visualization����������� ������������������  구현����������� ������������������  

Page 11: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

개발����������� ������������������  프로세스����������� ������������������  및����������� ������������������  시스템����������� ������������������  Development����������� ������������������  

11

데이터셋����������� ������������������  

열린데이터광장����������� ������������������  

RDF����������� ������������������  파일����������� ������������������  

MySQL����������� ������������������  온톨로지����������� ������������������  매핑����������� ������������������  규칙����������� ������������������  

SPARQL����������� ������������������  Endpoint����������� ������������������  

시각화����������� ������������������  ����������� ������������������  도구����������� ������������������  

온톨로지����������� ������������������  모델����������� ������������������  

Linked����������� ������������������  Data����������� ������������������  시스템����������� ������������������   응용����������� ������������������  시스템����������� ������������������  

*����������� ������������������  Linked����������� ������������������  Data����������� ������������������  시스템은����������� ������������������  오픈����������� ������������������  소스를����������� ������������������  적용하여����������� ������������������  개발함����������� ������������������  *����������� ������������������  시각화����������� ������������������  도구는����������� ������������������  온톨로지����������� ������������������  모델의����������� ������������������  관계를����������� ������������������  표현할����������� ������������������  수����������� ������������������  있는����������� ������������������  기능을����������� ������������������  포함����������� ������������������  

Page 12: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Linked����������� ������������������  Data����������� ������������������  Platform����������� ������������������  Development����������� ������������������  -����������� ������������������  Architecture����������� ������������������  

12

데이터셋����������� ������������������  

변환규칙����������� ������������������  (온톨로지)����������� ������������������  

변환도구����������� ������������������  (RDF,����������� ������������������  RDB)����������� ������������������  

RelFinder����������� ������������������  

Linked����������� ������������������  Data����������� ������������������  시스템����������� ������������������  

*����������� ������������������  Linked����������� ������������������  Data����������� ������������������  시스템:����������� ������������������  MySQL����������� ������������������  서버����������� ������������������  &����������� ������������������  Pubby를����������� ������������������  적용하여����������� ������������������  구현����������� ������������������  *����������� ������������������  데이터����������� ������������������  관계����������� ������������������  시각화����������� ������������������  도구:����������� ������������������  RelFinder,����������� ������������������  Exhibit����������� ������������������  적용����������� ������������������  

Protégé����������� ������������������  /����������� ������������������  TopBriad����������� ������������������  Composer����������� ������������������  

Google����������� ������������������  Refine����������� ������������������  

MySQL����������� ������������������  

ARC2����������� ������������������   SPARQL����������� ������������������  Endpoint����������� ������������������  

Pubby����������� ������������������  

UI����������� ������������������  

UI����������� ������������������  

UI����������� ������������������  

*����������� ������������������  운영����������� ������������������  시스템����������� ������������������  ����������� ������������������  도메인:����������� ������������������  URI����������� ������������������  설계를����������� ������������������  위해����������� ������������������  필요����������� ������������������  ����������� ������������������  

Refine����������� ������������������  RDF����������� ������������������  Extension����������� ������������������  

Page 13: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

프로젝트 결과물 Development����������� ������������������  -����������� ������������������  Deliverables����������� ������������������  

13

다양한����������� ������������������  옵션에����������� ������������������  따라����������� ������������������  데이터를����������� ������������������  탐색할����������� ������������������  수����������� ������������������  있는����������� ������������������  도구

데이터����������� ������������������  사이의����������� ������������������  의미적����������� ������������������  관계를����������� ������������������  시각적으로����������� ������������������  보여주는����������� ������������������  도구

시범사업에서����������� ������������������  구축한����������� ������������������  데이터를����������� ������������������  질의/검색하는����������� ������������������  열린����������� ������������������  인터페이스

3 2 1 시맨틱����������� ������������������  관계����������� ������������������  탐색 패싯����������� ������������������  네비게이션 시맨틱����������� ������������������  질의/검색

Page 14: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

온톨로지����������� ������������������  Visualization����������� ������������������  Deliverables����������� ������������������  -����������� ������������������  Example����������� ������������������  

14

RelFinder:����������� ������������������  http://code.google.com/p/relfinder/wiki/RelFinder����������� ������������������  

Page 15: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

오픈����������� ������������������  데이터에서����������� ������������������  스마트����������� ������������������  데이터로����������� ������������������  Competency Questions

15

구축된����������� ������������������  데이터를����������� ������������������  활용할����������� ������������������  대상은����������� ������������������  누구인가?����������� ������������������  

데이터����������� ������������������  활용을����������� ������������������  위한����������� ������������������  구체적����������� ������������������  시나리오는����������� ������������������  있는가?����������� ������������������  

1

2

3

4

어떤����������� ������������������  데이터를����������� ������������������  연결할����������� ������������������  것인가?����������� ������������������  

링크드����������� ������������������  데이터가����������� ������������������  아닌����������� ������������������  대안이����������� ������������������  없는가?����������� ������������������  

Page 16: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

커뮤니티����������� ������������������  활동����������� ������������������  Open����������� ������������������  Knowledge����������� ������������������  Korea����������� ������������������  

16

Page 17: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

오픈소스����������� ������������������  프로젝트����������� ������������������  Open����������� ������������������  Knowledge����������� ������������������  Korea����������� ������������������  

17

Korea����������� ������������������  Data����������� ������������������  Hub����������� ������������������  

OpenSpending����������� ������������������  Korea����������� ������������������  서울시����������� ������������������  Linked����������� ������������������  Data����������� ������������������  서비스����������� ������������������  

Korea����������� ������������������  Linked����������� ������������������  Data����������� ������������������  Hub����������� ������������������  

Page 18: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Difficult

Loss of licensing revenue Loss of control Legal challenges Unwelcomed exposure Procedural changes Privacy National security Complexity Investment Quality and Authenticity Corruption, falsification of data Customer service

Requires Authority, Public Administration Readiness, and Civic Interest and Readiness

Reality Check Concerned and Hurdles

18  

Page 19: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Difficult

Reality Check Concerned and Hurdles

19  h"ps://cer8ficates.theodi.org/    

Page 20: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Rebuild Fireout

“We won’t get there tomorrow, but maybe the day after” – Rufus Pollock

How to Start

Low-hanging fruit, Less conversational data and quick wins.

Expand, with more….. Data Services Efficiency Costs saving Transparency Participation Inclusion

20  

Page 21: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

Difficult

Concluding Remarks Hope is not a strategy and the “change” has been change for the worse, and not better.

What We Will Do Interdisciplinary Collaboration

21

Page 22: 데이터의 진화: 오픈 데이터에서 스마트 데이터로

For more information contact Open Knowledge Korea via [email protected] http://okfn.kr Or see more activities at: http://lod.datahub.kr