빅데이터와공공정보 - 최고위과정 특강
TRANSCRIPT
고려대학교 정보대학 컴퓨터학과Prof. 강장묵
([email protected] ; [email protected])인용: http://www.scoop.it/t/5teamsnsandfriendship/p/1971053754/2012/06/16/-
http://cfile8.uf.tistory.com/image/1542684E5119B7E354E781
Blog : http://blog.ohmynews.com/UCnam/category/10203
April. 2015.
Ph. D. Kang, Jang Mook
365일 세계일주공학박사/정치학박사
1. A brief overview
2. Why
3. Technology
4. CASE STUDY
5. Interdisciplinary study and research
6. Q&A
Contents
3꼭지중요한 서비스 3곳
꼭 알아야 할 메시지 3개를
설명하기 위해서사적 이야기 구성과문답식 강의를 합니다.
-3-
일상의 스토리텔링, 숨겨진 센싱과 문맥 분석https://www.youtube.com/watch?v=OptqxagZDfM
인용: http://news.chosun.com/site/data/html_dir/2015/03/02/2015030202126.htmlhttp://cfile10.uf.tistory.com/image/182A5D50506E440612E7FF
남성분들은 잘 모르시겠지만,여성분들이 하루에 화장을 몇 번 고칠까요?
소셜 빅 데이터에 올라온 텍스트를 분석해 보면,
인용: http://news.chosun.com/site/data/html_dir/2015/03/02/2015030202126.html
그럼,
밤 10시에 화장을 고치는 이유는 무엇일까요?
인용: http://news.chosun.com/site/data/html_dir/2015/03/02/2015030202126.html[출처] 본 기사는 조선닷컴에서 작성된 기사 입니다
누가 왜 밤중에 화장을 고치느냐고 물어보면'셀카 찍으려고요'라고 말할 사람은 많지 않을 것입니다.
이런 것은 물어보기도 어렵고 설사 묻는다 해도잘 대답해주지 않을 것입니다.
그 시간에 화장을 고칠 것이라고는 상상하지 못하기 때문에 물어볼 생각을 못할 뿐 아니라,
설사 묻는다 해도 민망해서 대답하지 않거나 자신의 행동을 기억하지 못하기에 대답을 못하기 일쑤입니다.
'밤 10시 셀카' 같은 것들은 부지불식간에 남긴 삶의 흔적들이 모인 빅 데이터로 그녀들의 삶을 관찰했으니 찾
을 수 있었던 것입니다.
많은 기업은 소비자의 욕구를 파악하기 위해질문을 활용합니다.
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64
1 EB = 1018 bytes = 1,000,000,000,000,000,000 bytes
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64
1 EB = 1018 bytes = 1,000,000,000,000,000,000 bytes
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64https://mirror.enha.kr/wiki/%EB%AF%B8%EA%B5%AD%20%EC%9D%98%ED%9A%8C%EB%8F%84%EC%84%9C%EA%B4%80
1 EB = 1018 bytes = 1,000,000,000,000,000,000 bytes
미국 의회 도서관 장서 3천3백만권+자료 6천만점 (전세계에 가장 많은 책을 보유): 15-20테라바이트
인용: http://search.naver.com/search.naver?where=nexearch&ie=utf8&query=%ED%85%8C%EB%9D%BC+%EB%B0%94%EC%9D%B4%ED%8A%B8&sm=tab_stc
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64
1 EB = 1018 bytes = 1,000,000,000,000,000,000 bytes
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64http://blog.naver.com/kaistwebst/130160465678
링크드 데이터
텍스트 문서는 일반 사용자가 보기 적합하도록 만들어진 것으로 정형화된 데이터베이스 처리를 기반으로 하는 컴퓨터와 같은 기계를 이용한 분석은 매우어렵다.매시업(mashup) 애플리케이션을 개발하기 위해 이러한 데이터를 부분적으로활용한 예는 있으나 근본적인 문제 해결을 위해서는 HTML과 같은 인터넷 프로토콜을 이용한 데이터의 연결이 가능하도록 웹의 변경이 필요하다.
이만재, “빅 데이터와 공공 데이터 활용‘, Internet and Information Security 제 권 제 호( 년 월) pp. 47~64
링크드 데이터
컴퓨터와 같은 기계 스스로 웹에 접근하여 자료를 분석할 수 있도록 하는 기술은 시맨틱 웹이라는이름으로 시작되었다.웹의 창시자라고도 할 수 있는 팀 버너스리는‘Raw Data Now’라는 연설을 통하여 기존의 인터넷을 문서의 연결뿐 아니라 데이터의 연결을 가능하게 하자는 링크드 데이터(linked data) 보급을 강조 하였다(Berners-Lee, 2009). 이러한 데이터 연결 프로젝트는 2007년 1월 W3C에 의해 발표된 후 많은 연구자와 기관의 지원을받아 급속히 확산되고 있다(Bizer et al., 2009).
플랫폼이되려는이유
http://www.data.gov/
정보 분야의 공공 데이터를 링크드 데이터화
http://catalog.data.gov/dataset?q=recall&groups=safety3175#topic=safety_navigation
미국의 data set (안전 부문)
http://catalog.data.gov/dataset?q=recall&groups=safety3175#topic=safety_navigation
미국의 data set (안전 부문)
공공 데이터 포털
http://blog.naver.com/saevit6/220283817355
CSV (파일 형식) (comma-separated values)
영국의데이터셋
http://blog.naver.com/saevit6/220283817355
CSV (파일 형식) (comma-separated values)
영국의데이터셋
매시업 서비스로 가장 유명한 것은 구글 지도와 부동산정보사이트인 크레이그 리스트(www.craigslist.org)를 결합시킨 ‘하우징맵(www.housingmaps.com)’ 사이트로, 지도 정보에서 특정 지역을 선택하면 해당 지역의 부동산매물정보를 보여주는 서비스를 제공하고 있다. 하우징맵은 폴 레이드매처(Paul Rademacher)라는 사람이 구글의 지도 API 코드를 해킹하여 만든 것인데 당시구글 지도를 활용한 확장성과 가능성을 본 구글은 폴 레이드매처를 고소하기는커녕 그를 구글 직원으로 채용하였고, 그때부터 공개적으로 구글의 지도 API를 제공하기시작하였다.
[네이버 지식백과] 매시업 [Mashup] (두산백과)
http://seoul.craigslist.co.kr/
API의 성장 속도
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
API의 갑부 클럽 (하루 130억 호출 등)
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
Javascript API calls
http://ozit.co.kr/137
도처에 API
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
5가지 성공적인 API의 핵심 요소
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
5가지 성공적인 API의 핵심 요소
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
Valuable Data 사례 (for~~)
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
API secret
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
Your first two design questions
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
You’ll make many design choices
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
What’s the price of IBM?
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
What’s the price of IBM?
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
API 활용 사례
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
REST
http://ko.wikipedia.org/wiki/REST
REST(Representational State Transfer)의 주요 목표
컴포넌트의 상호 연동 상의 확장성(scalability of component interactions)
인터페이스의 범용성(Genrality of interfaces)
컴포넌트의 독립적인 배포(Independent deployment of components)
지연을 감소시키고, 보안을 강화하고, 레거시 시스템을 인캡슐레이션 시키는 중간
컴포넌트(Intermediary components to reduce latency, enforce security and encapsulate legacy systems)
API 활용 사례
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
다양한 API 규약들
http://ko.wikipedia.org/wiki/REST
Data format? It depends…
John Musser, “What Makes a Great Open API?”, Programmable Web, OSCON2012
XML, JSON, RSS, Atom, YAML,iCalendar, CSV, Serialized PHP, HTML,PNG, GeoRSS, vCard, Text, RDF, OPML,MediaRSS, VML, TV-Anytime,hCalendar, FOAF, XSPF, SQL, GML, CDF
http://www.youtube.com/watch?v=NLlGopyXT_g&mode=related&search=(방문일:2010.01.)
What is Digital Culture?
세상의 변화, 미디어의 변화
http://twitpic.com/135xa
영국 남부의 Channel Coastal
참조http://webgis1.geodata.soton.ac.uk/flood.htmlhttp://www.channelcoast.org/ (검색일-2015.03.10)
스페인, 자동화된 날씨 station
참조- http://aemet.linkeddata.es/
Mash-Up Tech.
/(검색일-2015.03.10)