빅 데이터 개요 및 활용
TRANSCRIPT
빅 데이터 개요 및 활용
정 진 욱
2014. 5. 7
목차
빅 데이터 개요
빅데이터동향
빅데이터분석
빅데이터활용
2
빅 데이터 개요 : 정의
빅데이터는단지크기(규모)만을의미하지않는다.
3
…
빅 데이터 개요 :규모와 속도
데이터홍수
– 2020년은현재(2011년기준)대비 50배 Data 증가예상 = 40ZB ~ 50ZB
40ZB = 전세계모래알의수 7억 50만조개 X 57
4
1.8 Zeta byte
빅 데이터 개요 : 다양성
정형데이터 (컴퓨터가이해할수있는포맷을가짐)
– DATABASE, XML, RDF 등
비정형데이터 (컴퓨터가이해할수없는포맷을가짐)
– 이미지, 동영상, 기타 (PDF, 엑셀, PPT 등등)
5
http://www.wolframalpha.com/input/?i=linear+equations&lk=4http://www.wolframalpha.com/
목차
빅데이터개요
빅 데이터 동향
빅데이터분석
빅데이터활용
6
빅 데이터 동향 : 주요 국가별
주요국가들은 (미국, EU, 영국, 호주등) 빅데이터활성화 노력.
– 미국 : 12년부터연간 2억달러이상투입, (빅데이터 R&D 계획)
– UN : 정책의수립및집행에빅데이터활용
7
빅데이터 투자 (미국)
빅데이터 투자 (국내)
빅 데이터 동향 : 주요기업 (서비스)
8
빅 데이터 동향 : 주요기업 (데이터 분석)
IBM
– 지난 5년간 140억달러이상을투자, 네티자, 에센셜, 코그너스등데이터저
장/분석업체를인수하면서빅데이터기술력확보에주력
SAS
– 전세계비즈니스분석소프트웨어및서비스분야의리더
– SAS Visual Analytics software demo
ORACLE
– 하이페리온사인수하여데이터분석기술확보
– SUN 인수하여하드웨어기술과자사주력분야인 DB S/W를결합한 빅 데이
터 어플라이언스를개발하고출시하였다.
9
빅 데이터 동향 : 신조어 (어플라이언스)
어플라이언스
– H/W와 S/W를결합하여, 업무목적에맞게최적화시킨통합시스템
빅데이터어플라이언스
– 빅데이터 S/W (예 : 하둡) + H/W
– 예 : 오라클빅데이터어플라이언스 , LG CNS의 SBP Appliance
10
어플라이언스 (SW+HW의통합생테계) 빅데이터 어플라이언스
목차
빅데이터개요
빅데이터동향
빅 데이터 분석
빅데이터활용
11
빅 데이터 분석 : 질문
12
나란히 진열된 기저귀와 맥주, 비밀은「데이터마이닝」 - ZD Net Korea
대형할인점에서 유아용 기저귀와 함께
가장 잘 팔리는 제품은 무엇일까?
빅 데이터 분석 : 두 가지 목적
두번째 목적 : 통찰력 얻기
– 데이터마이닝방법
연관규칙찾기 (예 : 맥주와기저기)
– 통계적방법을통한분석및예측
범죄지역예측 / 이현봉교수
다음의빅데이터분석사례 (10m)
당신의욕망이보인다. / 소셜매트릭스
13
첫번째 목적 : 서비스
추천서비스 (아마존, 페이스북 친구추천)
분류서비스 (감정분류)
시리, 왓슨, 구글번역, 등
음성인식
딥 러닝(MIT 올해의 10대 혁신기술)
데이터 분석후시각화 (Visualization) [인포그래픽] / R 등 이용
통계
빅 데이터 분석 : 분석과정 및 방법
14
빅 데이터 분석 : 분석을 위한 데이터 얻기
공공 빅 데이터
– 특징 : 개방성 (상대적가치)
– 얻을수있는곳
세계각국기관에서공개한데이터사용
– 예 : 공공데이터포털(https://www.data.go.kr/), http://data.seoul.go.kr/, Linked Open
Data, Etc
데이터예: 지하철승하차인원
관련영상 : 내삶은바꾸는데이터혁명 (유주완프로그래머강연)
비공공 빅 데이터
– 특징 : 폐쇄성 (상업적이용, 가치가있음)
– 얻을수있는곳
내부비공개데이터로획득불가
15
목차
빅데이터개요
빅데이터동향
빅데이터분석
빅 데이터 활용
16
빅 데이터 활용 : 응용사례 (주요한)
17
빅 데이터 활용 : 응용사례 (인공지능)
IBM
– 왓슨
Data : encyclopedias, dictionaries, thesauri, newswire articles, and literary
works. Watson also used databases, taxonomies, and ontologies.
Specifically, DBPedia, WordNet, and Yago were used.
18
빅 데이터 활용 : 응용사례 (인공지능)
구글
– 구글무인자동차
초당 1G 데이터처리, 빅데이터수집 , 정리, 분석
기사
– 빅데이터관리 (데이터센터)
19
빅 데이터 활용 : 응용사례 (분석 및 예측)
Crimemapping.com
20
- 미국의 샌프란시스코에서 범죄 기록을 바탕으로, 범죄 발생지역 예측Minority Report
- Minority Report의 범죄예측이 현실에 가까워 지고 있음
감사 드립니다.
21http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData