bigdata monthly vol 36. december 2017 · bigdata monthly vol 36. december 2017 - 2 - 2018 bigdata...

Bigdata Monthly Vol 36. December 2017

- 2 -

2018 Bigdata Trends – Data Lake의 자유, 통합, 신뢰

▶ 본 내용은 美 Syncsoft社가 매년 실시하는 서베이 결과로 글로벌 IT 프로페셔날을 대상으로 조사하고 있으며, 약 200명의 IT 전문가가 소속 산업을 대표하여 응답에 참여. 응답자들의 전문분야는 데이터 아키텍처 24.0%, 데이터 분석 관련 개발자 20.8%, IT 매니저 15.1%, 데이터 사이언티스트 11.5% 등이며 소속 기업의 업종은 금융 분야 19.8%, 헬스케어분야 10.3%, 정보기술 13.0%, 정부 공공 8.3%, 유통 7.3% 등으로 구성

Data Lake 활용 방안 중 가장 높은 관심 – ETL

◾ Data Lake의 활용과 관련하여 IT전문가들이 현재 가장 관심을 보인 분야는 ETL 분야로 분산 시스템에 대한 통합적 운영과 그에 따른 통합된 분석 결과를 도출하는 것으로 나타남

[Data Lake Use Cases]

[자료] 2018 Big data Trends Liberate, Integration & Trust, Syncsoft 2018

- 이와 더불어 보다 개선된 예측 시스템을 운영하거나 실시간 분석, 비주얼라이징에 대한 관심이 모두 50% 이상 선택되어 매우 높은 관심을 보이고 있는 것으로 조사됨

Data Lake 활용 방안 중 가장 높은 관심 – ETL빅데이터를 통해 얻는 이점 – 비즈니스 생산성 증가 59.9%변화하는 데이터 소스의 동기화 작업 난이도 – 어느 정도 어렵다, 64.6%Data Lake 프로젝트의 가치 – 90% 이상이 공감


- 3 -

Data Lake에 담아야 하는 데이터 종류

◾ Data Lake 에 채우고 있거나 채워질 데이터 중 가장 높은 비중을 보이는 것은 관계형데이터베이스(RDBMS)로 69.3%가 선택

[Data Lake에 담겨지는 다양한 형태의 데이터 종류]


- 또한 기업 데이터웨어하우징의 데이터, NoSQL 데이터베이스, 다양한 서드파티 데이터 등도 각각 62.5%, 46.4%, 45.3%로 나타남

- 제대로 된 빅데이터 구현을 위해 각종 데이터를 혼합하고 통합하여 전체적인 관점을 도출하는 것은 빅데이터 분석의 가장 중요한 열쇠

- 통합된 데이터를 기반으로 하는 신뢰성 높은 결과 도출은 현재의 기술을 통해 구현이 가능하게 될 것으로 예측되며 2018년 이후 지속적인 시장 확대와 관심이 폭증할 것으로 예측

빅데이터를 통해 얻는 이점 – 비즈니스 생산성 증가 59.9%

◾ 빅데이터 기술 구현을 통해 기업은 다양한 비즈니스 이점이 나타나며, 특히 기업 운영의 효율성

부문과 비효율적인 비용을 절감할 수 있음


- 4 -

[기업 비즈니스에서의 빅데이터 효과]


- 빅데이터 고급 분석은 비즈니스 인사이트를 제공하게 되면서 많은 기업들에게 다양한 분야의

생산성을 증가시키고, 비용 절감 등 다양한 장점을 제공하는 것으로 이어짐

Data Lake 프로젝트의 가치 – 90% 이상이 공감

◾ 데이터 레이크를 통한 빅데이터 프로젝트는 데이터의 수집과 분석에 대해 매우 가치있는 결과를 도출할 수 있으며 많은 IT전문가들은 이러한 가치의 긍정적인 면에 동의하고 있음

[관리 최적화를 위한 신-구 데이터 통합 수집의 중요성]



- 5 -

변화하는 데이터 소스의 동기화 작업 난이도 – 어느 정도 어렵다, 64.6%

- 특히 데이터 레이크에 데이터를 로드한 후 데이터 소스와 데이터를 동기화하는 방법에 대한 후속 질문을 한 결과 응답자의 75% 이상이 소스가 메인 프레임 데이터인 경우 특히 어려움을 겪는 것으로 나타남

- 시간 경과에 따라 정확한 정보를 유지하는 유일한 방법은 최신 소스 데이터로 데이터 레이크의 데이터를 지속적으로 새로 고치는 것. 데이터 레이크를 채우는 것은 일회성으로 끝나는 일이 아니며 스트리밍 데이터 소스는 항상 반복적이고 지속적으로 제공되어 한다고 응답. 합리적인 속도로 데이터의 나머지 부분과 통합되지 않으면 데이터 레이크가 오래된 데이터로 정체되어 부실한 소스가 됨

[변화하는 데이터 소스의 동기화 작업 난이도]


빅데이터 시스템 개선을 위한 자원 최적화 필요

◾ 빅데이터를 사용하여 빅데이터 시스템 개선에 자금을 지원할 수 있는 상황이 발생할 수 있음. 빅데이터 프로젝트를 지원하기 위해 IT지출을 재분배 할 수 있도록 비용을 절감하고 이를 위해 기존 레거시 시스템을 최적화하는 것이 매우 중요

- 이러한 의견에 대해 18.2%는 매우 가치 있는 일이라고 응답하였으며, 가치가 있다고 응답한 전문가는 40.6% 수준에 이름


- 6 -

[빅데이터 활용을 비용 절감, 최적화를 진행하는 것에 대한 가치 판단]


2018년 빅데이터 시스템의 5가지 중요한 흐름

◾ 조직 전반에 걸쳐 데이터 분석에 대한 요구는 계속될 것이며 이러한 과정에서 데이터 저장소의 중요성이 더욱 증가할 것으로 예측. 최신 데이터들과 과거의 데이터의 혼합, 그리고 다양한 센서를 통한 데이터 유입을 통합적이고 신뢰성이 보장된 형태로 관리하기 위한 방법론이 중요한 한해가 될 것으로 전망

◾ 데이터 품질 향상에 대한 강조 – 조직은 빅데이터 시스템을 신뢰할 수 있어야 하며 조직의 정확하고 합리적인 의사결정을 위해서는 데이터 품질 확보에 대한 요구가 더욱 중요하고 거센 도전에 직면하게 될 것으로 예측

◾ 데이터 거버넌스의 확대가 예측되므로 데이터의 저장과 분석에 대한 다양한 프로세스를 마련해야 하며 데이터의 위치, 형태, 권한 등의 문제를 해결해야 하는 문제에 직면하게 될 것으로 전망

◾ 데이터 레이크의 신선도가 유지되어야 함 – 새로운 데이터의 유입과 데이터 레이크 관리는 점점 더 어려워지면서 이를 관리할 수 있는 솔루션이 구현되어야 하며 기업 데이터 자체의 품질은 물론 전체 시스템에 대한 재점검이 필요

◾ 더 강해진 빅데이터 – 빅 데이터는 그 어느 때보다 강해질 것으로 예측되며 새로운 기술이 기존 기술을 빠르게 대체할 가능성이 높아짐. 더 훌륭한 인사이트를 위한 고용량, 고가용성 시스템이 필요해질 것이며 이를 최적화하여 비용 절감으로 연결할 수 있는 방법이 고려되어야 함


- 7 -

요약 및 결론

◾ Data Lake의 활용과 관련하여 IT전문가들이 현재 가장 관심을 보인 분야는 ETL 분야로 분산 시스템에 대한 통합적 운영과 그에 따른 통합된 분석 결과를 도출하는 것으로 나타남

◾ Data Lake 에 채우고 있거나 채워질 데이터 중 가장 높은 비중을 보이는 것은 관계형데이터베이스(RDBMS)로 69.3%가 선택

◾ 빅데이터 기술 구현을 통해 기업은 다양한 비즈니스 이점이 나타나며, 특히 기업 운영의 효율성 부문과 비효율적인 비용을 절감할 수 있음

◾ 데이터 레이크에 데이터를 로드한 후 데이터 소스와 데이터를 동기화하는 방법에 대한 후속 질문을 한 결과 응답자의 75% 이상이 소스가 메인 프레임 데이터인 경우 특히 어려움을 겪는 것으로 나타남

◾ 빅데이터를 사용하여 빅데이터 시스템 개선에 자금을 지원할 수 있는 상황이 발생할 수 있음. 빅데이터 프로젝트를 지원하기 위해 IT지출을 재분배 할 수 있도록 비용을 절감하고 이를 위해 기존 레거시 시스템을 최적화하는 것이 매우 중요

◾ 조직 전반에 걸쳐 데이터 분석에 대한 요구는 계속될 것이며 이러한 과정에서 데이터 저장소의 중요성이 더욱 증가할 것으로 예측. 최신 데이터들과 과거의 데이터의 혼합, 그리고 다양한 센서를 통한 데이터 유입을 통합적이고 신뢰성이 보장된 형태로 관리하기 위한 방법론이 중요한 한해가 될 것으로 전망. 또한 데이터의 품질, 거버넌스 등이 필수적으로 관리되어야 함

1. Big Data Executive Survey 2017 - NewVantage Partners2. NewVantage Partners LLC 3. Forbes Insights 2017

[출처]


- 8 -

센터 주요뉴스

개요

◾ 일시 : 2017. 12. 4. (월) 9:00~17:50

◾ 장소 : K-ICT 빅데이터센터 오픈랩(판교 스타트업캠퍼스)

◾ 참석대상 : 스타트업 및 중소기업 개인정보 비식별 조치 실무자 등 참석

내용

◾ (기본과정)

- (비식별 조치 이론) 비식별 개념 및 비식별 개요/비식별 조치 가이드라인/비식별 조치 기술의 이해/Privacy Model이해 등

- (비식별 조치 기본실습) 비식별 도구(ARX)를 활용한 비식별 조치 실습으로 ARX 샘플 및 통신·금융 데이터 셋 비식별 기술 적용 방법 등

◾ (수료증발급) 기본/심화 교육과정을 이수한 수강생 대상 수료증 발급

비식별 조치 이론 비식별 조치 기본실습

1. 비식별 조치 전문 교육 실시

기업의 안전한 빅데이터 활용을 위한 개인정보 비식별 조치 가이드라인 및 비식별 기술(이론·실습), 적정성 평가 등 기본·심화 과정 교육


- 9 -

개요

◾ 일시 : 2017. 12. 14. (목) ~ 12. 15. (금), 10:00~17:50

◾ 장소 : K-ICT 빅데이터센터 오픈랩(판교 스타트업캠퍼스)

◾ 참석대상 : 스타트업 및 중소기업, 예비창업자, 개발자 그룹, 대학(원) 등 20명

내용

◾ (1일차)

- (Session 1 : 센터소개) KBiG 인프라 소개 및 사용 안내

- (Session 2 : 분석실습) Python기반 인공지능 이론과 실습

◾ (2일차)

- (Session 3 : 빅데이터 세미나) 4차 산업혁명과 ICT

- (Session 4 : 분석실습) Python 라이브러리를 활용한 머신러닝&딥러닝

1일차 분석인프라 활용교육 2일차 분석인프라 활용교육

2. K-ICT 빅데이터 분석 인프라 활용 교육 실시

예비창업·중소·대학(원) 등 빅데이터 센터 인프라 사용자 대상 인프라 내에서 Data 처리, 분석, 활용, 비식별 조치 안내, 빅데이터 세미나 등 관련 교육 진행


- 10 -

빅데이터센터 분석인프라 활용교육

구분 1일차 2일차

주제 분석기술 분석실습 빅데이터 세미나 분석실습

일시

1월25일(목) 1월26일(금)

2월 중순 예정 2월 중순 예정

3월 중순 예정 3월 중순 예정

※ 분석인프라 활용교육 세부 교육내용은 교육 시작 전 공지를 통해 안내 예정

비식별 조치 전문교육

구분 기본과정 심화과정

주제 비식별 조치 이론비식별조치 기본 실습

비식별조치 심화 실습

적정성 평가 이론/실습

일시

1월 9일 (화) 1월 23일 (화)

2월 6일 (화) 교육 없음

3월 6일 (화) 3월 20일 (화)


5월 8일 (화) 5월 22일 (화)


7월 3일 (화) 7월 17일 (화)


9월 4일 (화) 9월 18일 (화)


11월 6일 (화) 11월 20일 (화)


※ 기본과정 이수자에 한하여 심화과정 수강 가능※※ 교육일정은 담당 교수님의 일정에 의해 변경 될 수 있음

※ 연간 교육 일정※ 연간 교육 일정


- 11 -

국내 빅데이터 활용 동향

경찰, 70년 축적 빅데이터 활용한 범죄 분석 시스템 개발 진행

◾ 경찰청은 과거 범죄 자료를 이용해 범죄를 분석하고 예측할 수 있는 빅데이터 시스템 '클루(CLUE·Crime Layout Understanding Ending)'를 2019년 시범운용을 목표로 개발 중. 70년 이상 축적해온 범죄 데이터를 신속·정확하고 입체적으로 분석하여, 경찰은 향후 특정 사건 발생 시 과거 유사사건을 신속히 검색해 용의자 범위를 압축하고 수사 효율성을 높일 것으로 기대

..................................................................................................................................................................................

과기정통부·전기안전공사, 빅데이터 기반 전기화재 위험예측 서비스 구축

◾ 과학기술정보통신부와 한국전기안전공사는 전기화재 직·간접 요인들을 빅데이터로 분석해 전기화재 위험지역을 지도상에서 한눈에 파악할 수 있는 ‘빅데이터 기반 전기화재 위험예측 서비스’를 구축. 향후 전기안전점검 인력 배치와 점검빈도 최적화에 빅데이터 분석 결과를 최대한 활용할 계획으로, 올해 6월부터 대구지역에 시범 적용한 성과를 기반으로 전국으로 점차 확대할 예정

..................................................................................................................................................................................

금융보안원, 2018년 금융보안 화두 ‘AI·빅데이터·블록체인’

◾ 금융보안원은 한국정보보호학회와 ‘2018년 금융 IT·보안 10대 이슈 전망 및 대응전략’을 발표. 이에 따르면, 내년 금융보안의 화두는 ▲인공지능 ▲빅데이터 ▲블록체인이 될 것으로 전망하며, 또한 금융사와 IT기업의 협력이 증가하면서 보험업계에 ‘인슈어테크(Insurtech)’가 확산될 것으로 예상

..................................................................................................................................................................................

과기정통부·도로교통공단, 빅데이터 기반 교통사고 위험예측 서비스 지역 확대

◾ 과학기술정보통신부와 도로교통공단은 올해 빅데이터 플래그십 프로젝트 사업을 통해 '빅데이터 기반 교통사고 위험예측 서비스'를 구축. 이 서비스는 빅데이터 분석을 통해 시간대별로 교통사고 위험지역, 사고 위험지수 등을 예측해 그 결과를 TBN교통방송으로 안내하는 것으로, 현재 대구, 부산에서 시범 운영되며, 앞으로는 강원, 광주, 인천, 제주 등으로 서비스 지역을 확대할 예정

..................................................................................................................................................................................

KAIST, 암세포 유전체 빅데이터 분석으로 유형별 맞춤치료 기술 개발

◾ KAIST 조광현 바이오및뇌공학과 교수 연구팀이 암세포 유형에 따라 최적의 약물 표적을 찾는 기술을 개발. 연구팀은 암환자 유전체를 빅데이터 분석하고 대규모 시뮬레이션과 세포실험을 융합해 암세포 분자를 연구, 이를 통해 약물 반응을 예측해 유형별 암세포 최적 약물 표적을 발굴하는 기술을 고안. 이번 연구결과는 네이처 커뮤니케이션즈 5일자 온라인 판에 게재


- 12 -

n 빅데이터 분석을 통한 비즈니스 예측n 인공지능 기반의 예측과 이상징후 탐지를 비즈니스에 활용

n URL: http://www.wise.co.krn 서비스문의: 02-6246-1400, e-mail: [email protected] 경기도 성남시 분당구 판교로 253 판교 이노밸리 C동 5층

국내 빅데이터 기업 소개

기업 개요

◾ 1990년에 설립된 빅데이터 전문기업으로 빅데이터 분석, 인공지능, 데이터 거버넌스, 공공데이터 개방 시장을 주도

◾ 최근에는 4차 산업혁명 시대를 맞이하여 ‘인공지능을 활용한 빅데이터 분석과 관리’를 통하여 인공지능 및 빅데이터 전문기업으로 성장

Solution & Service

WISE OLAP

WISE Advisor

WISE Meta

Bigdata Reference◾ 공공, 금융, 제조, 유통, IT/통신, 서비스 등 6개 업종群을 대상으로 서비스 제공


- 13 -

n 데이터 저장, 관리, 분석, 가공, 활용에 이르는 원스탑 컨설팅 제공n 소셜, 공공 오픈데이터 및 기업 내·외부 데이터 유통 및 플랫폼 서비스 제공

n URL: http://www.en-core.com/n 서비스문의: 02-754-7301, Fax: 02-754-7305n 서울특별시 서초구 서초대로 46길 42 엔코아 타워

데이터 분석부터 플랫폼 구축까지, 엔코아 데이터 서비스 센터

100여 명의 전문가 노하우를 형상화, 데이터 컨설팅 서비스

Ÿ 데이터 분석 역량을 기반으로 경영 전략, 마케팅 전략,

데이터 활용 전략 수립을 위한 컨설팅 서비스 제공

Ÿ 데이터 전 분야에 걸쳐 100여명의 전문가를 통해 다양한

경험과 축적된 노하우를 형상화

데이터 포털 지식종합 서비스, 데이토 데이터 분야 최고 강사진 집결, 플레이 데이터

Ÿ 엔코아의 데이터 전문가들이 데이터에 대해 연구한 산출물을

공유할 수 있는 온라인 정보 플랫폼Ÿ 데이터 분야 최고의 컨설턴트로 구성된 엔코아 아카데미

강사진을 통해 다양한 분야, 업종의 생생한 현장 상황

전달

기업 개요

◾ 데이터의 설계부터 구축, 운영, 이행, 거버넌스, 성능개선, 가공, 정제, 분석에 이르기까지 데이터산업 전분야에 걸쳐 100여 명의 전문가를 보유하고 있는 데이터 전문가 그룹으로서 데이터 전문 컨설팅, 출판, 교육, 포털 서비스를 제공

Solution & Service

Bigdata Reference◾ 공공기관(KOTRA, 대한주택보증 등), 민간 기업체 등 다양한 고객을 대상으로 빅데이터 분석을

통해 맞춤형 정보 제공, 빠른 FAQ서비스, 보고서 작성 및 접근 환경 등의 서비스를 제공


- 14 -

빅데이터를 통해 본 키워드, “비트코인”

* 2017년 11월 18일~2017년 12월 19일 동안 ‘비트코인’ 키워드를 분석한 결과입니다 (뉴스 / 블로그)

‘비트코인’ 키워드 트렌드 분석결과 ◾ ‘비트코인’에 대한 트렌드 분석 결과, 12월 초 언급량이 급증하는 모습을 보이며 비트코인

시세변동과 이에 영향을 줄 큰 이슈가 벌어진 시기에 관심이 크게 나타남

연관토픽 감성분석

‘비트코인’ 키워드 연관토픽 및 감성 분석결과 ◾ 주로 ‘가상화폐’, ‘선물거래’, ‘빗썸’, ‘CBOE’, ‘CME’, ‘이더리움’ 등이 ‘비트코인’과 함께 많이 언급

되며, 특히 최근 비트코인 선물을 출시한 시카고상품거래소(CME), 시카고옵션거래소(CBOE) 등 거래소 키워드와, 비트코인과 같은 가상화폐의 일종인 이더리움 관련 키워드가 다수 언급

◾ 긍부정 분석결과 ‘비트코인’ 키워드는 ‘우려’, ‘위험’, ‘해킹’, ‘피해’, ‘폭락’, ‘범죄’ 등 비트코인의 안정성을 위협하는 요인들과 시세변동에 관한 부정적인 감성어들이 60% 이상 차지


- 15 -

Sparking – 주차공간 중개 앱

▶ 2015년 7월 법인사업자 등록( 스마트킹(주) 모바일 위치정보공유 플랫폼서비스 )▶ 중진공 창업맙춤형 사업 선정 ( 주차공간 중개앱 ) 개발완료▶ 2016년 미래창조과학부 K-Global 300 선정 ▶ 한국전자통신연구원(ETRI) 특허 양도 2건 완료

“ 빅데이터와 위치정보의 결합으로 새로운 주차공간 중개 앱서비스 ” 스마트킹(주), 빅데이터 활용 예측, 분석을 통한 주차공간 중개의 새로운 서비스 구현

‘스마트킹’이 추구하는 세상

◾ 모바일시대 고객이 감동하는 진정 새로운 서비스를 제공하고자 합니다. 단순한 정보의 제공을

넘어서는, 스마트킹은 빅데이터와 위치정보를 실시간 융합 및 분석하여 고객이 원하는 특별한

가치를 서비스합니다. 도심 속 주차 공간을 확보하여 실시간 서비스를 제공하며 나아가 위치

정보를 기반한 모든 서비스를 하나의 플랫폼(앱)에서 실시간 융합 제공합니다.

어떤 서비스를 제공하고 있나요?

◾ 실시간 최적의 주차공간을 공유하는 주차정보 중개 플랫폼(앱)입니다. 세차, 카풀, 인력중개까지

위치정보에 기반하여 모든 정보의 실시간 중개서비스를 제공합니다. 주차공간의 미래 수요를

예측하여 미사용 주차공간을 할인하여 제공합니다. 주차공간의 수요를 빅데이터 기술을 기반으로

예측해서 미사용 예측 공간과 중개하여 공급과 수요 양측 고객 모두의 만족과 감동을 서비스합니다.

앞으로 스마트킹의 행보는?

◾ 주차공간의 중개에 빅데이터 기술을 기반하여 새로운 가치를 추가하여 제공합니다. 세차, 인력

등 위치정보 기반 기타 서비스 영역으로 서비스를 확장 할 예정입니다. 주차, 세차, 인력 등

으로의 횡적확대 및 빅데이터 기술을 기반한 깊이있는 서비스 개발로 지속적인 만족과 감동의

서비스를 제공할 것입니다. 최종 목표로 위치정보 기반 중개 플랫폼서비스의 글로벌 No1.

기업 스마트킹(King)이 될 것입니다.


- 16 -

1월 JanSUNDAY MONDAY TUESDAY WEDNESDAY THURSDAY FRIDAY SATURDAY

1 2 3 4 5 6

7 8 9

■ 빅데이터센터


10 11 12 13

14 15 16 17 18 19 20

21 22 23



24 25


분석인프라 활용 교육

26


분석인프라 활용 교육

27

28 29 30 31

빅데이터 지식자료 안내

분석/교육/개발/딥러닝 인프라 NIADic(형태소사전) DataCube(800여종 data) 비식별조치 지원(적정성평가/컨설팅)

* KBig 홈페이지(kbig.kr)에서 확인하실 수 있습니다

bigdata monthly vol 36. december 2017 · bigdata monthly vol 36. december 2017 - 2 - 2018 bigdata...

Documents