big data 대충 알아보기

Big Data… 쉽게 어렵게 재미있게

해물~ 궁금한건 못 참아 연구소

http://ko.wikipedia.org/wiki/빅데이터

1) 데이터 베이스의 규모에 초점을 맞춘 정의 (McKinsey, 2011) - 일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 2) 데이터 베이스가 아닌 업무수행에 초점을 맞춘 정의 (IDC, 2011) - 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 (데이터의) 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처

Google, Hadoop, Map Reducer, NoSQL, Cloud Computing,

Data Mining, Cassandra, MongoDB, CRM, Sales, Pregel,

GlodenORB, S4, Storm, Mahout, ZooKeeper, kafka, Memcached,

Redis, Open Source, Big Data

http://www.favoritebigdata.com/빅데이터

다양한(Variety) 다량의(Volume) 정보가 실시간에 가까운 빠른 속도(Velocity) 흘러가는 것, 3V (Tim O’Relly)

http://한경철.pe.kr/빅데이터

기존 시스템에서는 가용할 수 없는 데이터

관리 가능한 한계를 벗어난 자료 량

사람의 마음 혹은 내면… 그리고 욕망

욕망의 지도

욕망을 감지하고 흐름을 모니터링 하여 미래를 예측하는 것

빅데이터가 뭔가? http://comic.naver.com/webtoon/detail.nhn?titleId=335885&no=425

http://comic.naver.com/webtoon/detail.nhn?titleId=335885&no=425



Big Data 어디서 왔나?

http://trendw.kr/cms/wp-content/uploads/2012/11/mobile.jpg

Big Data 자세히 보기

Big Data로 뭘하나?

Big Data 사업자

Big Data 사업자

3조 25조

5.6조

Big Data 국내 Player 1

SKT KT 삼성

• 지오비전 • 스마트 인사이드 • T-MR

• BIT(Business & Information system Transformation)에 빅데이터 활용 : 내부 경영 선진화 프로젝트임

• 유클라우드 비즈 맵리듀스 : 빅데이터 플랫폼 대여 서비스

• 광고 분석 플랫폼 Text Mining : 광고 후 SNS 확산을 분석하는 도구

• 시나리오 경영 지원 도구 : VAR (volatility, abundance, rare)

• 2,650만명 SKT 가입자 • 3,400만 명 OK캐쉬백 회원 • 현대카드 고객 데이터 통합 완

료 • 하나SK카드 고객 정보 통합 진

행 중 • NHN과 빅데이터 사업 협력

• 코리아크레딧뷰로(KCB)와 제휴를 통한 시장 분석 서비스

삼성SDS LG CNS SK C&C

• 바이오인포메틱스 사업 진행 : 유전자 정보 관리, 분석 사업

• 오픈 소스 기반의 빅데이터 분석 플랫폼 개발 중

• 빅데이터 통합 솔루션인 `스마트빅데이터플랫폼(SBP)'을 출시

• 최대 인원 규모: 200여명

• 실시간 데이터분석솔루션 `스톰'을 출시 : 상권분석이나 교통분석 등을 제공

TV Service Overview Big Data 국내 Real Player

Naver Daum KTH Estsoft

• Nebula + MEZZO + CUBA

• TIARA

• DAISY

• ZUM.com

• 2008년 하루에 쌓이는 로그는 수백 기가바이트

• 2012년 하루에 3TB의 로그가 쌓임

• 네이버 검색창에 새롭게 입력되는 질의어(UQC, Unique Query Count)가 하루에 2000만건 이상 발생

• 하루에 처리해야 할 문서의 양은 약 130억건

• 트랜드 검색 제공 중

• 현재 트랜드 파악에 빠름

• 다음의 일 로그 사이즈는 70TB (2012년 3월 기준)

• 티아라를 도입하기 전 일 로그 분석을 위해 10시간 소요

• 도입 후 3시간 정도 소요

• 트랜드 검색 제공 중

• 과거 데이터와의 비교를 통한 예측에 강함

• 대용량 실시간 분석/추천 솔루션

• 인기 키워드, 실시간 통계, 실시간 추천, 소셜 분석 등 제공 예정

• 프레임웍으로 Open API화하여 공개 및 사업화 예정

• 블로그, 뉴스, 지식, 이미지, 동영상 등 자체적으로 약 200테라바이트(TB)에 이르는 데이터를 저장하고 처리하는 기술

• 5억건 이상의 블로그 문서를 저장하고 분석할 수 있는 검색 시스템

• 100대 규모 이상의 클러스터로 구성

• 자체 서비스 문제 해결을 위한 것

Big Data in Small Pieces 1

• Data Scientists는 소매시장에 대한 경험이 적음 • 상품기획/구매/상품관리 등 현업 직원들은 데이터분석에 약함 • 둘 사이의 협업 증진과 Gap을 줄이는 방법 필요 • Data Scientists들이 다양한 빅데이터 소스를 처리하여 다양한

차원에서의 시장 추세를 도표로 가시화해주면, 현업 전문가들이 이를 해석하여 상품 선택에 적용


• Walmart 빅데이터분석 • “이번 크리스마스에는 어떤

상품이 많이 팔릴까?” • Social Genome Platform이라는

Big Data Analytics Platform을 자체 개발

• 이에 대한 해답을 SNS, 블로그, 거래정보, 이미지 클릭, 위치정보 등을 통해 종합 분석함

http://jpinstituteofsoftware.files.wordpress.com/2013/01/big-data7.jpg

https://littlemonsters.com/


http://www.bigdataforum.or.kr/?Act=bbs&subAct=view&bid=report&seq=86

빅데이터로 진화하는 세상 - Big Data 글로벌 선진 사례

Ⅰ. 빅데이터로 꿈꾸는 행복한 사회 [해외편] 1. 미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화 2. 일본, 센서데이터를 활용한 지능형 교통안내 시스템 3. 밀라노, 지능형 교통정보 시스템으로 신속·정확하고 손쉬운 길안내서비스 4. 뉴욕주 시라큐스시, 데이터 분석을 기반으로 스마터 시티 추진 5. 덴마크 베스타스 윈드 시스템, 풍력 에너지 관리로 에너지 생산 효과 극대화 6. 구글, 실시간 자동 번역시스템을 통한 의사소통의 불편해소 7. 월마트, 데이터 분석을 통한 투자수익 증대 8. 자라, 점포별·상품별 등 실시간 데이터 분석을 통한 판매량 증대 9. 마이크론 테크놀로지, 제품생산시간 분석을 통한 비용절감 10. 코카콜라의 SNS 데이터 활용을 통한 가치향상 노력 11. 리츠칼튼 호텔, 데이터 관리를 통한 고객맞춤형 서비스 제공 12. SNS를 활용한 할리우드 흥행 수익 예측 13. 넷플릭스, 데이터 분석으로 온라인 DVD 판매제고 및 고객 서비스 향상 [국내편] 1. 한국석유공사, 국내 유가 예보 서비스를 통한 비즈니스 최적화 2. 국민권익위원회, 민원정보분석 시스템을 통한 국민과 정부의 소통 활성화 3. 한국도로공사, 고객 목소리 분석 시스템을 통한 서비스 혁신 4. 통계청, 임금근로일자리 통계로 일자리 현황 파악 지원 5. 한국수자원공사, 스마트 워터 그리드를 기반으로 물 부족 현상 해결 6. 포스코, 원료가격의 효율적 구매를 통한 가격 경쟁력 제고 7. GS EPS, 전력시장 분석 시스템을 통한 전력시장 전망 및 분석 8. SK텔레콤, 소셜네트워크에서의 여론분석을 위한 스마트 인사이트 시스템 9. 현대·기아자동차, 문서 중앙화 시스템으로 통합적 기업 정보 관리

Ⅱ. 빅데이터를 통한 건강한 사회 [해외편] 1. 미국 국립보건원, 유전자 데이터 공유를 통한 질병치료체계 마련 2. 미국 국립보건원, Pillbox 프로젝트를 통한 의료개혁 3. 미국 퇴역군인의 전자의료기록 분석을 통한 맞춤형 의료 서비스 지원 4. 싱가포르, 주민위원회 센터 네트워크를 기반으로 맞춤형 복지사회 구현 5. 캐나다 온타리오 공과대병원, 미숙아 모니터링을 통한 감염 예방 및 예측 6. 건강보험회사 웰포인트, 슈퍼컴퓨터를 활용한 효율적인 환자치료 7. 구글, 검색어 분석을 통한 독감예보 서비스 제공 8. 네덜란드 스파크드, 빅데이터를 활용하여 건강한 소 사육 환경 구축 [국내편] 1. 보건복지부, 행복e음을 통한 수요자중심의 복지서비스 구현 2. 근로복지공단, ‘찾아가는 서비스’를 통한 맞춤형 고객관계 관리 3. 한국인체자원은행네트워크, 정보공유로 생명공학분야 경쟁력 제고 4. 분당 서울대병원, 임상의사결정지원 시스템 등 의료 IT시장 선도 5. DNA Link, 유전자 분석 시스템으로 맞춤형 건강 검진 서비스 제공 6. 연세대학교 의료원, 후(H∞H) 헬스 케어 시스템으로 양질의 의료 서비스 제공 Ⅲ. 빅데이터로 희망하는 안전한 사회 1. 싱가포르, 국가위험관리시스템을 통한 국가안전관리 2. FBI, 유전자 색인 시스템 활용한 단시간 범인 검거 체계 마련 3. 샌프란시스코, 범죄 예방 시스템으로 안전 지역사회 구축 4. 싱가포르 출입국관리소, 통합적 정보분석으로 출입국 보안 및 국경 통제 강화 5. 일본, 다양한 센서 데이터를 활용한 재난대응 능력 강화 6. 위키리크스, 데이터 분석을 통한 효과적인 전술 제공 서비스 7. 서울시, 시민과 함께 만드는 실시간 폭우지도로 수해 예방 및 대책 마련 8. KSTEC, 보험사기 방지시스템으로 보험사기 방지 Ⅳ. 빅데이터로 소통하는 창의적 사회 1. “data.gov”, 시민의 자발적인 참여와 창의성을 기반으로 정책수립에 기여 2. 미국 미시간 주, 데이터웨어하우스 구축으로 공공서비스 질적 향상 3. 영국 패치베이, 국민참여형 안전관리 플랫폼 구현 4. 케냐 우샤히디, 집단지성으로 이루어진 재난관리 오픈소스 플랫폼 5. IBM 왓슨, 인공지능 슈퍼컴퓨터로 인류의 창조성과 혁신 촉진 6. 애플 시리, 지능형 음성인식을 통해 더 똑똑해지는 창의적 사고 가능 7. 프랑스, 시민 건강 보호를 위한 스마트폰 소음지도 작성 8. 새로운 과학적 발견 : 대형강입자충돌기를 이용한 힉스 입자 검출 9. 솔트룩스, 부산지식네트워크 시스템으로 체계적 인적 네트워크 마련

big data 대충 알아보기

Technology