얻기 위한 융합 분석 - wise conference _ tutorial - big data fusion_kor.pdf실질적...

실질적 성과를 얻기 위한

빅데이터 융합 분석

㈜위세아이텍 김 종 현

1 2012 DATABASE GRAND CONFERENCE

목차

1. 빅데이터 융합

2. 게임산업 사례

3. 제조산업 사례

4. 공공정보 개방

5. 캠페인 관리

6. SNS 분석


조화로운 융합

1. 빅데이터 융합

데이터의 융합

플랫폼의 융합 분석방법의 융합


데이터 융합

평균온도 : 29.72도

최고온도 : 31.03도

최저온도 : 23.97도

온도분포 : 23.97도

심박(HR)

호흡(Resp)

영상(Video)

음색(Voice)

작성글, ID, 팔러우어

기업보유데이터

회원

실적

정형과 비정형 데이터의 융합을 통해 가치 있는 데이터를 사용자에게 제공


플랫폼 융합

Log Server

Hadoop Cluster

Log Server

Hive ETL FUSE

RDBMS DW

Appliance

Tiara Web Service

Ad-Hoc 분석 ※ 출처: 빅데이터 커뮤니티

ETL : Extract Transform Load FUSE : Filesystem in User SpacE

다양한 플랫폼을 목적과 특성에 맞게 융합하여 활용


분석방법 융합

Ad hoc Report

키워드 분석

예측 분석

다차원 분석

최적화

데이터품질관리 방법

빅데이터 분석을 위해 여러 방법을 융합하여 활용


분석 Tool 게임 분석 DW 게임서버A

빌링서버

계정서버

Data marts Data

warehouse ETL

• 사용자정보 • 케릭터정보 • 결제정보

• 아이템분석 • 사용자분석 • 캐릭터분석 • 결제분석

게임서버B

2. 게임산업 사례


Cloud 미주

Cloud 유럽

Cloud 홍콩

Data 전송이 느리고 자주 끊긴다

빠르다 빠르다

빠르다

매우 빠르다

한국

유럽 미주

한국

유럽 미주

매우 빠르다

글로벌 경영분석 BI 구조

클라우드로 글로벌 빅데이터 통합


글로벌게임사의 빅데이터 융합

HDFS : Hadoop Distributed File System SaaS : Software as a Service

Cloud Storage

지역별 게임 서비스 데이터

RDB DW Cube

HDFS Hive DW

정형데이터

Log

In-Memory

Mart Cube

SaaS BI

OLAP

EIS

SNS Mart

Social Analytics

Global Public Cloud Public Cloud BI

글로벌 클라우드로 빅데이터를 수집

로그성 데이터는 하둡으로 정규데이터는 RDB와 인메모리 활용


융합 플랫폼의 장점

패키지 구매 방식 대비 훨씬

저렴한 비용

특정 제품에 종속적이지

않은 구조

구축 부담 없이 SNS 데이터를

분석

서버 구매 방식 대비 훨씬 유연한 확장



Business Intelligence

Global Public Cloud 2 Global Public Cloud 1

로그생성과 저장

ODS

기업 시스템

매출, 서비스

메타데이터

DW Mart

Mart

OLAP

Reporting

ODS : Operational Data Store DW : Data Warehouse OLAP : On-Line Analytical Processing

대용량 데이터 분석을 위해 클라우드 환경에서 RDB 기반의 BI를 구성

글로벌 클라우드를 적용하고 테스트함

http://shopping.naver.com/detail/detail.nhn?query=%EC%8A%A4%EB%A7%88%ED%8A%B8tv&cat_id=40009492&nv_mid=6225681422&frm=NVSCPRO





Hadoop 도입

Global Public Cloud 통합

전통적 BI구조 유지

인메모리 적용

대용량 데이터 분석을 위해 클라우드 환경에서 RDB 기반의 BI를 구성

글로벌 클라우드를 적용하고 테스트함


글로벌퍼블릭 클라우드 활용

데이터 보관

보안 확장 변화 대처

데이터 저장 뿐만 아니라 2중 백업을 지원

퍼블릭 클라우드에서 이미 보안은 검증됨

데이터가 빠르게 증가하고 증가세를 산정하기 어려운 곳에서는 확장이

가능한 퍼블릭 클라우드가 유리

클라우드에서는 아키텍처 변경도 유연


4. 공공정보 개방

서울시 공공 DB 활용을 위한 데이터 관리 인프라 구축


서울시청 사례

공공데이터의 적극적 활용을 목표로 현재 20종에서 2014년까지 150종을 개방


공공정보 개방 구조


데이터 품질관리

데이터 품질 관리 수행 방안 데이터 품질 관리 목적

데이터 품질관리 통한 공공데이터 품질 향상

서울시 보유 공공정보

개방가능 공공정보

열린 데이터 광장

서울시 공공정보 수요자

政, 産, 學, 硏, 市民

공개 공공정보 대한 신뢰성 향상

부서 담당자 컨설턴트

진단보고

개선유도

본청 산하기관 현황 &상세

조사 품질관리 범위

품질 측정

코드 분석 패턴 분석 날짜 분석

Null 분석 범위 분석 참조 무결성

분석

품질 개선 지원

데이터 품질관리 시스템 적재

진단 보고서 제출

DQMS


미래 지향 인프라 신기술 현황 조사 타당성 조사 적용방안

빅데이터 •빅데이터의 핵심기술인 하둡,

데이터 가상화, 인텔리전스 기술

•데이터의 초고속 수집과 분석

•공공데이터 분석을 위한 기관과의

협력체계 •신기술의 타당성

결과에 따른

단기와 장기

적용 방안 마련

•신기술 적용을

위한 조직의

R&R 정의

클라우드

서비스 •공공데이터 제공방식인 Open API

•웹 표준을 통한 통합 API 접근 기능

•소셜 네트워크와 연동

•강력한 데이터 변환과 분석

융복합(매쉬업)

•기관별 서비스와 기능을 조사하여

새로운 서비스를 창출

•지도와 날씨 정보, 부동산 정보

•외부 개발자들이 자유롭게 활용할 수

있는 공개 API(Open API)와 오픈

소스의 다양한 융복합 서비스

공공정보 개방 서비스 방안

빅데이터 융합과 융복합 서비스 방안


5. 캠페인 관리

Campaign Mart

Campaign Management System

캠페인 고객 Mart

캠페인 성과분석 Mart

오퍼관리 승인결재관리 정산관리

대고객 캠페인

메시지 전달 채널

운영계

정보계(DW)

채널연계 (Web

Service)

반응 수집

영업 시스템 연계 오퍼 실행

채널

규모증가

최적화

대상 고객, 캠페인 프로그램, 대고객 채널의 증가 이들의 조합으로 발생하는 캠페인 데이터 증폭

반응과 ROI 예측에 따른 캠페인 최적화 요구 더 복잡해지고 늘어난 캠페인 성과분석 데이터


캠페인성과 분석

데이터저장

HDFS

Hadoop

Data Mart

Hive

고객 반응 모니터링

Map/Reduce Sqoop

SQL

HQL

캠페인 성과

성과분석 Cube

Dashboard

OLAP

Reporting

성과분석 Mart

RDBMS


캠페인성과 분석

성능을 위해서 Appliance,

In-Memory 적용 요약성이고 마스터데이터와 결합도가

높은 데이터는 기존 RDB 방식 활용

캠페인 반응 또는 운영

모니터링 로그와 같은 단순하면서도 대용량인

데이터는 Hadoop 활용


원투원 마케팅 실현

원투원 채널 매칭

캠페인 반응 성과와 선호 관련 빅데이터를 분석

고객별로 선호하고 성과가 높은 상품을 매칭

예상 고객의 과거 데이터를 근거로 예상 반응과 성과를 예측


6. SNS 분석

SNS

Twitter Facebook

…

API

키워드 분석

기업보유 데이터 회원, 실적, 상품, 캠페인

SNS 분석 데이터

SNS 고객 프로파일링

정형 데이터 Id, Name, follow수, 좋아요.카운트, …

비정형 데이터

작성글

소셜 미디어 분석 SNS 채널 캠페인

최적 대상고객 선정

캠페인 실행

마케팅 메시지

SNS 비정형 데이터와 고객 정보가 융합된 빅데이터 분석

※ 출처 : 김종현, “빅데이터 분석 기반의 SNS 고객선정 프로파일링 모델에 대한 실증적 연구”, 2012


데이터 수신

Cloud 환경의 SNS 분석

Cloud BI - Social Analytics

Service 주제, 키워드, 수집기간 SNS 데이터 수집

SNS 데이터 분석

클라우드 서비스에서 필요 항목만 입력

굳이 외부 데이터를 수집, 저장할 필요 없이 분석결과만 수신

SNS 분석 정보

미디어 홍보 시 얼마나 반응이 있는지를 SNS 데이터로 추정


SNS 채널 캠페인

SNS 채널 캠페인

SNS고객은 1차적으로 기업의 회원 내지 직접적인 고객이 아니라 특정 관심 사항에 따른 그룹 멤버들

비회원이라도 우리의 회원과 소셜 네트워크로 연결되어 있다면 마케팅 메시지를 타겟 고객에게 전달할 수 있음

캠페인 대상자 비대상자

캠페인 대상자에게 SNS 캠페인 메시지를 전달

맺음말

얻기 위한 융합 분석 - wise conference _ tutorial - big data fusion_kor.pdf실질적...

Documents