빅 데이터 분석을 위한 aws 활용 사례 - 최정욱 솔루션즈 아키텍트:: aws cloud...

빅데이터분석을위한 AWS 활용사례최정욱 | AWS 솔루션즈 아키텍트

용석현 | eMnet 솔루션 개발 엔지니어

빅데이터소개

빅데이터 분석 업무에 AWS 클라우드 활용 사례

빅데이터와 AWS 클라우드

eMnet의 AWS 활용 사례

결론

목차

빅데이터소개

Technologies and techniques for working productively with data, at any scale.

빅데이터

When your data sets become so large that you have to start innovating around

how to collect, store, organize, analyze and share it

빅데이터

웹사이트블로그/리뷰/이메일/사진

소셜네트워크서비스페이스북, 링크드인

응용프로그램서버로그모바일앱, 게임

센서 데이터날씨, 온습도,스마트 그리드

이미지/비디오교통정보, CCTV

트위터5천만 트윗/일

빅데이터 출처

AWS 클라우드를통한빅데이터고민해결

빅데이터 AWS 클라우드다양성, 용량, 속도로인해새로운처리도구들이필요함

다양한연산, 저장및네트워크옵션제공


무한한크기로확장가능한데이터세트

거의무제한확장지원

빅데이터 AWS 클라우드


반복적이고, 실험적형태의데이터조작및분석

반복적이고, 실험적형태의인프라배포및사용에최적화



편차가큰워크로드존재 높은워크로드변화량에최적의효율성제공



일반적으로완벽한결과보다빠른결과가더중요.

병렬컴퓨팅을통한빠른결과제공


빅데이터 분석 업무에AWS 클라우드 활용 사례

“누가 우리 서비스를 사용할까?”

모바일 사용자 비중이 높다.

모바일개발에투자집중

수많은 로그 중 의미 있는 정보는?

9,432,061 개별 모바일 기기가Yelp 모바일 웹을 사용함.

4백만 건 이상의 전화연결 사용5백만 건 이상의 경로탐색 사용

2013년 1월 기준

“누가 비디오 게임을 구매할까?”

35억 건의 레코드

13TB의 클릭 스트림 로그

7,100만 건의 고유한 쿠키

일일:

500% 비용대비광고효과실현

결과:

Sushiro: Kaiten Sushi 회전 초밥 체인

빅데이터와 AWS 클라우드

생성 수집 및 저장 분석 및 계산 협업 및 공유

데이터 생성에는 문제가 없음


낮은비용,

높은처리량

생성 수집및저장 분석및계산 협업및공유

수많은제약 사항

낮은비용,

높은처리량

+ 유연하고 높은 확장성

+ 사전 투자 없음+ 사용한 만큼 과금

+ 필요시 바로 사용

= 제약사항 제거

빅데이터분석가속화


하나의 도구로 모든요구사항을 만족시킬 수 없음

빅데이터 지원을 위한 주요 AWS 서비스

Amazon S3

Amazon Kinesis

AmazonDynamoDB

Amazon Redshift

Amazon Elastic

MapReduce

모든 종류의 파일 저장

객체기반 스토리지

무제한 확장성

99.999999999% 내구성Amazon S3

실시간 프로세싱

높은 처리량; 유연성

쉬운 사용 방법

간편한 서비스 연동

- EMR, S3, Redshift, DynamoDB 등

Amazon Kinesis

NoSQL 데이터베이스

끊김 없는 확장 지원

관리 불필요

수밀리세컨드 수준의 지연Amazon

DynamoDB

관계형 데이터웨어하우스

대형 병렬 처리 기반

페타 바이트급 확장 제공

완전 관리형 서비스

Amazon Redshift

하둡/HDFS 클러스터

간편한 사용 – 완전 관리형

다양한 가격 구조 제공

간편하고 완벽한 연동

- S3, DynamoDB 및 Kinesis

Amazon Elastic

MapReduce

원클릭 EMR 생성

하드웨어 구성- 인스턴스 타입 및 개수

보안 및 접근 관리- 키 페어, 권한, 롤, 프로필

기본 구성- EMR 이름, 실행 형태

소프트웨어 구성- 벤더, 버전, 응용프로그램

aws emr create-cluster --release-label emr-4.2.0

--instance-groups

InstanceGroupType=MASTER, InstanceCount=1, InstanceType=i2.xlarge

InstanceGroupType=CORE, InstanceCount=5000, InstanceType=i2.xlarge

--auto-terminate

원라인 EMR 생성

EMR 운영

Clickstream

processing

applications

Aggregated

clickstream

statistics

Clickstream

archive

Clickstream

Trend analysis

참조 아키텍처 : 클릭 스트림 분석

참조 아키텍처 : 배치 분석

Use commonly-available cluster

scheduling tools, such as

Grid Engine or Condor

참조아키텍처 : 병렬데이터처리

Media streaming

Free steak campaign

Disaster recovery

Web site & media sharing

Facebook app

Ground

campaign

SAP & SharePoint

Marketing web site

Social Media Monitoring

Consumer social app

IT operations

Mars exploration ops

Interactive TV apps

Consumer social app

Facebook page

Securities Trading Data Archiving

Financial markets analytics

Web and mobile apps

Big data analytics

Digital media

Ticket pricing optimization

Streaming webcasts

Mobile analytics

Consumer social app

Core IT and

media

빅데이터분석사례

국내빅데이터분석사례

1만개의 모바일 게임 앱의사용자 데이터 분석

마케팅효과측정을위한웹로그분석

Recopick- 쇼핑 로그 기반실시간 상품 추천 서비스

5백만 사용자 음악 스트리밍데이터 분석 및 추천

가정용 및 상업용 전기사용량 분석 서비스

쿠키런 게임 로그 수집 및분석 플랫폼 운영

http://aws.amazon.com/marketp

lace

빅데이터케이스스터디

aws.amazon.com/solutions/case-studies/big-data

eMnet의 AWS 활용 사례

용석현 ([email protected])

2000년 ~ 2003년

온라인광고사업진출

2004년 ~ 2007년

• 온라인 광고 시장 진입

• 네이버/야후/파란 공식 대행사

• 오버추어 최우수 대행사

• 구글 리셀러 선정(국내 최초)

• 광고효과 분석시스템 오픈

국내외지사확장

• 일본지사(도쿄) 설립

트랜스코스모스와 전략적 제휴

• 통합 광고관리 시스템 오픈

• 광고 관리 솔루션 6건 특허 획득

2007년 ~ 2010년

2010년 ~ 2014년

• 중국지사(북경) 설립

• 일본지사(도쿄) 확장 및 법인전환(2014.1.1부)

• 통합 로그분석 시스템 오픈

• 온라인 광고 대행사 최초 코스닥 상장(2011)

• 온라인 미디어렙(네프미디어) 설립

• 감성분석 시스템 개발중

자료: 일본지사포함당사의광고취급액

최상의온라인마케팅전문컨설팅기업해외진출/ 사업영역확장

2000 2004 2007

8.7억

150억

630억

2010

1,380억

2011

1,650억

2012

1,940억

2013

1,819억

2014

1,718억

솔루션개발/ 검색광고성장

eMnet

•광고제안에서운영, 관리에이르기까지한번에아우르는특허받은통합광고집행관리시스템구축

•광고주에따라차별화된과학적인솔루션제공

솔루션기반으로광고전략기획, 광고효과분석중심의컨설팅사업

eMnet Solutions

ADinsight

1,800개의웹사이트에서일 3,000만건의로그생성

ADinsight?

마케팅효과측정을위한웹로그분석솔루션

고객사의모든트래픽은 ADinsight가분석해야할로그

고객사의트래픽이언제, 얼마나급증할지모른다

더많은로그를더빠르게분석

ADinsight의과제

ADinsight 아키텍처 마이그레이션

Amazon Redshift

AmazonKinesis

Kinesis Enabled App

AWS Cloud

Log Server

RDB Cluster

Hadoop Cluster

HDFS

On-Premise (IDC)

Elastic Beanstalk

Auto Scaling

Amazon S3

Unload / Copy

로그저장

전처리 (파싱, 계산)

데이터분석

로그수집

분석결과저장

결과리포팅

AWS 클라우드의장점

Amazon Redshift

AmazonKinesis

Kinesis Enabled App

AWS Cloud

Log Server

RDB Cluster

Hadoop Cluster

HDFS

On-Premise (IDC)

Elastic Beanstalk

Auto Scaling

Amazon S3

Unload / Copy

데이터처리시간단축

유연한인프라확장 / 축소

라이브러리를제공해쉽고빠르게구현가능

데이터통합

쉬운비용절감대용량데이터를쉽게저장

높은성능빠른처리속도

인프라관리를 AWS에맡김으로써서비스에만집중

로그저장

전처리 (파싱, 계산)

데이터분석

로그수집

분석결과저장

결과리포팅

Next step

Elastic Load Balancing Amazon EC2Route 53

AWS Cloud

AmazonKinesis

Log Server

On-Premise (IDC)

Auto Scaling Group

결론

생성

수집및저장

분석 및 계산

협업 및 공유

a

AmazonDynamoDB

Amazon RDS

AmazonRedshift

AWS Direct Connect

AWS Storage Gateway

AWS Import/ Export

Amazon Glacier

Amazon S3Amazon Kinesis

Amazon EMR

a

Amazon EC2 Amazon EMRAmazon Kinesis

생성

수집 및 저장

분석및계산

협업 및 공유

aAmazonRedshift

AmazonDynamoDB

Amazon RDS

S3 Amazon EC2 Amazon EMR

Amazon CloudFront

AWS CloudFormation

AWSData Pipeline

생성

수집 및 저장

분석 및 계산

협업및공유

The right tools

At the right scale

At the right time

감사합니다.

빅 데이터 분석을 위한 aws 활용 사례 - 최정욱 솔루션즈 아키텍트:: aws cloud...

Technology