선도적인 미디어 서비스를 위한AWS 추가제언

양승도 | 솔루션즈 아키텍트

디지털 미디어 수집, 저장의 어려움

넓은 대역폭$$$$$

더 높은 컴퓨팅 파워$$$$$

더 큰 스토리지$$$$$

약간의 진전(ABR, HEVC, VP10)

반드시 갖추어야 할 요소들

효율적인 파일/스트림 수집

유연한 메타데이터 추출

자동화된 렌디션 생성

다양한 목록 검색

스토리지 라이프사이클 관리

미디어 자산의 안전한 배포 (secured)

A Concept – The Content LakeInspired from Data Lake (Coined by James Dixon in 2010)

어떤 형태 또는 요소든, 생성하고 취득한 모든 디지털 컨텐트의단일 저장소 해상도 또는 형식에 대해 고민 불필요 그것은 인프라를 사용하는 소비자(애플리케이션이 컨텐트를 소비)의

고민

Amazon S3 – The Content Lake

내구성, 비용 효율성 그리고 속도

확장성이 뛰어난 프론트엔드 Multi-part uploads (병렬 쓰기)

Transfer Acceleration (전송 가속)

Range-gets (병렬 읽기)

용량 계획 또는 준비가 불필요

하이브리드 모델에서 Amazon S3 를데이터센터의 스토리지와 함께 사용

안전

Content Lake 로…

Amazon S3

Amazon S3(multi-part Upload,

Transfer Acceleration)

Direct Connect

N x 1G | 10G

Massively Scalable Front-end

AWS Import/Export Snowball

E-ink shipping label

Ruggedizedcase

“8.5G Impact”

All data encrypted end-to-end

50 TB10G network

Rain & dust resistant

Tamper-resistant case & electronics

AWS Import/Export Snowball

New 80T Snowball Device

API For 3rd Party

S3 APIAll AWS RegionsBy End Of 2016

How it works?

Content Lake 의 소비

Amazon S3

Amazon S3 (range-gets)

Direct Connect

N x 1G | 10G

Massively Scalable S3 Front-end

EBS

Instance Store

cMassively Scalable Compute on AWS Cloud

On-Prem Apps

미디어 관련 AWS 스토리지 서비스

Amazon S3

사용한 만큼만 지불 스

토리지 및 프론트엔드

11 9의 안정성

API를 통한 인터넷스케일 스토리지

Amazon EBS

블록 스토리지

EC2

EBS

단일 볼륨 최대 16TB

최대 20,000 IOPS

SSD 기반 스토리지

암호화

Amazon EFS

공유 파일 시스템

EC2

EFS

사용한 만큼만 지불 사용

량에 따라 up/down

유연한 성능

Amazon Glacier

월 $0.01/GB

11 9의 안정성

여러 데이터센터에 복

수의 복제본 저장

아카이빙 또는 백업을 위한스토리지

자동화된 컨텐트 라이프사이클

Long Term Archive

각 티어 모두 API를통해 접근 가능

비용 절감을 위해사용되지 않는 컨텐트를

아카이브로 이동

Amazon S3

S3 Infrequent Access

Amazon Glacier

Life C

ycl

e P

olici

es

Near-line Storage

Frequently Accessed

Amazon S3 추가기능

Key = photo.gif

ID = 121212

Key = photo.gif

ID = 111111

Versioning Enabled

PUTKey = photo.gif

S3

Events

SNS topic

SQS queue

Lambda function

Notifications

Foo() {…}

S3 versioning S3 event notifications

S3 regional replicationAWS region 간 데이터 복제 서비스 : 자동화, 빠르고 신뢰할 수 있는 비동기 방식

미디어 워크로드의 재정의

EBSInstance

Store

Amazon EBS/EFS/EC2 Instance Store

Process

Partner/Affiliate/Service Provider

User Delivery/ConsumptionVFX/Production

On-Prem Apps

Archive

Amazon Glacier (Life Cycle Policies)

c

Direct Connect

Content Access

Disposable Infrastructure

Amazon S3

EFS

c

Auto-scalingWorkload specific

IngestBucket

CloudFormation Template

DynamoDB

Cognito

IAMrole

LambdaMetaData

Extract

Asset Bucket

multimedia

User

Index

HTML5Static Site

Elastic Transcoder

IAM

ElasticSearch

API Gateway

LambdaApp Logic

GlacierArchive

JS SDK

Meta Data

Searches

Simple DAM/MAM – Serverless 아키텍처

IngestBucket

Multimediafile

1. S3 Upload

2. S3 Event

LambdaFunction

4. Transcode Job

LambdaSub-Function

(metaDataExtract)

Elastic Transcoder

3. Extract MetaData 5. Build source XML

LambdaSub-Function

(metaTransform)

+

DynamoDB

6. ETL Jobformat data for DynamoDB

7. Create DynamoDB record

AssetBucket

9. Copy Asset Into Asset Bucket

ElasticSearch

8. Index Content

SNSTopic

10. On Success or Failure, Remove Ingest Object

LambdaFunction

Simple DAM/MAM – 비디오 수집 프로세스

미디어 관련 AWS 데이터 분석 서비스

Amazon S3

사용한 만큼만 지불 스

토리지 및 프론트엔드

데이터 분석 서비스의

저장소 역할

API를 통한 인터넷스케일 스토리지

Amazon Kinesis

스트림 데이터 처리

OTT 디바이스로부터

정보 수집

하나의 소스로부터 병

렬 처리 가능

Amazon EMR

관리형 하둡 서비스

하둡 클러스터

추천 엔진

사용자 그룹핑/분석

Amazon Redshift

MPP 방식의 효율적인

데이터 웨어하우스

서비스

데이터 웨어하우스 서비스

암호화

데이터 수집/분석

Amazon Kinesis

Lambda

Amazon MLAd server

DynamoDB

가입자 관리

Amazon Redshift

데이터 웨어하우스관리

클라이언트 플레이어혹은 모바일 앱

인기 컨텐트 하이라이트

컨텐트 개발에 대한 피드백

광고 제공 솔루션과 연동

사용 패턴으로부터 추천 생성

데이터 수집/분석

Amazon Kinesis

Lambda

DynamoDB

가입자 관리

클라이언트 플레이어혹은 모바일 앱

여러 디바이스 지원

Play / pause / resume

클라이언트로부터의 중지(non-DRM 솔루션)

Amazon Redshift

데이터 웨어하우스관리

Lambda

API Gateway

감사합니다 !