aws re:invent 특집(4) – 개발자를 위한 신규 서비스 총정리(윤석찬)

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

윤석찬

@channyunAWS 테크에반젤리스트

개발자를 위한

AWS 신규 서비스 총정리

2016년 12월 re:Invent 특집 온라인 세미나

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Day 1 - 컴퓨팅 서비스

A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud

P2M4 D2 X1 G2T2 R3 I2 C4

General Purpose GPU

General Purpose

Dense storage Large memory

Graphics intensiveMemory intensive High I/O

Compute intensiveBurstable

A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud

M4 D2 X1 G2T2 R3 I2 C4

General Purpose GPU

General Purpose

Dense storage Large memory

Memory intensive High I/O

Compute intensiveBurstable

P2

Graphics intensive

T2.nano

0.5GiB

1 vCPU

The T2 Fami l y : Low-Cos t I ns tances Wi th Burs tab le Per fo rmance

T2.micro

1 GiB

1 vCPU

T2.small

2 GiB

1 vCPU

T2.medium

4 GiB

2 vCPU

T2.large

8 GiB

2 vCPU

Expand ing The T2 Fami l y Wi th Larger I ns tance Types

T2.large

8 GiB

2 vCPU

T2.xlarge

16 GiB

2 vCPU

T2.2xlarge

32 GiB

2 vCPU

2X memory 4X memory

T2.medium

4 GiB

2 vCPU

T2.small

2 GiB

1 vCPU

T2.micro

1 GiB

1 vCPU

T2.nano

0.5GiB

1 vCPU

R3

244 GiBmemory

DDR3

32 vCPUs

L3 cache

R3 : Memory - In tens i ve App l i ca t i ons on EC2

H i gh pe r fo rmance da tabasesD i s t r i bu ted memory cachesIn -memory ana l y t i c sGenome assemb l y & ana l ys i s

R4: Next Genera t i onMemory -Opt imized Ins tances

488 GiBmemory

DDR4

64 vCPUs

L3 cache

R4

2X vCPUs

R3

244 GiBmemory

DDR3

32 vCPUs

L3 cache 1.8X size

2X fast

2X memory

H i gh pe r fo rmance da tabasesD i s t r i bu ted memory cachesIn -memory ana l y t i c sGenome ana l ys i s

I2

365k IOPS

244 GiB memory

32 vCPUs

6.4 TB SSD

I2 : Runn ing I /O-In tens i ve

App l i ca t i ons on EC2N oS QL da tabases

(C assand ra and MongoD B )S ca l e ou t t r ansac t i ona l da tabases

D a ta w a rehous i ngH adoop

C l us te r f i l e sys tems

I2

365k IOPS

32 vCPUs

I 3 : Nex t Genera t i onI /O- In tens i ve Ins tances 3.3 million

IOPS

488 GiBmemory

64 vCPUs

15.2 TBNVMe SSD

I3

2X vCPUs

2X memory

2.3X storage

9X IOPS

Coming Soon

N oS QL da tabases(C assand ra and MongoD B )

S ca l e ou t t r ansac t i ona l da tabasesD a ta w a rehous i ngH adoopC l us te r f i l e sys tems

244 GiB memory

6.4 TB SSD

C4

36 vCPUs

“Haswell”

60 GiB memory

4 Gbpsto EBS

C4 : Compute -Opt imizedIns tances

Web se rve rsB a tch p rocess i ng

D i s t r i bu ted ana l y t i c sH i gh pe r fo rmance sc i ence

& eng i nee r i ngA d se rv i ng

C4

36 vCPUs

“Haswell”

60 GiBMemory

C 5 : N e x t G e n e r a t i o nC o m p u t e - O p t i m i z e d

I n s t a n c e s w i t h I n t e l “ S k y l a k e ”

AVX 512 2X performance

Coming Soon4 Gbpsto EBS

72 vCPUs

“Skylake”

144 GiBmemory

C5

12 Gbpsto EBS

2.4X memory

3X throughput

2X vCPUs

A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud

P2M4 D2 X1 G2T2 R4 I3 C5

General Purpose GPU

General Purpose

Dense storage Large memory

Graphics intensiveMemory intensive High I/O

Compute intensiveBurstable

W h a t A b o u t H a r d w a r e A c c e l e r a t i o n ?

F 1 I n s t a n c e sNew Instance Family With Customizable Field Programmable Gate Arrays

Run Your Custom Logic On EC2

Preview Available

B r i n g i n g H a r d w a r e A c c e l e r a t i o n To A l l

F1 Ins tances

F 1 I n s t a n c eW i t h y o u r c u s t o m l o g i c r u n n i n g o n a n F P G A

D e v e l o p , s i m u l a t e , d e b u g& c o m p i l e y o u r c o d e

P a c k a g e a s F P G A I m a g e s

B r i n g i n g H a r d w a r e A c c e l e r a t i o n To A l l

F1 Ins tances

FPGA Images Available In AWS Marketplace

F 1 I n s t a n c eW i t h y o u r c u s t o m l o g i c r u n n i n g o n a n F P G A

D e v e l o p , s i m u l a t e , d e b u g& c o m p i l e y o u r c o d e

P a c k a g e a s F P G A I m a g e s

We Love Ourse l ves Some Compute

General Purpose GPU

General Purpose

Dense storage Large memoryBurstable

Memory intensive High I/O

Compute intensive

Simple VPS FPGAs

P2M4 D2 X1 G2T2 R4 I3 C5Lightsail F1

Graphics intensive

Elastic GPUs On EC2

P o s t g r e S Q L F o r A u r o r aAurora is now fully compatible with both PostgreSQL and MySQL

Preview Available Today

Fully PostgreSQLCompatible

Several times better performance than typical

PostgreSQL database

Scalable, Durable and Secure

Migrate FromRDS For PostgreSQL

Amazon Aurora PostgreSQL-Compat ib le Ed i t ion

Several times better performance than typical

PostgreSQL database

Scalable, Durable and Secure

Migrate FromRDS For PostgreSQL

Amazon Aurora PostgreSQL-Compat ib le Ed i t ion

Fully PostgreSQLCompatible

1/10th The Cost Of Commercial Grade

Databases

W h a t D o P e o p l e W a n t M o s t I n T h e N e x t V e r s i o n O f S n o w b a l l ?

More storage capacity

To not have to keep two copies of data

Send some data to cloud and keep some on

device

Compute for analysis

A W S S n o w b a l l E d g eA New Hybrid Device With On-Board Storage & Compute

Generally Available

AW S Snow ba l l Edge : Pet ab y t e -Sc a le Da t a Tr ans p or t , W i t h O n -b oa rd Com p ut e

E-ink shipping label

Rugged enclosure

Color controltouchscreen

Rack mountable

Integrated cable housing100TBcapacity

On-device encryption

Clustering capabilities

100 TBstorage

S3 endpoint

Greengrassinside

Lambda on m4.4xl equivalent

Automatic sharingacross devices

AW S Snow ba l l Edge : Pet ab y t e -Sc a le Da t a Tr ans p or t , W i t h O n -b oa rd Com p ut e

W h a t A b o u t F o r E x a b y t e s ?

W e ’ r e G o i n g To N e e d A B i g g e r B o x …

AW S S n o w m o b i l e

Generally Available

I n t r o d u c i n g

AWS Snowmob i le : 100PB Conta iner

45-foot long rugged container

& truck

Connect to your datacenter with

fiber cable

Fill ‘er Up! Transports Data To AWS

AWS Snowmob i le :E x a b y t e - S c a l e D a t a Tr a n s p o r t

With 10Gbps, dedicatedconnection

~ 2 6 y e a r s

AWS Snowmob i le :E x a b y t e - S c a l e D a t a Tr a n s p o r t

With 10Gbps, dedicatedconnection

~ 6 m o n t h s

With AWS Snowmobile(s)

~ 2 6 y e a r s

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Day 2 - 개발 운영 지원 서비스

A W S O p s W o r k s F o r C h e f A u t o m a t eF u l l y m a n a g e d C h e f s e r v e r

N E W

P r e p a r e

G e n e r a l l y A v a i l a b l

A m a z o n E C 2 S y s t e m s M a n a g e rC o l l e c t i o n o f A W S t o o l s f o r p a c k a g e i n s t a l l a t i o n , p a t c h i n g , r e s o u r c e c o n f i g u r a t i o n , a n d t a s k a u t o m a t i o n

N E W

P r e p a r e

G e n e r a l l y A v a i l a b l e

A W S C o d e B u i l d

N E W

O p e r a t e

G e n e r a l l y A v a i l a b l e

B u i l d s e r v i c e f o r c o m p i l i n g s o u r c e c o d e a n d r u n n i n g u n i t t e s t s

S o u r c e

A W S C o d e C o m m i t

B u i l d

A W S C o d e B u i l d

S t a g i n gP r e - p r o d u c t i o n

P r o d u c t i o nA W S C o d e D e p l o y

A W S C o d e P i p e l i n e

O p e r a t e

N E W

MonitorProvisionDeployTestBuildCode

CodeCommit

CodePipeline

CodeDeploy

CloudFormation

CloudWatch

OpsWorks

Elastic Beanstalk

CodeBuild

A W S D e v O p s L i f e C y c l e

O p e r a t e

A W S P e r s o n a l H e a l t h D a s h b o a r d

N E W

R e s p o n d

P e r s o n a l i z e d v i e w o f A W S s e r v i c e h e a l t h

G e n e r a l l y A v a i l a b l e

N E W

Ta r g e t i n g

Ta r g e t e d p u s h n o t i f i c a t i o n s f o r m o b i l e a p p s

A m a z o n P i n p o i n t

G e n e r a l l y A v a i l a b l e

I n t e g r a t e d w i t h :

F u l l y m a n a g e d d a t a c a t a l o g a n d E T L s e r v i c e

S 3 , R D S , R e d s h i f t & a n y J D B C - c o m p l i a n t d a t a s t o r e

A W S G l u eN E W

Build Your Data

Catalog

Generate And Edit

Transformations

Schedule And Run Your Jobs

A W S B a t c hF u l l y m a n a g e d b a t c h p r o c e s s i n g s e r v i c e

N E W

P r e v i e w A v a i l a b l e

E C 2 C o n t a i n e r

c l u s t e r - s t a t e -s e r v i c e

C o n t a i n e r d a e m o n -

s c h e d u l e r

N E W

blox.github.io

개발자가 관심 있을 만한

주요 신규 서비스 소개 & Demo

Amazon Athena - 서버리스 대화식 질의 서비스

§ Amazon Athena는 표준SQL을 사용해 Amazon S3에 저장된 데이터를간편하게 분석할 수 있는대화식 쿼리 서비스

§ 서버 없이 S3에 저장한파일의 스키마 정의 후바로 질의 가능

§ 질의를 위해 스캔한 TB당5달러 비용

ü 표준 (ANSI) SQL 지원ü ETL 필요 없음ü 빠른 성능 및 자동 확장ü 데이터 전처리나 인프라 운영

필요 없음

EC2 Elastic GPUs (미리보기)

• Elastic GPU를 통해 기존 EC2에그래픽 가속 기능 추가

• M4, C4, X1 인스턴스에 추가 가능

• Full GPU 인스턴스 보다 비용 효과적

• OpenGL-호환 그래픽 애플리케이션에최적화 (3D 모델링 등)

• AWS Graphics Certification Program를 통한 그래픽 소프트웨어업체 지원

1GiBG P U M e m o r y

2 G iB

4 G iB

8 G iB

기존 EC2인스턴스

Amazon Lightsail – 가상 사설 서버 호스팅

• 간편하고 이해하기 쉬운 AWS 서버 호스팅• 확장성 및 고가용성을 그대로 활용하면서 손쉽게 서버 운영

Launch VM

Attach SSD Storage

Assign Static IP

ConfigureDNS

Create Security Groups

Create Instance

GO!

Created By Amazon Lightsail

ManageIAM

$5Per month

Amazon Lightsail – 가상 사설 서버 호스팅

• 기존 AWS 서비스 연결 가능 및 API 및 CLI을 통한 제어 가능• 사용한 만큼 종량 과금제 그대로 적용 (데이터 사용료 추가 가능)• 1개월 프리티어 제공

AWS Lambda@Edge

• 기능 소개§ CloudFront Edge 로케이션에서 람다

함수 실행 가능§ Lambda@Edge는 HTTP 헤더를 분석하여

호출에 대한 간단한 응답 (라우팅 혹은리다이렉션)을 처리할 수 있는 기능

§ 현재 Node.JS만 제공

• 주요 사용 사례§ HTTP 헤더 검사, 접근 제어§ 모바일 디바이스 탐지§ A/B 테스트§ 크롤러 또는 봇 신속 처리§ 장애 시 사용자 친화적인 URL 리다이렉트

AWS Step Functions

• 시각적 워크플로를 사용해 분산 앱 및마이크로서비스 구성 요소 조정 및 실행

§ 자동으로 각 단계를 트리거 및 추적하고오류가 발생할 경우 재시도하므로애플리케이션이 의도대로 정상적으로 실행

§ 앱을 단계별로 배열 및 시각화할 수 있는그래픽 콘솔 제공

§ 각 단계의 상태를 기록하여, 잘못된 경우빠르게 문제를 진단하고 디버깅 가능

• 상태 변경이 일어나는 경우만 과금

AWS Step Functions - 사용 사례

메소드 호출 함수 순차 실행 DB 저장 실행 대기열

Tim Bray의 세션 강추!https://www.youtube.com/watch?v=75MRve4nv8s

AWS Step Functions - 1. 애플리케이션 단계 정의

순차 단계 분기 단계(경로 선택) 병렬 단계

AWS Step Functions - 2. 단계별 실행 상태 파악

AWS Step Functions - 3. 확장 및 앱 안정성 파악

Amazon Greengrass

스마트 홈 농업 현장 공장 지역

Embed Lambda Compute (& Other AWS Services) in Connected Devices

AWS 서버리스 프로그래밍 모델을 그대로 활용하여 원격지 컴퓨팅에서 활용임베디드 기기 및 원격 대용량 데이터 처리에 용이

IoT 기기제조

Greengrass 런타임 설치

= +

로컬 컴퓨팅 로컬 데이터 캐싱기기간 보안 통신 로컬 메시징

AWS Greengrass: 로컬 컴퓨팅, 메시징, 데이터 캐싱

IoT 기기제조

Greengrass 런타임 설치

로컬 Lambda 함수 지원

AWS 콘솔에서관리 가능

클라우드 프로그래밍모델 활용

로컬 통신 및데이터 통합

=

=

Lambda Everywhere!

AWS X-Ray - 분산 애플리케이션 추적 서비스

• 마이크로서비스 시작과 끝에 대한 디버깅 및 추적• 서비스에 대한 시각적 토폴로지 제공• 개별 요청에 대한 로그 추적• 성능 이슈 및 오류 발생 원인에 대한 확인 및 문제 해결

호출에 대한 전체 과정 파악

사용자 요청이 애플리케이션을통과하는 전체 과정을 추적

애플리케이션 성능 개선

지연 시간이 늘어나는 위치를빠르게 확인한 후 성능이

저하되는 특정 서비스 및 경로에대한 문제 해결 가능

애플리케이션 문제 식별

트레이스 데이터 태깅 및필터링을 통해 어느 위치에서

무엇이 성능 문제를 유발하는지정확히 파악

AWS X-Ray - 서비스 맵 기능

AWS X-Ray - 데이터 태깅 및 추적 기능

AWS X-Ray - 에이전트 설치 및 추적

1. Amazon EC2

2. Amazon ECS (Docker)

3. AWS Node.JS (SDK)

AWS Shield - Managed DDoS Protection

• 항시 네트워크 감시를 통한 감지

• Layer 3 혹은 4의 일상적 공격 패턴

감지 및 대응

• 모든 사용자에게 무료로 제공

표준 기능 고급 기능

• 대량 특수 공격에 대한 탐지 및 차단

• ELB, CloudFront, Route53 지원

• Layer 3 혹은 4의 특수 공격 대응

• AWS WAF 기능 포함

• 준 실시간 CloudWatch 알림 및 사후

분석 가능

• 24/7 전담 DDoS 대응팀 지원

• ELB, CF, Route53의 DDoS 공격에

대한 빌링 차단

• 월 3,000$ + 데이터 비용 (연간 계약)

Amazon AI 서비스

Amazon Rekognition딥러닝 기반 이미지인식 및 분석 서비스

Amazon Polly딥러닝 기반

음성 합성 서비스

Amazon Lex딥러닝 기반 자동 음성인식 및 자연어 처리

대용량 이미지를 통한 딥러닝 트레이닝을 통한 이미지 인식, 검색 서비스

객체 및 장면인지

얼굴 감정인식

얼굴 유사성비교

얼굴 인식

Amazon Rekognition

f7a3a278-2a59-5102-a549-a12ab1a8cae8 &v1

02e56305-1579-5b39-ba57-9afb0fd8782d&v2

Face ID & vector<float>Face

4c55926e-69b3-5c80-8c9b-78ea01d30690&v3

tran

sfor

med

stor

ed

{f7a3a278-2a59-5102-a549-a12ab1a8cae8, 02e56305-1579-5b39-ba57-9afb0fd8782d,4c55926e-69b3-5c80-8c9b-78ea01d30690}

IndexFace Collection

Amazon Rekognition API

Amazon Rekognition - Deep Learning Process

Training

Amazon Rekognition - Deep Learning Process

Conv 1 Conv 2 Conv n

…

…

Feature Maps

Fully Connected

Layer

Amazon Rekognition 서비스 요금

1. 정식 출시: US East (N. Virginia), US West (Oregon), EU (Ireland)2. 가격 모델: 사용한 만큼 (12개월까지 월 5,000장까지는 프리티어 제공)

이미지 분석 티어 1,000장당 가격월 백만장까지 $1.00월 9백만장까지 $0.80다음 9백만장까지 $0.80다음 9천만장까지 $0.60

1억장 이상 $0.40

Amazon Polly• 딥 러닝 기술을 사용하여 실제 사람 목소리처럼 음성을 합성

§ 다양한 음성 및 언어 지원 (24개 언어 47개 목소리)§ 빠른 실시간 합성 속도로 라이브 서비스 가능 (Amazon Lex 지원)§ SSML을 통한 시맨틱 음성 기능 지원§ 개발자가 합성된 파일, 무제한 저장 및 재생 배포 가능§ 글자당 과금 및 저렴한 비용 (허클베리핀의 모험 영어본 2.5달러 수준)

• 맥락에 따른 자동음성 합성

Amazon Polly

“The temperature in WA is 75°F”

“The temperature in Washington is 75 degrees Fahrenheit”

"We live for the music", live from the Madison Square Garden.

"We live(리브) for the music", live(라이브) from the Madison SquareGarden.

Polly를 이용한 음성으로 읽어주기 서버리스 앱

RSS Feed Amazon Polly

Amazon CloudWatch

Amazon S3AWS Lambda

1. Trigger

2. Check

3. Content

4. Text 5.Audio

6.Audio

https://github.com/awslabs/amazon-polly-sample

Amazon Lex (Preview!)• 음성 및 텍스트를 사용해 대화형 인터페이스 서비스

§ Lex 콘솔을 통해 빠르고 쉽게 채팅 봇 개발 가능§ 알렉사 음성 인식과 자연어 처리 등 딥러닝 기술 활용§ 완전 관리 클라우드 서비스 및 종량 요금 체계

• 진료 예약 Amazon Lex 봇 개발 사례

FacebookMessengerMobile

Book Hotel

“Book a Hotel inNYC”

Hotel Booking

New York City

Natural Language Understanding

Intent/Slot Model

UtterancesHotel BookingCity New York City

CheckIn Nov 30th

CheckOut Dec 2nd

“Your hotel is booked for Nov 30th”

Polly Confirmation: “Your hotel is booked for Nov 30th”

“Can I go ahead with the booking?

a

in NYC

Automatic Speech Recognition

Amazon Lex를 이용한 호텔 예약 시나리오

Amazon Lex

Automatic Speech Recognition (ASR)

Natural Language Understanding (NLU)

Same technology that powersAlexa

Cognito CloudTrail CloudWatch

AWS Services

ActionAWSLambda

Authentication &Visibility

SpeechAPI

Language API

Fulfillment

End-Users

Developers

Console

SDK

Intents, Slots, Prompts, Utterances

Input: Speech or Text

Multi-Platform Clients: Mobile, IoT, Web,

Chat

API

Output:Speech (via PollyTTS) or Text

Amazon Lex 기술 구조

AWS 클라우드로 AI 서비스를 정복하세요!

P2 Amazon Machine Learning

Deep LearningAMI and template

Investment inMXNet

Amazon Rekognition Amazon Polly Amazon Lex

인공 지능 기술에 대한 진입장벽이 낮아집니다!

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

516

0

250

500

750

1000

1250

2008 2009 2010 2011 2012 2013 2014 2015 2016

Pace Of I nnova t i on : New Capab i l i t i es Da i l y

La

un

ch

es

24

~1000

48 61 82159

280

722

Most Robus t , Fu l l y -Fea tu red

Techno lo gy In f ras t ruc tu re

P l a t fo rm

HYBRID ARCHITECTURE

Data Backups

Integrated App Deployments

DirectConnect

IdentityFederation

Integrated Resource Management

Integrated Networking

VMware Integration

MARKETPLACE

Business Apps

DatabasesDevOps Tools

NetworkingSecurity StorageBusiness Intelligence

INFRASTRUCTURE

Availability Zones

Points of Presence

Regions

CORE SERVICESComputeVMs, Auto-scaling, Load Balancing, Containers, Cloud functions

StorageObject, Blocks, File, Archivals, Import/Export

DatabasesRelational, NoSQL, Caching, Migration

CDN NetworkingVPC, DX, DNS

Access ControlIdentity Management

Key Management & Storage

Monitoring & Logs

SECURITY & COMPLIANCE

Resource & Usage Auditing

Configuration Compliance

Web application firewall

Assessment and reporting

TECHNICAL & BUSINESS SUPPORT

Support Professional Services

Account Management

Partner Ecosystem

Solutions Architects

Training & Certification

Security & Billing Reports

Optimization Guidance

ENTERPRISE APPS

Backup

Corporate Email

Sharing & Collaboration

Virtual Desktops

IoT

Rules Engine

Registry

Device Shadows

Device Gateway

Device SDKs

DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS

DataWarehousing

Hadoop/Spark

Streaming Data Collection

Machine Learning

Elastic Search

PushNotifications

Identity

Sync

Resource Templates

One-click App Deployment

Triggers

Containers

DevOps Resource Management

Application Lifecycle Management

API Gateway

Transcoding

Queuing & Notifications

Email

Workflow

Search

Streaming Data Analysis

Business Intelligence

MobileAnalytics

Single Integrated Console

Mobile App Testing

Data Pipelines

Petabyte-Scale Data Migration

Database Migration

Schema Conversion

Application Migration

MIGRATION

S U P E R P O W E R S

W i t h A W S , I t C a n F e e l L i k e Yo u H a v e B e e n G i v e n

질문을 남겨주세요!

세미나 설문조사

발표 자료/녹화 영상http://bit.ly/awskr-webinar