© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

윤석찬

@channyunAWS 테크에반젤리스트

Amazon 인공 지능(AI) 서비스 및AWS 딥러닝 프레임웍 활용

2016년 12월 re:Invent 특집 온라인 세미나

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

본 발표의 주요 주제

• Amazon의 추천 및 인공 지능 기반 서비스• Amazon Machine Learning 서비스• 딥러닝 프레임워크 지원• AWS 신규 AI 서비스

§ Amazon Rekognition§ Amazon Polly§ Amazon Lex

Amazon.com 초기 서적 추천 서비스

• 에이전트 기반 서적 추천엔진 활용

• Eyes & Editors § 좋아하는 저자의 신규

서적에 대한 자동 검색 및알림 에이전트. 분야별주제별 리뷰에 따른 추천기능도 제공

Amazon.com 상품 추천 서비스

• 리뷰 및 평가 기반 추천 도입• 이벤트(Events) 및 평가(Rating)• 협업 필터링(Collaborative

filtering)• 사용자 (user-user) 및 아이템

기반 (item-item)• 총 판매 35%가 추천 시스템으

로부터 발생

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Amazon.com 웹 로그 분석

• 사용자 행동 데이터 분석ü 기존 100노드의 1.6PB 급

DW 시스템 - 페타 바이트급 (가장 큰 테이블 400TB, 일간 2TB)

ü 예: 검색 후 구매하지 않은물품, 가장 많이 구매한물품…

• Amazon Redshift 기반DW로 분석 환경 변경

Amazon.com 온라인 주문 예측 서비스

• 주문 전/후 예측시스템 도입

• 머신 러닝 기법 활용• '고객이 주문 전에

배송 계획 예측’• 사내 총 주간 추천

예측 500억회

Amazon 물류센터: 로봇 기반 배송 예측 시스템

• 13개 물류센터에 로봇이동 도입

• 물류 순환 속도:60~75분 ▶ 15분

• 재고 공간: 50% ↑• 운영비용: 약 20%↓

• 이동 경로 계산 및 최적화등에 머신 러닝 기법 활용

강연 중 질문하는 법

전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로

돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!

Amazon Machine Learning 서비스

• AWS에서 관리하는 제공하는Machine Learning 서비스

• 간단한 API로 개발자도 쉽게 사용• Amazon 내부 시스템 위에서 빠른

Machine Learning 기술 사용• AWS에 저장된 데이터를 바로

사용하여 데이터 모델링• 바로 Production으로 사용할 수

있도록 배포(Endpoint)

Amazon ML 특징: 손쉬운 접근성

관리 콘솔에서 직접 ML 모델링§ 데이터 소스 지정 및 생성§ ML 모델 생성, 모델 품질 측정, 튜닝§ 배포 및 관리

API, SDK를 이용하여 쉽게 활용§ Java, Python, .NET, JavaScript, Ruby,

Javascript

AWS Mobile SDK를 통해 Android, iOS 앱에서도 쉽게 사용 가능

Amazon ML 특징: 신뢰성 및 확장성

신뢰 높은 시스템 (Dog fooding)§ 아마존 내부 데이터사이언티스트 사용 시스템§ 신뢰성 높은 알고리즘 제공

알고리즘외의 편리한 기능:§ 간단한 데이터 타입 변환, 스키마 생성§ 원본 데이터와 모델에 대한 품질 평가

확장성 높은 종량 과금 모델§ 100GB 데이터 모델링 가능§ 배치를 통한 예측 지원§ 실시간 예측 지원

Trainmodel

Evaluate andoptimize

Retrieve predictions

1 2 3

Amazon Machine Learning 사용하기 1

- 데이터 소스로 부터 DataSource 생성- 데이터 내용과 스키마 확인- 모델링 진행

1. 데이터로부터 Datasource 생성

>>> import boto

>>> ml = boto.connect_machinelearning()

>>> ds = ml.create_data_source_from_s3(

data_source_id = ’my_datasource',

data_spec= {

'DataLocationS3':'s3://bucket/input/',

'DataSchemaLocationS3':'s3://bucket/input/.schema'},

compute_statistics = True)

2. 데이터 내용과 스키마 확인

3. 데이터 모델 생성

>>> import boto

>>> ml = boto.connect_machinelearning()

>>> model = ml.create_ml_model(

ml_model_id=’my_model',

ml_model_type='REGRESSION',

training_data_source_id='my_datasource')

Trainmodel

Evaluate andoptimize

Retrieve predictions

1 2 3

Amazon Machine Learning 사용하기 2

- 생성된 모델의 품질 확인- 모델에 해석 상세 조절

1. 모델 결과 및 품질 확인

2. 모델 해석 상세 조절

Trainmodel

Evaluate andoptimize

Retrieve predictions

1 2 3

Amazon Machine Learning 사용하기 3

- 배치를 통한 예측- 실시간 예측

배치(Batch)방식 예측

비동기적으로 대량의 예측 결과 필요 시 사용

Console, API를 통해 요청 가능

많은 양의 데이터를 한 번에 처리하여 결과를 S3에 저장

>>> import boto

>>> ml = boto.connect_machinelearning()

>>> model = ml.create_batch_prediction(

batch_prediction_id = 'my_batch_prediction’

batch_prediction_data_source_id = ’my_datasource’

ml_model_id = ’my_model',

output_uri = 's3://examplebucket/output/’)

From Machine Learning to Deep Learning

이미지 패턴 분석 음성 인식 및자연어 처리

자율 주행 자동차

Amazon DSSTNE -멀티 GPU기반 딥러닝 라이브러리

https://github.com/amznlabs/amazon-dsstne

Amazon Prime Photo - 이미지 인식 기능 탑재

EC2 P2 인스턴스 - GPU기반 병렬 컴퓨팅

• 딥러닝 컴퓨팅에 최적화§ CUDA 및 OpenCL을 사용하는 범용 GPU

컴퓨팅 애플리케이션을 위해 설계§ 기계 학습, 고성능 데이터베이스, 전산 유체

역학, 컴퓨팅 금융, 내진 해석, 분자 모델링, 유전체학, 렌더링, 대용령 병렬 부동 소수점처리

• 다양한 딥러닝 프레임웍 지원§ Mxnet 및 Tensorflow과 같은 인기 있는 딥

러닝 프레임워크와 함께 사전에 설치된Deep Learning AMI를 사용 가능

§ 이미 설치된 GPU 드라이버와 CUDA 도구키트가 포함된 NVIDIA AMI를 사용 가능

Deep Learning AMI & MXNet 투자

EC2 Elastic GPUs (미리보기)

• Elastic GPU를 통해 기존 EC2에그래픽 가속 기능 추가

• M4, C4, X1 인스턴스에 추가 가능

• Full GPU 인스턴스 보다 비용 효과적

• OpenGL-호환 그래픽 애플리케이션에최적화 (3D 모델링 등)

• AWS Graphics Certification Program를 통한 그래픽 소프트웨어업체 지원

1GiBG P U M e m o r y

2 G iB

4 G iB

8 G iB

기존 EC2인스턴스

Amazon AI 서비스

Amazon Rekognition딥러닝 기반 이미지인식 및 분석 서비스

Amazon Polly딥러닝 기반

음성 합성 서비스

Amazon Lex딥러닝 기반 자동 음성인식 및 자연어 처리

대용량 이미지를 통한 딥러닝 트레이닝을 통한 이미지 인식, 검색 서비스

객체 및 장면인지

얼굴 감정인식

얼굴 유사성비교

얼굴 인식

Amazon Rekognition

f7a3a278-2a59-5102-a549-a12ab1a8cae8 &v1

02e56305-1579-5b39-ba57-9afb0fd8782d&v2

Face ID & vector<float>Face

4c55926e-69b3-5c80-8c9b-78ea01d30690&v3

tran

sfor

med

stor

ed

{f7a3a278-2a59-5102-a549-a12ab1a8cae8, 02e56305-1579-5b39-ba57-9afb0fd8782d,4c55926e-69b3-5c80-8c9b-78ea01d30690}

IndexFace Collection

Amazon Rekognition API

Amazon Rekognition - Deep Learning Process

Training

Amazon Rekognition - Deep Learning Process

Conv 1 Conv 2 Conv n

…

…

Feature Maps

Fully Connected

Layer

Amazon Rekognition 서비스 요금

1. 정식 출시: US East (N. Virginia), US West (Oregon), EU (Ireland)2. 가격 모델: 사용한 만큼 (12개월까지 월 5,000장까지는 프리티어 제공)

이미지 분석 티어 1,000장당 가격월 백만장까지 $1.00월 9백만장까지 $0.80다음 9백만장까지 $0.80다음 9천만장까지 $0.60

1억장 이상 $0.40

Amazon Polly• 딥 러닝 기술을 사용하여 실제 사람 목소리처럼 음성을 합성

§ 다양한 음성 및 언어 지원 (24개 언어 47개 목소리)§ 빠른 실시간 합성 속도로 라이브 서비스 가능 (Amazon Lex 지원)§ SSML을 통한 시맨틱 음성 기능 지원§ 개발자가 합성된 파일, 무제한 저장 및 재생 배포 가능§ 글자당 과금 및 저렴한 비용 (허클베리핀의 모험 영어본 2.5달러 수준)

• 맥락에 따른 자동 음성 합성

Amazon Polly

“The temperature in WA is 75°F”

“The temperature in Washington is 75 degrees Fahrenheit”

"We live for the music", live from the Madison Square Garden.

"We live(리브) for the music", live(라이브) from the Madison SquareGarden.

Polly를 이용한 음성으로 읽어주기 서버리스 앱

RSS Feed Amazon Polly

Amazon CloudWatch

Amazon S3AWS Lambda

1. Trigger

2. Check

3. Content

4. Text 5.Audio

6.Audio

https://github.com/awslabs/amazon-polly-sample

Amazon Lex (Preview!)• 음성 및 텍스트를 사용해 대화형 인터페이스 서비스

§ Lex 콘솔을 통해 빠르고 쉽게 채팅 봇 개발 가능§ 알렉사 음성 인식과 자연어 처리 등 딥러닝 기술 활용§ 완전 관리 클라우드 서비스 및 종량 요금 체계

• 진료 예약 Amazon Lex 봇 개발 사례

FacebookMessengerMobile

Book Hotel

“Book a Hotel inNYC”

Hotel Booking

New York City

Natural Language Understanding

Intent/Slot Model

UtterancesHotel BookingCity New York City

CheckIn Nov 30th

CheckOut Dec 2nd

“Your hotel is booked for Nov 30th”

Polly Confirmation: “Your hotel is booked for Nov 30th”

“Can I go ahead with the booking?

a

in NYC

Automatic Speech Recognition

Amazon Lex를 이용한 호텔 예약 시나리오

Amazon Lex

Automatic Speech Recognition (ASR)

Natural Language Understanding (NLU)

Same technology that powersAlexa

Cognito CloudTrail CloudWatch

AWS Services

ActionAWSLambda

Authentication &Visibility

SpeechAPI

Language API

Fulfillment

End-Users

Developers

Console

SDK

Intents, Slots, Prompts, Utterances

Input: Speech or Text

Multi-Platform Clients: Mobile, IoT, Web,

Chat

API

Output:Speech (via PollyTTS) or Text

Amazon Lex 기술 구조

AWS 클라우드로 AI 서비스를 정복하세요!

P2 Amazon Machine Learning

Deep LearningAMI and template

Investment inMXNet

Amazon Rekognition Amazon Polly Amazon Lex

인공 지능 기술에 대한 진입장벽이 낮아집니다!

※ 총정리! http://bit.ly/awskr-reinvent-2016

신규 서비스 발표 목록

질문을 남겨주세요!

세미나 설문조사

발표 자료/녹화 영상http://bit.ly/awskr-webinar