인공 지능과 클라우드와의 만남

여러 분야에서 응용되고 있는 Deep Learning

이미지이해 음성인식 자연어처리

…

자율주행

지난 10년동안 Deep Learning 트랜드

Machine Learning, Deep Learning, AI on AWS

Polly, Lex, RekognitionAI Services

관리형 Machine Learning 서비스,

Amazon Machine LearningMachine Learning

Scalable Deep Learning Framework, MXNetDeep Learning

Framework

Deep Learning 프레임워크가 설치된 AMI (Amazon Machine Image)

Deep Learning AMI

Amazon EC2 인스턴스 (G2, P2, C4, F1)Infra

Deep Learning 전문가를 위한 Super PowerDeep Learning Framework, MXNet

Scalable Deep Learning 프레임워크, MXNet

• 유연한 프로그래밍 모델(imperative 및 symbolic 지원)

• 7개 이상 언어에 대한 바인딩 지원(예, Python, C++, Scala 등)

• 다양한 CPU/GPU 서버 및 저전력모바일 디바이스에 포딩이 가능함

• 클라우드 환경에서 고성능 및 확장성을 보여줌

Scalable Deep Learning 프레임워크, MXNet

• Awesome MXNet - http://github.com/dmlc/mxnet/tree/master/example

• Language binding 예제

• Deep Learning 예제 (이미지 분석, 자연어 분석, 사진 변환 등)

• IPython Notebook

• 모바일 앱 예제

• 예측 웹 서비스

• 다양한 튜터리얼들

• MXNet과 함께 사용할 수 있는 툴들

• MXNet Model Zoo - http://mxnet.io/model_zoo/index.html

• 바로 사용할 수 있는 모델과 python 스크립트, 사전-학습에 사용된 가중치값

• 모델을 튜닝하는 방법

Deep Learning Amazon Machine Image

• 6개의 Deep Learning Framework들이 설치되어 있음

• MXNet, Caffe, Tensorflow, Theano, Torch, CNTK

• Intel Math Kernel Library(MKL)를 지원하는 MXNet

• NVIDIA 드라이버, CUDA, cuDNN

• Anaconda Science Platform for Python2, Python3

분산 Deep Learning 환경 구성 CloudFormation

• Amazon CloudFormation은 심층신경망 학습 같이 중요한 컴퓨팅 작업을 위해 다수의 EC2 인스턴스를쉽게 확장할 수 있는 템플릿 역할

• Deep Learning AMI를 사용하여 P2 또는 G2 인스턴스로 구성된 스케일아웃 방식의 탄력적 클러스터를 스핀업

Deep Learning을 활용한재미있는 아이디어가 생각났어요 !

벨을 누른 사람이 누구인지 알려주는 스마트 초인종

누군가 우리집 초인종을 누르면“띵똥~” 소리 대신

”OOO이 문앞에 왔어요”,“모르는 사람이 문앞에 있어요”라고

말해줄 수는 없을까?

스마트 초인종은 이렇게 동작하겠지 …

1. 방문자가 초인종을 누른다

2. 초인종에 있는 카메라로 방문자 사진을찍고,

3. 사진에 찍힌 얼굴이 아는 사람인지확인해서,

4. 집안의 인터폰이 누가 집앞에 있는지말로 알려준다

통신이 가능한 버튼

명령을 받을 수 있는카메라

얼굴을 검색할 수 있는서비스

음성 합성 서비스

이 제품을 만들고 싶은데얼굴 비교와 음성 생성을 위해서

꼭 Deep Learning을 배워야 하나요?어렵다던데….

벨을 누른 사람이 누구인지 알려주는 스마트 초인종

일반 개발자들을 위한 Super Power누구나 쉽게 쓸 수 있는 인공지능

Amazon AI 서비스

Amazon AI 서비스

Amazon Rekognition딥러닝 기반 이미지인식 및 분석 서비스

Amazon Polly딥러닝 기반

음성 합성 서비스

Amazon Lex딥러닝 기반 자동 음성인식 및 자연어 처리

A m a z o n R e k o g n i t i o nImage Recognition And Analysis

Powered By Deep Learning

Amazon AI

Amazon Rekognition• Deep Learning 기반의 이미지 인식 서비스• 수만개의 이미지를 인식하고, 검색하고, 관리할 수 있음

객체 및 장면인지

얼굴 분석 얼굴 유사성 비교 얼굴 인식

Amazon Rekognition API (1) 객체 및 장면 인식

Flower

ChairCoffee Table

Living Room

Indoors

Amazon Rekognition API (1) 객체 및 장면 인식

Maple

Villa

Plant

Garden

Water

Swimming Pool

Tree

Potted Plant

Backyard

Amazon Rekognition API (1) 객체 및 장면 인식 활용 예

• 사진 공유 앱 – 스마트 검색, 추억이 담긴 장면 찾기

• 휴양지 마켓 – 호스트가 올린 사진을 분석해서 라벨

추가 (예, 벽난로, 부엌, 수영장 등)

• 여행 사이트나 포럼 – 사용자가 올린 사진에 대한 라

벨 추가 (예, 해변, 캠핑, 산 등)

Amazon Rekognition API (1) 객체 및 장면 인식 구현 예

Demographic Data

Facial Landmarks

Sentiment Expressed

Image Quality General Attributes

Amazon Rekognition API (2) 얼굴 분석

Demographic Data

Facial Landmarks

Sentiment Expressed

Image Quality

Brightness: 25.84

Sharpness: 160

General Attributes

Amazon Rekognition API (2) 얼굴 분석

Amazon Rekognition API (2) 얼굴 분석 활용 예

Female

Happy

Smiling

Male

No Facial Hair

Happy

Female

Sad

No Eyeglasses

• 상점 및 온라인 쇼핑몰 | 인구 통계학적 분석 및 감정 분석

Amazon Rekognition API (2) 얼굴 분석 구현 예

Amazon Rekognition API (3) 얼굴 비교

Amazon Rekognition API (3) 얼굴 비교 활용 예

• IoT 또는 카메라에 얼굴 기반의 인증 기능 추가

• 공공 안전을 위한 특정인 찾기

• 호텔 및 서비스업에서 VIP 서비스 제공

• 온라인 시험 또는 투표에서 등록된 사람에 대한 인증

Amazon Rekognition API (3) 얼굴 비교 구현 예

AMAZON S3

Face Collection

Amazon Rekognition API (4) 얼굴 검색

Amazon Rekognition API (4) 얼굴 검색 활용 예

• 가족 공유 사진 앱 : 가족에서 같은 사람 묶기

• 엔터테이먼트, 뉴스 : 저장된 이미지들에서 유명인 찾기

• 캠퍼스나 작업장 안전 : 인가된 사람만 있을 수 있도록 얼굴 검색 활용

• 공공 안전 : 의심되는 사람들에 대한 검색

Amazon Rekognition API (4) 얼굴 검색 구현 예: 얼굴 인덱싱

AMAZON S3

APPLICATIONImage Indexer

AMAZONREKOGNITION

IndexFaces

Person DetailsApplication Table

Face Collection

AWS LAMBDACAMERALive Frames

Amazon Rekognition API (4) 얼굴 검색 구현 예 : 유사 얼굴 검색

AMAZON S3

Amazon AI

Ama zon P o l l y

Text To Speech Powered By Deep Learning

Amazon Polly

딥 러닝 기술을 사용하여 실제 사람 목소리처럼 음성을 합성

• 다양한 음성 및 언어 지원 (24개 언어 47개 목소리)

• 빠른 실시간 합성 속도로 라이브 서비스 가능 (Amazon Lex 지원)

• SSML을 통한 시맨틱 음성 기능 지원

• 개발자가 합성된 파일, 무제한 저장 및 재생 배포 가능

• 글자당 과금 및 저렴한 비용 (허클베리핀의 모험 영어본 2.5달러 수준)

맥락에 따른 자동 음성 합성

Amazon Polly

사람이 말하는 것과 유사함

정확한 텍스트 처리

Today in Las Vegas, NV it's 54°F.

"We live for the music", live from the Madison Square Garden.

이해도 높은 읽기

”Peter Piper picked a peck of pickled peppers.”

Amazon Polly – SSML (Speech Synthesis Markup Language)

음성 합성 어플리케이션에 대한 W3C 표준 XML markup 언어

<speak>

My name is Kuklinski. It is spelled

<prosody rate='x-slow'>

<say-as interpret-as="characters">Kuklinski</say-as>

</prosody>

</speak>

Amazon Polly – Lexicon

단어나 구절에 대한 발음을 지정할 수 있음

My daughter’s name is Kaja.

<lexeme>

<grapheme>Kaja</grapheme>

<grapheme>kaja</grapheme>

<grapheme>KAJA</grapheme>

<phoneme>"kaI.@</phoneme>

</lexeme>

Amazon AI

Ama zon AL EXA

(It’s what’s inside Alexa)

Natural Language Understanding (NLU) &

Automatic Speech Recognition (ASR) Powered By Deep Learning

Amazon Lex (Preview)

음성 및 텍스트를 사용한 대화형 인터페이스 서비스

• Amazon Lex 콘솔을 통해 빠르고 쉽게 채팅 봇 개발 가능

• 알렉사 음성 인식과 자연어 처리 등 딥러닝 기술 활용

• 완전 관리 클라우드 서비스 및 종량 요금 체계

Amazon Lex - 기능

텍스트 및 음성 언어 인식 (Alexa와 동일한 기술 적용)

엔터프라이즈 시스템 연결을 위한 Enterprise SaaS 커넥터

채팅 서비스에 배포 (Facebook)

개발자를 위한 디자인 - 대화 서비스를 만드는데 효과적이고직관적인 도구, 자동으로 확장됨

버저닝과 Alias 지원@

Amazon Lex - 챗봇 구성 요소

UtterancesIntent를 호출하는 음성 또는텍스트 문장

BookHotelIntents사용자의 자연어 입력에 대한동작을 수행함

SlotsIntent 수행에 필요한 입력 값

Fulfillment요청한 Intent에 대한 수행메카니즘

Amazon Lex – 데모

Amazon Lex 콘솔에서 대화 만들기

Facebook 메신저로 배포된 챗봇

iOS 앱으로 배포된 챗봇

Amazon Lex – 적용 예

정보를 제공하는 봇일반적인 고객의 질문에 응대하는 챗봇

• 뉴스 업데이트• 날씨 정보• 경기 점수

Internet of Things (IoT) 봇디바이스와의 상호작용을 위한 대화형 인터페이스

• 웨어러블• 어플라이언스

기업 생산성 봇기업 업무 활동을 연계하고 효율성을 향상

• 세일즈 성과 확인• 마케팅 현황 조회• 재고 상태 조회

어플리케이션 봇모바일 어플리케이션에 강력한 인터페이스 형태로구현

• 표 예매• 음식 주문• 은행 계좌 관리

스마트 초인종

Amazon AI 서비스 활용한 스마트 초인종

통신이 가능한 버튼

명령을 받을 수 있는카메라

얼굴을 검색할 수 있는서비스

상황에 따른 음성 생성서비스

1. 방문자가 초인종을 누른다

2. 초인종에 있는 카메라로 방문자 사진을찍고,

3. 사진에 찍힌 얼굴이 아는 사람인지확인해서,

4. 집안의 인터폰이 누가 집앞에 있는지말로 알려준다

AWS IoT

Amazon S3

AWS Lambda

AmazonRekognition

AmazonPolly

스마트 초인종 ArchitectureCollection 1우리 가족

Collection 2친구

3 – 얼굴 찾기

아빠

4 – 방문자 알림 (방문자 목록)

4 – 방문자 알림 (방문자 목록)

5 – 음성 요청

2 – 사진업로드

1 – 버튼 눌림

사진 촬영 요청

방문자 화면 스트리밍

AWSLambda

AmazonS3

AmazonRekognition

AmazonPolly

AWSIoT

스마트 초인종 챗봇도 가능하겠죠 !

초인종 기록을 조회 기능을챗봇으로 만들어보면 어떨까요?

• 누가 왔었니?• 오늘 낯선사람이 왔었니?• 지금 문밖 좀 보여줘

AmazonRekognition

AmazonLex

AWS IoT

AWSLambda

Amazon S3

Alexa와 연동도 가능하겠네요!

“Alexa, ask Door Watcher to open the main door.”

“Alexa, ask Door Watcher to tell me who is at the door.”

여러분은 Amazon AI 서비스 이용한

어떤 재미있는 아이디어가 떠오르세요?

감사합니다

인공 지능과 클라우드와의 만남