- 인공지능 플랫폼의 현재와...

SPECIAL REPORT 2020-2 | 20200212

21

AWS ReInvent 2019(아마존웹서비스 기술컨퍼런스) - 인공지능 플랫폼의 현재와 미래AWS ReInvent 2019(아마존웹서비스 기술컨퍼런스) - 인공지능 플랫폼의 현재와 미래


AWS ReInvent 2019(아마존웹서비스 기술컨퍼런스)

- 인공지능 플랫폼의 현재와 미래

김영은 주임(AImiddot미래전략센터 yekim0928niaorkr)

아마존 lsquoAWS RE Invent 2019rsquo에서 발표한 아마존의 인공지능 플랫폼과

관련된 신기술과 전략을 중심으로 인공지능 및 머신러닝 서비스를 소개하고

국내 인공지능 플랫폼 산업 경쟁력 제고를 위한 시사점 도출

개요

매년 12월 초 개최하는 아마존웹서비스 기술 컨퍼런스 lsquoAWS reInvent 2019(122~6)rsquo에서

아마존은 새롭게 출시하고 지원하는 서비스 방향과 신제품을 소개

- AWS CEO 앤디 제시는 기조연설에서 기업 혁신을 위한 ldquo디지털 트랜스포메이션(Digital

Transformation)rdquo을 강조하며 실용성을 높인 신규 AWS 인공지능 클라우드 서비스를 대거

공개

- 인공지능 및 머신러닝과 관련된 신규서비스는 AI서비스(아마존 트랜스크라이브 메디컬

아마존 켄드라 아마존 프로드 디텍터 아마존 코드그루) ML서비스(증강AI 세이지메이커

스튜디오 IDE) ML 프레임워크 및 인프라(아마존 ML 인퍼런스 인스턴스) 등 총 12가지

기능을 업그레이드

머신러닝(ML) 프레임워크 및 인프라

(ML 추론 칩) 아마존 인퍼런시아(AWS Inferentia)

- 대부분의 머신러닝 모델은 대용량 데이터에서 패턴을 찾는 알고리즘을 활용하여 학습하며

lsquo추론(Inference)rsquo 과정에서 새로운 데이터에 대한 예측을 수행

- 추론 과정은 스토리지에서 CPU로 데이터를 전송하는데 대규모 연산처리가 필요하며 많은

시간과 비용이 들기 때문에 개발자들은 주로 여러 GPU를 사용

참고 AWS 인공지능 및 머신러닝 서비스

지표명 설명

ML

프레임워크

및 인프라

ML 서비스

AI 서비스

음성 텍스트 검색 NEW 챗봇 맞춤형 예측 사기탐지 NEW 개발 NEW시각화

AmazonRekognition

AmazonPolly

AmazonTranscribe+Medical NEW

AmazonComprehend

+Medical

AmazonTranslate

AmazonLex

AmazonPersonalize

AmazonForecast

AmazonFraud Detector

AmazonCodeGuru

AmazonTextract

AmazonKendra

AmazonSageMaker

GroundTruth

데이터 구축

AWSMLMarket place

알고리즘 구축

SageMakerRL

SageMakerNotebooks NEW

SageMakerExperiments NEW

SageMaker Studio IDE NEW

모델 최적화

SageMakerDebugger NEW

SageMakerAutopilot NEW

모델 배포

SageMakerModel Monitor NEW

AugmentedAI NEW

CPUs

Elast icInference Inferent ia

(Inf1)FPGA

NEW

ML 칩컴퓨팅 amp 가속화프레임워크

AWS Deep Learning AMIs

GPUs

G4 instancesC5 instancesP3 instances EC2 Inf1

instancesNEW

SageMakerNeo

AWS 인공지능및머신러닝서비스(page1)


AmazonRekognition

AmazonPolly


AmazonComprehend

+Medical

AmazonTranslate

AmazonLex

AmazonPersonalize

AmazonForecast


AmazonCodeGuru

AmazonTextract

AmazonKendra

AmazonSageMaker

GroundTruth

데이터 구축

AWSMLMarket place

알고리즘 구축

SageMakerRL




모델 최적화



모델 배포


AugmentedAI NEW

데이터 구축

A t d

CPUs


(Inf1)FPGA

NEW



GPUs


instancesNEW

SageMakerNeo



AmazonRekognition

AmazonPolly


AmazonComprehend

+Medical

AmazonTranslate

AmazonLex

AmazonPersonalize

AmazonForecast


AmazonCodeGuru

AmazonTextract

AmazonKendra

AmazonSageMaker

GroundTruth

데이터 구축

AWSMLMarket place

알고리즘 구축

SageMakerRL




모델 최적화



모델 배포


AugmentedAI NEW

CPUs


(Inf1)FPGA

NEW



GPUs


instancesNEW

SageMakerNeo





43


- 아마존 인퍼런시아는 더욱 빠른 시간 내에 더 많은 데이터를 모델에 학습시킬 수 있도록 설계한

맞춤형 머신러닝 추론 칩으로 4개의 뉴런코어(Neuron Core)로 이루어져 있으며 각 칩당

128 TOPS(초당 테라 연산)의 성능을 구현하여 초저지연middot초전력 추론이 가능

(ML 추론 프로세스) 머신러닝 추론 인스턴스(Amazon EC2 Inf1 Instance)

- Inf1 인스턴스는 기계 학습 추론용 인스턴스로 AWS에서 설계한 최초의 맞춤형 머신러닝

추론 칩인 AWS Inferentia 기반의 EC2 서비스

AWS EC2(Elastic Compute Cloud) 서비스 사용자가 자신의 컴퓨터 애플리케이션을 실행할

가상 컴퓨터를 대여해주는 서비스로 AMI(Amazon Machine Image)를 통해 사용자가 원하는

소프트웨어를 포함하는 인스턴스(가상서버)를 구축하고 보안 및 네트워크 구성과 스토리지

관리가 가능

- 기존의 GPU 기반 G4 인스턴스와 비교하면 최대 3배 빠른 연산 처리량과 추론 당 비용을 약

40까지 절감할 수 있어 최소 비용으로 최고 성능의 클라우드 머신러닝 추론 서비스를 제공

- 또한 EC2 Inf1 인스턴스는 개발자들이 주로 사용하는 공통적인 ML 프레임워크(TensorFlow

Apache MXnet Pytorch 등)에서 코드의 변경을 최소화할 수 있도록 ML 추론에 최적화된

애플리케이션을 지원

1) AWS(2019) ldquoHands on deep learning inference with Amazon EC2 Inf1 instancesrdquo 자료 참고

참고 AWS Inferentia 기반 머신러닝 추론 프로세스1)

참고 세이지메이커의 구성요소와 기능

AWS Intel Processors

AWS Inferentia

고성능 딥 러닝 추론을 위한 개발 KIT

컴파일러 런타임 프로파일 링 및

디버그 도구

- 데이터 구축 및 관리

- 데이터 특징 추출 및 레이블 지정

- ML 학습용 데이터 변환

- 데이터 검토

- 추론 클러스터 구축 및 관리

- 추론 API 자동 조정 및 관리

- 모형 검증 품질 개선 모니터링

- ML 노트북 환경 구축 및 관리

- 분석용 데이터 준비

- 사전 알고리즘 및 모델 구축

- 모델 클러스터 구축 및 관리

- ML 알고리즘 조정

- 모델 최적화

프레임워크

머신러닝 추론 작업

AWS Neuron

AWS Nitro

음성 인식

사기 탐지

자연어 처리

객체 인식

개인화

이미지

프로세싱

머신러닝(ML) 서비스

End-to-End 머신러닝 플랫폼 세이지메이커(SageMaker)의 5가지 최신 기능

- 아마존 세이지메이커는 데이터 준비에서 모델의 구축과 학습 및 튜닝 배포와 관리에 이르는

ML 워크플로우를 하나의 환경에서 관리할 수 있는 서비스로 보다 간편하게 ML 모델 개발을

가능하도록 지원

- 세이지메이커에 새롭게 추가된 기능은 ①(레이블 검토) 아마존 A2I ②ML 모델 개발 및 배포를 위한

완전 통합 개발 환경인 세이지메이커 스튜디오와 이를 구성하는 ③(ML 노트북) 세이지메이커

노트북 ④(ML 모델 비교middot분석) 세이지메이커 엑스페리먼트 ⑤(모델 학습middot보정middot선택) 세이지메이커

오토파일럿 ⑥(모델 최적화) 세이지메이커 디버거 ⑦(모델 이탈 감지) 세이지메이커 모델 모니터

SageMaker Ground Truth SageMaker Studio IDE

SageMaker Autopilot

SageMaker Notebooks SageMaker Experiments

SageMaker Neo

SageMaker Model MonitorSageMaker Debugger

ML Marketplace Automatic Model Tuning

SageMaker RL

Augmented Artificial

Intelligence

기계학습용 데이터 레이블

지정과 훈련용 데이터에 대한

라벨링 자동화

머신러닝middot인공지능 개발을 위한 통합된 개발자 환경

자동화된 모델 구축middot학습middot보정

사전 알고리즘 및 모델 구축

매개변수 및 모델 최적화

강화 학습 모델 개발 패키지 지원

엘라스틱 컴퓨팅 가동과 자동화된

노트북 프로세스의 공유

반복적인 모델 버전의

구성middot추적middot비교middot평가

모델 배포

모델 이탈에 대한 감지 및

모니터링

실시간 모델 학습 과정 기록과

모델 품질 개선

데이터 변환 과정 및 레이블

지정에 대한 검토와 ML 모델

예측에 대한 신뢰도 향상

데이터 전처리모니터링 middot

디버깅 middot 재조정

최적 요소 통합

middot 모델 선택

모델 평가 모델 학습

알고리즘

middot 모델 구축

데이터

불러오기

레이블

데이터 레이블 지정 및 검토

구축

ML 알고리즘 및 모델 구축

학습 및 보정

모델 학습 보정 최적화

배포 및 관리

모델 배포와 이탈 감지

Label

Deploy

Build

Amazon SageMaker

Train

데이터불러오기

데이터전처리

알고리즘〮

모델구축

모델 학습모델평가

최적 요소 통합〮

모델 선택

모니터링〮

디버깅〮

재조정

-모델클러스터구축및관리- ML 알고리즘조정-모델최적화

-추론클러스터구축및관리-추론 API자동조정및관리-모형검증 품질개선 모니터링

AmazonSageMaker

Train

-데이터구축및관리-데이터특징추출및레이블지정- ML 학습용데이터변환-데이터검토

- ML 노트북환경구축및관리-분석용데이터준비-사전알고리즘및모델구축

Deploy

Build

Label

세이지메이커의구성요소와기능(page3)


65


① 아마존 증강 인공지능(Amazone Augmeted Artifi cial Intelligence A2I)

- A2I는 기계학습용 데이터 구축 단계에서 낮은 신뢰도를 가진 예측 표본에 대한 검토를 손쉽게

할 수 있도록 개발자의 검토가 필요한 데이터를 자동으로 분류해 주는 기능을 제공

② 세이지메이커 스튜디오(SageMaker Studio)

- lsquo17년 첫 출시된 세이지메이커는 ML 개발 워크플로우의 수동적이며 반복적인 실행으로

생산성 저하와 새로운 알고리즘 개발에 대한 어려움이 존재

- lsquo스튜디오는 머신러닝용 완전 통합 개발 환경(Intergrated Development Environment

IDE)으로 개발자가 맞춤형 ML 모델을 쉽게 개발할 수 있도록 구축 디버깅 훈련 배포

모니터링 등 자동화된 기능을 제공

③ 세이지메이커 노트북(SageMaker Notebooks)

- 단 몇 초 만에 머신러닝 구동이 가능한 엘라스틱 컴퓨트(Elastic Compute)를 탑재한 lsquo주피터

노트북rsquo을 제공하며 머신러닝 워크플로우를 실행하거나 재생성하는데 필요한 모든 기능을 포함

주피터 노트북 (Jupyter Notebook) 웹 브라우저 상에서 파이썬(Python) 코드를 단계적으로

실행해 볼 수 있는 프로그램

- 개발자들이 ML 모델을 개발 시 GPU 가속화 등 노트북에 필요한 컴퓨팅 파워를 백그라운드에서

자동으로 조절 할 수 있도록 지원

④ 세이지메이커 엑스페리먼트(SageMaker Experiments)

- 세이지메이커 엑스페리먼트는 반복적인 실험을 통해 ML 모델을 구축 훈련 비교middot평가하는 완전

관리 서비스로 개발자들이 ML 모델의 이터레이션(iteration)을 구성middot추적할 수 있도록 지원

- 과거 실험 정보들(입력 파라미터 구성 결과 등)이 모두 자동으로 기록되기 때문에 이전 실험에

대한 특징별 검색과 각 실험 간 시각화 및 비교가 가능

참고 Amazone A2I의 작동원리2)

참고 머신러닝 개발을 통합 도구 세이지메이커 스튜디오3)

❶ 클라이언트에서

입력 데이터 전송

❷ AWS AI 서비스

또는 맞춤형

모델이 예측 생성

자동화된 통합 개발 환경

SageMaker NoteBook

SageMaker Debugger

SageMaker Experiment

SageMaker Model Monitor

SageMaker Processing

SageMaker Auto Pilot

모델 훈련 및 결과 확인middot개선의 용이성

❹ 낮은 신뢰도

예측은 사람의

검토가 필요하여

사람에게 전달

❺ Amazon A2I의 응답

정리 알고리즘을

통해 검토 결과를

종합 정리

❻ Amazon S3에

결과 저장

❸ 높은 신뢰도의 예측은 클라이언트

애플리케이션에 바로 전환

❹ 낮은 신뢰도 ❹ 낮은 신뢰도 ❹

예측은 사람의


사람에게 전달

❺ Amazon A2I의 응답 ❺ Amazon A2I의 응답 ❺



종합 정리

❻ Amazon S3에 ❻ Amazon S3에 ❻

결과 저장

❸ 높은 신뢰도의 예측은 클라이언트 ❸ 높은 신뢰도의 예측은 클라이언트 ❸


2) AWS(2019) ldquoIntroduction to Amazon Augmented AI for human review of ML predictions featuring Ripcordrdquo 그림 자료 참고 3) AWS 블로그(201912) ldquoAmazon SageMaker Studio ndash 기계 학습을 위한 최초의 완전 통합형 개발 환경 출시rdquo 자료 재구성

SageMaker Studio와 통합된

Jupyter 노트북 서비스

사전middot사후 처리 및

모델 평가를 쉽게 실행할 수

있게 해주는 기능

배포된 모델에서 컨셉

이탈을 자동으로 감지하고

훈련용 데이터와 예측 데이터를

비교 및 경고 제공

ML모델에 대한 완벽한 제어

및 가시성을 제공하는

AutoML 서비스로

모델 품질 개선 가능

모델 학습 과정을 디버깅

및 프로파일링하여

기계학습 모델의 정확성

훈련 시간 및 최적화 가능

모델을 구축 학습 보정 하는

모든 단계를 자동으로

추적 구성 및 검색


87


⑤ 세이지메이커 오토파일럿(SageMaker Autopilot)

- 모델 생성과정에 대한 설명이 불가능했던 기존 AutoML의 한계를 극복하기 위해 오토파일럿은

시스템이 어떻게 모델을 구성하는지에 대한 시각화와 모델에 맞는 노트북 소스 코드를

제공하는 등 데이터 제어가 가능

- 학습할 데이터를 분류해 입력만 하면 테이블 형식으로 제공하고 ML 모델의 생성 rarr 학습 rarr

보정 등 모델 생성 전 과정을 자동화하여 최적 모델을 선택하게 하는 자동 모델 구축 기능을 제공

⑥ 세이지메이커 디버거(SageMaker Deburgger)

- 모델 훈련 과정에서 발생하는 다양한 로그를 자동으로 저장하고 코드 변경 없이 실시간으로

데이터 분석 및 디버깅을 자동화하여 모델 훈련 시간 단축과 모델의 정확도를 개선

- 또한 아마존 세이지 메이커에서 학습한 모델을 통해 수집한 주요 측정항목을 자동으로

추출하고 추출된 데이터는 디버거 API를 통해 세이지메이커 스튜디오에서 확인이 가능

- 측정항목들은 모델 학습의 정확도 및 성과에 대한 실시간 피드백을 시각적으로 제공하며

ML 모델 학습과정에 대한 해석을 제공하는 의미에서 신경망 구조(hidden layer)에 대한

설명 가능성을 제시

⑦ 세이지메이커 모델 모니터(SageMaker Model Monitor)

- 모델 모니터는 모델을 지속적으로 모니터링하고 시간에 따라 모델 성능을 저하시킬 수 있는

편차(Bias)를 감지하고 수정 조치를 취하는 서비스

- 사전 정의 기준에 따라 지속적인 모니터링을 수행하며 모델 이탈 감지 및 품질 변화를 감지하고

세이지메이커 스튜디오에서 모니터링 결과 측정치를 요약하여 보고

AWS의 4가지 새로운 인공지능(AI) 서비스

(음성인식) 아마존 트랜스크라이브 메디컬(Amazon Transcribe Medical)

- 의료 진료 시 의사와 환자의 음성을 텍스트로 변환하도록 설계된 음성인식 기능으로 진료기록을

실시간으로 작성

- 아마존 트랜스크라이브 메디컬은 진료기록 작성 이외에도 복용 중인 약물에 대한 정보를

수집하고 이상 반응 탐지 및 부작용을 모니터링하는 약물 감시로도 사용 가능

참고 SageMaker Autopilot의 작동원리4)

참고 Amazon Transcribe Medical를 이용한 실시간 진료기록 작성5)

원본 데이터

Amazon S3에서

테이블 형식의

데이터를 가져온 후

모델을 학습

타깃

예측 모델 구축을 위해

목표 변수(column) 선택

자동 모델 생성

자동으로 정확한

알고리즘 선택과 모델

학습 및 수정

모델 최적화

모델 추천 리스트를

통해 최적 모델

선택

시각화 및 데이터 제어

모델에 맞는

노트북 소스 코드

제공

모델 배포 및

모니터링

Amazon Transcribe Medical(자동 음성 인식)

Amazon Comprehend Medical(자연어 처리)

모델 최적화 또는 재학습을 통해 모델 품질 개선

4) httpsawsamazoncomkosagemakerautopilot 5) AWS(2019) ldquoAnnouncing Amazon Transcribe Medical Transforming Healthcare with AIrdquo 자료 참고

의사-환자 간 병원 진료 시

실시간 대화 인식 가능

음성 rarr 텍스트

변환 출력물

텍스트

분석

전자 의료 기록

시스템 (EHR)

실시간으로 의사의 정확한

음성 진료 기록 작성

Amazon

Transcribe

+Medical

Amazon

SageMaker의사-환자 간 병원 진료 시


실시간으로 의사의 정확한실시간으로 의사의 정확한


Amazon

Transcribe

+Medical 텍스트

분석

Amazon

SageMaker


109


(검색) 아마존 켄드라(Amazon Kendra)

- 기존 웹 검색은 회사 내부 문서들이 인트라넷 아마존 S3 등 다양한 데이터 소스에 사일로(Silo)로

존재해 서로 연결되지 않아 내부 자료 검색 시 무작위 링크를 제공하여 찾고자 하는 정보를

일일이 확인해야 하는 어려움이 존재

- 아마존 켄드라는 키워드가 아닌 실제 질문을 이용해 여러 데이터 사일로를 검색하고 데이터

소스(S3 Sharepoint 파일 서버 HTTP 등)만 알려주면 커넥터를 통해 인덱싱하여 문서 출처에

대한 정확한 답변을 제공

아마존 켄드라 기업 내부 정보 검색에 AI 기술을 접목한 엔터프라이즈 검색 서비스

- 아마존 켄드라를 통해 글 그림 음성 등 다양한 데이터를 입력 및 데이터 분류와 간단한

설문조사만으로 문서 검색용 AI를 손쉽게 구현

(보안) 아마존 프로드 디텍터(Amazon Fraud Detector)

- 온라인 결제 사기 및 가짜 계정 생성과 같은 사기성 활동을 쉽게 식별 할 수 있는 사기 탐지 AI

서비스로 온라인 신원도용과 결제 사기를 사전 예측 및 실시간 확인이 가능

- ML 기반 데이터 탐지기를 이용하여 고객의 이상거래 활동과 연관된 이메일 이름 등 일반적인

패턴 감지하고 지속적인 ML 모델 학습을 통해 최적 모델을 선택한 후 개인 API에 적용하여

사전에 이상 거래 예측

(개발) 아마존 코드구루(Amazon CodeGuru)8)

- 아마존 코드구루는 소스 코드 리뷰 및 높은 비용이나 오류를 유발하는 코드 수정 또는 개선을

자동으로 해주는 개발자를 위한 AI 서비스 사전에 이상 거래 예측

- 코드구루의 주요 기능은 개발자가 작성한 코드를 검토하는 lsquo코드그루 리뷰어(CodeGuru

Reviewer)rsquo와 ML 개발 환경의 최적화를 위해 컴퓨팅 파워를 개선하는 lsquo코드그루 프로파일러

(CodeGuru Profiler)rsquo로 구성

참고 Amazon Kendra의 인공지능 엔터프라이즈 검색 서비스6)

참고 Amazon Fraud Detector의 작동원리7)

6) AWS(2019) ldquoTransform the way you search and interact with enterprise data using AIrdquo 자료 참고

인덱스 생성 데이터 소스 추가 테스트 amp 배포

데이터 소스에 저장된

Petabyte 규모의 데이터를

종합하여 사용자가 검색가능하도록

중앙 인텍스를 구축

Amazon S3 Sharepoint Box 등

데이터 소스에 저장된 데이터를

인덱스에 추가 및 동기화

데이터 동기화하여 검색 consol

페이지에서 검색을 테스트한 후

아마존 켄드라를 사용자의 검색

애플리케이션에 배포

7) AWS(2019) ldquoIntroducing Amazon Fraud Detector Detect more online fraud fasterrdquo 자료를 참고하여 정리

8) httpsawsamazoncomkocodegurufeatures

Amazon S3

CSV 파일 형식의 사용자

데이터를 S3로 업로드

Amazon Fraud

Detector

사기 감지 ML 모델 개발을

위한 자동화된 프로세스

Amazon Fraud Detector

Detection Logic

기존 모델 평가 및

탐지 로직 검토 통합

데이터 검증 데이터 품질

개선 및 변환

데이터 특징

가공 및 생성

ML모델 학습

및 선택

모델 성능

비교

모델 배포

및 호스팅

맞춤형 사기 탐지

ML 모델


Prediction API


API를 이용한 실시간 사기

감지 및 사전 예측

❷ ❸ ❹ ❺ ❻❶


1211


참고 Amazon CodeGuru의 구성요소9) 참고 CodeGuru Profi ler의 작동원리

참고 CodeGuru Reviewer의 실행 과정

9) AWS(2019) ldquoIntroduction to Amazon CodeGururdquo 자료 참고

CodeGuru Reviewer CodeGuru Profi ler

실행가능한

권장사항이 포함된

코드 리뷰 구축

비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스

- (Reviewer) 개발자가 작성한 코드를 자동으로 분석하여 민감 데이터의 부적절한 처리 입력

문구의 중복 등 코드의 문제를 찾고 수정 코드에 대한 권장 사항을 제공

- (Profi ler) 실시간으로 애플리케이션의 CPU 사용률 및 지연 시간 특성을 분석하고 애플리케이션

성능 최적화를 위해 비경제적인 코드를 자동으로 수정하여 CPU 사용률 절감 및 애플리케이션

성능 개선

urlopenStream()을

이용한 리소스 부족 해결

코드에 사용된 AWS API

및 SDK 검토

예외 처리

코드 수정에 대한

권장사항 확인 및

지속적인 피드백 제공

ML 알고리즘

AWS CodeCommit의 소스

기준으로 코드 결함 식별

시맨틱 특징 및

패턴 추출

입력 코드에 대한

피드백 요청

입력

소스 코드특징 추출 머신 러닝

출력

수정 코드 권장 사항

Customerrsquosapplication


Profiler thread

Profilerthread

Profilerthread

Profiler thread



사용자 애플리케이션

애플리케이션 실행 시각화

코드 수정 권장사항 보고

CodeGuru Profiler

시사점

글로벌 클라우드 플랫폼 시장의 새로운 전략 포인트는 lsquoAaaS(AI as a Service)rsquo

- 최근 글로벌 클라우드 시장은 AImiddotML 개발 및 서비스를 쉽게 구현할 수 있도록 최적화된

클라우드 플랫폼 구축 경쟁이 치열

클라우드 시장의 전략 변화 과정 IaaS(서비스형 인프라) rarr PaaS(서비스형 플랫폼) rarr SaaS

(서비스형 소프트웨어) rarr AIaaS(서비스형 인공지능)

글로벌 AIaaS 시장 규모 전망(lsquo184 MarketsampMarkets) (lsquo18) 152억 달러 rarr (rsquo23) 1088억 달러

(CAGR 482)

- AWS 구글 MS 등 주요 글로벌 클라우드 기업들은 복잡한 절차가 필요한 AI 및 ML을

효율적으로 도입middot활용하기 위해 기존 플랫폼을 개선하거나 새로운 기능을 추가하여 클라우드

AI 서비스(AI as a Service)를 개발

국내 클라우드 기업들도 AImiddotML에 활용할 수 있는 클라우드 플랫폼 구축 가속화

- 국내 클라우드 시장도 대기업을 중심으로 AImiddotML 개발을 위한 클라우드 플랫폼 출시가 가속화

되고 있으며 마인즈랩 등 중소 IT기업에서도 클라우드 기반 AI 서비스 개발이 확대

- 국내 기업들도 글로벌 시장 진출이 이어지고 있는바 AImiddotML 개발을 위한 클라우드서비스를

넘어서 ML 워크로드에 따라 비용 효율적인 기능 업그레이드와 첨단기술을 접목한 다양한

기술개발을 통해 경쟁력 제고가 필요


1413


참고 국내외 주요 AI 클라우드 플랫폼 비교

기업 주요 서비스 내용

세이지메이커는 기업이 ML로 신규 비즈니스를 창출하거나 비용을 절감할 수 있도록

ML모델 생성과 훈련 서비스 배포와 모니터링 등을 통합적인 ML 개발을 지원

텐서플로 엔터프라이즈는 구글 클라우드 플랫폼에서 텐서플로 모델을 보다 쉽게

개발middot구축할 수 있도록 ML 개발 도구를 제공하고 딥러닝 VM을 통해 ML 워크로드

처리 속도를 가속화하여 AI 모델 구축 및 확장에 용이

애저 머신러닝 서비스는 한번의 클릭으로 ML모델 선정 및 보정을 자동화하고

머신러닝용 개발middot운영을 통해 생산성 향상 및 파이썬 SDK를 제공하여 오픈소스

프레임워크로 사용 가능

클로바는 다양한 디바이스 기기들과 연결하여 AI 기반 검색기능 날씨 정보 음악 추천

번역 등 다양한 기능들을 제공하며 lsquo클로바 스킬 툴rsquo을 통해 AI 기반 콘텐츠나 서비스

개발이 가능

DAP는 클라우드 기반으로 AI 플랫폼을 학습시키고 AI 서비스 모델을 생성하는 AI

빅데이터 플랫폼으로 머신러닝middot딥러닝 기반의 다양한 AI 분석 기능을 제공

maumai는 음성 언어 사고 시각 등 인공지능 각 영역에서 핵심 기술을 모듈화하여

사용자가 원하는 분야에 맞춤형으로 적용할 수 있는 인공지능 플랫폼마인즈랩

LG CNS

아마존

구글

Microsoft

NAVER

1 AWS (201912) ldquoAWS RE Invent 특집 온라인 세미나 - 주요 신규 출시 서비스 알아보기rdquo

2 AWS (201912) ldquoAnnouncing Amazon Transcribe Medical Transforming Healthcare

with AIrdquo

3 AWS (201912) ldquoBuild accurate training datasets with Amazon SageMaker Ground

Truthrdquo

4 AWS (201912) ldquoHands on deep learning inference with Amazon EC2 Inf1 instancesrdquo

5 AWS (201912) ldquoIntroducion_Amazon SageMaker Studio the fi rst full IDE for MLrdquo

6 AWS (201912) ldquoIntroduction to Amazon Augmented AI for human review of ML

predictions featuring Ripcordrdquo

7 AWS (201912) ldquoIntroduction to Amazon CodeGuru Automated code reviews and

application performance recommendationsrdquo

8 AWS (201912) ldquoIntroduction to Amazon SageMaker Debugger Get insights into ML

model trainingrdquo

9 AWS (201912) ldquoIntroduction to_Amazon SageMaker Autopilot Auto generate ML

modelsrdquo

10 MarketsandMarkets (201804) ldquoArtifi cial Intelligence as a Service Market by Ser-

vice Type (Software Tools and Services) Technology (Machine Learning and Deep

Learning and Natural Language Processing) Organization Size Vertical and Region

- Global Forecast 2023rdquo

11 컴퓨터월드 20191230 AI에도 클라우드 바람 AIaaS로 코드 없는 AI 개발 가능

참고자료

1 「SPECIAL REPORT」는 글로벌 미래전략과 디지털 혁신 동향을 시의성있게 분석한 보고서 입니다

2 본 보고서는 방송통신발전기금으로 수행한 정보통신middot방송 연구개발 사업의 결과물입니다

3 본 보고서 내용의 무단 전재를 금하며 가공middot인용할 때는 반드시 출처를 「한국정보화진흥원(NIA)」이라고

밝혀 주시기 바랍니다

4 본 보고서의 내용은 한국정보화진흥원의 공식 견해와 다를 수 있습니다


43


- 아마존 인퍼런시아는 더욱 빠른 시간 내에 더 많은 데이터를 모델에 학습시킬 수 있도록 설계한

맞춤형 머신러닝 추론 칩으로 4개의 뉴런코어(Neuron Core)로 이루어져 있으며 각 칩당

128 TOPS(초당 테라 연산)의 성능을 구현하여 초저지연middot초전력 추론이 가능

(ML 추론 프로세스) 머신러닝 추론 인스턴스(Amazon EC2 Inf1 Instance)

- Inf1 인스턴스는 기계 학습 추론용 인스턴스로 AWS에서 설계한 최초의 맞춤형 머신러닝

추론 칩인 AWS Inferentia 기반의 EC2 서비스

AWS EC2(Elastic Compute Cloud) 서비스 사용자가 자신의 컴퓨터 애플리케이션을 실행할

가상 컴퓨터를 대여해주는 서비스로 AMI(Amazon Machine Image)를 통해 사용자가 원하는

소프트웨어를 포함하는 인스턴스(가상서버)를 구축하고 보안 및 네트워크 구성과 스토리지

관리가 가능

- 기존의 GPU 기반 G4 인스턴스와 비교하면 최대 3배 빠른 연산 처리량과 추론 당 비용을 약

40까지 절감할 수 있어 최소 비용으로 최고 성능의 클라우드 머신러닝 추론 서비스를 제공

- 또한 EC2 Inf1 인스턴스는 개발자들이 주로 사용하는 공통적인 ML 프레임워크(TensorFlow

Apache MXnet Pytorch 등)에서 코드의 변경을 최소화할 수 있도록 ML 추론에 최적화된

애플리케이션을 지원

1) AWS(2019) ldquoHands on deep learning inference with Amazon EC2 Inf1 instancesrdquo 자료 참고

참고 AWS Inferentia 기반 머신러닝 추론 프로세스1)

참고 세이지메이커의 구성요소와 기능

AWS Intel Processors

AWS Inferentia

고성능 딥 러닝 추론을 위한 개발 KIT

컴파일러 런타임 프로파일 링 및

디버그 도구

- 데이터 구축 및 관리

- 데이터 특징 추출 및 레이블 지정

- ML 학습용 데이터 변환

- 데이터 검토

- 추론 클러스터 구축 및 관리

- 추론 API 자동 조정 및 관리

- 모형 검증 품질 개선 모니터링

- ML 노트북 환경 구축 및 관리

- 분석용 데이터 준비

- 사전 알고리즘 및 모델 구축

- 모델 클러스터 구축 및 관리

- ML 알고리즘 조정

- 모델 최적화

프레임워크

머신러닝 추론 작업

AWS Neuron

AWS Nitro

음성 인식

사기 탐지

자연어 처리

객체 인식

개인화

이미지

프로세싱

머신러닝(ML) 서비스

End-to-End 머신러닝 플랫폼 세이지메이커(SageMaker)의 5가지 최신 기능

- 아마존 세이지메이커는 데이터 준비에서 모델의 구축과 학습 및 튜닝 배포와 관리에 이르는

ML 워크플로우를 하나의 환경에서 관리할 수 있는 서비스로 보다 간편하게 ML 모델 개발을

가능하도록 지원

- 세이지메이커에 새롭게 추가된 기능은 ①(레이블 검토) 아마존 A2I ②ML 모델 개발 및 배포를 위한

완전 통합 개발 환경인 세이지메이커 스튜디오와 이를 구성하는 ③(ML 노트북) 세이지메이커

노트북 ④(ML 모델 비교middot분석) 세이지메이커 엑스페리먼트 ⑤(모델 학습middot보정middot선택) 세이지메이커

오토파일럿 ⑥(모델 최적화) 세이지메이커 디버거 ⑦(모델 이탈 감지) 세이지메이커 모델 모니터

SageMaker Ground Truth SageMaker Studio IDE

SageMaker Autopilot

SageMaker Notebooks SageMaker Experiments

SageMaker Neo

SageMaker Model MonitorSageMaker Debugger

ML Marketplace Automatic Model Tuning

SageMaker RL

Augmented Artificial

Intelligence

기계학습용 데이터 레이블

지정과 훈련용 데이터에 대한

라벨링 자동화

머신러닝middot인공지능 개발을 위한 통합된 개발자 환경

자동화된 모델 구축middot학습middot보정

사전 알고리즘 및 모델 구축

매개변수 및 모델 최적화

강화 학습 모델 개발 패키지 지원

엘라스틱 컴퓨팅 가동과 자동화된

노트북 프로세스의 공유

반복적인 모델 버전의

구성middot추적middot비교middot평가

모델 배포

모델 이탈에 대한 감지 및

모니터링

실시간 모델 학습 과정 기록과

모델 품질 개선

데이터 변환 과정 및 레이블

지정에 대한 검토와 ML 모델

예측에 대한 신뢰도 향상

데이터 전처리모니터링 middot

디버깅 middot 재조정

최적 요소 통합

middot 모델 선택

모델 평가 모델 학습

알고리즘

middot 모델 구축

데이터

불러오기

레이블

데이터 레이블 지정 및 검토

구축

ML 알고리즘 및 모델 구축

학습 및 보정

모델 학습 보정 최적화

배포 및 관리

모델 배포와 이탈 감지

Label

Deploy

Build

Amazon SageMaker

Train

데이터불러오기

데이터전처리

알고리즘〮

모델구축

모델 학습모델평가

최적 요소 통합〮

모델 선택

모니터링〮

디버깅〮

재조정

-모델클러스터구축및관리- ML 알고리즘조정-모델최적화

-추론클러스터구축및관리-추론 API자동조정및관리-모형검증 품질개선 모니터링

AmazonSageMaker

Train

-데이터구축및관리-데이터특징추출및레이블지정- ML 학습용데이터변환-데이터검토

- ML 노트북환경구축및관리-분석용데이터준비-사전알고리즘및모델구축

Deploy

Build

Label

세이지메이커의구성요소와기능(page3)


65




























또는 맞춤형



SageMaker NoteBook

SageMaker Debugger







예측은 사람의


사람에게 전달




종합 정리

❻ Amazon S3에

결과 저장




예측은 사람의


사람에게 전달




종합 정리


결과 저장















AutoML 서비스로










87





























원본 데이터

Amazon S3에서

테이블 형식의


모델을 학습

타깃






학습 및 수정

모델 최적화



선택


모델에 맞는


제공

모델 배포 및

모니터링








변환 출력물

텍스트

분석


시스템 (EHR)



Amazon

Transcribe

+Medical

Amazon





Amazon

Transcribe

+Medical 텍스트

분석

Amazon

SageMaker


109









































Amazon S3



Amazon Fraud

Detector




Detection Logic




개선 및 변환

데이터 특징

가공 및 생성

ML모델 학습

및 선택

모델 성능

비교

모델 배포

및 호스팅


ML 모델


Prediction API




❷ ❸ ❹ ❺ ❻❶


1211






실행가능한



비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스





성능 개선

urlopenStream()을



및 SDK 검토

예외 처리




ML 알고리즘




패턴 추출


피드백 요청

입력


출력




Profiler thread

Profilerthread

Profilerthread

Profiler thread






CodeGuru Profiler

시사점







(CAGR 482)











1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료







65




























또는 맞춤형



SageMaker NoteBook

SageMaker Debugger







예측은 사람의


사람에게 전달




종합 정리

❻ Amazon S3에

결과 저장




예측은 사람의


사람에게 전달




종합 정리


결과 저장















AutoML 서비스로










87





























원본 데이터

Amazon S3에서

테이블 형식의


모델을 학습

타깃






학습 및 수정

모델 최적화



선택


모델에 맞는


제공

모델 배포 및

모니터링








변환 출력물

텍스트

분석


시스템 (EHR)



Amazon

Transcribe

+Medical

Amazon





Amazon

Transcribe

+Medical 텍스트

분석

Amazon

SageMaker


109









































Amazon S3



Amazon Fraud

Detector




Detection Logic




개선 및 변환

데이터 특징

가공 및 생성

ML모델 학습

및 선택

모델 성능

비교

모델 배포

및 호스팅


ML 모델


Prediction API




❷ ❸ ❹ ❺ ❻❶


1211






실행가능한



비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스





성능 개선

urlopenStream()을



및 SDK 검토

예외 처리




ML 알고리즘




패턴 추출


피드백 요청

입력


출력




Profiler thread

Profilerthread

Profilerthread

Profiler thread






CodeGuru Profiler

시사점







(CAGR 482)











1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료







87





























원본 데이터

Amazon S3에서

테이블 형식의


모델을 학습

타깃






학습 및 수정

모델 최적화



선택


모델에 맞는


제공

모델 배포 및

모니터링








변환 출력물

텍스트

분석


시스템 (EHR)



Amazon

Transcribe

+Medical

Amazon





Amazon

Transcribe

+Medical 텍스트

분석

Amazon

SageMaker


109









































Amazon S3



Amazon Fraud

Detector




Detection Logic




개선 및 변환

데이터 특징

가공 및 생성

ML모델 학습

및 선택

모델 성능

비교

모델 배포

및 호스팅


ML 모델


Prediction API




❷ ❸ ❹ ❺ ❻❶


1211






실행가능한



비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스





성능 개선

urlopenStream()을



및 SDK 검토

예외 처리




ML 알고리즘




패턴 추출


피드백 요청

입력


출력




Profiler thread

Profilerthread

Profilerthread

Profiler thread






CodeGuru Profiler

시사점







(CAGR 482)











1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료







109









































Amazon S3



Amazon Fraud

Detector




Detection Logic




개선 및 변환

데이터 특징

가공 및 생성

ML모델 학습

및 선택

모델 성능

비교

모델 배포

및 호스팅


ML 모델


Prediction API




❷ ❸ ❹ ❺ ❻❶


1211






실행가능한



비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스





성능 개선

urlopenStream()을



및 SDK 검토

예외 처리




ML 알고리즘




패턴 추출


피드백 요청

입력


출력




Profiler thread

Profilerthread

Profilerthread

Profiler thread






CodeGuru Profiler

시사점







(CAGR 482)











1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료







1211






실행가능한



비경제적 코드

사전 감지 및

최적화

개발환경

비용 및

성능 향상

개발자를 위한

인공지능

서비스





성능 개선

urlopenStream()을



및 SDK 검토

예외 처리




ML 알고리즘




패턴 추출


피드백 요청

입력


출력




Profiler thread

Profilerthread

Profilerthread

Profiler thread






CodeGuru Profiler

시사점







(CAGR 482)











1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료







1413














개발이 가능





LG CNS

아마존

구글

Microsoft

NAVER



with AIrdquo


Truthrdquo








model trainingrdquo


modelsrdquo






참고자료






- 인공지능 플랫폼의 현재와...

Documents