클라우드 뉴노멀 시대의 글로벌 혁신 기업들의디지털 트랜스포메이션하이테크/제조업 AWS 사례를 중심으로

정우진 이사2017. 01

Manufacturing IT Trend in 2017

2017년 제조업 IT 기술 트렌드

새로운 비즈니스 모델에서 데이터 및 분석 활용

현장 운영 데이터 마이닝

공장 자동화 및 예방/사전 유지보수

지능형 앱 및 원활한 현장 통신

스마트 데이터, 스마트 의사결정 – not Big & Big Data 관리

수동 프로세스의 자동화, 실행 가능한 메트릭

공급망 협력 및 가시화

4차산업 혁명의 제조업의 방향현장 중심형 스마트팩토리 프레임웍크

맞춤형 생산공장 구현을 통한 제조 경쟁력 확보

현장 중심형 Smart Factory

Simply단순하게

Easily 쉽고 편하게

Quickly빠르게

Safely 안전하게

설비자동화

업무자동화

설비·업무의 자동화

휴먼에러제로화

기술·기능표준화

데이터현재화

빅데이터체계화

업무의 지능화 제조 데이터의 가시화

출처:kmac

TRANSFORMATION

Click & Mortar O2O à On-Demand

Process Innovation Industry 4.0

Mobile IoT

Big Data Machine/Deep Learning

Connected Car Self-driving (Autonomous)

Global AWS Case Study

디지털 트랜스포메이션 선도 기업

산업인터넷Predix

분석 통합 플랫폼

디지털헬스케어스위트플랫폼

IoT 조명

스마트 농기계제품 서비스

시스템들의 시스템

GE의 비즈니스 트랜스포메이션

GE Digital

GE Capital Divestiture

Alstom Acquisition

IT/OT Convergence

Cybersecurity

Cloud

1

2

3

4

5

6

“어젯밤 잠들 때는 산업재 제조 기업이었지만, 오늘 아침 일어나면 소프트웨어/분석 기업이되어 있을 것입니다.”

Jeff Immelt, GE Chairman & CEO

2015년 re:Invent에서 GE CIO의 발표

This is no longer an experiment, it is inevitable, GE CIO, Jim Fowler, Oct 2015

GE는 140년된 전통적 제조업체이지만 이제는 플랫폼 제공 스타트업체임

• 9,000개의 기업내 워크로드를 AWS로 전환 (산재된 300여 ERP 포함)

• 앞으로 3년내에 34개의 데이터센터를 4개의 센터로 축소

• Oil & Gas의 경우 기존 대비 52%의 비용 절감

• 비즈니스 어플리케이션 제공 속도 77% 향상

AWS는 앞으로의 140년을 같이 할 파트너

GE 전환 가속화 Acceleration

• 머신-기계 및 제조/생산 시스템을 위한 오픈,

그러나 보안은 강화된 아키텍처

• 플랫폼 기반의 시스템 및 분석 체계

• 제조 공정상의 문제와 이슈를 해결할 수 있는

기반의 최적화된 어플리케이션

• 주요 중점 사항:- 센서 기반 및 인지 가능한 머신

- 분석 기반의 가시화

- 통합된 시스템

- 표준화 그리고 아키텍처

- 빅데이터와 분석

New Way Working model

DevOps ModelTraditional Model

DevOps: myGEAviation-운영배포 사이클 주기 단축: 4일에서 몇 시간으로-고객에게 제공되는 다양한 서비스 제공 5배 빨리-고객/시장 대응 +240% 향상 speed-to-market

일반적 연구/개발, 개발/운영, 혁신/개선 프로세스에서 지속적으로 서비스개발/운영이 통합되고 지속적으로 발전 시키는 프로세스와 환경으로 전환

자동 리호스팅 Re-Hosting클라우드 마이그레이션 솔루션 Racemi 혜택

• 소스 서버에 배포• 안전, 방화벽 친화적• 라이브 캡처, 낮은 오버헤드, 내구성 지원

• 간단한 Command형 인터페이스• AWS Identity and Access

Management (IAM) 및 AWS STS 서비스를 통해 보안 위임 지원

• 한 번의 캡처를 통한 다량 배포 가능

GE 방화벽

https (443)

파일이동

Amazon EC2 Instances

물리적 서버

가상 기계

에이전트 OG 서브넷

OG 서브넷

Dynacenter Server

공통 서브넷

사업 간 서비스 상태마이그레이션 가속 자동화사이클 시간 단축 단순화비용 혜택

4 클라우드 서비스 CTQ’s

S3Shuttles3 게시 및 구독 Java + AWS Native Services

• 유연한 버킷/폴더 구성• 다중 업로드 활용• AWS SDK가 포함된 STS 지원

• 업로드 시 SNS 알림• SNS가 SQS대기열에 알림

• SQS와 느슨하게 결합• 간단한 명령 행 인터페이스• 선택적 배송 알림

S3 스토리지 버킷HTTP를 통한

파일 이동

목적지SQS 알림 대기열소스

S3 Shuttle

HTTP를 통한파일 이동

완료 알림

사업 간 서비스 상태마이그레이션 가속 자동화사이클 시간 단축 단순화비용 혜택

4 클라우드 서비스 CTQ’s

Philips의 디지털 헬스케어 플랫폼기존 병원 중심의 헬스케어 제품에서 플랫폼 기반의 서비스 통합 제공

Philips의 디지털 헬스케어 플랫폼

HealthSuite IoT Architecture based on AWSDigital Platform Service

Philips의 디지털 헬스케어 플랫폼클라우드 기반 오픈 소스 디지털 플랫폼 서비스 제공

• 15PB 규모의 데이터를

AWS에서 분석

• AWS IoT를 통한 디바이스

연계 및 센서 데이터 축적

• AWS에 700만 디바이스/

센서/모바일앱 연계

Cloud is the core foundation of Philips’ Healthcare Platforms:

Moving from Legacy to Future proof

100+ Sites 3500+ Servers

Extremely high Fixed

costs

Old End-of-term

Infrastructure

No incentives to Decomm &

Modernize Governance

42%

3%

25%

1st tier Datacenter

30% Decommission Infra

Local compute(Darkroom operated)

Workload Split

레거시에서 클라우드-퍼스트에 이르기까지

• “Break-Fix” • SLA 기반 관리 서비스• 예상치 못한 사업중단• 복잡한 공급망 새로운 수요 발생• 다양한 버전• 확장 불가능• 예약 용량 지불• “after the fact” 보고

• “Always On”을 위한 설계• SLA 기반 관리 서비스• 셀프 프로비저닝, 소비자 주도• 일반 시장 유효 서비스• 확장가능 리소스• 사용한 만큼 지불• “실시간“ 사용 & 성과Does not represent a

Philips location

Creating a Landing Zone - Internet Centric Networking

The Internet

Sites

Private Network – ProviderInternet Edge

SaaS Cloud

ISP

Cloud Gateway

1Cloud

Gateway 2

Cloud Gateway

N

Partner Tier1 DC

siteMPLS

Direct Connect

MPLS

JohnDeere사의 농기계 플랫폼 서비스

MyJohnDeere platform Intelligent farming

지능화된 농업을 위한 농기계 플랫폼 서비스 제공

JohnDeere사의 농기계 플랫폼 서비스

Remote Control

원격 조종

MobileConnect

모바일 연계

SeamlessAnalysis

지속적 분석

모바일 원격에서 무인 자동화로 확대하여Precision Agriculture 정밀 농업 실현

JohnDeere사의 농기계 플랫폼 서비스

Connected Mobile Networks

JDLink telematics à JDLink telematics àJohn Deere Farm Sight à MyJohnDeere Platform

사물 인터넷 – John Deere

§ 장치 연결 및 관리

§ 장치 연결 및 데이터 보안

§ 장치 데이터에 따른 처리 및 작동

§ 언제든지 장치 상태 읽기 및 설정 가능

John Deere사의 기술 정보 솔루션 담당 부사장 Patrick Pinkston은 178년 된 본회사가 어떻게 아마존 클라우드를 사용하였는지 설명하고 있다.

John Deere는 AWS IoT 솔루션을 통해 개별작물 및 토지 면적에 대한 농민들의 작물 재배추적을 가능케 함

https://www.youtube.com/watch?v=uq4kQPsM4cQ

Case & Trend Analysis

제품·서비스에서 시스템들의 시스템으로

Product Service Platform&Eco

글로벌 최대 농업 기계/장비 제조 업체인John Deere는 단지 스마트 팩토리 및제품에서 벗어나 농업 분야의 산업 경계를서비스로 확대하고 농장 자동화와 현대화를위한 플랫폼 서비스 회사로 재탄생

Smart, Connected Product의 기능

• 모니터링-제어-최적화-자율화 4가지로 구분

• 각 기능은 이전 단계의 기능에 기반하여 구현

• 예를 들어 제품이 제어 기능을 갖기 위해서는 반드시 모니터링 기능이 전제되어야 함

모니터링

센서 및 외부 데이터 소스를통해 하단의 종합적 모니터링수행:• 제품 상태• 외부 환경• 제품 운영 및 사용

모니터링에 기반하여 변동사항에 대한 경보 및 알람작동

제품 혹은 제품 클라우드내장 소프트웨어는 하단기능 수행:• 제품 기능 제어• 사용자 경험(UX) 개인화

모니터링 및 제어 기능은제품 운영 최적화알고리즘을 통해 하단 기능수행:• 제품 성능 향상• 사전 예측 진단, 서비스 및

수리

모니터링, 제어 및 최적화기능의 조합으로 하단기능 수행:• 자율적 제품 운영• 타 제품 및 시스템과의

운영을 위한 자체 조정• 자율적 제품 향상 및

개인화• 자가 진단 및 서비스

제 어

최적화

자율화

새로운 시스템 아키텍처

스마트,커넥티드 제품위치,조건,사용등관련데이터외부

가격,날씨,공급업체재고등관련데이터

기업서비스 이력,품질보증상태

등관련데이터

데이터 레이크비가공 데이터,다양한

포맷등으로 구성

서술 진단 예측 지시제품상태,환경,운영 서술

제품성능감소 및고장 원인검토

패턴에 기반하여임박사건예측

결과 개선 및문제해결 솔루션탐색

비즈니스 고객 파트너

데이터소스

분석

가공하지않은데이터

심층정보

기본정보사용패턴등

제어와최적화성능향상 SW

업그레이드등통해

Product+Service+Plattform을 위한 아키텍처

IT와 OT와의 결합

OT

IT

CONVERGENCE

…

…

Transactional data: orders, supply network, product design …

MATERIALS & TRANSPORT

CONTROLLERS SENSORS, ACTUATORS

MACHINES & EQUIPMENT

FINANCIALS HR LOGISTICS QUALITY CRMERP

Real-time data: control, safety, security …

IoT = IT+OT à The Connected Enterprise

실시간 Supply Chain 분석 체계

• Input batches• Processing

temperature, humidity, pressure

• Dimensions• Weight• Strength• Date of shipment• Carrier• Shipping service• Batch ID

Commodity

• Input batches• Processing

temperature, humidity, pressure

• Dimensions• Weight• Strength• Date of shipment• Carrier• Shipping service• Serial no.

Part

• Input serial no.• Processing

temperature, humidity, pressure

• Dimensions• Weight• Date of shipment• Carrier• Shipping service• Serial no.

Module

• Model• Configuration• Input serial no.• Processing

temperature, humidity, pressure

• Dimensions• Weight• Destination• Dealer, customer• Chassis no.

Product

• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental

data

• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental

data

• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental

data

AWS Kinesis

실시간 Supplier Networks Analytics

실시간 물류 데이터 수집 및 분석, 공급 업체/OEM/물류 파트너 네트워크 개방 플랫폼

§ 물류 지연에 대한 실시간 경보§ 날씨, 제품 품질 등의 신호 기반 실시간 선제 조치 트리거

분산된 공급망이 생성하는 전세계 정보 분산과일치하는 데이터 수집 및 분석 인프라 제공

§ 실시간 데이터 수집 : Kinesis§ 수집 된 데이터의 안전하고 내구성있는 스토리지 : S3§ 신호에 대한 데이터 분석 : EMR§ 패턴 감지를위한 빠른 분석 : Redshift§ SAP와 같은 추가 워크 플로우에 연결할 수있는 커넥터

프레임 워크 및 확장 가능한 플랫폼

Engineering Workplace: PLM

모든 제품 데이터 관련 데이터 인프라 지원(엔지니어링~품질 보증~판매 후 문서화)

데이터 중복을 피하기 위해 OEM, 중장비 PLM 시스템에 공급 업체, 엔지니어링 서비스 제공 업체, 판매 업체 네트워크 등 연결 à 제품 개발주기 단축

§ 핵심 PLM 인프라를위한 EC2, RDS 및 VPC 엔지니어링데이터를 위한 안전성

§ 비용 효율적인 계층형 스토리지 솔루션을 위한 빌딩 블록S3 / Glacier

§ 파트너 에코 시스템 (Siemens, Dassault 또는 PTC와 같은PLM 공급 업체, 데이터베이스 공급 업체, 계층형 스토리지솔루션 제공 업체) 및 시스템 통합 업체

엔지니어링 데이터 호스트 글로벌 인프라 제공

PLM: Siemens Teamcenter on AWS

• Full Cloud or Hybrid 제공

• Training, Dev & Test, HA Production, Disaster Recovery

Siemens Frameworks and Best Practices

Engineering Workplace: 시뮬레이션

P2C4

클라우드의 HPC 클러스터 온 디맨드 엔지니어링 시뮬레이션더 많은 모델의 시뮬레이션 능력은 더 많은 혁신을 가져 오지만,컴퓨팅 용량을 계획하는 방법은 "n+1"시뮬레이션 실행의 한계 비용 감소, 제품 개발주기 단축

데이터 세트: 거대하지만 효율적으로 데이터를 저장하며, CPU를 데이터 분석에 더 가깝게 제공

§ C4 인스턴스 : CPU 최적화 (인텔)§ P2 인스턴스 : GPU 최적화 (엔비디아)

§ 스팟(Spot)으로 모델 예약 구매

§ 다양한 운영 체제

최신 CPU, 스토리지 및 네트워크 기술을갖춘 컴퓨팅 최적화 인스턴스 유형 제공

PLM: Engineering Collaboration

• Centralized Data Storage

• Global low-latency Access andCollaboration

Engineering Workplace Simulation 사례

“클라우드는 우리가 전에보다 빨리 혁신 할 수있는 기회를 제공합니다.”- Ayumi Tada, IT System Administrator, Honda R&D

§ 충돌 및 재료 역학 시뮬레이션§ 유체 및 열역학 시뮬레이션§ 차체 공기 역학§ 전자기 및 전자기장 시뮬레이션

자동차 부문의 시뮬레이션

§ AWS Spot에 확장 가능 HPC 클러스터 배포(최대 1000 개의 C3 인스턴스)

§ 보다 정확한 결과를 위해 이전보다 많은 시뮬레이션 실행

혼다 재료 역학 시뮬레이션

Proposal AWS Service

4차산업 혁명의 제조업의 방향현장 중심형 스마트팩토리 프레임웍크

Automation Intelligence Datalize

제조업에 제안드리는 AWS 서비스

High PerformanceCompute

Internet of Things

Modeling and Simulation

Archive

CorrelationAnalysis

Mobile DeviceVarious

Sensors

HTTPS

Device

PersistentStream

Intelligent Services By Deep Learning

Artificial Intelligence

Connected, Automated, Control

Big Data Micro Data

IoT 도입을 위한 고려 사항

ThingsSense & Act

CloudStorage& Compute

IntelligenceInsights &Logic → Action

Connectivity

Domain expertise/Applications

System Integration (internal and external)

IOT Strategy/ Business Model

IoT의 3대 기본 사항

ThingsSense & Act

CloudStorage& Compute

IntelligenceInsights &Logic → Action

Intelligence

Things

Cloud orchestration

Re-definition of “IoT”

The AWS IOT Data flow model

Customers Devices, things

and data sources

The AWS IOT Platform AWS Cloud Services

AWS IOT – Unique Value Proposition

Lex Machine LearningPolly Rekognition

Customers Devices, things and data sources

The AWS IOT Platform

Network Compute Storage

ScaleProduct DevelopmentMarketplaceIntegration

IoT, Seamless Connected Device

왕복지연

간헐적 연결

고가의 대역폭

Cloud

SensorMachineDevice Factory

기기를 다시 작성하거나 프로그램하지않는 한 기기의 기본적 내용으로 제한.임베디드 소프트웨어 프로그래밍및 업데이트에는 전문적 기술이필요.

클라우드에서 원활하게 IoT 애플리케이션 실행로컬디바이스/장치에서 제한된애플리케이션독자적 실행

일관성과 기능 서비스를 갖추기 위해 프로그래밍모델에서유연성이필요장치가 자체적으로 이해할 수 있고, 신호가 있을때클라우드 연계, 필요할때상호통신.

클라우드에 최적화된IoT 서비스를디바이스에 임베디드

AWS IOT – Seamless Connected Device

A W S G r e e n g r a s sEmbed Lambda Compute (& Other AWS Services) in Connected Devices

Use The Same AWS Programming Model In Devices And The Cloud

Loca l Compute , Messag ing & Data Cach ing

Local compute

Local data caching

Securecommunications

Local messaging

클라우드에 최적화된 IoT 서비스를 디바이스에 임베디드

제조업 IoT 도입 사례

IoT

고장 예측자산 업타임 확대, 서비스 비용 절감

적응형 진단가동 시간 향상, 서비스 및 보증비용 절감

IoT 장치관리장치무결성 및 운영비 절감

상태 기반 정비능률개선, 서비스 비용 절감

자산 최적화자산 성과 및 능률개선

자산활용상품 디자인 및 준수 개선

제조업 內 IoT

§ 고장 예측 (자산 업타임 개선)§ 품질보증스코어링 (보증비용 절감)§ 성과 데이터 (상품차별화 개선)

§ 조건부 정비(지원 비용 절감)

§ 예측형 진단(지원 비용 절감)

§ 고장 예측 (자산 업타임 개선)§ 자산 최적화 (운영 가시성)§ IoT 장치관리

(OTA 운영 구성 및 원격관리)

장비 OEM

수집

판단

분석

결합

제조사/공장 고객

IoT 도입 모델데이터취합

복잡상황감지

데이터 모델링알고리즘

글로벌 IoT Case Study - Seeed Studio

시드 스튜디오는 공장형 제조기업

하드웨어 스타트업에게 저렴한 비용으로 소량생산이 가능

시제품까지 완성 가능한 One Stop Solution 제공

SMT LineMake Shop

(3DP/밀링머신/CNC)

Incubating Space + Open Source HW 모듈

협력사(디자인/대기업)

HW Startups

제품 디자인과 설계 – Make Shop을 통한 프로토타입 제작 및

평가 – 금형 설계 – 양산 과정 에 이르기 까지 Startup들의

아이디어를 실제로 제품화하는데 필요한 Ecosystem 구축

Seeed Studio의 Open Source HW 제품군을이용한 IoT 제품+서비스 개발 프로세스

• Seeed Studio의 강점은 자체 Open Source HW 제품군을 전세계 IoTStartup/기업들에게 제공

• IoT 기기에 연동되는 Application 개발시필요한 Cloud 서비스까지 지원하기위해 AWS와도 제휴를맺고 있음

• AWS입장에서는 Seeed Studio는전세계 HW Startup과협업하는중요한 Premium Partner임

Agile Manufacturing 시스템 체계 구축

Seeed Studio의 IoT 제품을 기획-개발하는데즉시 사용가능한 Starter Kit

• HW Startup이 어떤 IoT 서비스를 개발할것인가에따라 고를 수 있는 Startker Kit 제공• AWS-Seeed Studio간의관계는 수평적인 전략적 제휴관계

- Seeed Studio는 중국내 IoT Startup들이 자연스럽게 AWS의 IoT를 도입및활용

A Flywheel For Data

Machine LearningDeep LearningAI

Better Products

Better Analytics

Object StorageDatabasesData warehouseStreaming analyticsBIHadoopSpark/PrestoElasticsearch

More Users

More Data

Click streamUser activityGenerated contentPurchasesClicksLikesSensor data

A Flywheel For Data

Machine Learning &Artificial Intelligence

Big Data Analytics

More Users Better Products

More Data Better Analytics

Machine Learning 기계 학습

Collect

Validation data Test dataTraining data

Model training Model validation Final predictions

수집

학습데이터 확인/처리데이터

테스트 데이터

모델학습 모델검증

최종 예측

Data

Output

Computer

Program

개인화

문서 분류

부정방지

추천엔진

고객이탈방지

processing Use Case

신상품 예측 상품평가 분석 ASIN 상품식별번호전환 상품검사(시각화)

딥러닝 정의 Deep Learning – Advanced ML

Neural Networks : A collection of simple, trainable mathematical units that collectively learn complex functions

Where traditional machine learning focuses on feature engineering, deep learning focuses on end-to-end

learning based on raw features

The Advent of Deep Learning

Algorithms

DataProgrammingModels

GPUs&Acceleration

image understanding

natural language processing

speech recognition

autonomy

Machine Learning 기계 학습

Collect

Validation data Test dataTraining data

Model training Model validation Final predictions

수집

학습데이터 확인/처리데이터

테스트 데이터

모델학습 모델검증

최종 예측

Data

Output

Computer

Program

개인화

문서 분류

부정방지

추천엔진

고객이탈방지

processing Use Case

신상품 예측 상품평가 분석 ASIN 상품식별번호전환 상품검사(시각화)

Amazon AI SuiteIntelligent Services Powered By Deep Learning

Amazon AI

Life-like SpeechPolly Lex

Conversational Engine

RekognitionImage Analysis

Image Recognition And Analysis Powered By Deep Learning

Text To Speech Powered By Deep Learning

Natural Language Understanding & Automatic Speech Recognition

Powered By Deep Learning

Polly: 자연스러운 음성 서비스

텍스트를 자연스러운음성으로 변환

47개 목소리 24개 언어 지연 시간 감소및 실시간

완전한 관리

음질 및 발음

1. 자동, 정확 텍스트 프로세싱

2. 이해하기 쉬운

3. 텍스트에 의미 부여

4. 맞춤형 발음

기사 및 블로그

교육 자료

챗봇 (Lex)

공표

Amazon Rekognition

사물 및 풍경 인식 얼굴 분석 얼굴 비교 얼굴 인식

S3, Lambda, Polly, Lex와 통합

딥러닝 기반 이미지 인식 서비스수많은 이미지를 검색, 검증, 조직화

Amazon Lex - 특장점

텍스트 및 음성 언어 이해 : Alexa와 동일한 기술로 구동

엔터프라이즈 SaaS 커넥터 : 엔터프라이즈 시스템에 연결

채팅 서비스 개발 및 구축

서비스 제공자를 위한 설계 : 대화를 구축 할 수있는효율적이고 직관적 인 도구. 자동으로 탄력성/확장성이 있다.

버전 관리 및 네이밍(Alias) 지원

Amazon Lex – 도입 유형 Use Cases

정보봇서비스 - Informational Bots모든고객의매일 일상적질의에 대한챗봇서비스Chatbots for everyday consumer requests

어플리케이션봇 - Application Bots모바일 어플리케이션에 강력한 인터페이스 연계Build powerful interfaces to mobile applications

• 뉴스 업데이트• 날씨정보• 스포츠경기

스코어

기업 생산성봇 – Enterprise Productivity Bots기업의 업무에서 생산성 향상과 업무 과정상에 지원Streamline enterprise work activities and improve efficiencies

• 매출 확인• 마케팅상황/결과• 실시간 재고 파악

IoT봇 – Internet of Things (IoT) Bots디바이스 상호자굥에서 인터페이스를 통한 대화(컨트롤)가능Enable conversational interfaces for device interactions

• 웨어러블• 원격 어플리케이션• 자동화

Enterprise Connectors with Mobile Hub

Amazon Lex

Mobile App

Mobile Hub SaaS Connector

Amazon API Gateway

AWS Lambda

1: Understand user intent

Amazon API Gateway

AWS Lambda

3: Translate REST response into natural language

Mobile Hub Custom Connector

2: Invoke a SaaS application or an existing business application

Business Application

Firewall

User Input

High Performance Compute 고성능 컴퓨팅

결과 시간 저비용 탄력성 전세계 접근성보안 확장성

• 대용량, 계산 집약적 작업의 일괄 처리

• 결과에 대한 집계, 보고, 시각화 필요

• 고성능 CPU, 네트워크, 스토리지 요구

• 다양한 수준의 클라우드 성숙도를 가진 ISV에 기반한 워크플로우

Modeling and Simulation

클라우드의 기업용 HPC를 위한 동기 부여

Cloud for HPC ScalabilityCloud for Secure Global CollaborationCloud for Big Data

Amazon Linux 또는 3.10 버전 이상의 Linux kernel 사용

OS 버전

P-states를 사용하여 프로세서 변동성 감소CPU 선호도를 사용하여 CPU 코어 스레드 연결

Intel MPI 권장

프로세서 상태 및 선호도

MPI 라이브러리

하이퍼스레딩 켜고 끄기 테스트보통 꺼져 있는 것이 좋지만, 항상 그런 것은 아님

하이퍼스레딩

최대 EC2 인스턴스 크기에서의 최고 성능네트워크 초과 신청 없는 배치 그룹 전체 단면적 대역폭

1M PPS 이상의 성능, 인스턴스 간 대기 시간 감소Proprietary Elastic Network Adaptor현재 20Gbps, 30Gbps 출시 예정

AWS 전매 네트워킹

향상된 네트워킹

Migrating HPC to AWS

Shared File Storage

Cloud-based, auto-scaling HPC clusteron EC2

License managers and clusterhead nodes with job schedulers

3D graphics virtual workstation

AWS Direct Connect

On-Premises IT Resources

Thin or Zero Client- No local data -

Storage CacheAmazon S3and Glacier

HPC에 주목하는 AWS

HPC 워크로드는 AWS 고객의 최우선 순위

제조, 자동차, 우주항공, 반도체, 생명과학, 금융 서비스, 에너지, 연구 분야 등

HPC와 함께하는 AWS

§ 머신러닝

§ 데이터센터, 네트워크, 서버 설계

§ 고객 상품 설계

§ 로봇 공학

§ 반도체 설계

§ 소매 및 금융 분석

AWS의 Big Data 도구

Amazon S3

Amazon Kinesis

AmazonDynamoDB

Amazon Redshift

Amazon Elastic

MapReduce• 무엇이든 저장

• 오브젝트스토리지

• 확장성

• 내구성99.999999999%

• 실시간 처리

• 뛰어난 처리능력; 탄력적

• 쉬운 사용

• EMR, S3, Redshift, DynamoDB 연계

• NoSQL DB

• 지속적 확장성

• 관리 필요없음

• 한자리 수밀리세컨드의low-latency

• 관계형 데이터웨어파우스

• 병렬처리

• 페타바이트

• 연간 1 테라바이트에대한 완전관리서비스 비용:$1,000

• Hadoop/HDFS 클러스터

• Hive, Pig, Impala, Hbase

• 완전관리서비스제공, 쉬운 사용

• 온디맨드, 스팟

• S3, DynamoDB, Kinesis와견고하게 연계

Legacy Data Architectures Exist as Isolated Data Silos

Hadoop Cluster

SQL Database

Data Warehouse Appliance

Data Lake 아키텍처 진입

What is Data Lake?

대용량, 이종 데이터 저장 및 분석에

유용한 새로운 아키텍처

Data Lake 혜택

하나의 중앙집중형 장소에서 모든 소스의모든 데이터 저장 및 분석

모든 데이터를 하나의 장소에

사전 정의된 스키마에 맞출 필요 없이빠르게 데이터 수집

신속 데이터 수집

분리된 스토리지 및 컴퓨팅을 통해각 요소의 크기 조정 가능

스토리지 vs 컴퓨팅

스키마-온-라이트가 아닌스키마-온-리드를 통해 즉각적 분석이 가능

모든 데이터를 하나의 장소에

Building a Data Lake on AWS

Kinesis Firehose AthenaQuery Service