data freedom을위한 database 최적화전략 · aws 글로벌 인프라 고객애플리케이션...
TRANSCRIPT
Data Freedom을 위한 Database 최적화 전략
AWS 플랫폼 서비스와 사례 중심
구 태 훈Database & Big Data Business Development
2017. 10. 18
목차
I. Why 왜엔터프라이즈기업을위한클라우드데이터베이스가필요한가?
II. What 아마존웹서비스에서검증된사례는무엇이있는가?
III. How 어떻게데이터마이그레이션의시작을도와드릴까요?
2
3
Why Data Freedom ?• 왜 엔터프라이즈 기업을 위한 클라우드
데이터베이스가 필요한가?
4
기존 데이터베이스 특징
You’ve Got
Mail!
AUDIT
Proprietary Lock-In Punitive
LicensingVery Expensive
5
Why Data Freedom ? - #1 상용 데이터베이스의 비용과 위험에서 독립
지속적으로증가하는독점적인상용데이터베이스의비용과감사에대한위험으로부터독립할수있는방안을제시하고성공적인클라우드환경의적합한대안제시필요
기존 독점적인 데이터베이스는비용이 높고, AWS에서
오픈소스로 전환하면 비용을90 % 이상 줄일 수 있음
기존 독점적인 데이터베이스는위험하고, AWS에서 제공하는
데이터베이스로 전환은위험을 줄일 수 있음
비용 위험
6
Why Data Freedom ? - #2 클라우드 환경에 적합한 데이터베이스 선택
클라우드환경의마이크로서비스및서버리스아키텍처에적합한데이터베이스및관련서비스에대한구체적인대안인필요
SearchFeed
Tracking
SpamStat Updater
API
마이크로서비스 아키텍처기존 모놀리식 아키텍처
Data Store
Applications
7
Why Data Freedom ? - #3 기존 데이터 관리의 문제 해결
대부분데이터는자산으로평가받지못하고소모되고있음
8
Why Data Freedom ? - #4 신속한 빅데이터 활용 결과 생성 방안
대부분의기업이빅데이터를저장하고있지만비즈니스결과를생산할수있는활용부족
4% of companiesuse analytics effectively (2)
70%of data
generated by customers
80%of data stored
3%prepared for
analysis
0.5%being
analyzed
<0.5%being
operationalized80% of CEOs
thinking data mining and analysis are strategically
important (1)(1) 2015 PWC CEO Survey;
(2) 2013 Bain and Company - The Value of Big Data
9
Why Data Freedom ? - #5 새로운 비즈니스 과제 수행 방안
최근4차산업혁명의중요한화두인AI & Machine Learning 기반의다양한새로운비즈니스과제수행을위한클라우드데이터플랫폼필요
이미지 패턴 분석 음성 인식 및자연어 처리
자율 주행 자동차
10
인공 지능
데이터베이스
AWS 글로벌 인프라
고객 애플리케이션
모바일
MobileAnalytics
Cognito
분석
KinesisRedShift EMR
16 Regions 42 Availability Zones
네트워크
VPC Direct Connect Route 53
스토리지 및 콘텐츠 전송
EBS S3 Glacier Cloud Front
DynamoDBRDS ElastiCache
개발자 도구
OpsWorks CloudFormation
CodeDeploy
보안 & 자격 증명 및 규정 준수
CloudWatch Config CloudTrail
IAM Directory KMS
애플리케이션
SQS SWF AppStream
ElasticTranscoder
SES CloudSearch
SNS
비즈니스 생산성
WorkSpaces WorkDocsWorkMail
컴퓨팅
EC2 ELB LambdaECSBeanstalk StorageGateway
Database Migration
Service
CodeCommit CodePipeline
AmazonInspector
AWS WAF
Elasticsearch
MachineLearning
QuickSight DataPipeline
Mobile Hub DeviceFarm
APIGateway
Shield
76 Edge Locations
RekognitionPolly
Lex
AWS 활용 = Building Block 조립
12
AWS 클라우드 아키텍처
애플리케이션 데이터
웹서버EC2 instance
IP주소Elastic IP
사용자 요청 도메인
도메인 네임Amazon Route 53
DB서버RDS Instance
Availability Zone
부하 분산Elastic LoadBalancing
정적 파일Amazon S3
글로벌분산
서비스관리 및배포
AWS Elastic Beanstalk
Amazon CloudFront
13
AWS 데이터베이스 서비스
RDS Open Source
RDS Commercial
Aurora
Migration for DB Freedom
DynamoDB& DAX
ElastiCache EMR AmazonRedshift
RedshiftSpectrum
AthenaElasticsearchService
QuickSightGlue
LexPollyRekognition Machine
Learning
Databases to Elevate your AppsRelational Non-
Relational& In-
Memory
Analytics to Engage your Data Inline Data Warehousing Reporting
Data Lake
Amazon AI to Drive the FutureDeep Learning, MXNet
Database MigrationSchema Conversion
AWS는필요워크로드에적합한다양한데이터베이스서비스를제공
14
AWS 데이터베이스 서비스
AWS는최고의데이터베이스서비스를제공함
DB as a Service
“AWS not only has the largest adoption of
DBaaS, it also offers the widest range of
offerings to support analytical, operational,
and transactional workloads.”
“AWS’s key strengths lay in its dynamic
scale, automated administration,
flexibility of database offerings, strong
security, and high-availability capabilities,
which make it a preferred choice for
customers”
15
AWS는데이터베이스서비스와관련RDB, Big Data, Analytics, NoSQL 등포괄적인서비스를제공하고있으며다양한관리형데이터베이스서비스를제공함
AWS 데이터베이스 서비스
Big
Data
RDS
Aurora
DatabaseMigrationService
Relational Databases
DynamoDB
ElastiCache
NoSQL & In-Memory
AmazonRedshift
EMR
Data Pipeline
Athena
Big Data
QuickSight
Elasticsearch
Amazon ML
Analytics
16
AWS 데이터베이스 서비스
Commercial Open source Amazon Aurora
17
Data Freedom의 효과
All the advantages of the AWS Cloud No software audits
Pay-as-you-go pricing
Managed data services
AWS Security
High availability
18
Data Freedom의 효과
19
What’s AWS best practice?• 아마존웹서비스에서
검증된 사례는 무엇이 있는가?
20
산업별로 다수의 데이터베이스 이전 사례
21
#1. FINRA
22
#1. FINRA
가장 먼저, 빅데이터 어플라이언스에서클라우드 기반 스텍으로 빅데이터애플리케이션을 이관함
EMR & S3를 이용한 데이터 추출, 처리, 저장으로 Data Lake 구성
AWS의 Hbase – OATS 처리 및 주식 시장주문 흐름 재구성 지원
Herd – 오픈 소스 통합 데이터카탈로그로 모든 것을 추적(https://github.com/FINRAOS/herd)
Splunk를 기반으로 모니터링 처리 및과금
데이터 센터의 나머지 RDBMS 지원어플리케이션에 대해서RDS PostgreSQL로 마이그레이션 수행
Materialized View를 활용하여어플리케이션간 데이터 세트를공유하는 데이터 허브를 구축
재 작업을 최소화하면서 업스트림/ 다운스트림 클라우드 마이그레이션수행
독립적으로 어플리케이션 마이그레이션수행
23
#1. FINRA
데이터센터의RDBMS 지원응용프로그램을Amazon RDS PostgreSQL 로마이그레이션을수행했고,총 2500개의대상을마이그레이션을성공적으로수행해서125 TB의전체크기로수행함
24
#1. FINRA
허브가 다중 AZ로구성됩니다.
KMS에서 나머지암호화 지원
SSL 연결
읽기 트래픽을오프로드하기 위해복제본 읽기
25
#2. Trimble
1,000,000대가 넘는 운송 물류 추적하는 시스템대상
전체 Oracle, Informatica, Microstrategy 기반데이터 인프라를 AWS RDS PostgreSQL로 이관
6주간 $55,000 금액 규모로 신속한 마이그레이션프로젝트수행 완료
AWS Snowball을 이용 2TB 데이터 전송, 70개의마이그레이션 인스턴스 실행
오라클 라이센스 관련 6개월만에 ROI 투자회수 달성, 연간 $160 K 비용 절감
Fleet Logistics SaaS 제공업체는데이터웨어하우스및보고를위한비용절감및유연성이필요했음시스템은1M 차량을추적함
26
Fleet Logistics SaaS 제공업체는데이터웨어하우스및보고를위한비용절감및유연성이필요했음시스템은1M 차량을추적함
On Premises
Oracle OLTP
On-vehicle IoT app
Fleet Mgmt App
InformaticaETL
Micro-strategy BI
Oracle DW
Before:
• 전제 Informatica ETL과Oracle DW
• 고객은 영국과 미국의 2 개지역으로 나뉩니다.
• Oracle 라이센스 비용을줄이고 재해 복구를 요구함
#2. Trimble - Oracle to RDS for PostgreSQL
27
#2. Trimble - Oracle to RDS for PostgreSQL
PostgreSQL은기존Microstrategy 보고용대시보드와뛰어난호환성을제공했고, On-premise의PostgreSQL으로데이터및절차를변환한다음PostgreSQL 용RDS에데이터를적재함
Migration:
• 제한된 네트워크 대역폭 -대량 전송을 위해 AWS Snowball 사용
• 최종 동기화를위한 온라인데이터 연결
• 영국 위치 먼저
On Premises
Oracle OLTP
Oracle DW
Informatica
AWS UK
PG 9.5
Oracle_fdw
Snowball export / import
Export (COPY to file) Import (COPY)
Postgres_fdw(cut over sync)
InformaticaPG ODBC
PostgreSQL RDS
RDS DB instance standby
(multi-AZ)
BI Regress Tool
Pre-Migration Temporary Migration Post Migration
Micro-strategy BI
Microstrategy
On EC2
28
#2. Trimble - Oracle to RDS for PostgreSQL
Oracle 라이센스절감으로6 개월만에ROI 달성
Results:
• 영국 위치에 대해 6 주, $ 55K DB 마이그레이션
• 다운 타임 최소화 및 일관된UI로 최종 사용자의 영향최소화
• 2017에 미국으로 확산 계획
• 여러 개의 추가 Oracle DB 마이그레이션 계획
On Premises
Oracle OLTP
AWS UK
InformaticaETL
PostgreSQL RDS
RDS DB instance standby
(multi-AZ)
MicrostrategyOn EC2
29
#3. LogicBay
임대및관리관련솔루션을Mercedes-Benz Trucking 및Caterpillar와같은산업용차량제조업체의SaaS 제공하는서비스업체
Co-location Hosting Before:
• 이기종 데이터베이스 사용 -오라클의 대규모 고객, MySQL의소규모 고객
• 이기종 DB의 관리 비용 증가 및오라클 비용 문제를 해결하지 못함Oracle
Java Web App
Java Web App
Java Web App
OracleMySQ
LMySQ
L
Java Web App
30
#3. LogicBay
Phase 1: Replace Oracle and MySQL with PostgreSQL
Co-location Hosting Phase 1:
• 단일 DB 플랫폼인 PostgreSQL로전체 마이그레이션 수행
• 제품 복잡성 및 비용 절감과오라클 비용 절감
• 1 년 이내에 ROI 회수
Postgre
SQL
Java Web App
Java Web App
Java Web App
Postgre
SQL
Postgre
SQL
Postgre
SQL
Java Web App
31
#3. LogicBay
Phase 2: Move to AWS RDS for PostgreSQL
Phase 2:
• AWS로 SaaS 플랫폼 이전
• 데이터베이스가 RDSPostgreSQL로 마이그레이션 수행
• DBA 비용 절감, 가동 시간 향상
• 손쉬운 복제, 페일 오버
AWS US
Java on EC2
RDS for PostgreS
QL
RDS Instance Standby
32
아마존닷컴 사례 - 주요 AWS Services
Analytics – Amazon Redshift, Amazon Machine Learning.
Application Services – Amazon API Gateway, CloudSearch, Data Pipeline,
Elastic Transcoder, SES, SNS, SQS, SWF.
Compute – EC2, Auto Scaling, EBS, EMR, Lambda.
Database – DynamoDB, ElastiCache, Kinesis, Kinesis Firehose, RDS.
Management Tools – CloudTrail, CloudWatch, Trusted Advisor.
Mobile – Mobile Analytics.
Networking –Direct Connect, Directory Service, Virtual Private Cloud, Route 53.
Security & Identity – CloudHSM, IAM, KMS.
Storage & Content Delivery – CloudFront, S3, Amazon Glacier.
33
국내 적용 사례
성능 개선 – 게임사 사례, Aurora vs. RDS MySQL – r3.4XL
Aurora 3X faster on r3.4xlarge
34
국내 적용 사례
마이크로서비스 기반모바일 서비스마이그레이션 (2016)
마이크로 서비스 아키텍처로 방송서비스 진화 (2016)
35
How to Start?• 어떻게 데이터마이그레이션의 시작을
도와드릴까요?
36
데이터전략워크샵은AWS에서어떤데이터플랫폼서비스를통해서클라우드환경에서성공적으로비즈니스가치를실현할수있는지검증할수있는방법을제공함
데이터 전략 워크샵으로 시작
Data Strategy Workshop
Data Freedom Workshop Data Lake Workshop
신규 및 기존 데이터 워크로드에 대한 현황을수집하고 진단해서 AWS의 다양한데이터베이스 서비스 중에 최적 대안을도출하고 이를 검증할 수 있는 계획 수립
빅데이터를 저장, 처리, 분석, 활용할 수 있는AWS Data Lake를 기반으로 도출할 비즈니스결과를 조사하고 이에 필요 데이터와 서비스대안을 도출해서 타당성 검증을 위한 계획 수립
37
신규및기존데이터워크로드에대한현황을수집하고진단해서AWS의다양한데이터베이스서비스중에최적대안을도출하고이를검증할수있는계획수립
Data Freedom Workshop
Data Freedom Workshop PoC
POC 수행 및결과 검증
데이터 워크로드현황 조사
DF1.0
데이터 워크로드진단 및 분석
DF2.0
AWS 대안 도출
DF3.0
POC 계획 수립
DF4.0
현황 진단 계획
38
39
Data Freedom Workshop
AWS 데이터베이스서비스대안선택을위한기준제시
40
Data Freedom Workshop
AWS 아키텍처안제시Amazon Route 53
CloudFront
Availability Zone #1
Amazon S3
DynamoDB
Availability Zone #2
Amazon EC2
ElastiCache(Redis Master)
ElastiCacheMemcached
Amazon EC2
Redis Slave
Auto Scaling
Geo RoutingUS East
User
Amazon CloudWatch
RDS DB InstanceActive (Multi-AZ)
RDS DB Instance Standby (Multi-
AZ)
RDS DB instance read
replica
Amazon Redshift
41
Questions Answers