데이터마이그레이션및전송을위한 aws 스토지 서비스활용방안€¦ · simple...

데이터 마이그레이션 및 전송을 위한AWS 스토리지 서비스 활용방안

박용선 | Presales / Megazone Cloud

강연 중 질문하는 방법 AWS Builders

Go to Webinar “Questions” 창에 자신이 질문한내역이 표시됩니다. 기본적으로 모든 질문은공개로 답변 됩니다만 본인만 답변을 받고싶으면 (비공개)라고 하고 질문해 주시면 됩니다.

본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약AWS 사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트 상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이우선합니다.

AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다.

고지 사항(Disclaimer)

주요 주제

Agenda

클라우드 마이그레이션 및 하이브리드 클라우드 필요성

데이터 마이그레이션 및 전송을 위한 AWS 스토리지 서비스

AWS Storage Gateway & AWS Backup

AWS DataSync & AWS Transfer for SFTP

AWS Snowball 사례

Cloud Migration & Hybrid Cloud

Common Migration drivers

데이터센터 통합 비용 절감

대규모 컴퓨팅 집약적워크로드

시설 또는 부동산관련 의사결정

코로케이션 또는아웃소싱 계약변경

민첩성 / 개발생산성

인수 또는 매각

디지털트랜스포메이션

Journey to the Cloud

클라우드 도입을 위한 고객 여정은다음과 같은 4단계로 구성됩니다.

• Project

• Foundation

• Migration

• Reinvention

Hybrid Cloud 필요성

Data Lake & Analytics

AnalyticsMachine Learning

Real-time Data Movement

On-premisesData Movement

Data Lake on C loud

Data

Storage Ownership

Scale

Value

Security

엔터프라이즈 환경은 주로 클라우드, 온프레미스 데이터 센터 및 엣지 로케이션의 조합입니다.IT환경의 확장 및 대응 속도, 비즈니스 연속성, 혁신 가속화 등 을 위해 하이브리드 클라우드가 요구 됩니다.

Data center extension

On-premises Data Center

Cloud

Web

Database

WAS

Disaster Recovery

CloudOn-Premises Data Center

Web

WAS

Database

Web

WAS

Database

Mirroring or Replication

데이터 마이그레이션 및 전송을 위한AWS 스토리지 서비스

AWS의 스토리지 서비스 구분

Amazon

Elastic Block Store(EBS)

Amazon

Elastic File System

(EFS)

Amazon

Simple Storage Service(S3)

Amazon

S3 GlacierAmazon FSx

Amazon

FSx for Lustre

Block Object File

AWS Storage Service

AWS Snowball

CloudEndureDisaster Recovery

AWS Backup

AWSSnowmobile

AWS

Snowball Edge

Migration & Transfer

AWS Storage Gateway

Data Migration to Cloud

AWS 데이터전송및마이그레이션포트폴리오

Online Data Transfer Offline Data Transfer Hybrid Storage

AWS Direct Connect

AWS DataSync

AWS Transfer for SFTP

Amazon Kinesis Dat

a Firehose

CloudEndureMigration

Amazon S3 Transfer

Acceleration

AWS로프라이빗

네트워크 연결

S3 전송을위한

엣지 로케이션

AWS로스트리밍

데이터 전송

액티브데이터의

가속화된 전송

App 및 DB의라이브

마이그레이션

S3로SFTP 전송

AWS Snowmobile

AWS Snowball

정적데이터를저장하여

운송

AWS

Storage Gateway

AWS

Snowball Edge

온프레미스로부터 AWS 스토리지에

액세스

비연결환경에서의스토리지및 컴퓨팅

AWS Storage Gateway

AWS Storage Gateway 개요

온 - 프레미스 환경과 연계 가능한 데이터 백업 및 클라우드 스토리지를 제공하는 게이트웨이 서비스

On-Premises Data Center AWS Cloud

AWS StorageGateway

Tape gateway

(iSCSI VTL)

File gateway

(NFS/SMB)

Volume gateway(iSCSI)

Amazon S

3 Glaci

er

Amazon S3

Amazon S3

Glacier Deep Archive

AWS BackupAmazon EBS

AWS StorageGateway

• On- premise에서 동작하는 Appliance (VM or HW)• iSCSI volume mount point 생성(Volume Gateway)• NFS, SMB 프로토콜의 파일저장소 (File Gateway)• 백업데이터를 위한 Virtual Tape Library (Tape Gateway)

• Amazon S3 및 Glacier와 인터페이스• IAM, AWS KMS, AWS CloudTrail, Amazon CloudWatch

등AWS 서비스와 통합

AWS Storage Gateway – File Gateway

File Gateway 개요

On-Premises Data Center

File Share Clients/Application Servers

File GatewayAppliance

Amazon S3Standard

Amazon S3Standard-IA

Amazon S3Glacier

S3Lifecycle

S3Lifecycle

S3 Lifecycle

NFS/SMB

• NFS 및 SMB Storage를 어플라이언스로 제공 (NFS v3, v4.1 및 SMB v2, v3)

• 백업서버의 백업 Target을 AWS Storage Gateway의 NFS/SMB 볼륨으로 설정

• Storage Gateway의 데이터는 Amazon S3로 전송

• S3의 데이터 수명주기 정책을 통해 다른 클래스(Glacier 등)으로 이전

File Share S3 Bucket

AWS Cloud

AWS Storage Gateway – Volume Gateway

VolumeGateway 개요

• 온프레미스 애플리케이션에 클라우드 기반 iSCSI 블록 스토리지 볼륨을 제공

Gateway-stored volumes

• 주 데이터는 on-premise에 저장

• AWS로 비동기 백업 저장

• EBS snapshot으로 저장되는 point-in time 백업

• 최대 32개 볼륨, 최대 볼륨당 16TB, 게이트웨이당 최대 512TB

Gateway-cached volumes

• 주 데이터는 AWS에 저장

• 자주 사용되는 데이터는 on-premise에 캐시됨

• EBS snapshot에 point-in time 백업 저장

• 최대 32개 볼륨, 최대 볼륨당 32TB, 게이트웨이당 최대 1PB

AWS StorageGateway VM

Volumestorage

Uploadbuffer


Cachestorage

Uploadbuffer

AWSStorage Gateway

service

Amazon EBSsnapshots

AWSStorage Gateway

service

Volume storageBacked by Amazon S3

Amazon EBSsnapshots


ApplicationServer

AWS Cloud On-Premises Data Center

ApplicationServer

AWS Cloud

INIT

IATO

R

TAR

GETiSCSI

INIT

IATO

R

TAR

GETiSCSI


BackupServer

AWS Cloud

AWS Storage Gateway – Tape Gateway

Tape Gateway 개요

• AWS에 가상 테이프 저장- Virtual Tape Library(VTL)

• 자주 사용되는 데이터는 on-premise에 캐싱

• 최대 1,500개 가상 테이프, 가상 테이프당 최소 100GiB~5TiB, 최대 집계용량 1PTB

• 아카이브 가능한 데이터 양 및 가상 테이프 개수의 제한 없음

Uploadbuffer

Cachestorage


INIT

IATO

R

MEID

AC

HAN

GE

R

iSCSI

TAPE

DR

IVE

AWS Storage Gateway

Gateway-VTLstorage backedby Amazon S3

VTS storagebacked by

Amazon Glacier


온프레미스서버

AWS Cloud

AWS Storage Gateway – Use Case

데이터 연계

용량 확장(Gateway-Cached Volumes)

온-프레미스 데이터 백업 및 아카이빙

재해 복구를 위한 데이터 저장 및 동기화

데이터 마이그레이션 및 미러링

온-프레미스 스토리지 확장 및 교체

게이트웨이

AWS Storage Gateway

온라인스토리지

Amazon S3

아카이브스토리지

Amazon S3Glacier

데이터 저장

백업（Gateway-Stored Volumes

/ Gateway-VTL）

AWS Storage Gateway – Use Case

Storage Gateway VTL로 Tape 대체 AS-IS : Tape 백업 환경

Use Case : On-premise 데이터를AWS로백업

AS-IS : VTL 백업 및 Tape 소산 환경 Storage Gateway VTL로 AWS에 소산백업 저장

AWS Backup

AWS Backup 개요

• AWS Backup은 각 AWS 서비스별 백업 작업을 자동화하여 중앙 관리할 수 있도록 만든 서비스

• 백업 계획 수립, 백업 수행, 롤백, 백업 결과 모니터링 등을 한곳에서 일원화하여 관리

• 백업은 Backup Plan에 따라 스케줄링 수행 또는 on-demand 방식으로 백업 가능

• EBS, EFS, DynamoDB, RDS, Storage Gateway 의 백업을 지원

AWS Backup with Storage Gateway

AWS Backup + Storage Gateway Use Case

AWS Storage Gateway를 통해 저장된 온-프레미스 데이터를 AWS Backup으로 보호 및 관리

AWS DataSync & AWS Transfer for SFTP

AWS DataSync

AWSDataSync

NFS&

SMB

DataSync

Agent

AWS DataSync개요

AWS Direct Connect or WAN

Encryption with TLS

S3 Bucket

EFS File System

FSx for Windows

File Server

On-Premises Data Center AWS Cloud

Shared File

System

로컬 스토리지의 빠른 액세스를위해 Agent를 온-프레미스에 배포

효율적인 전송 프로토콜을통해 WAN 데이터 전송

AWS 스토리지 서비스로데이터 읽기 또는 쓰기

• AWS 디자인 전송프로토콜을 이용 데이터 전송을 최적화,가속화

• 다중스레드 방식 연결 (DataSync Agent당 최대 10Gbps 지원)

• 파일 및 객체 이동, 데이터 전송 일정 예약, 전송 진행 상황 모니터링, 암호화, 데이터 전송 확인

• DataSync Agent는 완전관리형 서비스로 제공

AWS DataSync Use Case

온프레미스 데이터마이그레이션

하이브리드워크로드를

위한데이터처리데이터보호및비즈니스연속성을위한복제

A W S

• 온프레미스 데이터 마이그레이션

• 초기 복제본 전송

• 변경 데이터 증분 전송

• 암호화 및 무결성 확인

기존온-프레미스 데이터

S3 오브젝트 또는EFS 파일시스템으로

복제

• AWS에서 데이터 처리를 위한 전송

• DataSync로 전송 가속화 및 예약

• 미디어 및 엔터테인먼트 비디오 제작

• 석유 및 가스 분야 지진 연구

• 생명과학 분야 기계학습

• 빅데이터 분석 등

A W S

온-프레미스에서생성된 데이터

클라우드에서데이터 처리

• 대규모 NAS 시스템의 복제 및 백업

• S3 스토리지 클래스의 효율적인 활

용

• 대량의 콜드데이터 아카이빙

• S3 Glacier 및 Deep Archive 활용

• 내구성 및 안정적인 장기 스토리지로

이동

온-프레미스공유파일시스템

(NAS 등)

데이터 복제백업 및 아카이브

AWS Transfer for SFTP

기존 Active Directory

및 LDAP 과 연동

데이터 이관 후 바로 S3에서

아카이브나 처리 용도로 이

용

높은 가용성과 확장성 제공

FTP over SSH

Archival

Analytics

Processing

AWS Transfer

for SFTP

AWS Transfer for SFTP개요AWS에 호스팅된 완전관리형 서비스로, Amazon S3에서 SFTP를 통해 직접 파일을 송수신을 지원

S3

AWS Cloud

Your SFTP

end users


AWS Snowball

AWS Snowball

AWS Snowball & Snowball Edge 개요

• On-Premise와 AWS 클라우드간 빠르고 단순하며

안정적인 데이터 이동 수단 제공

• 10GBase-T 네트워크 연결

• 10/25Gb SFP28 및 40Gb QSFP+ copper 및 optical 네트워킹

(Snowball Edge)

• 50 TB/80 TB Capacity (Snowball)

• 100 TB Capacity (Snowball Edge – Storage Optimized 옵션)

• Local S3 Storage APIs (Snowball Edge)

• Local Lambda Functions & EC2 (Snowball Edge)

※ Snowball Edge – Compute Optimized 옵션은 현재 서울리전 미지원

AWS SnowballAWS SnowballEdge

AWS

SnowmobileStorage Optimized

AWS Snowball

AWS Snowball / Snowball Edge / Snowmobile 비교

AWS Snowball

사용 시나리오 데이터 마이그레이션

스토리지 용량 50TB 및 80TB

온보드 컴퓨팅 옵션 해당사항 없음

암호화 예, 256 bit

NFS를 통한 전송 해당사항 없음

HDFS를 통한 전송 예

S3 API를 통한 전송 예

클러스터링 해당시항 없음

랙 장착 가능 선반

HIPAA 규정준수 예, 적격 서비스

일반적인 작업 수명 일~주

최대 작업 기간 90일

AWS Snowball Edge

사용 시나리오온보드 데이터 마이그레이션

사전처리 옵션

스토리지 용량Storage Optimized 100TBCompute Optimized 42TB

온보드 컴퓨팅 옵션AWS Lambda

Amazon EC2 AMI


NFS를 통한 전송 예

HDFS를 통한 전송 아니오

S3 API를 통한 전송 예

클러스터링 예, 최대 20노드

랙 장착 가능 예

HIPAA 규정준수 예, 적격 서비스

일반적인 작업 수명데이터마이그레이션 : 일~주

로컬컴퓨팅 : 주~월

최대 작업 기간데이터마이그레이션 : 90일

로컬컴퓨팅 : 120일

AWS Snowmobile

사용 시나리오 데이터 마이그레이션

스토리지 용량 100PB

온보드 컴퓨팅 옵션 해당사항 없음


NFS를 통한 전송 예

HDFS를 통한 전송 해당사항 없음

S3 API를 통한 전송 아니오

클러스터링 해당시항 없음

랙 장착 가능 해당사항 없음

HIPAA 규정준수 아니오

일반적인 작업 수명 주~월

최대 작업 기간 120~360일

MEGAZONE CLOUD 소개

• Premier Consulting

Partner

• Channel Partner

• MSP Partner

• Public Sector Partner

• Migration Competency

• Marketing & Commerce

Competency

• Financial Service

Competency

• Education Competency

• Nonprofit Competency

국내 최초 AWS 파트너(2012) 및 국내 최초 AWS 프리미어 컨설팅 파트너(2015).

AWS APAC '올해의 파트너＇및 2년 연속 한국 '올해의 파트너'로 선정(2016,2017)

AWS 클라우드 MSP 부문 K-ISMS 획득(2018, 국내최초).

국제 표준 정보보호 ISO/IEC 27017:2015, ISO/IEC 27018:2019 인증.

인프라스트럭처

InfrastructureCDN

WAS/DBSecurity

마이그레이션 컨설팅

아키텍처 설계

구축

24x7 기술지원

매니지드 서비스

테크니컬 어카운트

매니지먼트(TAM)

클라우드 자문

플랫폼

DevOpsPrivate Cloud

Mgmt.

DevOps 컨설팅

서비스아키텍처 디자인

CI/CD 구축

운영

기술지원

매니지드 서비스

애플리케이션

IndustryLine of Biz

Enterprise Apps

엔터프라이즈

애플리케이션

마이그레이션

마이크로 서비스아키텍처

리팩터링, 리디자인,

클라우드 네이티브 앱

전환

데이터

Big DataAl/MLDW/BI

데이터 마이그레이션

데이터 분석

엔터프라이즈 데이터레이크

인공지능

기계학습

클라우드 기반

데이터 서비스 구축

MEGAZONE CLOUD - AWS Snowball 사례

AWS Snowball Edge PoC사례

• PoC 개요- AWS Snowball 서비스를 활용한 대용량 데이터 이관 가능성 검증

• 마이그레이션 대상- 약 60여대의 NAS 장비- 대상 데이터 용량 : 300TB 이상

• PoC 목표- NAS → Snowball Edge 간 데이터 전송속도 검증- 고객 데이터의 S3 업로드 가능성 검증 : 고객 데이터의 특수문자 정상 업로드 확인- 데이터 마이그레이션 계획 및 예상기간 도출

10G 10G 1G 1G

10G 1G 1G 1G

10G

NAS-1 NAS-2 NAS-3 NAS-4

Work-1

Work-2 Work-3 Work-4Snowball Edge

Network Switch

HTTP/HTTPSSMB/NFS


- NAS 스토리지 읽기 처리량목표하는 데이터 전송 속도의 총 합보다같거나 높은 수준의 스토리지 읽기 처리량 필요

- Snowball Edge와 Workstation 네트워크 대역10Gbps 이상 구성 및 동일 대역에 구성하여네트워크 손실 및 홉 감소

- Workstation 지원 사양NAS에서 데이터를 읽어 Snowball Edge로데이터를 전송하는 역할로 특정 사양 이상 요구

- Snowball Client 및 Snowball 용 S3 Adaptor 데이터 전송 및 암호화 도구Snowball Edge에서 Snowball Client는단순 장비 해제 및 관리 역할

Snowball Edge 데이터전송아키텍처및고려사항


Snowball Edge 마이그레이션프로세스

Snowball작업생성

보통3-7일내의일반배송기간

Snowball 장치로전송데이터 복사

복사완료된장치AWS측으로 반송

S3로 데이터 복사 후,장치 데이터 완전 삭제작업 완료 보고서 제공

①배송된 snowball Edge ②케이블 연결 ③전원 켜기 ④부팅완료

⑥네트워크 확인

⑤네트워크 세팅

작업생성 어플라이언스

준비중

발송준비 배송중 사용자에게배달됨

반송중 AWS에도착분류시설 가져오기작업

완료상태


③ Snowball Client 명령어 통해 Access 및 Secret Key 취득

aws s3 cp –recursive ~/Desktop/files/ s3://icn-snowball/greendm-edge1/ --endpoint http://10.10.1.1:8080 --profile snowballEdgesnowballedge unlock --device –endpoint https://ip address --manifest-file

Path/to/manifest/file --unlock-code 29 character unlock code

② Snowball Client 설치한 WorkStation에서 Snowball Edge 디바이스 잠금 해제

④ AWS CLI/ SDK 사용해 Workstation 에서 Data 전송 작업 시작① AWS Snowball 콘솔에서 Manifest 파일과 unlock code 다운로드

Snowball Edge마이그레이션프로세스


준비중



완료상태


항목 확인 결과

Snowball Edge Snowball Edge용 S3 Adaptor 통한 체크섬 생성AWS CLI는 표준 및 멀티 파트 업로드 모두에 대해 체크섬 자동 계산하여 정합성 체크

https://docs.aws.amazon.com/cli/latest/topic/s3-faq.html

Amazon S3

Snowball Edge 작업 보고서 및 관련 로그 Amazon S3에 모두 데이터가 이관될 때마다 생성되는 작업 보고서 통해 전송 완료된 데이터 확인 가능

Amazon S3 Sync 명령어 사용 Workstation이 퍼블릭 환경에 있는 경우 AWS CLI S3 Sync를 통해 전송 된 파일 최종 검증 가능

Amazon S3 인벤토리 보고서 활용 Amazon S3 인벤토리 보고서를 통해 원본 파일과 보다 쉽게 비교 가능

Work-1 Snowball Edge

[ NAS to Snowball Edge]- Snowball Edge용 S3 Adaptor 통해 파일 전송 시 자동 정합성 검증

Amazon S3

[ Snowball Edge to Amazon S3]- Snowball Edge에서 Amazon S3로 데이터를 가져오면서 정합성 체크- 이관 실패한 파일에 대한 로그 제공

Snowball Edge 데이터정합성검증


준비중



완료상태

https://docs.aws.amazon.com/cli/latest/topic/s3-faq.html


Snowball Edge PoC결과 : 전송성능측정및전송소요시간

③ 전송속도/용량 별 소요 시간 산출

① 전송 성능 테스트 구성

NAS-1

Work-1 Snowball Edge

NAS-2

NAS-3

NAS-4

Work-4

Work-3

Work-2

1G

1G

1G

1G

1G

1G

10G 10G

Amazon Snowball Edge- Storage Type- Usable 80TBytes

4대의 NAS에서 5개 동시 업로드 수행 시최대 3.4 Gbps (414MB/s) 전송성능 측정

3.4 Gbps

② 전송성능 측정 결과

Snowball Performance

30MBps 50MBps 100MBps 250MBps 300MBps 400MBps 500MBps

1TB 9.7 Hours 5.8 Hours 2.9 Hours 1.2 Hours 58.3 Min 43.7 Min 35 Min

5TB 48.5 Hours 1.2 Days 14.6 Hours 5.8 Hours 4.9 Hours 3.6 Hours 2.9 Hours

10TB 4 Days 2.4 Days 29.1 Hours 11.7 Hours 9.7 Hours 7.3 Hours 5.8 Hours

20TB 8.1 Days 4.9 Days 2.4 Days 23.3 Hours 19.4 Hours 14.6 Hours 11.7 Hours

30TB 12.1 Days 7.3 Days 3.6 Days 1.5 Days 1.2 Days 21.8 Hours 17.5 Hours

40TB 16.2 Days 9.7 Days 4.9 Days 1.9 Days 1.6 Days 1.2 Days 23.3 Hours

50TB 20.2 Days 12.1 Days 6.1 Days 2.4 Days 2 Days 1.5 Days 1.2 Days

80TB 32.4 Days 19.4 Days 9.7 Days 3.9 Days 3.2 Days 2.4 Days 1.9 Days


스노우볼 주문

: 3~5 일 예상 : 4일 (3일 적재+ 1일 점검

)

70TB 데이터 기준

데이터 적재(Snowball)

스노우볼 반송 및 S3 데이터 업로드

: 5일(2일 반송+ 3일 업로드)

Snow Ball Order 일 월 화 수 목 금 토

2대 Week 1 1st Snowball 2nd Snowball

2대 Week 2 3rd Snowball

2대 Week 3 4th snowball 5th snowball

2대 Week 4 6th snowball

2대 Week 5 7th snowball 8th snowball

Week 6

Snowball Edge PoC결과 : 마이그레이션계획

대상용량(TB)

Workstation 성능

(MBps)예상 소요기간 Snowball Edge

NAS 1 10

250 1.9 Days

Usable80 TB

NAS 2 10

NAS 3 10

NAS 4 10

NAS 5 10 50 2.4 Days

NAS 6 10 50 2.4 Days

NAS 7 10 50 2.4 Days

70 400 2.4 Days

마이그레이션 세트 구성 : 1세트 당 70TB 대상 용량 마이그레이션 계획 도출

• 8개 마이그레이션 세트로 계획

• 2대 이상의 Snowball edge를 주문하여

연속적인 후속 세트 마이그레이션 고려


Snowball Edge PoC결과 : 특수문자업로드및수행체크리스트

Snowball 마이그레이션 체크리스트 특수문자 포함 파일 업로드 확인

- 총 880여 개 특수문자 모두 정상 업로드 가능- S3 객체 UTF-8 자동 URL인코딩 지원- 단, AWS 다른 리소스와 통합 시 사전 테스트 필요

더 나은 세미나를 위해

여러분의 의견을 남겨주세요!

▶ 질문에 대한 답변 드립니다.

▶ 발표자료/녹화영상을 제공합니다.

http://bit.ly/awskr-webinar

http://bit.ly/awskr-webinar

감사합니다.

박용선 | Presales / Megazone Cloud

데이터마이그레이션및전송을위한 aws 스토지 서비스활용방안€¦ · simple...

Documents