hundreds of thousands of customers in 190...

ハイブリッド構成を支えるAWSテクノロジー荒木靖宏プリンシパルソリューションアーキテクト玉川憲技術統括本部本部長

プレゼンター

プレゼンテーションのノート

14:20-15:00 (40分間）

Wifiは全セッション会場展示会場にて、ご利用いただけます。

SSID: awssummit #awssummit

自己紹介 • 名前

– 荒木靖宏 • 所属

– アマゾンデータサービスジャパン株式会社プリンシパルソリューションアーキテクト

• ID – Twitter: ar1

• 好きなAWSサービス – Amazon Virtual Private Cloud – AWS Direct Connect

なぜハイブリッド環境なのか？

既存のアセットを最大限に活かす

AWSのメリットを享受する

プレゼンター


やりたいことは、現在、未来のTCOの最小化

ハイブリッド構成

開発での利用パターン

バーチャルマシン

開発ステージング

環境の持ち運び

再現性本番

DRでの利用パターン

DR

誘導・切替 Internet

本番

データ同期

データベース同期

複数のシステムがハイブリッドでやりとり

業務B 業務A

移行：システム移行、データ移行、切替

VPN

監視・制御

システム間連携

１つのシステムがハイブリッド

バースト対応レイテンシ

帯域バッチ

ハイブリッド構成例

運用LAN

社内LAN

本番本番

ステージング

開発

AZ：B AZ：A

AD DNS

VMware

Storage Gateway

Manage ment

Console

Operation Terminal

アクセスチェック

Hybrid 監視

Internet

データセンター

Public Segment Private Segment

Private Segment Public Segment

Private Segment Public Segment

VM VM

ボリュームコピー VM移行

監視

Router

運用機能の一元化

拠点間広域接続網

データ

Internet

ハイブリッドシステムへの移行に考えること

• リージョン設計 • 対象アプリ決定 • VPC設計 • インターネット

VPN • 専用線

• ブロックデバイス • ファイル • VM • DB

• ユーザ管理 • 機器変更管理 • 監視 • ログ • ステージング環境テスト

• ユーザ誘導

インフラデータ：移行とバックアップ運用

VPC内のシステム構築のために

• ネットワーク分割のベストプラクティス – ログインする必要のないELB，RDS, Elasticache用のサブネット

• 目的別には分けずに、/22や/24など、わかりやすく大きめのネットワークを指定する。

– ログインする必要のあるEC2は目的別に。

• AWSのAPI使用にはインターネット接続が必要 – EIPを使用 – NATインスタンスを使用 – オンプレ側インターネット線の使用

• AWSのリソースは原則ホスト名を使ってアクセス

AWS Direct Connect • AWSとデータセンター、オフィス、コロケーション環境間を専用線で接続

• 特徴 • ネットワークのコスト削減 • スループット向上 • インターネットベースの接続より帯域が安定

お客様

AWS Cloud EC2, S3などの Public サービス

Amazon VPC

専用線サービス

コロケへの専用線引き込みと違ってサーバ設置場所を限定しない。相互接続ポイントはサーバの置かれた建屋とは独立した場所

CloudHubのHubとしてのVPC

Virtual Private Cloud

本社

Virtual Gateway

VPN Connection

AWS Direct Connect

Router

ファイルコピー

S3へ

ファイル転送高速化のために • バケットのリージョンを確認 • 数十MBを超えるならばマルチパート化 • 並列転送 • 数十TPSを超えるならばキー名を分散化 • 無駄なオペレーションは使わない

インスタンスへ

任意のプロトコル、任意のアプリケーションを利用可転送高速化プログラムも • Tsunami-UDP • Aspera • Skeed

ブロックデバイスコピー

S3へ

AWS Storage Gateway 分割構成が必要な場合 – キャッシュ型:32TB/ボリューム – 保管型:1TB/ボリューム

インスタンスへ

DRBD DRBD Proxy • 高遅延、低速度の場合

プレゼンター


stored volume オンプレミス環境のデータをAmazon S3にバックアップし、DRを実現 Storage Gatewayに格納されたデータは非同期でAWSに転送手動/スケジューリングをもとに、AWSのS3上ではEBS(Elastic Block Store)のスナップショット形式でデータを保管オンプレ側のStorage Gatewayへのリストア、およびAWS上でEBSディスクへのデータの展開も可能 Cached Volume Storage Gateway経由でAmazon S3を直接利用することで、堅牢性の高い大容量ストレージを実現 Storage Gateway経由で、S3をファイルシステムとして利用可能オンプレおよびAWS EC2(仮想サーバ)双方の環境で動作可能アクセス頻度の高いデータは、Storage Gatewayのキャッシュボリュームとして、ローカルディスクにも保持オンプレ側のStorage Gatewayへのリストア、およびAWS上のStorage Gateway-Cached Volumesへのリストアも可能 About DRBD Defines Data Protection DRBD® stands for Distributed Replicated Block Device, in simple terms it safely replicates data at the block level between two or more points anywhere on the planet. An in-depth technical explanation of DRBD and how it functions is available here. DRBD is widely used as High Availability and Disaster Recovery replication technology. LINBIT® develops and maintains DRBD under a GPL license. LINBIT offers 24x7 telephone and email support services, DRBD and Linux HA Consulting Services (Pacemaker, Corosync, Red Hat Cluster Suite), DRBD custom feature development, LINBIT LCE Training Course and Certification, OEM integration services and more. DRBD - The Story LINBIT's DRBD was developed by Philipp Reisner and co-author Lars G. Ellenberg in 1999. LINBIT's vision was to establish a new plateau of data protection enabling organizations of all sizes to preserve application availability and data integrity over any distance. All this can be accomplished without sacrificing your organizations independence to vendor or technology lock-in as seen in proprietary storage solutions. Today, DRBD is in use by thousands of companies worldwide who trust LINBIT when it comes to the safety and security of their data. To top it off, comparison after comparison DRBD beats the competition in ROI and TCO analysis. DRBD - The Solution With LINBIT's DRBD, your firm can accomplish its High Availability or Disaster Recovery goals with more success than proprietary alternatives. DRBD enables the usage of COTS hardware enabling your firm to reduce its storage/replication expenses by up to 90 percent. When it comes to the availability of your data, is there any other real choice?

VM

Storage Gatewayを使ったボリュームコピー

Storage

Management Console /API端末

vCenter＆OS Operation Terminal

VMware

VM Storage Gateway

Upload Buffer Volume

SAN接続

i-SCSI

Internet

差分抽出

差分snapshot

差分 snapshot

EBS作成（全分）

Attach&Mount

Storage Gateway

VM Import/Exportを使ったシステムコピー

Storage

Management Console /API端末

vCenter＆OS Operation Terminal

VMware

VM

VMDK Volume

SAN接続

Internet

VM Import API実行

Launch

Attach&Mount

VMDK

Vcenterから export/import

データベースの同期 • ファイル、ブロック、バーチャルマシンのコピーでは対応できないアプリケーション

– レイテンシやセキュリティが問題になることも

MySQL Slave

MySQL Master

Internet

http://awsofa.info

西海岸東海岸

転送最適化サービスを使った例

• データ圧縮 • 重複排除 • TCP最適化 • 伝送路暗号化

• OFAではCloudOptを利用 • Market Place でAMIも

– CloudOpt (時間課金有り) – Silver Peak (BYOL)

プレゼンター


http://www.aryaka.com/products/wan-optimization-as-a-service/how-to-connect/

CloudOptの動作イメージ（MySQLのサンプル）

AWS Cloud

Region Region

MySQL Slave

MySQL Master

Internet

AWSの提供する運用支援サービス

• AWS Identity and Access Magement

• AWS OpsWorks • AWS Trusted

Advisor • AWS

Management Console

• 各種言語用SDK

• Amazon Cloudwatch

• Amazon SNS

• AWS Data Pipeline

マネージメント監視と通知ログ

IAMによるユーザ権限管理 APIやマネジメントコンソールからのアクセスに対して、権限をチェック

全操作可能

S3はすべて操作可能

S3参照だけ

IAM security token service （STS） • 一時期的（60分〜)なユーザ権限を与える

ADやLDAP情報と

連携

サードパーティー（APN ISV）の提供する運用支援サービス

• Puppet Labs (puppet) • Opscode (chef)

• AppDynamics • new relic • AppNeta

• splunk • sumologic • loggly • treasure data

マネージメント監視ログ

VPCによるステージング環境テスト

• EIP以外の設定は本番と同様にできる – IPアドレス – インスタンスタイプ

• CloudFormation – AWS::CloudFormation::Stack をつかった分割も有効 – Outputsにテスト目的情報を出力

Route53の重み付け切り替え

新システム

現行システム

重み付け配分

ハイブリッド構成例

運用LAN

社内LAN

本番本番

ステージング

開発

AZ：B AZ：A

AD DNS

VMware

Storage Gateway

Manage ment

Console

Operation Terminal

アクセスチェック

Hybrid 監視

Internet

データセンター




VM VM

Private AS

差分バックアップ

VM移行

監視

Back Bone Router

運用機能の一元化

拠点間広域接続網

データ

Internet

AWSクラウドはハイブリッド構成への近道

地理的に分散したインフラストラクチャ

分散システムを支えるビルディングブロック

Availability Zones

AWS Regions

EC2

ロードバランサー

複数DCで冗長化されたストレージとDBのサービス

S3

RDS

DynamoDB

疎結合なサービスとプロセス間連携機能

の提供

SWF

SNS

SQS

プレゼンター


…Treat failure as the common case instead of exception. But it was extremely hard to implement, you had to do al lot of hard work to make that reality and many software system have been built to try and make this easier.

Internet

AWSにおける可用性向上の考え方

AP (Act)

AP (Act)

DB (Act)

Availability Zone

Availability Zone

Region

Amazon S3

EBS

ELB (Act)

ELB (Act)

Backup

• ネットワークレイヤー – フルマネージド

• Front Endレイヤー – マネージドLB – 冗長化、即座なリソースの切替

え

• Back Endレイヤー – 即座なリソース切換え、SWと

組み合わせたHA化

• Storageレイヤー – インスタンス間のDiskの

付け替え

• Backupレイヤー – マネージドサービスとして

の提供

• データセンター – データセンタレベルでの可

用性

SDKによるサービスカスタマイズと省力化

• 各種言語用のSDKあり – http://aws.amazon.com/sdkforjava/ – http://aws.amazon.com/php/ – http://aws.amazon.com/ruby/ – http://aws.amazon.com/net/ – http://aws.amazon.com/jp/sdkfornodejs/

• サードパーティを含めれば主要言語はほぼ網羅

http://aws.amazon.com/sdkforjava/

http://aws.amazon.com/php/

http://aws.amazon.com/ruby/

http://aws.amazon.com/net/

既存環境からAWSとのハイブリッド

新規システム既存システム

データ転送・ネットワーク

移行方法・利用ツール移行コストスケジュール運用コストシステム連携

移行コストスケジュール運用コスト切替方法

Amazon Redshift

Amazon EMR

AWS Direct Connect VPN Connection

Route 53 Amazon RDS Amazon S3 Amazon Glacier

AWS CloudFormation

IAM AWS Data Pipeline

ハイブリッド構成はすでに現実

• AWSを使えばハイブリッド構成の構築をあらゆるユーザが – もっと簡単に – もっと安全に

• AWSをつかったハイブリッド構成ならば – 今あるシステムに加えて使用 – 現実的な時間 – 現実的なコスト

Thank You ハイブリッド構成を支えるAWSテクノロジー荒木靖宏プリンシパルソリューションアーキテクト

玉川憲技術統括本部本部長

hundreds of thousands of customers in 190...

Documents