使ってみよう!...
TRANSCRIPT
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
使ってみよう! データベースとストレージ GETTING STARTED WITH AWS DATABASE AND STORAGE SERVICES
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
スピーカー紹介アマゾン ウェブ サービスジャパン 株式会社
⻄⽇本担当ソリューションアーキテクト
❤ Amazon Kinesis❤ Mobile Services❤ AWS IoT
清⽔ 崇之
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
リージョン/アベイラビリティゾーン
東京リージョン
AvailabilityZone A
AvailabilityZone B
・リージョンとはクラウドの拠点が存在する地域・アベイラビリティゾーンとはリージョン内にある 物理的に離れたデータセンタ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データベース運用どうしてますか? データベースの運用は大変 ◦ 作業時に止められない ◦ 広範囲のサービス影響がある ◦ 設定など覚えることが多い ◦ などなど。。。
DBAのみなさんは胃の痛い思いをしている
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
DBAの役割 DBA (DataBase Administrator)の仕事 ◦ スキーマやクエリのチューニング ◦ DBの構造を理解した上での、適切な改善
◦ DBサーバ/クラスタの管理 ◦ 構築、キャパシティ、パフォーマンス、障害対応
現在、どちらに費やしている時間が多いでしょうか?
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
完全マネージド型で、セットアップ、運⽤、拡張が容易なリレーショナル・データベースサービス
RDS
DynamoDB
完全マネージド型で、⾼速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス
Redshift
⾼速で管理も万全なペタバイト規模のデータウェアハウスサービス
ElastiCache
完全マネージド型で、セットアップ、運⽤、拡張が容易なキャッシュサービス
DMS
完全マネージドで異機種間のデータベース移⾏も可能なデータベース移⾏⽀援サービス
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
完全マネージド型で、セットアップ、運⽤、拡張が容易なリレーショナル・データベースサービス
RDS
DynamoDB
完全マネージド型で、⾼速なパフォーマンス、シームレスな拡張性と信頼性のNoSQLサービス
Redshift
⾼速で管理も万全なペタバイト規模のデータウェアハウスサービス
ElastiCache
完全マネージド型で、セットアップ、運⽤、拡張が容易なキャッシュサービス
DMS
完全マネージドで異機種間のデータベース移⾏も可能なデータベース移⾏⽀援サービス
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データベース管理を簡単に データベースを数分で作成可能 障害の自動検知と自動フェールオーバ 自動でパッチの適用 数クリックでスケールアウト可能 自動バックアップ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon Aurora Amazon がクラウド時代のリレーショナル・データベースアーキテクチャを1から考え直して構築した DB エンジン ◦ 1970年代の方法で実装はしない ◦ AWS サービスを活かすことができ、スケールアウトが簡単で、セルフヒーリングが出来るようなデータベースを作りたいと考えた
結果としてエンタープライズグレードの可用性と OSS レベルの低コストを両立
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データベース構築 数クリックでDBが起動 ◦ DBエンジン ◦ インスタンスクラス ◦ ディスクの種類とサイズ ◦ 等を選ぶだけ ◦ 数分で起動しデータベースとして動き始める
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
耐障害性 フェイルオーバや、耐障害性を高めるためのデータベースの仕組みを作るのは手間がかかる。
作ったとしてもパフォーマンスと両立させることは非常に難しい。
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 耐障害性:
Multi-AZ 構成 一般的にデータセンタレベルの冗長化を実現するのは大変 ◦ それを実現するのが Multi-AZ 構成
高い技術力を持つ DBA が行っていた設計をそのままサービス化
クラスタエンドポイントは、その時アクティブな Aurora Writer ノードの CNAME
Availability Zone A Availability Zone B
VPC subnet VPC subnet
VPC subnet VPC subnet Aurora Writer Aurora Reader
クラスタエンドポイント
Write
Multi-AZ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 耐障害性:
フェイルオーバ発生時 フェイルオーバ発生時はAurora ノードの昇格が行われ、クラスタエンドポイントの指し先が変わる
Availability Zone A Availability Zone B
VPC subnet VPC subnet
VPC subnet VPC subnet Aurora Writer Aurora Reader
クラスタエンドポイント
Write
Multi-AZ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 耐障害性:
キャッシュレイヤの分離 SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
キャッシュプロセスをDBプロセス外におくことで
DBプロセスの再起動でもキャッシュが残る
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Aurora のストレージ SSD を利用したシームレスにスケールするストレージ(最大64TB)
標準で高い可用性を実現 ◦ 3AZに6つのデータのコピーを作成
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
バックアップ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Aurora のストレージ 2つのディスクが利用不能でも読み書き可能
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
バックアップ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Aurora のストレージ 3つのディスクが利用不能の場合は読み込みのみ可能
SQL
Transactions
AZ 1 AZ 2 AZ 3
Caching
Amazon S3
バックアップ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 運用:
メンテナンス(パッチ適用等) DBAがパッチ当てを行う場合、最新の注意を払って作業時間や作業計画を立てて行う必要があった
AWS側でメンテナンスウインドウで指定した曜日・時間帯に自動実施
メンテナンス内容 ◦ セキュリティ、機能追加等に関わるソフトウェアパッチ
メンテナンスは数ヶ月に一度の頻度で発生(毎週必ずではない)
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。 バックアップ:
Streaming snapshotとPITR Amazon Auroraでは各セグメント毎にAmazon S3へ継続的に増分バックアップを取得
Amazon Auroraが使用しているディスクの仕組みによりパフォーマンスへ影響を与えない Aurora Writer
常にストリーミングでバック
アップデータを送り続けている
Amazon S3
5分前まで戻れるバックアップが常に取られて
いる状態
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon Simple Storage Service (S3) 容量無制限 ◦ 1ファイル最大5TBまで
高い堅牢性 ◦ 99.999999999%
安価なストレージ ◦ 月額1GB / 約1~4円※
スケーラブルで安定した性能 ◦ データ容量に依存しない性能
※ 2016.11.22時点
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon S3の構成
データセンタ A
データセンタ B
データセンタ C
東京リージョン
AWSリージョンを指定可能
3箇所以上で⾃動複製⾼い堅牢性を実現
ネットワーク越しにファイルを格納
データ
バケット
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
S3
Glacier
StorageGateway
EBS
安価かつ⾼い耐久性を持つオンラインストレージサービス
超安価かつ⾼い耐久性を持つアーカイブストレージサービス
オンプレミス環境と連携したバックアップ&⼤容量ストレージサービス
仮想サーバ(Amazon EC2)にマウントできるディスクサービス
EFS
複数の仮想サーバ(Amazon EC2)から同時マウントできる共有ストレージサービス
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
運用自動化/省力化:API & CLI AWSのサービスは管理画面での作業をAPIやCLIでも行える 各言語用のSDKも用意されているためプログラマブルな処理を簡単に実装可能
最新のDB バッチサーバ on EC21⽇前のDB
S3:DBスナップショット分析⽤の1⽇前のデータが⼊ったデータベースを毎⽇24時にバック
アップデータから作り直す
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データベースマイグレーション Database Migration Serviceを使用することによって サーバを新しいものへと移行する事が可能 データベースアーキテクチャを変更したい
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
AWS Data Migration Service (DMS) 異環境、異機種間データベースの移行は大変だった ◦ レプリケーションインスタンスをセットアップすると、ソースDB/ターゲットDB間のデータ移動を実行
◦ 異なるRDBMS間のデータ移動をサポートしているので、商用RDBMSからAurora等への移行も実現
◦ 一括移行(フルロード)、継続同期(レプリケーション)等様々な移行方法
DMS
オンプレRDB
RDS
RDB on EC2
オンプレRDB
RDS
RDB on EC2
※オンプレ to オンプレは未サポート
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データベースマイグレーション例 オンプレデータベースからAmazon RDSへのマイグレーション
オンプレRDB
RDB on EC2
DMSインスタンス
Aurora for RDS
VPN/専⽤線経由でレプリケーションを張りクラウド
側へ継続同期
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
ビッグデータ移行 オンプレでDWH等の非常に大きなサイズのデータベースを移行したい場合など、ペタバイトクラスのデータをどう移行すればいいの? インターネット経由のコピーでは数ヶ月、専用線接続でも数週間はかかることもある
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
E-ink 送り状 “8.5Gまでの耐衝撃性”を
担保するパッケージ
エンドツーエンドのデータ暗号化 50TB/ 80TB
10Gb ネットワーク
耐⽔&対ダスト設計
タンパープルーフ ケース&回路
アプライアンスによるペタバイト規模のデータ転送ソリューションデータのImport/Exportに対応
AWS Import/Export Snowball
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
監視 適切な監視項目ってなに? 障害時に何を対応したらいいの? 何を使ったらいいの? 検知時に自動で修復したいんだけど?
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
データストアの特性による使い分け
Amazon DynamoDB
Amazon RDS
Amazon ElastiCache
Amazon Redshift
SQL
NoSQL• 低レンテンシ• インメモリ
• 3拠点間でのレプリケーション
• SSDに永続化
• トランザクション処理
• 汎⽤⽤途
• 集計・分析処理• ⼤容量データ• DWH
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon RDS RDBをマネージドで提供するサービス ◦ 様々なデータベースエンジンが使用可 ◦ 高可用性 ◦ フェイルオーバ、バックアップ、監視
◦ Aurora等の先進的な試み
ユースケース ◦ 殆どのユースケースにマッチ◦ 課⾦系(トランザクション)
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon DynamoDB 完全マネージド型の NoSQL データベースサービス ◦ ハイスケーラブル、低レイテンシー、高可用性 ◦ プロビジョンドスループット ◦ ストレージの容量制限がない
ユースケース◦ 広告配信◦ DMP◦ センサーデータ◦ ゲーム◦ モバイルアプリケーションのバックエンド
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon ElastiCache インメモリキャッシュをマネージドで提供するサービス ◦ キャッシュクラスタを数クリックで起動 ◦ 2種類のエンジン(Memcached, Redis)をサポート
ユースケース◦ アプリケーションキャッシュ◦ セッションキャッシュ
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
Amazon Redshift クラウド上のマネージドDWH ◦ 最大128ノードの並列処理 ◦ 160GBから最大1.6PBまで拡張可能 ◦ PostgreSQL互換のSQL
ユースケース◦ ユーザ⾏動解析◦ ログ分析◦ 業務分析
⼤規模分散処理で分析SQLを
⾼速実⾏
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
クラウドアーキテクチャ
⾃動バックアップスナップショット(⾃動/⼿動)
データ同期
⾮同期レプリケーション
⾃動フェイルオーバー
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存
Binlog
S3 Availability Zone A Availability Zone B
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
既存のアーキテクチャ(例)
⾃動バックアップフルバックアップ(⼿動)
データ同期実装
⾮同期レプリケーション
フェイルオーバ実装
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存(⼿
動)
Binlog
ストレージサーバ データセンタA データセンタB
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
既存のアーキテクチャ(例)
⾃動バックアップフルバックアップ(⼿動)
データ同期実装
⾮同期レプリケーション
フェイルオーバ実装
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存(⼿
動)
Binlog
ストレージサーバ データセンタA データセンタB
データセンタAが失われるとバックアップも失われて
本末転倒
太い専⽤線を引く
サーバ発注/サーバ構築/ラッキング/NW配線など
など
レプリを貼る作業を⾏う
⼤変!!!
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
クラウドアーキテクチャ
⾃動バックアップスナップショット(⾃動/⼿動)
データ同期
⾮同期レプリケーション
⾃動フェイルオーバー
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存
Binlog
S3 Availability Zone A Availability Zone B
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
クラウドアーキテクチャ
⾃動バックアップスナップショット(⾃動/⼿動)
データ同期
⾮同期レプリケーション
⾃動フェイルオーバー
Binlog(トランザクション
ログ)(5分間隔)
Binlog(トランザクション
ログ)5分に1度保存
Binlog
S3 Availability Zone A Availability Zone B
らくらく!!!
AWS Cloud Roadshow 2016 今こそクラウド、あなたの都市で。
まとめ クラウドでしか実現できない事を実現するためのピースとしてのストレージやデータベースサービスの紹介 AWSの提供する各種サービスを上手く選択する事で少ない労力でサービスの開発スピードの最大化、運用負荷の最小化も可能となる ユースケースによって適切なサービスを使い分ける事が大事