aws black belt online seminar 2016 aws re:invent...

56
AWS re:Invent 2016で発表された 新サービス・新機能の紹介 パート 1 前半 - Amazon EC2アマゾン ウェブ サービス ジャパン株式会社 パートナー ソリューション アーキテクト 河原 哲也 2016.12.06

Upload: amazon-web-services-japan

Post on 07-Jan-2017

2.139 views

Category:

Technology


3 download

TRANSCRIPT

Page 1: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート 1

前半 - Amazon EC2編

アマゾン ウェブ サービス ジャパン株式会社

パートナー ソリューション アーキテクト 河原 哲也

2016.12.06

Page 2: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

自己紹介

2

河原 哲也 (かわはら てつや)Partner Solutions Architect• 略歴

– 前職は某国産HWベンダーにて、SAPコンピテンスセンターをリード

– JSUG(ジャパンSAPユーザーグループ)テクニカル部会オピニオンリーダー

• 現在のロール– 主にビジネスアプリケーション、ストレージ系APNパートナー様の技術支援

• 好きなAWSサービス– Amazon EBS、AWS CloudFormation

Page 3: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

本資料では2016年12月6日時点のサービス内容および価格についてご説明しています。最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。

資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。

内容についての注意点

AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途消費税をご請求させていただきます。

3

Page 4: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Agenda

仮想サーバ関連のUpdate & New

• Amazon EC2

• Amazon Lightsail

• VMware Cloud on AWS

4

Page 5: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

5

Amazon EC2

Page 6: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

6

物理ホスト

ハイパーバイザー

ゲスト 1 ゲスト 2 ゲスト n世代

c4.largeインスタンスファミリ サイズ

Amazon EC2必要なときに1時間単位の従量課金で利用できる仮想サーバ

Page 7: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

EC2インスタンスの変遷2006年のサービス提供開始から様々なタイプを随時追加

7

2006 2008 2010 2012 2014 2016

m1.small

m1.large

m1.xlarge

c1.medium

c1.xlarge

m2.xlarge

m2.4xlarge

m2.2xlarge

cc1.4xlarge

t1.micro

cg1.4xlarge

cc2.8xlarge

m1.medium

hi1.4xlarge

m3.xlarge

m3.2xlarge

hs1.8xlarge

cr1.8xlarge

c3.large

c3.xlarge

c3.2xlarge

c3.4xlarge

c3.8xlarge

g2.2xlarge

i2.xlarge

i2.2xlarge

i2.4xlarge

i2.4xlarge

m3.medium

m3.large

r3.large

r3.xlarge

r3.2xlarge

r3.4xlarge

r3.8xlarge

t2.micro

t2.small

t2.med

c4.large

c4.xlarge

c4.2xlarge

c4.4xlarge

c4.8xlarge

d2.xlarge

d2.2xlarge

d2.4xlarge

d2.8xlarge

g2.8xlarge

t2.large

m4.largem4.xlarge

m4.2xlarge

m4.4xlarge

m4.10xlarge

x1.32xlarge

t2.nano

m4.16xlarge

p2.xlarge

p2.8xlarge

p2.16xlarge

x1.16xlarge

Page 8: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

EC2インスタンスファミリをさらに拡充より多くのワークロードに最適化されたタイプをご利用可能に

8AWSブログ:EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/

Page 9: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

T2インスタンスのラインナップを拡充

• CPU性能のバーストをサポートした汎用 T2に、従来よりも大きな2種類のサイズを追加

• より多くのメモリを搭載しており、今までよりも幅広いワークロードに対応可能に

モデル vCPU RAM ベースラインパフォーマンス

CPUクレジット/時間

料金(Linux/東京)

t2.nano 1 0.5GB 10% 3 $0.08/h

t2.micro 1 1GB 15% 6 $0.16/h

t2.small 1 2GB 25% 12 $0.32/h

t2.medium 2 4GB 40% 24 $0.64/h

t2.large 2 8GB 60% 36 $0.128/h

t2.xlarge 4 16GB 90% 54 $0.256/h

t2.2xlarge 8 32GB 135% 81 $0.512/h

nano micro small medium

large xlarge

2xlarge

9AWSブログ:新しい T2.Xlarge および T2.2Xlarge インスタンスhttps://aws.amazon.com/jp/blogs/news/new-t2-xlarge-and-t2-2xlarge-instances/

Page 10: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

R4インスタンスを提供開始

• メモリ最適化 R3の後継としてR4を発表

• 2.4GHzのIntel Xeon E5-2686(Broadwell)を搭載し、DDR4のメモリと大容量で高速なL3キャッシュを利用可能

• バージニア、オハイオ、オレゴン、北カリフォルニア、アイルランド、フランクフルト、シドニー、北京、GovCloudで既に利用可能

R4

モデル vCPU RAM NW帯域

r4.large 2 15.25GB 最大10Gbps

r4.xlarge 4 30.5GB 最大10Gbps

r4.2xlarge 8 61GB 最大10Gbps

r4.4xlarge 16 122GB 最大10Gbps

r4.8xlarge 32 244GB 10Gbps

r4.16xlarge 64 488GB 20Gbps

10AWSブログ:次世代のメモリ最適化EC2インスタンス(R4)https://aws.amazon.com/jp/blogs/news/new-next-generation-r4-memory-optimized-ec2-instances/

Page 11: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

I3インスタンスを発表(2017年予定)

• ハイ I/Oインスタンス I2の後継としてNVMeベースのSSDを搭載したI3を発表

• 負荷の高いリレーショナルデータベースや、NoSQLデータベースなどに最適

• 低遅延のNVMe接続のSSDを搭載し4KBランダムアクセスで最大3,300,000IOPS、16GB/sを実現

• 6種類のサイズを提供し、最大で64vCPU、488GBメモリ、15.2TBのSSDストレージを搭載

• Elastic Network Adaptor(ENA)をサポートI3

11AWSブログ:EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/

Page 12: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

C5インスタンスを発表(2017年予定)

• コンピューティング最適化 C4の後継として、SkylakeコアのXeonを搭載したC5を発表

• 前世代のHaswell(C4に搭載)と比較して、AVX-512命令セットが利用可能で機械学習やマルチメディア、科学技術計算などに最適

• 6種類のサイズを提供し、最大で72vCPU、144GBメモリを搭載

• Elastic Network Adaptor(ENA)をサポートし、EBS最適化オプションがデフォルトで有効

C5

12AWSブログ:EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/

Page 13: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

F1インスタンスを発表(開発者プレビュー開始)

• FPGAを搭載し高性能計算用途に最適なF1を発表

• Intel Xeon E5-2686v4(2.3GHz, Turbo mode対応)と1個から8個のFPGA(Xilinx UltraScale+ VU9P)、最大976GBメモリ、4TBのNVMe接続のSSDを利用可能

• 開発/テスト用AMIも提供。パッケージ化したAmazon FPGA Image(AFI)はAWS Marketplaceに公開可

• サンプルアプリケーションなどはF1 Hardware Development Kit(HDK)として提供

• バージニアリージョンにて開発者プレビューを開始。他リージョンへの展開も準備中

F1

13AWSブログ:開発者プレビュー ー EC2 Instances (F1) with Programmable Hardwarehttps://aws.amazon.com/jp/blogs/news/developer-preview-ec2-instances-f1-with-programmable-hardware/

Page 14: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

EC2インスタンスサイズの一覧

14

Page 15: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

一般用途で選択されるT/M, C, Rを抜き出すと..

15

C5

Page 16: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

新しいT2インスタンスタイプへの移行もご検討を

16

モデル vCPU RAM 料金(Linux/東京)

t2.large 2 8GB $0.128/h

t2.xlarge 4 16GB $0.256/h

m4.xlarge 4 16GB $0.278/h

t2.2xlarge 8 32GB $0.512/h

m4.2xlarge 8 32GB $0.556/h

①スケールアップ②断続的なワークロードのM4からタイプ変更

Page 17: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Amazon EC2 Elastic GPUsを発表

• GPU搭載していないインスタンスタイプでも利用可能なElastic GPUsを発表

• アタッチするだけで高度なグラフィクスアクセラレーション機能を利用可能に

• 現時点ではWindowsでのOpenGLのみサポート。他のAPIは後日対応予定– DirectX– Vulkan

• 利用可能時期は追って発表予定

タイプ GPUメモリ

対応OS API

eg1.medium 1024MB Windows OpenGL

eg1.large 2048MB Windows OpenGL

eg1.xlarge 4096MB Windows OpenGL

eg1.xlarge 8192MB Windows OpenGL

17AWSブログ:進行中 ー Amazon EC2 Elastic GPUshttps://aws.amazon.com/jp/blogs/news/in-the-work-amazon-ec2-elastic-gpus/

Page 18: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

EC2インスタンス(T2,M4,C4)の値下げを適用

• T2, M4, C4インスタンスの利用料金を値下げ

• 東京リージョンのオンデマンドインスタンスの値下げ幅は以下のとおり

– T2: 20パーセント

– M4: 20パーセント

– C4: 5パーセント

• 2016年12月1日から自動的に適用済み。リザーブドインスタンスについては12/1(UTC)以後に購入したものに適用となる

t2 m4 c4

※詳細な価格情報はこちらを参照 https://aws.amazon.com/jp/ec2/pricing/18

Page 19: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

VPC内のEC2インスタンスがIPv6をサポート

• 新規、既存のVPC内のEC2インスタンスでIPv6をサポート。対象はM3/G2以外の現行世代のインスタンスタイプ

• IPv6環境下でプライベートサブネットを実現するためにEGW(Egress only Internet Gateway)を利用することになる

• 追加料金なし

• オハイオリージョンにて利用可能。他リージョンには順次展開予定

19AWSブログ:新機能 – Virtual Private Cloud での EC2 インスタンスの IPv6 サポートhttps://aws.amazon.com/jp/blogs/news/new-ipv6-support-for-ec2-instances-in-virtual-private-clouds/

Page 20: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

20

Amazon Lightsail

Page 21: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

新サービスAmazon Lightsailを提供開始

• 単純な構成のサーバが必要な際に、数回のクリックで、いわゆる仮想専用サーバ(VPS)のように使い始めることができるサービス

• サーバリソース、SSDベースのストレージ、データ転送料金が含まれた定額制の料金体系

• 複雑な設定を行うことなく、アプリケーションの実行環境を入手し、使い始めることが可能

• バージニアリージョンで既に利用可能。他リージョンへの展開は順次実施予定

メモリ CPUコア

SSD データ転送量*

料金(米国)

512MB 1 20GB 1TB$0.007/時間, 最大$5/月

1GB 1 30GB 2TB$0.013/時間,最大$10/月

2GB 1 40GB 3TB$0.027/時間,最大$20/月

4GB 2 60GB 4TB$0.054/時間,最大$40/月

8GB 2 80GB 5TB$0.108/時間,最大$80/月

21AWSブログ:Amazon Lightsail – AWSの力、VPSの簡単さhttps://aws.amazon.com/jp/blogs/news/amazon-lightsail-the-power-of-aws-the-simplicity-of-a-vps/

* 受信は無料、送信にかかる無料枠で超過分は0.09ドル/GB

Page 22: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

仮想専用サーバの作成はわずか3ステップhttps://amazonlightsail.com/

22

① イメージの選択

② プランの選択

③ 名前の入力

Page 23: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

主な機能

23

• ドキュメント検索• アカウント設定

• SSHキーペアの管理• VPCピアリングの有効化

• AWSコンソールとの統合

• ブラウザからのssh接続• メトリクスをグラフ表示

• CPUUtilization• NetworkIn• NetworkOut• StatusCheckFailed• StatusCheckFailed_Instance• StatusCheckFailed_System

• ネットワークの確認と設定• パブリックおよびプライベートIPアドレスの確認• 固定パブリックIPの割当(未割当時$0.005/1時間)• DNSゾーンの作成(DNSクエリ300万件の無料枠、

超過分は$0.40/100万リクエスト)• ファイアウォール

• スナップショットの作成($0.05/1GB/月)• 操作履歴• インスタンスの削除

Page 24: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

24

VMware Cloud on AWS

Page 25: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

VMware Cloud on AWS 概要

25

お客様データセンター

管理(vCenter Server) VMware Cloud™ on AWS

Powered by VMware Cloud Foundation

すべてのAWSサービスとの連携

Amazon EC2

AmazonS3

AmazonRDS

AWS Direct Connect

IAMAWS IoT

vCenter Server

AWS Global InfrastructureAWSグローバルインフラストラクチャ

vRealize Suite, PowerCLI

VMware社による販売/運用/サポートで、17年半ば提供開始予定(北米から順次)

AWS re:Invent 2016 セッション:VMware and AWS Together - VMware Cloud on AWS (ENT317)https://www.youtube.com/watch?v=_Rqv5Gg1VSk

Page 26: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

セッションではライブデモも

26

さらにvMotionの実行、モバイルでの管理、Alexa連携による音声での操作も!

Page 27: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

パートナープログラム(2017年予定)

27

+

or

+

or

+ +VMware Cloud on AWS Competency

Business/Revenue CommitmentVMware Cloud on AWS Competency

Business/Revenue Commitment

マネージドサービスプロバイダー チャネルパートナー (リセラー)

AWS APNブログ:Learn about the VMware Cloud on AWS Partner Program, Coming in 2017https://aws.amazon.com/jp/blogs/apn/coming-soon-the-vmware-cloud-on-aws-partner-program/

Page 28: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

参考資料

• Amazon EC2– http://aws.amazon.com/jp/ec2/

• Amazon Elastic Compute Cloud ドキュメント– http://aws.amazon.com/jp/documentation/ec2/

• Amazon EC2開発者用リソース– http://aws.amazon.com/jp/ec2/developer-resources/

• Amazon Lightsail– https://amazonlightsail.com/

• VMware Cloud on AWS– https://aws.amazon.com/jp/vmware/

28

Page 29: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート 1

後半 - データベース編

アマゾン ウェブ サービス ジャパン株式会社

ソリューション アーキテクト 山内 晃

2016.12.06

Page 30: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

自己紹介

30

• 山内 晃(やまうち あきら)

• アマゾン ウェブ サービス ジャパン株式会社技術本部 ストラテジックソリューション部ソリューションアーキテクト

• キャリア

– システムエンジニア @通信事業者

– ソリューションアーキテクト @DBベンダー

• 好きなAWSサービス

– Amazon RDS, Amazon S3

Page 31: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

re:Invent 2016 データベース系のアップデート

• re:Inventで発表された新サービス

1. Amazon AuroraPostgreSQL-Compatible Edition

2. Amazon Athena

3. Amazon Glue

• 事前発表された重要なアップデート

31

Page 32: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

32

Page 33: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Amazon AuroraPostgreSQL-Compatible Editionを発表

• PostgreSQL 9.6.1互換のAmazon Auroraを発表

– PostgreSQL対応を望むお客様からのご要望に基づく

• チェック制約、マテリアライズドビュー、シーケンス、ウィンドウ関数

• ハッシュ結合、ソート・マージ結合

• プロシージャ、日付書式などの互換性

• PostGIS(地理空間情報)

– RDS for PostgreSQLと同様の機能をサポート予定

– RDS for PostgreSQLのスナップショットからの移行をサポート

• バージニアリージョンでプレビューを開始

– https://pages.awscloud.com/amazon-aurora-with-postgresql-compatibility-preview-form.html

33

Page 34: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

SQL

Transactions

AZ 1 AZ 2 AZ 3

Caching

Amazon S3

• MySQL互換のAuroraと同じストレージシステムを採用

• SSDを利用し、最大64TBまでシームレスにスケール

• リードレプリカが同じストレージを参照する構造をもち、レプリカラグを最小化

• 3AZに各2つ(合計6つ)にデータを複製

– 2つで障害が起きても読み書き可能

– 3つで障害が起きても読み込み可能

• 継続的にS3へ増分バックアップを実施パフォーマンスへの影響はない

• 障害復旧やホットスポット管理、暗号化といったタスクを自動的に実施

Amazon Aurora PostgreSQL-Compatible EditionAuroraストレージの利点をそのまま活用

34

Page 35: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

• pgbench (TPC-B-Like) でRDS PostgreSQLの2倍の最大スループットを実現

• 料金はMySQL互換のAuroraと同様

Amazon Aurora PostgreSQL-Compatible Editionパフォーマンスと料金

35

Page 36: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

RDS向けのPerformance Insightを発表

• DBの知識を持ったエンジニアがいなくとも、クエリパフォーマンスの評価やDBの状態チェックを可能にする機能

• Aurora PostgreSQL-Compatible Editionには組み込み済みの状態でリリースされる

• 他のデータベースエンジンにも順次展開予定

36

Page 37: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

37

Page 38: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Amazon Athenaを発表

• Amazon S3に置いたデータをインタラクティブにSQLで直接クエリできるマネージドサービス

• データをS3から取り込む手間はない

• ペタバイト級のデータに対するクエリをサポート

• 標準のANSI-SQLでクエリを表現でき、JOINやウィンドウ関数もサポート

• バージニア、オレゴンのリージョンで利用可能

38

Page 39: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Amazon Athenaを発表

• CSV/TSV/JSON/Apache logなどのテキストファイルに加え、Parquet, ORCといった列指向フォーマットもサポート

• 複数ファイルも扱え、カタログマネージャーで管理する

• クラスタ管理は不要だが、 DDLかコンソールでテーブル定義する必要はある

• AthenaはPrestoベースの実装なので、PrestoのSQLクエリの大部分を実行できる

• マネジメントコンソールからのクエリ発行だけでなく、Athena JDBCドライバが提供されるため既存のツールとの連携が容易

39

Page 40: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

[デモ] Amazon Athena でのクエリ実行

S3に配置した2つのCSVファイルにAthenaのテーブルを定義してクエリを実行

40

1,Sato,2400002,Suzuki,3000003,Takahashi,2500004,Tanaka,2100005,Ito,225000

6,Watanabe,2000007,Yamamoto,3500008,Nakamura,2750009,Kobayashi,23500010,Kato,225000

emp1.csv

emp2.csv

Page 41: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

他のBig Dataサービスとの使い分け

• Amazon Redshift

– 多くの結合や副問合せを含む非常に複雑なSQLで最も高速なパフォーマンスを提供

– 様々なデータソースからのデータを共通フォーマットで長期保存するようなケースに最適

• Amazon EMR

– 高度な分散処理フレームワークを簡単にコスト効率良く実行

– フレームワークやインスタンスおよびストレージのタイプの選択肢が広く、

分析要件に最適化した柔軟な構成が可能

– 機械学習、グラフ解析、データ変換などで非常に大きなデータを扱うようなケースに最適

• Amazon Athena

– サーバーの管理を行うことなく、S3のデータに対してアドホッククエリを

実行する最も簡単な方法を提供

– サイトの性能問題をトラブルシューティングするためにWebログに対して

一時的なクエリを実行するようなケースに最適

41

Page 42: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

パフォーマンス向上のTips

• 圧縮

– 読み取りデータ量を小さくする

– Snappy, Zlib, GZIPをサポート

• パーティショニング

– 読み取り範囲を限定する

• 列指向フォーマット

– データ処理に必要な列のみを読み取る

– Apache ParguetとApache ORCをサポート

42

Page 43: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

料金

• クエリ単位の課金– スキャンしたデータ1TBごとに$5(バージニア、オレゴンでの価格)

– クエリ毎に最小10MBに切り上げ、DDLは課金されない

– 圧縮、パーティショニング、列指向フォーマットによる読み取り量の削減はコストダウンにもつながる

– 失敗したクエリには課金されない

– キャンセルしたクエリはキャンセル時点でスキャン済みのデータ量に対して課金される

• その他の料金– 入出力データを配置するAmazon S3に課金される

43

Page 44: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

AWS Glueを発表

• データカタログの作成と、データの加工・ロード(ETL)が実現可能なマネージドサービス

• データソースを自動で探索し、データフォーマットを認識してスキーマや変換ロジックを提示

• S3, RDS, Redshift その他 JDBC対応データストアをサポート

• Python, Spark, Git, 好みのIDEで変換ロジックを編集したり、他のユーザーと共有することも可能

• ジョブにあわせてインフラを自動でスケーリング

• プリアナウンスサービス

44

Page 45: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

事前発表された重要なアップデート

45

Page 46: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Auroraがdb.t2.mediumでも利用可能に

• RDS for Auroraがdb.t2.mediumインスタンスでも利用可能に。ただし、開発・検証用途での利用を推奨

• 使い分け例は以下となる– 開発者のローカル環境:ローカルのMySQL5.6

– 共有の開発・検証環境:Aurora(t2.medium)

– 性能検証環境:Aurora(R3ファミリ)

– 本番環境:Aurora(R3ファミリ)

• 東京でAuroraをdb.t2.mediumで動作させた場合の価格は$0.125/時間

Type vCPU, RAM

BaselinePerformance

CPU Credit /Hour

t2.nano 1, 0.5GB 5% 3

t2.micro 1, 1GB 10% 6

t2.small 1, 2GB 20% 12

t2.medium 2, 4GB 40% 24

t2.large 2, 8GB 60% 36

46

Page 47: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

AuroraストアドプロシージャからのLambda実行、S3→Auroraへの直接のデータロードが可能に

• AuroraストアドプロシージャからのLambdaファンクション実行

– SNSで問題を通知、CloudWatchにメトリックを送信、DynamoDBテーブルを更新 など

• S3→Auroraへの直接のデータロード

– これまでは一度EC2にダウンロードした後にインポートする必要があった

– 圧縮形式のデータは現時点では未サポート

47

Page 48: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

RDS for AuroraとRDS for PostgreSQLがHIPAA対応

• RDS for AuroraとRDS for PostgreSQLが米国における医療保険の相互運用性と説明責任に関する法令(HIPAA) コンプライアンスに対応(要BAA契約)

• これによって保護された医療情報(PHI)をRDS for AuroraとRDS for PostgreSQLに格納し、システムをHIPAAが求める規定に準拠できる

• AWSにおけるHIPAA準拠のための考え方については下記URLを参照https://aws.amazon.com/jp/compliance/hipaa-compliance/?nc1=h_ls

48

Page 49: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

RDS for PostgreSQLがPostgreSQL 9.6.1に対応

• パラレルクエリ、全文検索におけるフレーズ(隣接した複数語)の検索といった新機能や、パフォーマンスや利便性の改善を取り込むことが可能に

• マネジメントコンソール上の数クリックで、PostgreSQL 9.6.1を起動したり、9.5からのアップグレードを実行できる

– ただし、9.3や9.4から9.6.1にアップグレードするには一度9.5にアップグレードする必要あり

• アップグレード時に短時間のDBインスタンス停止を伴う

49

Page 50: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

RDS for SQL ServerがMicrosoft SQL Server 2016に対応

• クエリストア、Operational Analytics, Always Encrypted, JSONサポート等の新機能を利用可能に

• Express, Web, Standard, Enterprise エディションに対応

• BYOLと時間課金の両方で利用可能

• サンパウロ以外のすべてのリージョンで提供可能

50

Page 51: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

RDS for Oracleが11gから12cへのアップグレードに対応

• マネジメントコンソール上の数クリックで、Oracle11g(11.2.0.4)から12c(12.1.0.2.v5)にアップグレードを実行できる

• Standard Edition(SE)やStandard Edition One(SE1)を利用中の場合は、Oracle12c(12.1.0.2)へのアップグレードがサポートされるのがStandard Edition Two(SE2)になる点に注意

• 11.2.0.2や11.2.0.3から12.1.0.2にアップグレードするには一度11.2.0.4 にアップグレードする必要あり

51

Page 52: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Redshiftのオブジェクト名で日本語をサポート

• テーブルやカラムの名称として日本語を含めたUTF-8のマルチバイト文字を利用可能に

• 最大で127バイトまで。日本語は1文字を3バイトで表現するため、文字列長には注意

• マルチバイト文字のテーブル名やカラム名を利用するにはドライバのアップデートが必要– JDBCドライバー : 1.2.1以降

(http://amzn.to/2du0Llo)– ODBCドライバー : バージョン1.3.1以降

(http://amzn.to/29SwNWK)

商品コード

品名 単価 数量

1192 みかん 100 12

794 みりん 500 4

1594 メロン 400 56

1603 めかぶ 200 7

1867 きなこ 300 9

52

Page 53: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

Redshift その他のアップデート

• 圧縮分析

– ANALYZE COMPRESSIONコマンドでカラム毎に推奨の圧縮タイプを分析

– テーブルロックを取るため、テーブルがアイドル状態の時に実行することを推奨

• CREATE TABLE AS SELECT(CTAS)時にテーブルを自動圧縮

– CTASのターゲットとなるテーブルをLZOで自動圧縮

– ソートキーおよび一部のデータ型(boolean, real, double precision)は対象外

• コネクション数の制限

– ユーザー、データベース毎にコネクション数を制限可能に

– DDLでCONNECTION LIMITパラメータを設定

• データロード性能の改善

– COPYコマンドで単一のソートキーを持つテーブルにロードする際に、新しいデータをソート済み領域に追加することでVACUUMの負荷を軽減もしくは回避

53

Page 54: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

QuickSightが一般利用可能に

• 様々なデータソースからSPICEエンジンにデータを取り込み、高速にデータを分析

• オンプレミスDBやSalesforceのデータもコネクタを介した取り込みに対応

• 利用するSPICEエンジンのキャパシティや機能に応じた柔軟なプランを設定。無料利用枠や60日間のトライアルもご用意(※)

• バージニア、オレゴン、アイルランドの3リージョンで今すぐに利用できる

※料金はWebサイトにて(https://quicksight.aws/pricing/)54

Page 55: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

参考資料

• Amazon Athena– https://aws.amazon.com/jp/athena/

– https://aws.amazon.com/jp/athena/faqs/

• Amazon Aurora PostgreSQL-Compatible Edition– https://aws.amazon.com/jp/blogs/news/amazon-aurora-update-

postgresql-compatibility/

• AWS Glue– https://aws.amazon.com/jp/glue/

• AWS QuickSight– https://quicksight.aws/

55

Page 56: AWS Black Belt Online Seminar 2016 AWS re:Invent 2016で発表された新サービス・新機能の紹介 パート1

56