石川　覚 ソリューションアーキテクト クラスメソッド株式会社

Ⓒ Classmethod, Inc.

2015年10月26日

ビッグデータ観点で見た AWS re:Invent 2015

1

#cmdevio

石川 覚（いしかわ さとる）

2Ⓒ Classmethod, Inc.

メーカー系SE、VoIP関連ベンチャー企業を経て

CMに2014/06 join

札幌出身、東京に８年

Linux, Java, MySQL, Redshift マイブームは EMR

クラスメソッド株式会社 ソリューションアーキテクト

3Ⓒ Classmethod, Inc.

ブログ

ブログ： http://dev.classmethod.jp/

4Ⓒ Classmethod, Inc.

アジェンダ新サービス・アップデートの紹介

Amazon QuickSight Amazon Kinesis Stream/Firehose/Analytics データベース関連の新サービス

RDS for MariaDB AWS Database Migration Service 最後に

5Ⓒ Classmethod, Inc.

新サービス・アップデートの紹介1. AWS IoT 2. Amazon QuickSight 3. Amazon Kinesis Stream 4. Amazon Kinesis Firehose 5. Amazon Kinesis Analytics 6. Amazon Inspector 7. AWS Import/Export Snowball 8. AWS Database Migration Service 9. AWS Mobile Hub 10.Amazon EC2 Container Registory

11.RDS for MariaDB 12.AWS Config Rules 13.CloudWatch Dashboard 14.Lambda Update 15.Amazon ECS 機能追加

16.EC2 Instance Update 17.Auroraが東京リージョンに

18.API Gatewayが東京リージョンに

19.CGWのIPアドレスが再利用可能に

20.新規EBSのPre-warmが不要に

ビックデータデータベース

re:Invent前に発表されたビックデータAmazon ElasticSearch Amazon EMR 4.1 Amazon Redshift UDFをサポート

Ⓒ Classmethod, Inc.

ビックデータ関連サービスの相関

Ⓒ Classmethod, Inc.

　　　Amazon QuickSight

8Ⓒ Classmethod, Inc.

Amazon QuickSightAWSが提供するクラウドベースのBIサービス

容易で直感的な可視化 “QuickSight UI”

高速な演算処理 “SPICE”

多彩なデータソース選択可能

従来型ソリューションの1/10という低価格

• Connectors • Data Prep • Meta Data • SPICE • Suggestions

• QuickSight UI

QuickSight API

来年１月開始予定

9Ⓒ Classmethod, Inc.

容易で直感的な可視化 “QuickSight UI”アカウント取得後60秒で分析環境を利用可能

AWS内部のデータソースを自動探索し簡単に始められる

直感的なビジュアル化機能(Auto Graph)を搭載

ネイティブモバイル対応の予定(iOS, Android)

10Ⓒ Classmethod, Inc.

高速な演算処理 “SPICE” SUPER-FAST PARALLEL IN-MEMORY COMPUTATION ENGINE

• カラムナデータを1/2～4に圧縮

• マシンコード生成とコンパイルクエリ • 豊富な演算方法

• SQLライクな文法

• クエリの応答が非常に速い

セキュリティを担保したAWSデータ接続

迅速なAWSデータソースの探索

RDB(RDS, Redshift) NoSQL(DynamoDB) EMR, S3, files (CSV, Excel, TSV, XLF, CLF) ストリーミングデータソース (DynamoDB, Kinesis)

テーブルやファイルから簡単にデータをインポート データタイプを自動認識

11Ⓒ Classmethod, Inc.

多彩なデータソース選択可能

12Ⓒ Classmethod, Inc.

従来型ソリューションの1/10という低価格Standard Edition:

$12/ユーザ/月 もしくは$9/ユーザ/月(1年間契約の場合)

$0.25/GB/月 - SPICEストレージ(10GBを超えた分)

Enterprise Edition: Standard Editionの機能に加えて、最大2倍のスループットや詳細なアクセスコントロール、暗号化、AD連携等を提供予定

$24/ユーザ/月 もしくは$18/ユーザ/月(1年間契約の場合)

0.38/GB/月 - SPICEストレージ(10GBを超えた分)

※コストは米国リージョンの予価

Ⓒ Classmethod, Inc.

　Amazon Kinesis Stream 　Amazon Kinesis Firehose 　　　Amazon Kinesis Analytics

14Ⓒ Classmethod, Inc.

Amazon Kinesis ファミリーAmazon Kinesisの新サービス追加とサービス名変更

変更：Amazon Kinesis → Amazon Kinesis Stream

追加：Amazon Kinesis Firehose

追加：Amazon Kinesis Analytics

Amazon Kinesis StreamとAmazon Kinesis Firehoseは、AWS のデータのストリーミング、ストリーミングデータのロードするサービスで、Amazon Kinesis Analyticsは、分析を簡易化するサービスです。

※ API としては Kinesis Stream は kinesis、新 Kinesis は firehose

と名前空間が切られています。

15Ⓒ Classmethod, Inc.

Amazon Kinesis StreamAmazon Kinesisの名称がAmazon Kinesis Streamに変更

データの保持期間が24時間から最大７日間まで延長可能

延長分の費用は別途必要となる

16Ⓒ Classmethod, Inc.

Amazon Kinesis Firehoseスループットに応じて自動的にスケーリング

データを取り出すのに最小1分の時間を要する

圧縮や暗号化も設定だけで実現

ストリーミングデータをダイレクトにS3やRedshfitに格納する

Kinesis Streamからのデータ取得やS3/Redshiftへの格納をアプリなしで実現

現在、US EAST, US WEST, EUのみ

17Ⓒ Classmethod, Inc.

StreamとFireHoseの違いStreamができること

ログ保存期間の増加・現象 タグの追加・削除

シャードのsplitやmergeによるキャパシティを制御

レコードのイテレータ取得・レコード取得

FireHoseができること

レコード連携先指定 自動スケール

ストリーミングデータをダイレクトにS3やRedshfitに格納

ストリームデータをS3やRedshiftに保存したい場合や簡単にKinesisを利用したいならFireHose、FireHoseでは要件が満たせないならStreamを利用する

18Ⓒ Classmethod, Inc.

Amazon Kinesis AnalyticsAmazon Kinesis AnalyticsはKinesisのストリームデータをタイムウィンドウでSQL使って分析できる

1. Kinesis Analyticsからデータストリームに接続

2. データストリームに対して標準のSQLクエリを実行

3. Kinesis Analyticsはツールで分析処理をするためのデータ送信（アラートを作成したりリアルタイムで応答）

速報性の求められる分析はKinesis Analyticsを用いて、事後の詳細解析はS3

やRedshiftに格納したデータと、使い分けを図る。

Ⓒ Classmethod, Inc.

データベース関連の新サービス

20Ⓒ Classmethod, Inc.

RDS for MariaDBRedhat, Fedora, openSUSE, Slackwareなど主要な

Linux デストリビューションの多くが採用しているMariaDBをついに開始

XtraDB や Ariaを利用可能

parallel replication / thread poolingも利用可能

バージョン 10.0.17のみ

MariaDBのJDBCドライバはAmazon RDS for Auroraのドライバも兼ねており、MariaDBとAuroraのシナジーも期待できます。

21Ⓒ Classmethod, Inc.

AWS Database Migration Service最小のダウンタイムでオンプレにあるDBをAWS上に移行するためのサービスで、オンプレミスからAmazonクラウドの同じ種類のデータベースへ、継続的にデータのレプリケーションを行うことでマイグレーションする方式。 • MySQL • MariaDB • (Aurora) • Postgres SQL • Oracle • SQL Server

違うエンジンの場合は、AWS Scheme Conversion toolを使い、変換してマイグレーションする。テーブルデータだけではなくスキーマ、パーティション、ストアドプロシージャ、ストアドファンクション等が変換されて移行される。 もし変換できないものはその旨が通知される。

22Ⓒ Classmethod, Inc.

最後にQuickSightがリリースされても、AWS BI Partnaer 製品 (Tableau等) とは連携して動作する

今後は Amazon Kinesis StreamよりもAmazon Kinesis

Firehoseが第一候補となる

Database Migration Serviceが開始になり、Auroraの東京リージョンのサービスをご検討ください

RDS for MariaDBの独自プラグインも今後期待したい

ご静聴ありがとうございました。 スライドは後日ブログで公開します。

23Ⓒ Classmethod, Inc.#cmdevio