delivering results with amazon redshift, one petabyte at a ... · delivering results with amazon...

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Delivering Results with Amazon

Redshift, One Petabyte at a Time

アマゾン データ サービス ジャパン株式会社

事業開発部 マネージャー

大久保 順

September 3, 2015 | Tokyo, Japan

Samar Sodhi (samars@amazon.com)

Manager, Amazon Data Warehouse

ユースケース 目標 ベンチマーク結果

2.25兆行スキャン(15ヶ月分)

60分 14分

50億行ロード(1日分)

60分 10分

1500億行ロード(30日分)

24時間 9.75時間

– VACUUMは遅い、物理パーティショニング機能は存在しない

• 同一テーブルに対して同時（並列）にロード処理を行うことができない

• クラスターの最適なパフォーマンス上、15同時実行クエリーが上限であった

– また「お行儀の悪い」クエリーがクラスター全体にインパクトを与える

2倍改善

– COMPUPDATE ( ) –

高速化

FASTER 86.35%

GREATER THAN 15X 14.91%

10X TO 15X 18.42%

5X TO 10X 25.73%

3X TO 5X 19.88%

2X TO 3X 7.02%

1X TO 2X 3.80%

SAME 8.47%

SLOWER 5.65%

1X TO 2X 5.65%

FASTER 14.85%

3X TO 5X .56%

2X TO 3X 3.64%

1X TO 2X 10.64%

SAME 19.05%

SLOWER 66.11%

1X TO 2X 18.49%

2X TO 3X 8.96%

3X TO 5X 9.8%

5X TO 10X 10.08%

10X TO 15X 5.04%

SLOWER THAN 15X 13.73%

Daily (6B) 40 8XL nodes 100 8XL nodes

Vacuum 80 min 30 min

Stats Collection 90 sec 50 sec

Monthly (150B) 40 8XL nodes 100 8XL nodes

Vacuum (Deep

Copy) 380 min 201 min

Stats Collection 22 min 4 min

2日から1時間

3日から2時間

90時間から8時間

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Amazon Partner Networkのパートナーさまによるコンサルティングおよびテクニカルサポート

収集 処理 分析

蓄積

データ収集と蓄積

データプロセッシング

イベントプロセッシング

データ分析

コンサルティング

（SI）

テクニカル

（IS

V）

Data Integration AnalyticsOperational Intelligence

Total System Integrator Analytical Consulting

エンドユーザの業務課題解決のために必要となるデータ分析シナリオ構築および同シナリオのPDCAをトータルにサポート

上記コンサルティングパートナーさまが対応可能なコマーシャルソフトウェア（ISV）

Business Intelligence

AWS上でのインフラ構築支援（プラットフォーム＋OSS and/or コマーシャルソフトウェア ）、運用支援をトータルに提供

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (1) (13:15-14:00)

• 分析手法別にみた分析事例と分析のフロー

• 澪標アナリティクス 井原様

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (2) (14:15-15:00)

• ビッグデータ分析のカギを握るノン・プログラミングデータ連携

• 株式会社リクルート住まいカンパニー 馬場様

• インフォテリア株式会社 森様

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (3) (15:15-16:00)

• ビジネス部門が主導するクラウドビッグデータ分析の事例

• Treasure Data, Inc. 太田様

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (4) (16:15-16:45)

• IoT時代のアナリティクス ～センサーデータからの価値発見～

• MathWorks Japan 大谷様

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (4) (17:00-17:45)

• Amazon Machine Learning : デベロッパーがつくれるスマートアプリケーション

• Danny Lange

General Manager of Amazon Machine Learning, Amazon.com

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

機械学習ハッカソン＆ミートアップのご案内

1. Amazon Machine Learning ハッカソン with ハンズラボハンズラボのデータとAmazon Machine Learningを使ってスマートアプリケーションを作ってみよう!

～アプリケーション・デベロッパー向けの機械学習ハッカソン～・日時： 2015年9月12日(土) 10:00〜18:00・場所：アマゾン データ サービス ジャパン 目黒オフィス

2. Amazon Machine Learning ミートアップ with ハンズラボハッカソンでハンズラボのデータとAmazon MLを使って作ったスマートアプリケーションを発表頂きます!

～アプリケーション・デベロッパー向けの機械学習ハッカソンで作成いただいたスマートアプリケーションを、ハッカソンご参加者から発表いただきます～・日時： 2015年9月29日(火) 18:00〜20:15・場所：アマゾン データ サービス ジャパン 目黒オフィス

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

クニエ&クラウドパックによるAWSクラウドプラットフォームを活用したビッグデータ・IoT活用ライフサイクルのワンストップサービスをご紹介します!

・日時： 2015年9月28日(月) 13:00〜17:30・場所： アマゾンデータサービスジャパン大阪オフィス

ビッグデータ & IoT“まるごと” お任せセミナー

のご案内（大阪開催）

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

ご清聴ありがとうございました。