kinesushi cmregrowth-2014-tokyo-20141216
TRANSCRIPT
Ⓒ Classmethod, Inc.
Kinesushiでみた Amazon Kinesisの話
1
DEVIO-MTUP11-TOKYO-004
鈴木亮,AWSチーム,クラスメソッド(株)
2014年12月16日
Ⓒ Classmethod, Inc.
自己紹介• 氏名 鈴木 亮(すずき りょう) • 所属 •クラスメソッドAWSチーム • チームUKYO reve(ロードレース)
• Twitter suzryo
2
3
ストリーミングデータを リアルタイムで処理する 完全マネージド型サービスAmazon Kinesis
とは?
4
Ⓒ Classmethod, Inc.
AWS Solutions Architect ブログ
5
http://aws.typepad.com/sajp/2014/08/kinesis_01.html
Ⓒ Classmethod, Inc.
弊社ブログ(AWS Summitレポート)
6
http://dev.classmethod.jp/cloud/aws/aws-summit2014tokyo-kinesis/
Ⓒ Classmethod, Inc.
弊社ブログ2(Kinesis特集)
7
http://dev.classmethod.jp/referencecat/aws-kinesis/
Amazon Kinesis メリット
8
スケール性
9
Ⓒ Classmethod, Inc.
Kinesushi構成図(水曜日:0日目)
10
Ⓒ Classmethod, Inc.
Kinesushi構成図(木曜日:1日目)
11
Ⓒ Classmethod, Inc.
木曜日• 上限緩和申請(AWSサポート申請) • Kinesisシャード数を10→32
• 検証用Kinesisストリーム設置 • パーティションキーの検証 • 店舗番号を用いる妥当性 • シャード分散確認
12
Ⓒ Classmethod, Inc.
Kinesushi構成図(金曜日:2日目)
13
Ⓒ Classmethod, Inc.
金曜日• 10店舗PUT開始 • シャードの実性能確認 • Kinesisシャード上限緩和
14
Ⓒ Classmethod, Inc.
Kinesushi構成図(月曜日:3日目)
15
Ⓒ Classmethod, Inc.
月曜日• 377店舗先行PUT開始 • 準備時間3日 • ピーク時:200万PUT/1時間 • 1日:1500~2000万PUT • 1ヶ月:5億前後PUT
16
Ⓒ Classmethod, Inc.
月額コスト
17
AWSサービス 拡張前 拡張後
Kinesis 数十$ 百数十$
S3 0.数$ 数$
EC2 数十$ 数百$
可用性 保守性 冪等性
18
Ⓒ Classmethod, Inc.
Kinesushi構成図
19
Ⓒ Classmethod, Inc.
障害
20
App障害時も、データPUTは継続 データは3重冗長保管
(24時間以内に復旧すれば)データロストなし
Ⓒ Classmethod, Inc.
復旧
21
連番による冪等性確保 リトライが可能
Ⓒ Classmethod, Inc.
メンテナンス
22
AP一時停止でデータロストなし
Ⓒ Classmethod, Inc.
Blue-Green Deployment
23
ビッグデータを お手頃に
24
Ⓒ Classmethod, Inc.
EC2([2,4,8]xlarge), EMR
25
Ⓒ Classmethod, Inc.
Kinesis
26
Ⓒ Classmethod, Inc. 27
Ⓒ Classmethod, Inc.
まとめ(Kinesisとは)• 高い拡張性と信頼性を備えたバッファです。 • 入口は1つ、出口は沢山を実現します。 • クラウドならではのメリット、Dev、Ops、Mng、皆で享受する事が可能です。
28
Ⓒ Classmethod, Inc.
#cmdevio
ご静聴ありがとうございました。 スライドは後日ブログで公開します。
29
DEVIO-MTUP11-TOKYO-004