6 月 18 日 next - google cloud platform で ビッグデータ
TRANSCRIPT
![Page 1: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/1.jpg)
Google Cloud Platform でビッグデータインフラストラクチャーではなく、
インサイトに焦点を当てる
![Page 2: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/2.jpg)
管理
モバイル
開発者ツールコンピュート
ネットワーク
ビッグデータ
サービス
ストレージ
![Page 3: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/3.jpg)
Source: IDC, 2014
生み出されるデータが
10倍に増加
(2013年には4.4ZBだったが、
2020年には44ZB に)
320億のIoTデバイス
(2020年までにインターネッ
トに接続される)
データの40%が2020年までにクラウドに
ビッグデータ: 見逃せないオポチュニティ
![Page 4: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/4.jpg)
さらに多くのデータや新たなデータソースに
常に対処
あらゆるビジネス機能のあらゆるデータを
キャプチャ・保存
一貫して使いやすいビッグデータ システムの
構築・維持の複雑さ
データ収集から行動までの時間を削減
既存のデータにおける価値を容易に見出す
1
2
3
4
ビッグデータでイノベーションや
イテレーションを実行するためのハードル
5
システムの信頼性を維持し、
持続的に稼働させる
データを安全に保つ
組織内、組織間のコラボレーション7
8
9
6
今までのビッグデータ=頭の痛い課題
![Page 5: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/5.jpg)
2002 2004 2006 2008 2010 2012
Dremel ColossusMapReduce
GFS BigTable Spanner
2014
Dataflow
ビッグデータの問題に取り組んだ十数年
BigQuery
![Page 6: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/6.jpg)
プログラミング
リソースプロビジョニング
性能チューニング
モニタリング
信頼性デプロイメント&構成
規模の高まりに対処
利用の向上
典型的なビッグデータ処理
インフラストラクチャーではな
く、インサイトに焦点を当てる
プログラミング
Googleを使ったビッグデータ処理
インサイトを得るまでの時間を短縮
![Page 7: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/7.jpg)
Google confidential │ Do not distribute
概要:処理するデータ : Consolidated Audit Trail (CAT)のデータ . 全普通株、オプション注文、見積もり、イベントのデータレポジトリ
課題:どうCATを処理し、1000億の市場イベントを 4時間以内に “オーダー ライフサイクル ”へと整理するか
6年分(~30PB)のデータを保存
Cloud Bigtable でクエリを処理・実行し、データ量の増加に対応
60億の市場イベントを
1時間ごとに書き込み
1.7 GB毎秒
毎時
6 TB
100億書き込み
毎時 バースト
1.7 ギガバイト 毎秒
10 テラバイト毎時
![Page 8: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/8.jpg)
Google confidential │ Do not distribute
Overview:Data to process: standard game KPIs, marketing data, custom game insight
Several dozen gigabytes of raw logs per day
Challenges:Struggled to process large volume of data
Long delays between triggering logs and querying data; problematic for games running live events
Issues controlling permissions
Long-running queries, clunky analysis
概要:処理するデータ: 標準的なゲームKPI、マーケティングデータ、 カスタムゲームのインサイト
1日に数十ギガバイトの生ログ
課題:大量のデータの処理に苦労していた
ログのトリガーからデータのクエリまでに長い遅延が生じ、ライブイベントを行っているゲームにとって厄介な問題となっていた
パーミッション制御に関する問題
実行時間のかかるクエリ、ぎこちない解析
“BigQuery のおかげで、実際にデータを使うことに集中できるようになり、データの入手に体力を消耗することがなくなりました”
処理
150ギガのデータを
15秒で
即時の
ログのインジェスチョン
スケールシステムの動作を
妨げない
パーミッション
制御に対する
柔軟性
![Page 9: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/9.jpg)
ビッグデータの全ライフサイクルを管理
保存 解析処理キャプチャ
![Page 10: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/10.jpg)
ビッグデータの全ライフサイクルを管理
Cloud Logs
Google App Engine
Google Analytics Premium
Cloud Pub/Sub
キャプチャ 保存 解析
バッチ
Cloud DataStore
処理
ストリーム
Cloud Monitoring
Cloud Bigtable
リアルタイム アナリティクスおよびアラート
Cloud Dataflow
![Page 11: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/11.jpg)
デモ
ビッグデータを実際に体験!
![Page 12: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/12.jpg)
Manage the Entire Lifecycle of Big Data
Cloud Logs
Google App Engine
Google Analytics Premium
Cloud Pub/Sub
BigQuery (テーブル)
Cloud Bigtable(NoSQL)
Cloud Storage(ファイル)
Cloud Dataflow
BigQuery Analytics(SQL)
キャプチャ 保存 解析
バッチ
Cloud DataStore
処理
ストリーム
Cloud Monitoring
Cloud Bigtable
リアルタイム アナリティクスおよびアラート
Cloud Dataflow
![Page 13: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/13.jpg)
ビッグデータ の パートナーエコシステム
Chartio
![Page 14: 6 月 18 日 Next - Google Cloud Platform で ビッグデータ](https://reader030.vdocuments.pub/reader030/viewer/2022032504/55c40271bb61eb5a078b4682/html5/thumbnails/14.jpg)
結論
1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の
フルマネージド(運用レス)のビッグデータ プラットフォームを提供
2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規
模でスタートし、安心して規模を拡大していきたいと考えていること理解した上
で、Googleはビッグデータ サービスを設計
3. クラウドでビッグデータ: DIY よりも低TCO