google cloud platform 概要
TRANSCRIPT
Google Cloud Platform 概要
Google Cloud Platform 2
世界中の情報を整理し、世界中の人々がアクセスできて使えるようにする
Google の ミッション
2
“
Googleは過去15年間にわたり、地球上で最も高速でパワフルそして高品質なクラウドインフラストラクチャを構築してきました
世界を駆け巡るGoogle バックボーンネットワーク
Building what’s next 8
33カ国 70箇所のエッジロケーション
クラウドプロバイダーの中で最大
Google-Grade Networking
2012 2015
MapReduce
Spanner
2003 2006 2010 2011
GFS
Borg
Colossus
Dremel
Bigtable
Chubby
2004
Google Cloud Platform 10
?
クラウドの進化
コロケーション
自分達の物理サーバを他人のデータセンターで
自分で運用
1st Wave
Virtualized Data Centers
Standard virtual kit, for rent. Still yours to manage.
Google Cloud Platform 11
2nd Wave
クラウドの進化
コロケーション
自分達の物理サーバを他人のデータセンターで
自分で運用
1st Wave仮想データセンター
2nd Wave
標準的な仮想リソースを借りることができる
自分で管理
Virtualized Data Centers
Automated ServicesScalable Data
3rd Wave
Invest your energy building great apps
Standard virtual kit, for rent. Still yours to manage.
Google Cloud Platform 12
2nd Wave
クラウドの進化
コロケーション
自分達の物理サーバを他人のデータセンターで
自分で運用
1st Wave仮想データセンター
2nd Wave
標準的な仮想リソースを借りることができる
自分で管理
自動化されたサービススケーラブルデータ
3rd Wave
より良いアプリケーションを作るためにフォーカス
Building what’s next 13
Source: google.com/green
Googleのデータセンターが消費するエネルギーは通常のデータセンターの半分
Green is Good
環境に優しいクラウドの方が良い
Green is Good
Google が使うエネルギーの35%は再生可能エネルギー
Source: google.com/green
Google Cloud Platform 15
基盤およびオペレーション
データサービス
アプリケーションサービス実行環境
Building what’s next 16
Complete Range of Compute
IaaSにするかPaaSにするか
ハイパーバイザー
ゲスト環境
app コード
app 実行環境
ゲストOS
ライブラリ
Googleが管理Googleが管理
ユーザ管理
ユーザ管理
HW
Compute Engine
IaaSInfrastructure-as-a-Service
Compute EngineApp Engine
PaaSPlatform-as-a-Service
Building what’s next 18
Google App Engine
インフラストラクチャではなくコード
好きな言語で開発
クリックするだけでデプロイ
自動的にスケールアウト
セキュリティスキャナにより脆弱性を発見
Google Cloud Platform 18
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Building what’s next 19
Google Compute Engine
Googleインフラの上に構築された仮想マシン
柔軟なプラットフォームの構築
Best Of Bleed
GCE プリエンプティブルVMを使うと通常のVM価格の30%で利用可能
ライブマイグレーション
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Google Cloud Platform 19
Building what’s next 20
Google Container Engine
コンテナによる革命が起こりつつある
開発者にとって :開発環境、テスト環境の構築が容易
マイクロサービスを構築するのが容易
1コマンドで容易にクラスタをアップデート可能
運用管理者にとって :Kubernetes が管理してくれる
アプリケーションのデプロイが容易
ポータビリティ
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Google Cloud Platform 20
Compute EngineGoogle Cloud Platform
高速なインスタンス起動低コスト
● VMあたり20秒から40秒程度で起動
● クラスタサイズを増や
しても変わらない
ブートしてSSH可能になるまでの時間
クラスタサイズ
VMあたりの起動時間
(秒
)
最低10 分より1分単位で課金
使った分だけの課金
• 使えば使うほど、単価が安くなる
• 自動的に適用される
• 事前に支払う必要なし
• ロックインされることもない
• 複雑な計画も必要ない
使いつづけると自動的に割引が適用
ムーアの法則に則り継続的に値下げを実施
プリエンプティブルVM
• データセンターの予備リソースを利
用するため、通常のVM費用の70%
オフで利用可能
• 起動後24時間で停止
• システムイベントにより停止する可能性が
ある
• ライブマイグレーション未対応
• 短期間のバッチジョブに最適
• 価格は固定VMインスタンスを作成するときに、フラグを付けることでプリエンプティブルVMになる
価格の優位性
● ロードバランサーは
“google.com”と同じインフ
ラを使用
● 準備時間の必要なく100万 QPSのリクエストに対応可
能
100万 QPS トータルコスト10 USD
4秒で起動
120秒以内に安定
source: Google
高性能なロードバランサー
● 1 IP アドレス
● リクエスト元のロケーション
に応じて一番近いデータセ
ンターに振り分け
● 障害検知が早い
source: Google
グローバルロードバランサー
Cloud Platform
region 2 region 3region 1
VMs VMs VMs
:::::::::::::::::::::::::::::::::::::::::::::::HTTP LB
DNS :)One global IP: 11.22.33.44
source: Google
透過的なメンテナンス
Building what’s next 31
Google におけるコンテナ
Googleではすべてがコンテナで動いている
ランタイムとアプリケーションを疎結合にする
週に20億コンテナを起動している
コンテナベースのコンピューティング
Google Innovation
オープンソースのコンテナオーケストレーション
独立した機関により管理され、業界の多くの会社がサポート
マルチクラウド、オンプレミス仮想環境、ベアメタルをサポート
Google 社内の経験を元に作成される
Kubernetesのフルマネージドサービス
1クリックでクラスタの作成が可能
Kubernetes
Container Engine
150万devices activated/day
60億hours
watched/month200億
pages crawled/day9億
active users
Google Cloud Platform 34
Big Data
Building what’s next 35
自動的にスケール
セットアップや管理作業が不要
秒間 100,000 行の投入が可能
3rd パーティソフトウェアと容易に統合
Google BigQuery大規模データセットに対して高速なクエリー
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Google Cloud Platform 35
Building what’s next 36
90秒以内でクラスタの構築が可能
Spark/Hadoop ジョブを容易に管理
通常のマシン利用量に加えてたったの1セント
/vCPU
Google Cloud Platform の他の製品と統合
Google Cloud Dataproc高速、パワフルなSpark/Hadoop クラスタを簡単に構築
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Google Cloud Platform 36
Building what’s next 37
バッチ処理とストリーム処理の統合
データ処理パイプライン
モニタリング機能
大幅にコスト削減
Google Cloud Dataflow複雑なデータ分析をシンプルに
Data Services
Foundation - Infrastructure & Operations
Application Runtime Services
Google Cloud Platform 37
BigQueryGoogle Cloud Platform
Google Cloud Platform
BigQuery とは
● 億件レベルの大規模データセットに対する高速クエ
リー
● 分析用のデータウェアハウス
○ NO INSERT/DELETE/UPDATE
● セットアップ、パフォーマンスチューニングやクラスタ
拡張といったインフラ作業不要
● ストレージ容量無制限。自動スケールアウト
● 低コスト
Google Cloud Platform
BigQuery とは
● BIツールを使って非技術者でも操作可能
○ Tableau, QlickView, Google Spreadsheet / Microsoft Excel
● ETL
○ クエリー結果をテーブルに出力可能
○ JSON関数/正規表現関数
● データ処理エンジンとの連携
○ Hadoop, Cloud Dataflow
Google Cloud Platform
BigQuery 参考構成
BigQuery
ログ収集/分析基盤
Cloud Logging
App EngineAnalytics Server
Google Analytics
Compute Engine
On-premise / 他社クラウドGoogle
Spreadsheet
Stream API
File
41
Google confidential | Do not distribute
BigQuery UI
Google confidential | Do not distribute
BigQuery UIBigQuery UIBigQuery UI
17億件(72.7GB)のフルスキャンが6.7秒!
早さの秘訣: カラム指向ストレージ
早さの秘訣 : 多段の処理ツリー
顧客
Aiming : ゲーム基盤/ログ分析
“既存のゲームのインフラを Google Compute Engine へ移行して低コストに運用したり、人気ゲームのログデータを BigQuery で解析したり。特にログ解析は、BigQuery で集計をリアルタイムに行えるようになり、さらにコストは 1/5 になりました。”
Fairy Devices : 音声認識サービス
“ 最大の理由はコストです。今までのクラウドサービスで一番困るのはリザーブドインスタンスという仕組みが使いにくいこと”
“ 万一の手当のために無駄なマシンを確保しておく必要がないので、ランニングコストを最低限に保つことができる”
アドイノベーション: 広告効果測定ツール
“ 「多言語対応のスマートフォン広告効果測定ツールを Google Cloud Platform 上で開発。お客様のトラフィックの急増にもまったく問題なく対応でき、お客様自身がリアルタイムで情報へアクセスでき、その上、従来の 1/4 のメンバーで開発できました。”
ブロードリーフ: 自動車部品管理
“Google BigQuery で 100 万規模のデータを統合、最短数秒で結果を返すシステムを構築しました。いままでの技術、やり方だとできなかったようなことを、Google Cloud Platform を使って可能にしていくというのはエンジニアとしても興味深いチャレンジです。”
Thank You
Google Cloud Platform 51