google cloud platform Облачные сервисы для бизнеса
TRANSCRIPT
Февраль 2017
Дмитрий Новаковский, Олег Ивонин
Облачные сервисы для бизнесаGoogle Cloud Platform
Дмитрий Новаковский / [email protected]● Customer Engineer @ Google Netherlands B.V.● Поддержка продаж и разработка решений на основе GCE, GKE, GAE● В прошлом:
○ IaaS/PaaS (OpenStack @ Mirantis)○ SaaS (ETAdirect @ TOA Technologies/Oracle)
Кто мы?
Олег Ивонин / [email protected]● Cloud Web Solutions Engineer @ Google Netherlands B.V.● Разработка инструментов для анализа стоимости конфигураций и
планирования архитектуры облачных решений на основе GCP○ Google Cloud Platform Pricing Calculator и другие
● Часть 1: Google Cloud Platform 101
● Часть 2: Инфраструктурные сервисы Google Cloud
● Часть 3: Обработка данных в Google Cloud
● Часть 4: Итоги и вопросы/ответы
О чем мы расскажем?
Google Cloud Platform 4
Зачем?
Google Cloud Platform 5
Часть 1:Google Cloud Platform
101
Google Cloud Platform 6
Что такое “облако”?
Облачные сервисы (облачные вычисления, англ. cloud computing) - это:● модель предоставления повсеместного удобного сетевого
доступа по требованию● ...к общему пулу конфигурируемых вычислительных ресурсов
(серверы, сервисы, сети, хранилища данных, приложения) ● ...с возможностью оперативного предоставления и освобождения
при минимальных эксплуатационных затратах (включая взаимодействие с провайдером)
Полный документ
Google Cloud Platform 7
Ключевые характеристики1. Самообслуживание 2. Универсальный доступ по
сети3. Объединение ресурсов4. Эластичность5. Учет потребления
Характеристики и типы “облаков”
Полный документ
Типы облаков
SaaS - Salesforce.com, G Suite, Office 365
PaaS - Heroku, CloudFoundry, OpenShift
IaaS - AWS, Microsoft Azure, GCP
Google Cloud Platform 8
Physical / Colo / VPS
Serverless / NoOps / PaaS
Storage Processing Memory Network
Self-Service / Elastic / IaaS
Storage Processing Memory Network
Путь IT-инфраструктуры в “облако”
Google Cloud Platform 9
Google Cloud Platform (GCP) - это набор коммерческих облачных сервисов, основанных на разработках и опыте Google в эксплуатации собственных продуктов
Что такое Google Cloud Platform?
Millwheel
2002 2004 2006 2008 2010 2012 2014 2016
GFS
MapReduce
Bigtable Colossus
F1
TensorFlow
Limited isolation
Released CGroups
ReleasedLMCTFY
Kubernetes
FlumeDremel
Megastore PubSub
Spanner
BwEWatchtower
Onix
Google Global Cache B4
Jupiter
QUIC
gRPC
Andromeda
Google Cloud Platform 11
Вычисления
Compute Engine
App Engine
Container Engine
Container Registry
Cloud Functions
Сетевые сервисы
Cloud Virtual Network
Cloud Load Balancing
Cloud CDN
Cloud Interconnect Cloud DNS
Big Data
BigQuery Cloud Dataflow
Cloud Dataproc
Cloud Pub/Sub
Хранение данных
Cloud Storage
Cloud Bigtable
Cloud Datastore Cloud SQL Persistent
Disk
Machine Learning
Cloud Machine Learning Vision API Speech
APINatural
Language APITranslation
APICloud Datalab
Google Cloud Platform сегодня
Google Cloud Platform 12
Преимущества Google Cloud Platform
Безопасность● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и
программная инфраструктура (датацентры, сервера, ПО)● Шифрование данных клиента at rest и in transit, управление ключами
● Самая большая в мире сеть облачного провайдера, построена и управляется Google, собственный fiber optic
● 70 точек присутствия, глобальный load balancing, low latency, CDN
● Обширный набор сервисов для хранения и обработки больших данных● Google разбрабатывает предлагает лучшие open-source инструменты
(Tensorflow, MapReduсe и др), GCP делает их легко доступными
NoOps● Google App Engine, BigQuery, Dataproc и другие managed сервисы
ускоряют и упрощают разработку проектов и обработку данных. Время и затраты на поддержку инфраструктуры становятся не нужны
Глобальная сеть
Big Data и ML
Снижение затрат
● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в зависимости от конфигурации ВМ
Taiwan 3
3S Carolina
Iowa 4
2Oregon 3
Belgium
Tokyo3
2
3
Singapore
N Virginia
London
Mumbai
Sydney
Frankfurt
Finland
33
3
3
2
3 São Paulo
4
Google Cloud Platform 14
Google Cloud Platform снижает затраты
Google Cloud Platform 15
Google Cloud Platform снижает затраты
16
Пример архитектуры для сравнения стоимости GCP и AWS
● Пример: система потокового мультимедиа● Мы сравним стоимость* основных ресурсов у GCP и AWS:
○ 20 виртуальных машин - 4 vCPU / 20 Gb RAM;○ 40000 Gb (~40Tb) объектного хранилища данных;○ 100 миллионов запросов к данным
17
Расчетные данные
GCP* AWS**20 x custom-4-16384 (4 vCPUs, 16GB memory)
$2192.80 20 x m4.xlarge (4 vCPUs, 16GB memory)
$3147.60
40000 GB of regional storage100000000 GET requests
$840 40000 GB of S3 Standard storage100000000 GET requests
$960
Снижение затрат: $1074.80 в месяц
* Подсчитано при помощи Google Cloud Pricing Calculator** Подсчитано при помощи AWS Simple Monthly Calculator
18
No lock-in!
Google Cloud Platform 19
Часть 2: Инфраструктурные сервисы
Google Cloud
Google Cloud Platform 20
IaaS / PaaS сервисы в Google CloudВычисления
Compute Engine
App Engine
Container Engine
Container Registry
Cloud Functions
Сетевые сервисы
Cloud Virtual Network
Cloud Load Balancing
Cloud CDN
Cloud Interconnect Cloud DNS
Big Data
BigQuery Cloud Dataflow
Cloud Dataproc
Cloud Pub/Sub
Хранение данных
Cloud Storage
Cloud Bigtable
Cloud Datastore Cloud SQL Persistent
Disk
Machine Learning
Cloud Machine Learning Vision API Speech
APINatural
Language APITranslation
APICloud Datalab
21
Compute Engine (GCE)Полный контроль: “Классические” виртуальные машины
App Engine (GAE)PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков.
Cloud FunctionsServerless платформа для event-based микросервисов
Google Container Engine (GKE)Kubernetes-as-a-service - оркестрация задач в Docker контейнерах
Google Cloud Platform 22
Compute Engine
● Виртуальные машины с лучшей в классе производительностью и ценой ○ Linux, Windows Server○ Автоматическое управление нагрузкой и
масштабирование групп инстансов○ Live migration виртуальных машин вместо
принудительного выключения○ HDD и SSD диски, до 25к IOPS на SSD
● Полный контроль над инфраструктурой (серверы, сети, хранилища), пространством ОС, ядром и пакетами Linux
● Возможность запуска любого ПО
Когда используется Google Compute Engine?
23
24
● Схожий набор инструментов управления● Снижение затрат благодаря гибкой системе цен GCE
● Повышение эффективности работы решения:
○ Вспомогательные сервисы (Storage, Database, CDN)
○ Глобальное присутствие Google (сеть и ЦОД)
○ Распределение нагрузки и масштабирование
○ Автоматизация
○ Эластичность
○ NoOps
Compute Engine
Google Compute Engine vs. VPS
Пример архитектуры: Live Streaming
27
Compute Engine (GCE)Полный контроль: “Классические” виртуальные машины
App Engine (GAE)PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков.
Cloud FunctionsServerless платформа для event-based микросервисов
Google Container Engine (GKE)Kubernetes-as-a-service - оркестрация задач в Docker контейнерах
28
Virtual machine
OS
Dependencies
Application Code
Hardware
Container
OS
Dependencies
Application Code
Hardware
Что дает контейнеризация?
29
Что такое Kubernetes?
Kubernetes (K8s)
● Инструмент оркестрации и управления кластерами контейнеров (Docker, rkt)
○ Масштабирование, управление версиями (upgrade/rollback), A/B testing, и др.
● Устраняет необходимость ручного управления группами Docker хостов
● Декларативный механизм работы
○ Масштабирование и self-healing по заданным параметрам “целевого состояния”
● Open-source: github.com/kubernetes
● Основан на опыте и внутренних разработках Google (blog post, research paper)
● Continuous integration & delivery приложения с использованием контейнеров+конфигурации как конечного артефакта
● Архитектура приложения следует microservices практикам, обширное покрытие автотестами
● Высокая частота релизов новой функциональности в Production
● Переносимость и масштабирование среды на другие окружения (Azure, on-premise и др.)
Container Engine
Когда используется Google Container Engine?
31
Compute Engine (GCE)Полный контроль: “Классические” виртуальные машины
App Engine (GAE)PaaS решение от Google - готовые к использованию окружения для Python, Java, PHP, Go и других языков.
Cloud FunctionsServerless платформа для event-based микросервисов
Google Container Engine (GKE)Kubernetes-as-a-service - оркестрация задач в Docker контейнерах
● Сборка и поставка масштабируемых приложений в типовых окружениях
● NoOps cервисы платформы○ Authentication, Memcache, Load Balancing, Message queues, Task
queues, API Endpoints и др
○ SQL & NoSQL DB
○ Debugging, tracing, logging
● Мониторинг и масштабирование приложения согласно нагрузке и бизнес правилам
● Автоматизация сборки и управления версиями
App Engine
Когда используется Google App Engine?
Google Cloud Platform 33
Окружения: GAE Standard vs. Flex
34
Compute Engine (GCE)Полный контроль: “Классические” виртуальные машины
App Engine (GAE)PaaS решение от Google - готовые к использованию runtimes для Python, Java, PHP, Go и других языков.
Cloud FunctionsServerless платформа для event-based микросервисов
Google Container Engine (GKE)Kubernetes-as-a-service - оркестрация задач в Docker контейнерах
Когда используется Google Cloud Functions?
Functions
● Изолированные узкоспециализированные функции○ Javascript (Node.JS) функции
● Запуск по событию:○ загрузка объекта в Cloud Storage○ Прием определенного сообщения в Pub/Sub○ POST сообщение на внешний API
Google Cloud Platform 36
Что выбрать?
Google Cloud Platform 37
Что выбрать?
● Choosing a Computing option● Сhoosing a Storage option
Google Cloud Platform 38
Сетевые сервисы в Google CloudВычисления
Compute Engine
App Engine
Container Engine
Container Registry
Cloud Functions
Сетевые сервисы
Cloud Virtual Network
Cloud Load Balancing
Cloud CDN
Cloud Interconnect Cloud DNS
Big Data
BigQuery Cloud Dataflow
Cloud Dataproc
Cloud Pub/Sub
Хранение данных
Cloud Storage
Cloud Bigtable
Cloud Datastore Cloud SQL Persistent
Disk
Machine Learning
Cloud Machine Learning Vision API Speech
APINatural
Language APITranslation
APICloud Datalab
39
Cloud CDNДоставка контента пользователям через кеширование на ближайшем edge location. Также поддерживает Interconnect в других провайдеров
Cloud InterconnectHigh availability+throughput и low latency подключение к сети Google (в поддерживаемых ЦОДах)
Cloud Load BalancingУправление трафиком с поддержкой HTTP(s) (multi-region), TCP/SSL (single-region), Health Checks и автоматического масштабирования
Cloud Virtual NetworkВиртуальные сети с поддержкой Geographical scope, VPN, Firewall, Routing и DNS
Google Cloud Platform 40
Часть 3: Обработка данных в
Google Cloud
Google Cloud Platform 41
Хранение данных в Google CloudВычисления
Compute Engine
App Engine
Container Engine
Container Registry
Cloud Functions
Сетевые сервисы
Cloud Virtual Network
Cloud Load Balancing
Cloud CDN
Cloud Interconnect Cloud DNS
Big Data
BigQuery Cloud Dataflow
Cloud Dataproc
Cloud Pub/Sub
Хранение данных
Cloud Storage
Cloud Bigtable
Cloud Datastore Cloud SQL Persistent
Disk
Machine Learning
Cloud Machine Learning Vision API Speech
APINatural
Language APITranslation
APICloud Datalab
42
Cloud BigtableВысокопроизводительная (100+ PBs and 1M+ of ops/s) NoSQL БД для обработки больших данных с низкой задержкой, высокой пропускной способностью и поддержкой HBase API
Cloud SQLВысокопроизводительная SQL БД с автоматической репликацией, бекапом и обслуживанием
Cloud StorageУниверсальное хранилище объектов широкого спектра
Cloud DatastoreРеплицируемая NoSQL БД для веб приложений с высокой доступностью (25M+ QPS, используется Snapchat и Pokémon Go) и автоматизированным no downtime обслуживанием
Классы хранения в Google Cloud Storage
● Per Bucket classes, Lifecycle Policies, and Transfer Service
Multi Regional Regional Nearline Coldline
Use case Критичные данные с репликацией
Данные бизнеса без репликации
Редкое использование Архивы
Цена за 1 Гб Дешево Дешевле Еще дешевле Самый дешевый
Цена за доступ - - 0.01 USD 0.05 USD
Минимальная длительность хранения - - 30 days 90 days
SLA на доступность 99.95% 99.9% 99%
Задержка Отсутствует
Google Cloud Platform 44
GCS Coldline is better than S3 Glacier on: - simple predictable access pricing (5c GB) - availability SLA (99%) - online latency access (ms) - consistent API across storage classes
GCS storage classes vs AWS S3/Glacier/CRRPr
ice
per G
B-m
o
Retrieval frequency
4.2c+
2.3 - 2.1c2.6c2.0c
1.25c
1.0c
0.7c
GCS Nearline
S3 IA
S3 Standard
GCS Coldline
Geo-redundant, highly available
Regional storage
Infrequent Access
Cold archive
Slow access
S3 Std with Cross Regional Replication results in: - 2x storage cost - network charges for replication - SLA as Standard of 99.9%.
GCS Multi-Regional at 2.6c / GB-mo includes: - storage of geo-redundant replicas- cost of network replication - 99.95% SLA.
GCS Mult-Reg
S3 Std + CRR
GCS Regional
Glacier
45
Cloud DataprocHadoop и Spark кластеры с высокой производительностью в облаке
Cloud Pub/SubСервис очередей сообщений для обмена данными между приложениями и доставки данных в Cloud
Cloud DataflowКонвейеры обработки (на основе Apache Beam) для преобразований и загрузки (ETL) потоковых и пакетных данных
BigQueryВысокопроизводительное масштабируемое хранилище данных (DWH) для обработки и анализа
46
Events, metrics, etc.
Stream
Batch
Applications and Reports
Cloud Datalab
Visualization and BI
Co-workers
B CA
Raw logs, files, assets, Google
Analytics data etc.
Cloud Pub/Sub
Cloud Storage
Cloud DataflowBigQuery
End-to-end data flow
Google Cloud Platform 47
Что выбрать?
● Choosing a Computing option● Сhoosing a Storage option
Google Cloud Platform 48
Часть 4: Итоги и вопросы
Google Confidential and Proprietary
Host Wix Editor on App Engine
Uses Google Cloud Storage to store static media files
Serve production media traffic from Compute Engine
“We chose Google Cloud Platform because of its ease of management, scalability and
speed of development.”
~11 Millionfiles uploaded per day
of storage managed per day
600TB 8.6Mimages resized
per day
700 million
“App Engine enabled us to focus on developing the application. We wouldn’t have gotten here without the ease of development that App Engine gave us.”Bobby Murphy, CTO
Snapchat sends
photos and videos each day Google App Enginescaled seamlesslyduring growth to
millions of users
Small team is ableto innovate quickly
and expandglobally
51Google Cloud Platform
“Ulmart can now create actionable dashboards, analyze its pricing against the market, and maximize its margin without losing market leadership.”
● Ulmart выбрал Google BigQuery для решения сложных аналитических задач
● Знакомый синтаксис SQL запросов and быстрая обработка в Google BigQuery позволяют Ulmart работать с огромными объемами данных в реальном времени
● Ulmart экономит тысячи долларов на тренингах и лицензировании
52Google Cloud Platform
“This is no small achievement as the transition means moving approximately three to 3.5 petabytes of user data from Evernote's two current data centers into the Google Cloud Platform.”
fortune.com
cloudplatform.googleblog
pcworld.com
Google Cloud Platform 53
Google Cloud Platform - это:
IaaS/PaaS
Полнофункциональная платформа с
экономией затрат Big Data / Machine Learning
Масштабируемые облачные сервисы
для работы с данными
NoOpsСнижение
издержек и повышение
эффективности разработки ПО
Лучшее от Google
Все сервисы спроектированы и опробованы для
задач Google
Google Cloud Platform 54
Thank you
Google Cloud Platform 55
Backup slides
Пример архитектуры: Continuous Integration
Безопасность Google Cloud Platform ● Модель безопасности Google постоянно улучшается на протяжении
последних 15 лет● Google Cloud Platform предлагает пользователям уровень защиты
аналогичный используемому для таких сервисов как GMail, Google Search и др. Например:○ Шифрование данных в Google Cloud включено по умолчанию, как
для среды передачи (“in transit”, HTTPS/TLS), так и для хранения (“at rest”, AES-256)
○ Google Cloud Key Management Service позволяет клиентам шифровать данные собственными ключами шифрования
● Google Cloud Terms of Service регламентирует обработку данных клиента в строгом соответствии с инструкциями клиента - и никак иначе
● Google Cloud Platform проходит регулярный аудит технической инфраструктуры и процессов управления
● Сервисы Google Cloud Platform соответствуют таким международным стандартам аудита и сертификации как:○ SSAE16 / ISAE 3402 Type II○ ISO 27001○ ISO 27017, Cloud Security○ ISO 27018, Cloud Privacy○ FedRamp ATO○ PCI DSS v3.1
● Google Cloud Platform поддерживает доп. соглашения для соответствия стандартам HIPAA и EU Data Protection Directive
Сертификации и аудит Google Cloud Platform