Download - Inovacao em-escala-final
![Page 1: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/1.jpg)
São Paulo
![Page 2: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/2.jpg)
Inovação em Escala
na Amazon Web Services
Julio M. Faerman
@jmfaerman
![Page 3: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/3.jpg)
Cada vez mais rápido!
• Transformações em escala
– Apenas com claros benefícios econômicos
– Mainframes vs. UNIX Super Servers
– UNIX Super Servers vs. x86 Servers
• Está acontecendo novamente
– Data centers, para a nuvem, para a nuvem*
– Transições anteriores levaram décadas
– A diferença está no ritmo de inovação!
• Maiores benefícios movem transformações mais rápidas
![Page 4: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/4.jpg)
Crescimento da AWS
![Page 5: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/5.jpg)
Escala em Perspectiva
Todo dia, a AWS adiciona capacidade suficientepara atender o equivalente à Amazon.com
quando já era uma empresa de
faturamento de $7 Bilhões
![Page 6: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/6.jpg)
Tire as redes do caminho
• O custo relativo de redes está aumentando
– Preço de servidores e storage caindo
– Custos de redes tendem a dominar
• Menos inovação em Networking
– Custos verticais integrados
– Margens indefensáveis
• Soluções da AWS:
– Redes personalizadas (H&S&P)
– Links privados gerenciados
57%
8%
18%
13%
4% Servers
NetworkingEquipmentPower Distribution& CoolingPower
OtherInfrastructure
Custos Típicos
3yr server & 10 yr infrastructure amortization
![Page 7: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/7.jpg)
AWS Worldwide Network Backbone
![Page 8: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/8.jpg)
Exemplo de Região AWS
AZ
AZ
AZ AZ AZ
Transit
Transit
Latência entre AZs << 2ms
25Tbps peak inter-AZs traffic
![Page 9: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/9.jpg)
Por quê a AWS oferece AZs?
• Replicação Síncrona ou Assíncrona?
• Escritas em SSD levam ~ 1 a 2ms
• LA pra New York = 74ms
• Dilema em caso de falhas:
• Failover e perda de transações
• Não failover e perda de disponibilidade
• Use as AZs!• <2ms permite replicação síncrona
• Pode ser combinado com replicação regional assíncrona
74ms
![Page 10: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/10.jpg)
Exemplo de Zona de Disponilidade
AZ
AZ
AZ AZ AZ
Transit
Transit
![Page 11: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/11.jpg)
Exemplo de AWS Data Center
![Page 12: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/12.jpg)
Rack, Server & NIC
![Page 13: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/13.jpg)
Latência e Variabilidade em Redes
![Page 14: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/14.jpg)
Projetos de Storage e Servidores Personalizados
• Servidores OEM
– Projeto geral para uma propósitos diversos
– Rede mundial de distribuição
– “Não econômicos”
• Servidores AWS
– Servidores otimizados para fins específicos
– Implementações em hardware de núcleos comuns
– Processadores Intel com desempenho exclusivo
– DCs, servers, networking, storage projetados sob
especificações integradas
![Page 15: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/15.jpg)
A diferença em bancos de dados
• Tradicionalmente dominado pelos “Big 3”– Oracle, SQL Server, & DB2
• Difíceis de administrar e escalar
• Impossíveis de substituir
• “NoSQL” escala melhor e alivia algumas dificuldades– MongoDB, Neo4J, Cassandra, …
• Cloud NoSQL escala ilimitadamente e não exige
administração– e.g., Amazon DynamoDB
![Page 16: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/16.jpg)
Amazon DynamoDB
• NoSQL otimizado para latência e escala
• 3x requisições no último ano– Resposta em um dígito de ms
– Latência baixa e constante
– 4x storage no mesmo período
• Funcionalidades principais– Suporte a JSON
– Itens de 400KB
– Índices Secundários Globais
– Fluxos
– Replicação entre regiões
![Page 17: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/17.jpg)
Administração de Bancos Relacionais
• Fáceis de usar, difíceis de administrar• SGBDRs são o núcleo de muitas aplicações
• Também a maior fonte de falhas, dores de cabeça e perdas
• RDS MySQL alivia a administração– Instalação, Configuração, Segurança, Backups, Redundância, Réplicas…
– Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL
• Não resolve as limitações dos SGBDs
![Page 18: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/18.jpg)
26%
40%
25%
30%
35%
40%
Multi-AZ RDS % of all RDS
RDS Multi-AZ
Synchronous Replication
AZ1 AZ2
• Dificilmente se atinge mais de 3
noves em um único data center– Replicação Síncrona Multi-AZ
• Não é novidade
– EMC SRDF/S & Oracle Fast Start Failover
– Custo de versões “enterprise”
• RDS MySQL Multi-AZ
– Mais “noves” e horas de sono!
![Page 19: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/19.jpg)
Amazon Aurora
• Storage Engine Personalizado
– Funcionalidades “Enterprise”
– Preços “Cloud”
– Compatível com MySQL 5.6
– Storage Desacoplado
• Três AZs sem pausas em casos de
falha de um DC
• Mesmo a perda hipotética de dois DCs
não causa perdas
– Replicação Síncrona
SQL
Txns
Caching
StoreStore StoreStore
AZ 1 AZ 2
StoreStore
AZ 3
![Page 20: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/20.jpg)
• MySQL atual com novo gerenciador de storage– 3x write performance (sysbench)
– 5x read performance
• Suporta até 16 read replicas (RDS mySQL: 5)
• 400x menos lag (2,000ms vs 5ms)
• Tabelas de até 64TB (RDS/MySQL: 3TB)
• Failover instantâneo (no database crash recovery time)
• Recuperação automática em caso de falhas– Sem impacto operacional
Amazon Aurora Performance
![Page 21: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/21.jpg)
Amazon Redshift
Parallel SQL Data Warehouse
• Até 128 servidores em paralelo
– DW Colunar / OLAP
• Custo disruptivo: $1,000/TB/Year
– Serviço de maior crescimento
– 1000s de clientes
– Clientes de muitos PB em produção
• Provisionamento,
Redimensionamento e demais
tarefas automatizadas
• Escala Massiva:
– DW1: HDD; scale from 2TB to 2PB
– DW2: SSD; scale from 160GB to 326TB
Full 10Gbps Links
Ingestion,
Backup, &
Restore
Customer VPC
Internal
VPC
JDBC/ODBC
![Page 22: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/22.jpg)
Amazon EBS a 20,000 IOPS
• Provisioned IOPS (SSD)– Max volume to 16TB (From:1TB)
– Max I/O rate to 20,000 IOPS (From:4k IOPS)
– Max throughput to 320MB/s (From:180MB/s)
• General Purpose (SSD)– Max volume size to 16TB (From:1TB)
– Max I/O rate to 10,000 IOPS (From:3k IOPS)
– Max throughput to 160MB/s (From:128 MB/s)
EBS
![Page 23: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/23.jpg)
Desafios Internos
Medições da AWS
• Dezenas de milões de registros/s
• TBs/hora
• 100,000s de fontes internas
• Escalável, baixo custo, auditável,
com alertas em tempo real Amazon Kinesis:
• Produtores chamam put()
• Número sequencial retornado
• Dados distribuídos entre shards
• Escalável por shard: 1 MB/s &
1000 TPS
![Page 24: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/24.jpg)
Infraestrutura de Energia
• Alguns datacenters com subestações próprias
– Menor custo e construção mais rápida
• Acordos de intercâmbio de energia
• Firmware switchgear personalizado
• 3 regiões 100% neutras em carbono:
– US West (Oregon)
– AWS GovCloud (US)
– EU (Frankfurt)
![Page 25: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/25.jpg)
2011
82
159
2012
280
2013
516
2014
Ritmo de inovação na AWSAWS anunciou 1,407 novas funcionalidades ou seviços desde 2006
2015
+234*
* As of April 30, 2015
![Page 26: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/26.jpg)
![Page 27: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/27.jpg)
![Page 28: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/28.jpg)
![Page 29: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/29.jpg)
![Page 30: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/30.jpg)
Random Forest
1.50…
Kaggle Top
0.38…
Amazon
Machine Learning
0.63…
![Page 31: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/31.jpg)
Por onde começar?
Comunidade no Brasil
http://www.awshub.com.br
Laboratórios Gratuitos
http://aws.amazon.com/training/intro_series/
Nível de Uso Gratuito
http://aws.amazon.com/free/
Treinamentos Presenciais
http://aws.amazon.com/training/
Canal do YouTube
https://www.youtube.com/user/AmazonWebServices
![Page 32: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/32.jpg)
E depois?
Documentações dos Serviços
http://aws.amazon.com/documentation
Guias de Soluções
http://aws.amazon.com/whitepapers
Centrais de Arquitetura
http://aws.amazon.com/architecture
Programa de Startups
http://aws.amazon.com/start-ups
![Page 33: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/33.jpg)
MK33BR2015
![Page 34: Inovacao em-escala-final](https://reader030.vdocuments.pub/reader030/viewer/2022020123/55b365c0bb61eb8f548b47cc/html5/thumbnails/34.jpg)
Obrigado! Perguntas?
Julio M. Faerman
@jmfaerman