inovacao em-escala-final
TRANSCRIPT
São Paulo
Inovação em Escala
na Amazon Web Services
Julio M. Faerman
@jmfaerman
Cada vez mais rápido!
• Transformações em escala
– Apenas com claros benefícios econômicos
– Mainframes vs. UNIX Super Servers
– UNIX Super Servers vs. x86 Servers
• Está acontecendo novamente
– Data centers, para a nuvem, para a nuvem*
– Transições anteriores levaram décadas
– A diferença está no ritmo de inovação!
• Maiores benefícios movem transformações mais rápidas
Crescimento da AWS
Escala em Perspectiva
Todo dia, a AWS adiciona capacidade suficientepara atender o equivalente à Amazon.com
quando já era uma empresa de
faturamento de $7 Bilhões
Tire as redes do caminho
• O custo relativo de redes está aumentando
– Preço de servidores e storage caindo
– Custos de redes tendem a dominar
• Menos inovação em Networking
– Custos verticais integrados
– Margens indefensáveis
• Soluções da AWS:
– Redes personalizadas (H&S&P)
– Links privados gerenciados
57%
8%
18%
13%
4% Servers
NetworkingEquipmentPower Distribution& CoolingPower
OtherInfrastructure
Custos Típicos
3yr server & 10 yr infrastructure amortization
AWS Worldwide Network Backbone
Exemplo de Região AWS
AZ
AZ
AZ AZ AZ
Transit
Transit
Latência entre AZs << 2ms
25Tbps peak inter-AZs traffic
Por quê a AWS oferece AZs?
• Replicação Síncrona ou Assíncrona?
• Escritas em SSD levam ~ 1 a 2ms
• LA pra New York = 74ms
• Dilema em caso de falhas:
• Failover e perda de transações
• Não failover e perda de disponibilidade
• Use as AZs!• <2ms permite replicação síncrona
• Pode ser combinado com replicação regional assíncrona
74ms
Exemplo de Zona de Disponilidade
AZ
AZ
AZ AZ AZ
Transit
Transit
Exemplo de AWS Data Center
Rack, Server & NIC
Latência e Variabilidade em Redes
Projetos de Storage e Servidores Personalizados
• Servidores OEM
– Projeto geral para uma propósitos diversos
– Rede mundial de distribuição
– “Não econômicos”
• Servidores AWS
– Servidores otimizados para fins específicos
– Implementações em hardware de núcleos comuns
– Processadores Intel com desempenho exclusivo
– DCs, servers, networking, storage projetados sob
especificações integradas
A diferença em bancos de dados
• Tradicionalmente dominado pelos “Big 3”– Oracle, SQL Server, & DB2
• Difíceis de administrar e escalar
• Impossíveis de substituir
• “NoSQL” escala melhor e alivia algumas dificuldades– MongoDB, Neo4J, Cassandra, …
• Cloud NoSQL escala ilimitadamente e não exige
administração– e.g., Amazon DynamoDB
Amazon DynamoDB
• NoSQL otimizado para latência e escala
• 3x requisições no último ano– Resposta em um dígito de ms
– Latência baixa e constante
– 4x storage no mesmo período
• Funcionalidades principais– Suporte a JSON
– Itens de 400KB
– Índices Secundários Globais
– Fluxos
– Replicação entre regiões
Administração de Bancos Relacionais
• Fáceis de usar, difíceis de administrar• SGBDRs são o núcleo de muitas aplicações
• Também a maior fonte de falhas, dores de cabeça e perdas
• RDS MySQL alivia a administração– Instalação, Configuração, Segurança, Backups, Redundância, Réplicas…
– Amazon RDS MySQL, Oracle, SQL Server, & PostgreSQL
• Não resolve as limitações dos SGBDs
26%
40%
25%
30%
35%
40%
Multi-AZ RDS % of all RDS
RDS Multi-AZ
Synchronous Replication
AZ1 AZ2
• Dificilmente se atinge mais de 3
noves em um único data center– Replicação Síncrona Multi-AZ
• Não é novidade
– EMC SRDF/S & Oracle Fast Start Failover
– Custo de versões “enterprise”
• RDS MySQL Multi-AZ
– Mais “noves” e horas de sono!
Amazon Aurora
• Storage Engine Personalizado
– Funcionalidades “Enterprise”
– Preços “Cloud”
– Compatível com MySQL 5.6
– Storage Desacoplado
• Três AZs sem pausas em casos de
falha de um DC
• Mesmo a perda hipotética de dois DCs
não causa perdas
– Replicação Síncrona
SQL
Txns
Caching
StoreStore StoreStore
AZ 1 AZ 2
StoreStore
AZ 3
• MySQL atual com novo gerenciador de storage– 3x write performance (sysbench)
– 5x read performance
• Suporta até 16 read replicas (RDS mySQL: 5)
• 400x menos lag (2,000ms vs 5ms)
• Tabelas de até 64TB (RDS/MySQL: 3TB)
• Failover instantâneo (no database crash recovery time)
• Recuperação automática em caso de falhas– Sem impacto operacional
Amazon Aurora Performance
Amazon Redshift
Parallel SQL Data Warehouse
• Até 128 servidores em paralelo
– DW Colunar / OLAP
• Custo disruptivo: $1,000/TB/Year
– Serviço de maior crescimento
– 1000s de clientes
– Clientes de muitos PB em produção
• Provisionamento,
Redimensionamento e demais
tarefas automatizadas
• Escala Massiva:
– DW1: HDD; scale from 2TB to 2PB
– DW2: SSD; scale from 160GB to 326TB
Full 10Gbps Links
Ingestion,
Backup, &
Restore
Customer VPC
Internal
VPC
JDBC/ODBC
Amazon EBS a 20,000 IOPS
• Provisioned IOPS (SSD)– Max volume to 16TB (From:1TB)
– Max I/O rate to 20,000 IOPS (From:4k IOPS)
– Max throughput to 320MB/s (From:180MB/s)
• General Purpose (SSD)– Max volume size to 16TB (From:1TB)
– Max I/O rate to 10,000 IOPS (From:3k IOPS)
– Max throughput to 160MB/s (From:128 MB/s)
EBS
Desafios Internos
Medições da AWS
• Dezenas de milões de registros/s
• TBs/hora
• 100,000s de fontes internas
• Escalável, baixo custo, auditável,
com alertas em tempo real Amazon Kinesis:
• Produtores chamam put()
• Número sequencial retornado
• Dados distribuídos entre shards
• Escalável por shard: 1 MB/s &
1000 TPS
Infraestrutura de Energia
• Alguns datacenters com subestações próprias
– Menor custo e construção mais rápida
• Acordos de intercâmbio de energia
• Firmware switchgear personalizado
• 3 regiões 100% neutras em carbono:
– US West (Oregon)
– AWS GovCloud (US)
– EU (Frankfurt)
2011
82
159
2012
280
2013
516
2014
Ritmo de inovação na AWSAWS anunciou 1,407 novas funcionalidades ou seviços desde 2006
2015
+234*
* As of April 30, 2015
Random Forest
1.50…
Kaggle Top
0.38…
Amazon
Machine Learning
0.63…
Por onde começar?
Comunidade no Brasil
http://www.awshub.com.br
Laboratórios Gratuitos
http://aws.amazon.com/training/intro_series/
Nível de Uso Gratuito
http://aws.amazon.com/free/
Treinamentos Presenciais
http://aws.amazon.com/training/
Canal do YouTube
https://www.youtube.com/user/AmazonWebServices
E depois?
Documentações dos Serviços
http://aws.amazon.com/documentation
Guias de Soluções
http://aws.amazon.com/whitepapers
Centrais de Arquitetura
http://aws.amazon.com/architecture
Programa de Startups
http://aws.amazon.com/start-ups
MK33BR2015
Obrigado! Perguntas?
Julio M. Faerman
@jmfaerman