tradetech brazil 2011 - o desafio da latencia
Post on 10-Jun-2015
1.033 Views
Preview:
DESCRIPTION
TRANSCRIPT
O DESAFIO DA LATÊNCIA ALCANCE BAIXA LATÊNCIA NO ELECTRONIC TRADING BRASILEIRO PARA OBTER VANTAGENS COMPETITIVAS
Dr. Christian J. Zimmer - Head of Quantitative Portfolio Management and ResearchItaú Asset Management
José Ricardo Maia Moraes - Diretor de Desenvolvimento de NegóciosMultirede Informática S.A.
AGENDA
Overview Componentes de latência Padrões brasileiros x internacionais de latência Software, rede, interface e hardware: o que será
preciso para ser suficientemente rápido? Por que ser rápido: justificando à sua empresa os
investimentos em tecnologia para diminuir a latência
Latência & DMA: como medir e assegurar-se de que a latência será mantida baixa?
Discussão sobre cenários
PERCEPÇÃO DE LATÊNCIA
Olho humano: 300 milissegundos Tempo aproximado da BM&FBOVESPA: 15
milissegundos Meta para os próximos 18 meses: 400
microssegundos Percepção da dor: 100 milissegundos
“Ao ser ferido por faca, você levará 100 milissegundos para gritar. Nesse mesmo período
um sistema de negociação algorítmica terá processado cerca de 250 ofertas de compra ou
venda”Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
OVERVIEW - BRASIL
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
BRASIL x USA
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
CONECTIVIDADE BM&FBOVESPA
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
VOLUME - BRASIL
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
VOLUME - BRASIL
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
EVOLUÇÃO DE LATÊNCIA - USA
EVOLUÇÃO VOLUME - USA
LSE ENVIRONMENT
www.londonstockexchange.com/hosting
LSE ENVIRONMENT
www.londonstockexchange.com/hosting
LSE HOSTING SERVICE
www.londonstockexchange.com/hosting
LSE ENVIRONMENT
www.londonstockexchange.com/hosting
CME
CME CLIENT MANAGED ROUTER GUIDANCE
CME
CME CLIENT MANAGED ROUTER GUIDANCE
NASDAQ OMX
Thomas Fay, VP Engineering NASDAQ OMX - April 4, 2011
NASDAQ OMX
Thomas Fay, VP Engineering NASDAQ OMX - April 4, 2011
VOLUMES - NYSE
CICLO
Source: TowerGroup 2007
Inabilidade humanaAlgo Trading
ResultaRápida recepção,
tradução,e distribuição do
market data
Requ
eren
do
Negóciose
Market Data
Cria mais
ElectronicTrading
Criando m
ais
ORDEM DE GRANDEZA
Framing
Store-ForwardCodificaçãoSwitching
Procura de endereçosEncaminhamento
Roteamento
Janelamento TCPControle de Fluxo
Retransmissão
AplicaçãoApresentação
Sessão
Menos Latência
Mais Latência
Bits
Frames
Pacotes
Segmentos
Dado
1
2
3
4
5
6
7
Cam
ada O
SI
Unid
ade
COMPONENTES DA LATÊNCIA
Propagação - em função da distância e velocidade da luz (limitada pelas leis da física)
Serialização – em função do tamanho do pacote e velocidade da conexão
Enfileiramento – em função do tráfego, velocidade e enfileiramento
Fiber Length1 m1 km10 km100 km1,000 km10,000 km
Packet Size 512 Kb/s 2 Mb/s 10 Mb/s 100 Mb/s 1 Gb/s64 byte 1 ms 0.25 ms 51.2 µs 5.1 µs 0.51 µs512 byte 8 ms 2 ms 0.41 ms 41 µs 4.1 µs1500 byte 23.4 ms 6 ms 1.2 ms 0.12 ms 12 µs9000 byte 141 ms 36 ms 7.2 ms 0.72 ms 72 µs
Queue Size 512 Kb/s 2 Mb/s 10 Mb/s 100 Mb/s 1 Gb/s9 KB 141 ms 36 ms 7.2 ms 0.7 ms 0.07 ms32 KB 500 ms 128 ms 25.6 ms 2.56 ms 0.25 ms64 KB 1000 ms 256 ms 51.2 ms 5.12 ms 0.51 ms128 KB 2000 ms 512 ms 102 ms 10.2 ms 1 ms
Propagation Delay (fixed)
Serialization Delay (variable)
Queuing Delay (variable)
One-Way Delay
100 ms
Round Trip Delay10 ns10 µs
100 µs1 ms10 ms
50 ms5 ms
5 ns5 µs50 µs500 µs
LATÊNCIA FIM A FIM
AplicaçãoServidores/
OS Segurança Rede (LAN)Rede
(MAN/WAN)
Latência Fim a Fim
Microsegundos
Milisegundos
Segundos
Muitas variáveis envolvidas - a chave é endereçar o processo fim a fim
NANOSEGUNDOS
ENDEREÇANDO VARIÁVEISS
ER
VER
SER
VER
NIC
NIC
SWITCHING
CABLING
SERVIDORES
•VISÃO GERAL• Arquitetura de computação paralela da NVIDIA que possibilita aumentos significativos na performance de computação pelo aproveitamento da potência da GPU (unidade de processamento gráfico).
• Com milhões de GPUs habilitadas para CUDA vendidas até o momento, desenvolvedores de software, cientistas e pesquisadores continuam achando os mais diversos usos para a essa tecnologia
SERVIDORES - FPGA
FPGA (Field Programmable Gate Arrays)
Usar o poder de chips programáveis FPGA para entregar poder de computação dez vezes maior do que a utilização de CPUs convencionais
CPU FPGAMais flexível Mais rápido
Investimento e despesa superiores
Investimento e despesa inferiores
Menor despesa de
desenvolvimento
Maior despesa de desenvolvimento
SERVIDORES - ALTERNATIVAS
•RDMA•iWARP•Infiniband
Sources of Overhead in Server Networking
CPU Overhead
Transport Processing
40%
Intermediate Buffer Copying
20%
Application Context Switches
40%
1G x 10G
CABLING
CableTransceiver
Latency (link)Power
(each side)DistanceTechnology
Twinax ~0.25ms~0.1W10mSFP+ CUCopper
MM 62.5mmMM 50mm ~0.1ms1W82m
300mSFP+ SRshort reach
MM OM2MM OM3 ~0.1ms1W10m
100mSFP+ USR
ultra short reach
Cat6Cat6a/7Cat6a/7
2.5ms2.5ms1.5ms
~8W~8W~4W
55m100m30m
10GBASE-T
SFP+ CuSFP+ CuSFP+ to SFP+SFP+ to SFP+
STORAGE
150 IOPS HDD 15,000 IOPS SSD
SWITCHING
•Non Blocking (No oversubscription)•Ultra Low Latency (atualmente em 500ns)
2000 2002 2004 2006 2008 20100
102030405060
5040
205 4 0.6000000
00000001
Ethernet Latency Over Time
Time
Late
ncy
(mic
rose
cond
s)
24 x 10G
Access Layer
Aggregation Layer
24 x 10G
ARQUITETURA
Arquiteturas virtualizadas transformando diversas unidades físicas em uma única unidade
lógica
ARQUITETURA TOTALMENTE REDUDANTE
(FÍSICA E LÓGICA) LIVRE DE LOOPINGS
FÍS
ICO
VIR
TU
AL
ARQUITETURA
Arquitetura em camada 3 a partir do acesso de desktops e servidores não possuem tempo de
convergência
ROTEAMENTO SIMPLIFICADO
VIR
TU
AL
ARQUITETURA
FÍSICO VIRTUAL LÓGICO
Conexão de servidores em alta disponibilidade
ARQUITETURA
Canais de comunicação dedicados
Acesso
A IMPORTÂNCIA DA LOCALIZAÇÃO
Quanto mais próximos da Bolsa, menor será a latência
LATÊ
NCI
A-5µs
/Km
CONEXÕES INTERNACIONAIS
SP – NYTípico 104-
110ms
Fonte: GlobeNet
CONEXÕES INTERNACIONAIS
110
Fonte: GlobeNet
PROBLEMAS REAIS
AMBIENTE 1
AMBIENTE 2 AMBIENTE 3 AMBIENTE 4 AMBIENTE 5
AMBIENTE 6AMBIENTE 7
SYST RPS
STRT DUPLXSPEEDUTIL
MODE
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 A B100Base-FX
Catalyst 2950 SERIES10Base-T/100Base-TX
Catalyst 2970 SERIES
MODE
SYSTRPS STATDUPLXSPEED
16X
19 20 21 22 23 2413 14 15 16 17 18
13X
14X
23X
24X16X
7 8 9 10 11 121 2 3 4 5 6
1X
2X
11X
12X
Catalyst 2970 SERIES
MODE
SYSTRPS STATDUPLXSPEED
16X
19 20 21 22 23 2413 14 15 16 17 18
13X
14X
23X
24X16X
7 8 9 10 11 121 2 3 4 5 6
1X
2X
11X
12X
Catalyst 2970 SERIES
MODE
SYSTRPS STATDUPLXSPEED
16X
19 20 21 22 23 2413 14 15 16 17 18
13X
14X
23X
24X16X
7 8 9 10 11 121 2 3 4 5 6
1X
2X
11X
12X
SYST RPS
STRT DUPLXSPEEDUTIL
MODE
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 A B100Base-FX
Catalyst 2950 SERIES10Base-T/100Base-TX
AMBIENTE 8WANDESTINO
Componentes das aplicações são distribuídos pelo
ambiente sem observar o fluxo entre eles
Pacotes atravessam elementos de rede 32
vezes
APLICAÇÕES
Linguagens: C++, Java, C#
Linguagens funcionais: F#, Scala, Erlang
Sistemas operacionais: Linux, CentOS
Banco de dados: KDB+, Berkeley, DB, RED
Modelagem: R, Mathematica, Matlab
Script languages: Python, Ruby on rails,
LUA
Protocolos: FIX/FAST, TCP/IP, UDP,
proprietários
Middleware: QuickFIX, AMQP, TIBCO
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
APLICAÇÕES
Arquitetura que possa escalar verticalmente e horizontalmente
Uso de memória – além de permitir escalabilidade vertical, dá alto desempenho
Uso de threads, múltiplas instâncias de serviço – escala verticalmente (máquinas multiprocessadas ou com múltiplos cores). Atenção para afinidades de processamento
Processos de distribuição de carga (Balanceamento de carga) permitem a implementação da escalabilidade horizontal
Atenção com banco de dados na arquitetura
distribuída.
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
APLICAÇÕES
Comunicação entre processos Memória compartilhada – bom desempenho, mas limita
escalabilidade horizontal Webservices (SOA) – excelente arquitetura, mas com
performance limitada – ideal para produtividade em sistemas específicos que não requeiram alto desempenho
Nada mais rápido que comunicação TCP/IP (sockets) ou Multicast para difusão
Para comunicação TCP/IP considerar middleware como MS-MQ, WebSphere MQ. Idealmente um middleware de alto desempenho como TIBCO ou IBM WebSphere MQ Low Latency Messaging
Comunicação pura TCP/IP por socket, com protocolo binário, é o que apresenta melhor desempenho, mas há que se considerar (i) o padrão da mensageria e (ii) o protocolo de sessão
Utilização de padrões, como o FIX, para produtividade. Para aplicações que necessitam alto desempenho, evitar o XML
Considerar FIX FAST para performance na difusão
Fonte: Marcio Castro, CTO BM&FBOVESPA, 4/3/2011
PROTOCOLOS - TCP
Tempo (RTT)Slow startCongestion avoidance
Perda de pacotes Perda de pacotes Perda de pacotes
cwnd
Perda de pacotes TCP
O retorno ao máximo pode levar bastante tempo!
PORQUE MONITORAR NO ΜS?
Visão de 1 segundoVisão de 5 minutos
Visão legada
Velocidade do Link
Rede ok?Rede ok?
Necessário AjusteNecessário Ajuste
Congestionamento Dinâmico – Perda de pacotes e delay intermitentes
AplicaçãoImpactada
Visão de 5 milissegundos
Data Center
AplicaçãoImpactada
Data Center
Velocidade do Link
Um microburst de 50 µS no Data Center pode introduzir
picos de latência maiores que 50 ms mesmo que a
utilização seja menor que 2%
MICROBURST
Microbursts são os picos de tráfego de menos de 1 segundo
Microbursts podem perturbar seriamente o fluxo de streaming de aplicações críticas como IP Multicast, e porque eles acontecem em um curto espaço de tempo, são muitas vezes difíceis de isolar
MICROBURST
Granularidade de sub-segundo
Microburst Event
MONITORAÇÃO
A necessidade por informações precisas de monitoração exige que sejam instalados sensores
em todos os segmentos de rede por onde trafegam as aplicações
WAN VLAN VLAN VLAN
PROBES 1G/10GAPLICAÇÃO
MONITORAÇÃO
MONITORAÇÃO SEM ADIÇÃO DE LATÊNCIA
MONITORAÇÃO
Situação 1 : Dispositivo copia o pacote para uma outra porta
Pontos de Atenção:•Introduz latência•Limitações no hardware fazem com que a solução não escale
MONITORAÇÃO
Situação 2: Monitoração fica em linha
Pontos de Atenção:•Introduz latência•Limitações fazem com que a solução não escale•Indisponibilidade da monitoração também indisponibiliza conectividade
TAPSituação 3: Dispositivo (TAP) coleta e envia os dados para a monitoração
Pontos de Atenção:•Não Introduz latência•Em caso de falha não há indisponibilidade de conectividade•Opção de cobre e ópticoMONITORA
ÇÃO
MONITORAÇÃO
10.25.12.0/24FIX
Protocol
192.168.1.0/24
29West / LBM
Protocol
Trader FIX Gateway Smart Order Router
xxx.xxx.xxx.0/24
xxx.xxx.xxx.0/24
xxx.xxx.xxx.0/24
FIX Protocol
Exchange 1
Exchange 2
Exchange 3
0.2 msec 12.3 msec
1.2 msec
0.1 msec
3.8 msec
Latency Breakout
Differe
nt applic
ation
pro
toco
ls
Total Latency 22.6 msec
Buy
NTCT !
ONDE FOCAR ESFORÇOS?
AQUI?
OUAQUI?
QUANTO CUSTA CADA MICROSSEGUNDO?
•Depende dos objetivos e estratégias
•Faz mais sentido atacar o problema maior primeiro (aplicação), contudo pode ser muito mais caro e demorado
•Microssegundos reduzidos com arquitetura e dispositivos de rede podem ser mais baratos e rápido de implementar
•Não há uma receita, cada caso é um caso e merece uma análise cuidadosa
NO FREE LUNCH
•Eletronificação do mercado é baseado em tecnologia de ponta•Altos volumes e redução de latência exigem soluções cada vez mais sofisticadas•Gerenciamento e monitoração não é uma opção – você só controla o que você conhece!•Nos próximos anos haverá uma forte onda de investimentos no mercado (Bolsa, participantes, vendors, software houses, etc.)
DESAFIOAlinhar as demandas de
negócios com os investimentos em tecnologia
SUCESSO = Σ DE VARIÁVEIS
PERGUNTAS?
OBRIGADO
top related