campanhas de infraestrutura básica computação de alta produtividade: windows hpc server 2008 11...
TRANSCRIPT
Campanhas de Infraestrutura BásicaComputação de Alta Produtividade:
Windows HPC Server 2008
11 de Junho de 2009
Vantagens CompetitivasVantagens Competitivas
Pressão para aperfeiçoar o desempenho operacional (custo, qualidade e comercialização)
Pressão para aperfeiçoar o desempenho operacional (custo, qualidade e comercialização)
Conformidade regulatória voltada para a qualidadeConformidade regulatória voltada para a qualidade
Ciclos rápidos de inovação de produtosCiclos rápidos de inovação de produtos
Fatores Comerciais da HPC
TI – Mais Importante do Que Nunca
Protegendo os ativos
Gerenciando sistemas
Reduzindo custos
Desenvolvendo novos aplics
Permitindo a interoperabilidade
Mantendo os aplics herdados
Garantindo a conformidade
Promovendo a produtividade dos profissionais
80% 20%MANUTENÇÃO INOVAÇÕES
Desenvolvimento paralelo simplificado
Ambiente integrado de desktop e HPC
Infraestrutura combinada
Ambiente de desenvolvimento unificado
Computação de Alta Produtividade
Data centers de TI e mesclagem com o HPC, gerenciamento simplificado de clusters
Usuários com amplo acesso a múltiplos núcleos e servidores
Não Há Mais “Almoço Grátis” Para os Softwares Tradicionais
Alm
oço
Grá
tis
par
a o
s so
ftwa
res
tra
dici
ona
is
Não Há Almoço Grátis para os softwares tradicionais(Sem um software com alta simultaneidade não há velocidade!)
Ope
raçõ
es p
or s
egun
do p
or c
ódig
o de
sé
rie
Operações adicionais por segundo caso o código aproveite a simultaneidade
6 GHz1
Núcleo
12 GHz1
Núcleo
24 GHz1
Núcleo
3 GHz2
Núcleos
3 GHz4 Núcleos
3 GHz8 Núcleos
3 GHz1 Núcleo 3
GHz1 Núcleo
Por que Microsoft e HPC?
Problemas Atuais Fusão dos data centers de TI e HPC: gerenciamento isolado de clusters Desenvolvedores têm dificuldades para programar paralelismo Usuários não possuem amplo acesso ao aumento do processamento de núcleos e dados
Como a Microsoft pode ajudar? Está bem posicionada para a integração tradicional do paralelismo de aplicações Já iniciou um amplo paralelismo para a comunidade de desenvolvedores Pode aumentar o valor do HPC através da integração de ferramentas de produtividade e gerenciamento
Investimentos da Microsoft em HPCPortfolio abrangente de software: Cliente, Servidor, Gerenciamento, Desenvolvimento e ColaboraçãoEquipes dedicadas que se concentram na Computação de ClustersDesenvolvimento Paralelo Unificado através da Parallel Computing Initiative
“Fornecer a plataforma, as ferramentas e um amplo ecossistema para reduzir a complexidade do HPC, através de um paralelismo mais acessível, que atenda às
futuras necessidades da computação.”
Visão da Microsoft Para HPC
Complexidade Reduzida HPC Tradicional Ecossistema de Desenvolvedor
Facilitar a implantação emclusters de maior escala
Simplificar o gerenciamento emclusters de qualquer escala
Fazer a integração com a infraestrutura existente
Atender às necessidades da supercomputação tradicional
Administrar as tendências emergentes da computação entre empresas
Habilitar usuários não técnicos a tirar proveito da potência do HPC
Aumentar o número de aplicações e códigos paralelos
Oferecer opções de ferramentas de desenvolvimento,
linguagens e bibliotecas paralelas
Gerenciar um universo maior de desenvolvedores e ISVs
Familia de Servidores Windows
Editions
Turnkey Básica
Windows HPC Server 2008
SQL Server 2008 Express
Terceiro
Systems Center Operations Manager
HPC Pack
Windows HPC Server 2008
Windows Server 2008 Enterprise
Systems Center Configurations Manager
Alta Disponibilidade
• Não há ponto único de falha
• Windows Server 2008 Enterprise para alta disponibilidade do nó principal
• SQL Server 2008 Enterprise de alta disponibilidade
• Dimensionamento para milhares de nós
• System Center Operations Manager para monitoramento avançado
Núcleo do Windows Server 2008
SQL Server 2008 Standard
HPC Pack
Terceiro
SQL Server 2008 Standard
HPC Pack
Terceiro
Windows HPC Server 2008
Windows Server 2008 Enterprise
• Soluções Turnkey de até 1000 nós
• HPC Pack• Gerenciamento• Implantação• Plano de Trabalho
• Pacotes terceirizados para diretivas e planos de trabalho avançados
Gerenciamento Corporativo
• Pequena marca superficial/Sem IU/CLI• HyperV
Ofertas do Windows HPC Server 2008
Gerenciamento de Sistemas
Plano de Trabalho
Rede& MPI
Armazenamento
Nova IU no System Center PowerShell para Gerenciamento de CLI Alta Disponibilidade para Nós Principais Serviços de Implantação do Windows Diagnósticos/Relatórios Suporte para o Operations Manager
Suporte para SOA e WCF Planejamento granular de recursos Escalabilidade avançada para
clusters maiores Novas diretivas de plano de
trabalho Interoperabilidade através do Perfil
HPC
NetworkDirect (RDMA) para MPI Assistente de Configuração de
Rede Avançado Memória Compartilhada MS-MPI
para multinúcleos MS-MPI integrado ao Rastreamento
de Eventos para o Windows
iSCSI SAN & suporte avançado para sistemas de arquivos paralelos no Win2008
Aprimoramento do Server Message Block (SMB v2)
Novo suporte de sistemas de arquivos paralelos terceirizados para o Windows
Novos fornecedores de cache de memória
O Que Há de Novo no Windows HPC Server 2008?
Windows HPC Server 2008
Location Shanghai, ChinaHardware – Machines Dawning system with
1,920 quad-socket, quad-core AMD Barcelona 1.9GHz processors
Hardware – Networking Voltaire Infinband Switch, Mellanox ConnectX MT25408
Number of Compute Nodes 1920Total Number of Cores 30,720 cores
Total Memory 120 terabytesParticulars of for current Linpack Runs Best Linpack rating 180.6 TFPs Best cluster efficiency 77.5%
Fastest Chinese Supercomputer
Ready for Prime-time
# 10Fall 2008Top500
•Simples de configurar e gerenciar dentro de um ambiente familiar• Soluções para turnkeys de clusters por meio de OEMs
• Implantação simplificada de sistemas e aplicações
• Imagens, patches, drivers e aplicações de base
• Foco na facilidade de gerenciamento– Diagnósticos, resolução de problemas e
monitoramento abrangentes– Interface de gerenciamento conhecida, flexível e
“pivotal”– Suporte de linha de comando equivalente para
gerenciamento autônomo
• Escalabilidade Vertical– Implantação , administração e infraestrutura de
escala– Failover de nó principal– Relatórios sobre o uso de clusters– Filtragem de nós de computação
• Melhor integração com o gerenciamento empresarial
– Gerenciamento de Patches– System Center Operations Management– PowerShell– Serviços de Alta Disponibilidade do Windows 2008
Maior Eficiência na Administração de Sistemas
Um ambiente HPC mais produtivo• Relatórios pré-configurados para monitoramento pela perspectiva do
usuário final• Análises e relatórios de logs de segurança
Monitoramento Escalonável• Aplicações de monitoramento executadas em ambiente distribuído de
escalabilidade horizontal• Dimensionamento por meio de servidores de gerenciamento em
camadas• Monitoramento sem agente
Maior Eficiência e Controle• Projeto mais seguro• Integração com o Active Directory• Solução estendida com os Pacotes de Gerenciamento
System Center Para HPC
• Última geração em serviços de cluster
• Grande avanço no gerenciamento e validação de configurações
O HPC Pack Inclui
• Integração da configuração com os Serviços de Cluster de Failover
• Configuração de Nó Principal e Nó de Failover com o Cluster de Failover do SQL
• Failover de serviços do Plano de Trabalho
• Console de gerenciamento conectado ao console de Gerenciamento de Failover do Windows Server
Disco Compartilhado
Rede Privada
Nó PrincipalWin2008 Enterprise
Clustered SQL Server
Nó Principal de Failover
Win2008 EnterpriseClustered SQL
Server
WindowsFailover Clustered
Elimina ponto único de falha com suporte para alta disponibilidade
Requer os Serviços de Cluster de Failover do Windows Server 2008 Enterprise
Alta Disponibilidade do Nó Principal
NetworkDirectUma nova interface de rede RDMA criada para oferecer velocidade e estabilidadePrioridades
• Comparável a pilhas MPI otimizadas por hardware
• Foco na Solução Exclusiva para MPI na versão 2
• Design baseado em verbos para adaptação com interfaces de rede nativas de alto desempenho
• Coordenação com planos a longo prazo das equipes de rede do Windows
Implementação•MS-MPIv2 com capacidade para 4 caminhos de rede:
• Memória Compartilhada entre processadores de uma placa-mãe
• Pilha TCP/IP (Ethernet “normal”)
• Winsock Direct (e SDP) para RDMA baseada em soquetes
• Nova interface de rede RDMA
• Parceiros da equipe de HPC com IHVs de rede para desenvolver/distribuir drivers para esta nova interface
Modo Usuário
Modo Kernel
TCP/Ethernet
Networking
Ata
lho
Ke
rne
l
Aplicação MPI Aplicação
baseada em soquete
MS-MPI
Soquetes Windows (Winsock + WSD)
Hardware de RedeHardware de RedeHardware de Rede
Hardware de RedeHardware de RedeDriver de Hardware
Hardware de Rede
Hardware de Rede
Driver Mini-portas
TCP
NDIS
IP
Hardware de RedeHardware de RedeCamada de Acesso Modo Usuário
Hardware de Rede
Hardware deRede
Provedor Direto
WinSock
Hardware de Rede
Hardware de Rede
Provedor NetworkDirect
Rede RDMA
Componente SO
Componente CCP
Componente IHV
Aplicação (ISV)
• Forneça Suporte a Clusters Maiores– Crie novos designs para clusters de
tamanho, inclusive clusters “heterogêneos”
– Dimensione as tecnologias de implantação e administração
– Forneça interfaces para os usuários acostumados ao *nix
• Melhore a interoperabilidade com a infraestrutura de TI existente
– Interoperabilidade com planos de trabalho existentes
– I/O de arquivo de alta velocidade, através de suporte nativo para sistemas de arquivos paralelos e de clusters
• Amplie o Suporte às Aplicações– Simplifique a integração de novas
aplicações com o plano de trabalho– Atenda às necessidades dos
desenvolvedores internos e de código aberto
• Suporte de Plataforma– Projetado para o Windows Server 2008– Nós de clusters com hardware / software
diferentes
Agendamento de Trabalho
App.exe App.exe Serviço(DLL)
Serviço(DLL)
Serviço(DLL)
Serviço(DLL)
App.exe App.exe
Aplicações de Engenharia
Análise EstruturalSimulação de Choque
Aplicações de Óleo & Gás
Simulação de ReservatórioProcessamento Sísmico
Aplicações de Ciências Naturais
Análise EstruturalSimulação de Choque
Serviços Financeiros
Análise de PortfolioAnálise de RiscoConformidadeReal
Excel
Modelagem de Preços
Aplicações de Cluster Interativos
Suas Aplicações Aqui
Plano de Trabalho
Distribuição de RecursosÍnicio do Processo
Rastreamento do Uso de RecursosExecução de MPI Integrada
Segurança Integrada
Roteador de Serviços WCF
Referência de Ponto de Extremidade Virtual WS
Balanceamento da Carga de PedidosAtivação do Serviço Integrado
Gerenciamento da Duração do ServiçoRastreamento Integrado do WCF
V1 (foco em trabalhos em lotes) V2 (foco em trabalhos interativos)
+
Cenário: Maior Suporte às Aplicações
Rede PrivadaRede PúblicaNó Principal de Alta
Disponibilidade
Agentes WCF
Nó Principal
Nó Principal
de Failover
[…]
1. O usuário envia o trabalho.
2. O Gerenciador da Sessão designa o nó de Agente WCF para o trabalho do cliente
3. HN fornece nó de Agente WCF
5. Pedidos
4. O cliente conecta-se ao Agente e envia os pedidos
7. As respostas retornam ao cliente
Nós de Computação
Estação de Trabalho
Estação de Trabalho
Estação de Trabalho
6. Respostas
Agendamento Orientado a Serviços
O que é ? •Um plano padrão de interoperabilidade OGSA (Open Grid Services Architectures) para o envio e gerenciamento de tarefas do agendador de trabalhos em lotes
•Baseado em padrões de serviços web (HTTP, XML, SOAP)
Qual é o seu valor?•Permite a integração de aplicações HPC executadas em diferentes plataformas e agendadores por meio de padrões de serviços web
Qual é o Status?•Terminou o período de teste de público
•Está trabalhando em novas extensões
Windows Cluster
Windows Center
Windows Center
LSF / PBS / SGE / Condor
Linux, AIX, Solaris HPUX, Windows
Interoperabilidade e Open Grid Forum
“É importante que nosso ambiente de TI seja fácil de usar e forneça suporte.O Windows HPC está melhorando nosso desempenho e capacidade de gerenciamento. ”
-- Dr. J.S. Hurley, Gerente Senior da Head Distributed Computing - Networked Systems Technology da Boeing Company
Clientes
“Nosso objetivo é expandir a disponibilidade do HPC para um público que vai além dos usuários avançados. Nós acreditamos que o Windows HPC tornará o HPC acessível a mais pessoas, como engenheiros, cientistas, analistas financeiros e outros, que nos auxiliarão a projetar e testar mais rapidamente nossos produtos e reduzir os custos.”
-- Kevin Wilson, Arquiteto de HPC da Procter & Gamble
“A Ferrari está sempre buscando as soluções tecnológicas mais avançadas e, naturalmente, o mesmo se aplica em relação ao software e à engenharia. Para atingir índices líderes de potência por peso, redução do tempo de troca de marchas e uma aerodinâmica revolucionária, nós confiamos no Windows HPC Server 2008. Ele oferece uma plataforma de computação rápida, conhecida e de alto desempenho para nossos usuários, engenheiros e administradores.”
-- Antonio Calabrese, Diretor de Sistemas de Informação da Ferrari
Clientes
“O cluster Umeå com o Windows HPC Server 2008 obteve um bom desempenho e tornou-se o sistema acadêmico mais rápido da Suécia. Estamos muito felizes com o resultado.”
-- Bo Kågström, Professor e Diretor do Centro de Computação de Alto Desempenho da Universidade North Umeå
“Os analistas financeiros da Europa utilizam principalmente os sistemas Windows. Assim, a implantação de um cluster do Windows HPC Server 2008 torna nossos serviços de HPC extremamente atraentes para uma base de usuários de grande potencial.”
-- Dr. M. Rosati, Gerente do Computational Materials Science and Finance Group, CASPUR
“Nós estamos realmente impressionados com muitos dos novos recursos do Windows HPC Server 2008. A Microsoft não está há muito tempo no mercado de HPC , porém este produto já se mostra muito sólido.”
-- Christian Terboven, Diretor de Projeto de HPC para Windows do Centro de Computação e Comunicação da RWTH Aachen University
Parceiros Focados na Indústria
Microsoft HPC no Futuro
HPC de Longo Alcance
2008
Suporte para HPC Tradicional e HPC Emergente
Suporte Maior para Clusters & Alcance do Top500
Maior Acessibilidade para Usuários do Windows
Suporte mais amplo para Desenvolvedores, com ferramentas e SOA
Implantação e Gerenciamento Avançados
Parallel Extensions
Supercomputação Pessoal
2006
Microsoft ingressa no HPC Computação Técnica Pessoal e de
Grupos de Trabalho Aplicações de usuário final
disponíveis no Windows Ferramentas de Desenvolvimento
Paralelas e de HPC Facilidade de Implantação e
Gerenciamento
Paralelismo Perfeito
Futuro
Futures
Computação Paralela em Todo Lugar Escala Ultra/Computação em Nuvens Acesso de Usuário Transparente Paralelismo implícito para
Desenvolvedores .NET Cargas de Trabalho Dinâmicas e
Virtualizadas Gerenciamento Principal de HPC e
Infraestrutura de TI
© 2008 Microsoft Corporation. Todos os direitos reservados. Microsoft, Windows, Windows Vista e outros nomes de produtos são ou podem ser marcas registradas ou marcas comerciais nos EUA e/ou outros países. As informações contidas neste são apenas para fins informativos e representam a posição atual da Microsoft Corporation na data de sua publicação.Como a Microsoft deve responder às condições de mudança de mercado, as informações não devem ser interpretadas como um compromisso por parte da Microsoft, sendo que a Microsoft não pode garantir a precisão de qualquer informação apresentada após a data de publicação. A MICROSOFT NÃO FORNECE QUAISQUER GARANTIAS, EXPLÍCITAS, IMPLÍCITAS OU POR LEI, EM RELAÇÃO ÀS INFORMAÇÕES CONTIDAS NESTE DOCUMENTO.