relatório científico - sprace.org.br file1 resumo do projeto inicial anéis de colisão são...
TRANSCRIPT
Relatório Científico
Projeto Temático
Processo 03/04519-9
Física Experimental de Anéis de Colisão SPRACE e HEP Grid−Brazil
(http://hep.ift.unesp.br/SPRACE/)
Sérgio F. Novaes
Eduardo de M. Gregores
Outubro 2005
Índice
1 Resumo do Projeto Inicial ..................................................................................2
2 Realizações do Período 2004 – 2005................................................................5
2.1 Ampliação e Manutenção do SPRACE......................................................5
2.1.1 Implantação da Fase II..........................................................................5
2.1.2 Melhoria da Rede................................................................................10
2.1.3 Auditoria de Segurança.......................................................................19
2.2 Participação na Colaboração DZero........................................................21
2.2.1 O Experimento DZero .........................................................................21
2.2.2 Análises Físicas ..................................................................................22
2.2.3 Processamento de Dados...................................................................27
2.2.4 Artigos Publicados ..............................................................................35
2.3 Participação na Colaboração CMS..........................................................37
2.3.1 O Experimento CMS ...........................................................................37
2.3.2 OSG e LCG.........................................................................................39
2.4 Outras Atividades.....................................................................................40
2.4.1 VI DOSAR Workshop..........................................................................40
2.4.2 Projetos induzidos...............................................................................42
2.4.3 Demonstrações de Transmissão de Dados ........................................46
2.4.4 Participação nas Atividades do CHEPREO ........................................51
2.4.5 Atividades Didáticas e de Extensão....................................................52
3 Planejamento para o Próximo Período............................................................53
4 Apêndice: Cópia dos Artigos Publicados.........................................................56
1
1 Resumo do Projeto Inicial Anéis de colisão são importantes instrumentos na investigação das interações
fundamentais e da estrutura da matéria. O Tevatron do Fermilab e o Large Hadron Collider (LHC) do CERN desempenharão um papel fundamental para estas investigações durante os próximos 20 anos.
Estes aceleradores deverão produzir uma quantidade de dados sem precedentes, devendo atingir 109 GB durante a próxima década. Estes dados deverão ser armazenados, processados e analisados por milhares de pesquisadores ao redor do mundo. Para alcançar este objetivo de forma eficiente, as colaborações internacionais estão desenvolvendo a arquitetura Grid de processamento distribuído.
Como membros das colaborações DØ do Fermilab e CMS do CERN, pretendemos nos unir aos esforços internacionais no sentido de implementar centros de análise distribuídos destes experimentos. Planejamos construir um centro de processamento em São Paulo que servirá inicialmente como Centro Regional de Análise da Colaboração DØ e posteriormente como elemento do HEP Grid do CMS.
Em sua primeira etapa, esta unidade deverá prover serviços tais como distribuição do código computacional do DØ, simulação de Monte Carlo do experimento, administração de submissão e execução de processos, acesso ao banco de dados do DØ e reprocessamento e análise dos dados obtidos. Em uma segunda etapa, deveremos nos engajar nas iniciativas relacionadas ao HEP Grid participando dos testbeds do International Virtual Data Grid Laboratory (iVGDL) e nos envolvendo na pesquisa e desenvolvimento da arquitetura Grid juntamente com o Grid Physics Network (GriPhyN), sempre com vistas à análise dos dados que o CMS deverá estar produzindo a partir de 2007.
Uma das grandes vantagens da arquitetura Grid é que um investimento inicial relativamente modesto garante nossa inserção na comunidade internacional de usuários de Grid, tornando acessível o poder de processamento representado pelo conjunto das demais unidades interligadas ao redor do mundo.
Este centro de processamento terá sua principal aplicação voltada para o processamento dos dados produzidos pelos experimentos de Altas Energias dos quais fazemos parte. No entanto, nada impede que outros grupos possam vir a fazer uso deste equipamento. Podemos antever alguns usuários em potencial, tais como: instituições responsáveis pela previsão de tempo (INPE/MCT, IPMET/UNESP), projetos internacionais em Astronomia (SOAR, Gemini), grupos voltados para o seqüenciamento genético (Rede ONSA), pesquisa em prospecção de petróleo e modelagem geológica, instituições de pesquisa em modelagem molecular e celular, instituições médicas envolvidas na reconstrução de imagens tomográfica (PECT, PET).
Além de sua importância para o desenvolvimento científico e tecnológico, esta iniciativa deverá desempenhar um importante papel na formação de recursos humanos não apenas na Física de Altas Energias mas deverá também gerar competência em áreas correlatas tais como redes de altas velocidades, processamento de alto desempenho e, acima de tudo, na arquitetura Grid.
2
Similarmente ao que ocorreu com a World Wide Web, cuja ubiqüidade vem promovendo uma revolução em todos os setores da sociedade, espera-se que os reflexos dos Grids se façam sentir muito além da Física de Altas Energias. O processo de desenvolvimento do Grid já envolve profissionais de diversas especialidades (computação, eletrônica, redes ópticas, desenvolvimento de software, banco de dados, etc.), permitindo gerar capacitação nessas diferentes áreas.
Detalhamos a seguir o cronograma de execução do projeto original, tanto no que se refere à aquisição, instalação e teste do hardware como ao desenvolvimento de software e uso do cluster para simulação de eventos de Monte Carlo dos experimentos DØ e CMS, bem como análise dos dados coletados.
Planejamento para 2003 – 2004
• Preparação da infra-estrutura para implantação do projeto (instalação de conexão óptica de rede, elétrica, ar condicionado, etc);
• Implantação do projeto com a aquisição do material correspondente à primeira unidade de processamento paralelo (Fase I) com 16 CPU’s e 292 GB de disco;
• Instalação e teste do equipamento;
• Reavaliação das tarefas específicas para o desenvolvimento do projeto nesta primeira fase;
• Estabelecimento de cronograma de viagens e de visitantes nacionais e internacionais;
• Assinatura de Memorandum of Understanding com a Colaboração DØ e com o Fermilab regulando a existência do Centro Regional de Análise de São Paulo (SPRACE);
• Instalação do software DØ Run II no cluster, que inclui:
o DØ Software Release e software de análise;
o Ferramentas para desenvolvimento de código do DØ;
o Sistema de Acesso a Dados Remotos (SAM);
• Início da produção de eventos de Monte Carlo do DØ na Fase I do cluster;
• Revisão dos cronogramas e Relatório da Fase I.
Planejamento para 2004 – 2005
• Aquisição das 32 CPU’s e 1,6 TB de disco correspondentes à Fase II do projeto;
• Instalação e teste do novo equipamento e integração ao equipamento da Fase I;
• Instalação e início dos testes do software da Colaboração DØ responsável pela distribuição de tarefas entre os Centros de Análises Regionais;
• Nova fase de produção de eventos de Monte Carlo do DØ no cluster integrado (Fase II);
3
• Início dos trabalhos de análise de dados e produção de resultados físicos com o cluster;
• Revisão dos cronogramas e relatório da Fase II.
Planejamento para 2005 – 2006
• Aquisição do material correspondente à Fase III, composta de 32 CPU’s e de 1,6 TB de disco;
• Instalação e teste do novo equipamento e integração ao parque computacional das Fases I e II;
• Testes de hardware e software com todas as 80 máquinas integradas;
• Nova fase de produção de eventos de Monte Carlo e análise de dados do DØ no cluster integrado (Fase III);
• Instalação e início dos testes do software da Colaboração CMS do CERN;
• Instalação e configuração de software para atendimento das necessidades do trabalho no CMS;
• Início da produção de eventos de Monte Carlo do CMS;
• Início da simulação para os detectores do CMS;
• Revisão dos cronogramas e relatório da Fase III.
Planejamento para 2006 – 2007
• Produção de eventos de Monte Carlo do CMS;
• Testes de novos softwares e da performance do cluster;
• Distribuição de tarefas e preparação para trabalhos de análise física no CMS;
• Integração do cluster ao Grid da Colaboração CMS;
• Revisão dos cronogramas e responsabilidades;
• Avaliação Geral do Projeto e Relatório Final;
• Apresentação de nossa proposta de continuidade dos trabalhos às Colaborações DØ e CMS.
4
2 Realizações do Período 2004 – 2005 O cronograma de atividades descrito no projeto inicialmente aprovado tem sido
seguido bastante de perto com as diversas fases de implantação do Centro de Análise Remoto de São Paulo (SPRACE) sendo realizadas conforme o esperado. Poucas mudanças foram necessárias ao planejamento original, e várias decorrências do projeto se realizaram conforme expectativa contida no projeto original. Se por um lado as atividades de análise de dados atrasaram-se um pouco, por outro as conseqüências da implantação deste projeto excederam-se em número, escopo e importância ao que poderíamos inicialmente supor.
Detalharemos a seguir as atividades concernentes a este período de projeto, dividindo-as em quatro grandes grupos: as atividades relacionadas à manutenção e ampliação de nosso parque computacional, à nossa participação no experimento DZero em andamento, à nossa preparação para a participação ativa no experimento CMS e às diversas atividades decorrentes da bem sucedida implementação do projeto nos seus moldes originais.
2.1 Ampliação e Manutenção do SPRACE
2.1.1 Implantação da Fase II Durante o período deste relatório foi realizada a implantação da segunda fase de
nosso centro de processamento de dados, conforme originalmente proposto. A descrição do equipamento adquirido é:
• Nós de Processamento: o Dual Xeon 3.0 GHz com extensão de memória de 64 bits (Intel EM64T).
o 2 GB memória RAM compartilhada e 1MB cache L2.
o Disco interno de SCSI Ultra320 10 krpm 32GB.
o 2 interfaces de rede Gigabit.
o Gabinete tipo rack com 1U de altura.
• Servidor de Armazenamento: o Dual Xeon 3.0 GHz com extensão de memória de 64 bits (Intel EM64T).
o 2 GB memória RAM compartilhada e 1MB cache L2.
o 2 discos internos de SCSI Ultra320 10 krpm 32GB em RAID1.
o 2 interfaces de rede Gigabit.
o Adaptador RAID SCSI externo de 2 canais.
o Gabinete tipo rack com no máximo 2U's de altura
o Fonte de alimentação redundante.
• Unidade de Armazenamento: o Capacidade para 14 discos SCSI em RAID5.
o Discos SCSI Ultra320 10krpm de 300GB.
o Tecnologia SCSI.
5
• Switch de distribuição nos racks: o Não gerenciável (nível 2).
o 24 portas Gigabit cobre e 2 portas Gigabit fibra.
• Switch Central: o Gerenciável (nível 3) com capacidade de formação de VLAN's. o 24 portas Gigabit de cobre e 4 portas Gigabit de fibra
• Rack: o Largura padrão (19”) com 23 U's de altura. o Ventilação forçada.
• No Break: o 3 kVA / 220V com 8 tomadas. o Gabinete tipo rack com 2U's de altura.
Foram realizadas tomadas de preço entre os seguintes fornecedores para o equipamento especificado (valores em Reais):
Itautec Item Descrição Qtd. Valor Total
1 Nó de Processamento 32 9.591,76 306.936,322 Switche de Distribuição 2 5.830,00 11.660,003 No Breaks 4 4.829,00 19.316,004 Racks 2 5.980,00 11.960,005 Servidor de Armazenamento 1 28.265,81 28.265,816 Unidade de Armazenamento RAID 2 86.111,50 172.223,007 Switche Central 1 44.933,46 44.933,46
Total 595.294,59
IBM Item Descrição Qtd. Valor Total
1 Nó de Processamento 32 17.488,00 559.616,002 Switch de Distribuição 2 3.460,00 6.920,003 No Breaks 4 2.560,00 10.240,004 Racks 2 3.900,00 7.800,005 Servidor de Armazenamento 1 25.041,00 25.041,006 Unidade de Armazenamento RAID 2 93.749,00 187.498,007 Switch Central 1 22.800,00 22.800,00
Total 819.915,00
6
HP Item Descrição Qtd. Valor Total
1 Nó de Processamento 32 10.584,15 338.692,802 Switche de Distribuição 2 ND ND3 No Breaks 4 8.031,31 32.125,244 Racks 2 9.976,38 19.552,765 Servidor de Armazenamento 1 23.547,82 23.547,826 Unidade de Armazenamento RAID 2 104.134,00 208.268,007 Switche Central 1 ND ND Total 622.186,62
Dell Item Descrição Qtd. Valor Total
1 Nó de Processamento 32 10.298,37 329.547,842 Switche de Distribuição 2 1.545,31 3.090,623 No Breaks 4 ND ND4 Racks 2 ND ND5 Servidor de Armazenamento 1 13.729,85 13.729,856 Unidade de Armazenamento RAID 2 46.169,50 92.339,007 Switche Central 1 9.803,36 9.803,36 Total 448.510,67
Além destas empresas foi cotado também o No Break fornecido pela Victor do Brasil pelo preço de R$ 2.530,00 cada. Após a análise dos preços fornecidos decidiu-se separar a compra do equipamento em duas partes independentes. Decidimo-nos pela compra dos módulos de processamento da Itautec e do módulo de armazenamento da Dell. Vale ressaltar que a proposta da Dell para o fornecimento dos módulos de processamento não inclui o custo do rack, e na proposta da HP não está incluído o custo do switch de distribuição.
O proposta consolidada para cada uma destas partes é:
Itautec Dell HP IBM Processamento 330.556,32 332.638,46 358.245,56 574.336,00
Armazenamento 200.488,81 106.068,95 231.815,82 212.539,00
7
Após a aquisição e instalação deste equipamento, o SPRACE ficou com a seguinte configuração:
• Capacidade de processamento: 114 processadores Xeon perfazendo um total de 315 GHz de poder de processamento. Destes processadores, 46 deles possuem 512 MB de memória e 68 possuem 1 GB , totalizando 91 GB de memória RAM.
• Capacidade de Armazenamento: Os 54 nós de processamento possuem discos de 36 GB . Cada um dos 2 servidores de armazenamento possuem dois discos de 36 GB e o servidor de gerenciamento possui 4 discos de 72 GB . Um RAID possui 2.016 GB e o outro RAID tem capacidade de 4.200 GB, perfazendo um total de 14.8 TB de capacidade de armazenamento.
As conexões internas do cluster são inteiramente gigabit e ele está externamente conectado a um link gigabit com a saída internacional de 622 Mbps da NARA e a um link gigabit com o Rio de Janeiro através do projeto GIGA da RNP.
Em resumo, para processos maciçamente paralelos o cluster se comporta como se fosse um grande computador com processador de 315 GHz, 91 GB de memória RAM e 14,8 TB de espaço em disco conectado a gigabit com a internet.
É importante ressaltar que não foi adquirido o switch gerenciável (nível 3) com capacidade de formação de VLAN's e 24 portas Gigabit de cobre e 4 portas Gigabit de fibra que havia sido solicitado à FAPESP. A razão disto é que o Prof. Harvey Newman do Caltech fez a doação de um switch Cisco Catalyst 3750G-24TS-24 para ser usado no SPRACE. Este switch possui 24 portas 10/100/1000 e 4 small form-factor pluggable (SFP) uplinks. É importante lembrar que este switch 1 é vendido
no Brasil pelo valor de US$ 14.221,88. Além do switch foram doados um GBic de curto alcance 2 no valor de US$ 1.287,59 e um GBic de longo alcance 3 no valor de US$ 5.169,82. Estas doações, em um valor total de US$ 20.679,29, foram uma contribuição importante vinda de nossos parceiros internacionais. Isto demonstra o envolvimento destes grupos e o apoio que temos recebido.
Figura 1: Foto do Cluster SPRACE
1 WS-C3750G-24TS-E Cisco Catalyst 3750 com 24 portas 10/100/1000T + 4 SFP (Small Form-Factor Pluggable) uplinks - Imagem Enhanced 2 LC-LH-SM Cisco GE SFP, LC connector LH transceiver. 3 GLC-ZX-SM Cisco GE SFP, LC connector ZX transceiver.
8
Figura 2: Monitoramento do SPRACE através do Ganglia
9
Uma grande vantagem da escolha do equipamento da Itautec foi o fato desta fornecer uma versão do sistema operacional Red Hat 7.3 adaptado à nova geração de processadores com extensão de memória de 64 bits (EM64T). Desta forma pudemos manter o cluster inteiro com um mesmo sistema operacional visto que este já operava com o Red Hat 7.3. Houvesse sido escolhido qualquer um dos outros fornecedores, o sistema operacional a ser instalado nas novas máquinas teria que ser o Scientific Linux, distribuição conjunta do CERN e Fermilab baseada no Red Hat Enterprise. Apesar de mais moderno, este sistema não era compatível com a versão p14 do software de produção de Monte Carlo do DØ.
Este correto casamento entre hardware e software permitiu que os dados por nós reprocessados fossem rapidamente certificados como válidos. Nas palavras de Daniel Wicke, coordenador do reprocessamento remoto, “I am pleased to announce that SPRACE is fully certified. (The cleanest plots due to p17.05 recocert)”.
Além disso, por tratar-se de equipamento semelhante aos adquiridos na primeira fase do projeto, a sua incorporação ao cluster original pode ser efetuada de maneira rápida e eficiente. Em pouco mais de uma semana o SPRACE estava operando em sua forma atual e pronto para ser configurado para atuação dentro do Grid da colaboração DØ, o SAMGrid.
2.1.2 Melhoria da Rede Além do aumento da capacidade de processamento, uma melhoria fundamental para
a inclusão do SPRACE no sistema distribuído de processamento da colaboração DZero foi a implantação de um novo link internacional de 622 Mbps ao qual passamos a estar diretamente conectados. Além disso, para a nossa futura participação no grid da colaboração CMS enquanto Tier2, será bastante desejável que possamos agregar ao nosso centro de processamento o poder computacional existente na Universidade Estadual do Rio de Janeiro, unificando esforços e habilitando-nos a postular ser uma Tier2 distribuída desse experimento.
Estes esforços de melhoria da capacidade de troca de dados entre o SPRACE e os EUA e entre o SPRACE e o Rio de Janeiro se deu em duas frentes: o projeto GIGA da RNP e o projeto CHEPREO da NSF.
Link Nacional: Projeto GIGA
O projeto GIGA, uma iniciativa da RNP e do CPqD, é uma rede experimental de alta velocidade. Consiste na implementação e uso de uma rede óptica voltada para o desenvolvimento de novas tecnologias de rede, aplicações e serviços de telecomunicação associados à tecnologia IP sobre WDM (Wavelength Division Multiplexing), baseada em comutação de lambdas, com suporte a aplicações avançadas. Esta tecnologia associa sinais ópticos a diferentes freqüências de luz (comprimentos de onda ou lambdas), o que permite separar, dentro de um mesmo meio físico, canais diversos para tráfego de dados.
A rede experimental do Projeto GIGA foi implementada em maio de 2004, e tem atualmente 735 Km de extensão e capacidade de 1 Gbps, com previsão de se chegar a 10 Gbps. A rede interconecta 17 universidades e centros de pesquisa do eixo Rio-São Paulo, abrangendo os municípios de Campinas, São Paulo, São José dos Campos, Cachoeira
10
Paulista, Rio de Janeiro, Niterói e Petrópolis. Há um projeto em andamento para estender a rede até o Nordeste. O uso da rede GIGA é exclusivo a subprojetos de pesquisa e desenvolvimento selecionados, com foco em uma das quatro áreas temáticas (definidas no lançamento do projeto): redes ópticas; serviços experimentais de telecomunicações; protocolos e serviços de rede; e serviços e aplicações científicas.
A infra-estrutura da rede GIGA é formada por equipamentos de núcleo baseados em roteadores BlackDiamond 10K e 6808, equipamentos de distribuição baseados em roteadores BlackDiamond 6808, da empresa Extreme Networks. A interligação entre regiões metropolitanas usa tecnologia DWDM, enquanto a conectividade dentro das regiões metropolitanas é feita através de tecnologia CWDM. Os equipamentos de acesso, instalados nos laboratórios, são baseados em switches Summit 200-24, também da Extreme Networks. Por questões de segurança, existem dois centros de controle da rede (NOCs – Network Operations Centers): um na RNP no Rio de Janeiro e outro no CPqD em Campinas.
No Estado de São Paulo, o Projeto KyaTera da FAPESP apresenta características semelhantes ao projeto GIGA. Trata-se de uma plataforma óptica de altíssima velocidade, com equipamentos de última geração, destinada exclusivamente para ensino e pesquisa científica e tecnológica, sendo a mais avançada do hemisfério sul. As fibras do Projeto KyaTera são também instaladas diretamente nos diversos laboratórios de pesquisa participantes. Como ambos os projetos surgiram na mesma época, as fibras dos cabos ópticos lançados em diversos campi são compartilhados. O laboratório SPRACE submeteu recentemente um subprojeto para participação no KyaTera (ver a seguir).
Figura 3: Diagrama das Conexões do Sub-projeto GIGA.
11
Iniciativas semelhantes estão surgindo em outros países da América Latina. No Chile, a rede nacional de pesquisa REUNA está implementando um testbed óptico de 250 Km entre as cidades de Valparaíso e Santiago, conectando 3 Universidades, além da própria REUNA, também usando a tecnologia IP sobre WDM. Este projeto, que se iniciou em 2003, é financiado pela agência chilena de fomento à pesquisa FONDEF, e inclui o desenvolvimento de tecnologias nos níveis óptico, rede IP e aplicações 4.
Um dos subprojetos aprovados para uso da rede GIGA é o projeto de No 2446, “HepGrid Brazil”, do qual participam o DFNAE/UERJ, o LAFEX/CBPF e o LPC/IF/UFRJ no Rio de Janeiro, o SPRACE/UNESP e o IF/USP em São Paulo. O objetivo do subprojeto apresentado é justamente utilizar a infra-estrutura de rede de alta velocidade disponibilizada pelo GIGA para interligar esses laboratórios de pesquisa, viabilizando assim o compartilhamento de recursos computacionais necessários à construção de um Grid regional, para a execução conjunta de aplicações científicas em física experimental de altas energias.
Através da configuração adequada dos equipamentos de rede que compõem a rede GIGA, os engenheiros de rede estabeleceram uma rede local virtual (VLAN) interligando os laboratórios das instituições acima citadas. Os equipamentos de rede foram configurados de modo a rotear o tráfego através desta VLAN, provendo a interligação necessária entre as diversas redes de cada uma das instituições. O diagrama a seguir apresenta a configuração definida e disponibilizada pelos engenheiros da rede GIGA. No SPRACE, em particular, foi definida uma VLAN específica para o projeto GIGA no switch Catalyst 3750, e a mesma foi conectada à VLAN da rede GIGA. Essa configuração foi feita para o switch Catalyst atuar como roteador, permitindo um controle local do roteamento, independente do projeto GIGA. Tal procedimento foi adotado por apresentar as seguintes vantagens:
• Fornece maior flexibilidade ao laboratório, tornando-o independente: não há necessidade de solicitar possíveis alterações de configuração aos engenheiros do projeto GIGA;
• Permite a monitoração local do tráfego pela rede GIGA, usando as facilidades de monitoramento presentes no switch Catalyst, e de forma independente do projeto GIGA;
• Mantém inalteradas as configurações de rede dos servidores do cluster: quaisquer alterações de configuração serão sempre efetuadas no ativo de rede, preservando os servidores.
Como se nota no diagrama, no caso específico de São Paulo, o switch de acesso Summit 200-24, embora desnecessário devido à presença do Catalyst, foi mantido para garantir a independência de configuração. Os engenheiros do GIGA ficam responsáveis pela configuração do Summit enquanto os pesquisadores do SPRACE e engenheiros da ANSP configuram o Catalyst.
A configuração final da rede apresentada no diagrama anterior foi completada em setembro deste ano. Os primeiros testes de conectividade e de largura de banda estão em pleno curso. A rede assim disponibilizada pelo projeto GIGA permitirá a formação de um
4 http://redesopticas.reuna.cl
12
Grid regional entre os principais clusters do projeto HEPGrid Brazil, em São Paulo e no Rio de Janeiro.
A nossa participação nos Projetos GIGA e KyaTera foi fundamental para termos acesso a uma infra-estrutura de rede bastante avançada, capaz de atender às necessidades de conectividade óptica dos próximos anos. Graças a esses projetos, foi lançado um cabo óptico monomodo com 24 fibras (12 pares), cobrindo a distância de 1.207 metros entre o Centro de Computação Eletrônica (CCE) e o Instituto de Física, dentro do campus da USP. Este cabo foi doado pelo Projeto KyaTera, e o lançamento do mesmo foi custeado com a reserva técnica deste Temático. O trabalho foi contratado e administrado pelo CCE, e executado pela mesma empresa que lançou os cabos ópticos dos projetos GIGA e KyaTera por todo o campus da USP.
As fibras desse cabo óptico foram divididas em 3 grupos, e destinadas para os projetos GIGA e KyaTera, sendo algumas reservadas para aumentar a conectividade óptica entre o Instituto de Física e o CCE. A divisão ficou da seguinte forma: 2 pares para o projeto GIGA, 6 pares para o projeto KyaTera, e 4 pares para o Instituto de Física. Assim, como benefício secundário desse trabalho, o Instituto de Física quintuplicou sua capacidade de comunicação via rede óptica com o Centro de Computação Eletrônica.
Um dos pares do projeto GIGA foi usado para fechar a conexão entre o switch Summit 200-24 do laboratório SPRACE e o roteador BlackDiamond 6808 localizado no CCE. O segundo par é o responsável por fechar a conexão entre o switch Catalyst 3750 (doado pelo Caltech ao laboratório) e o CCE. Um patch-cord instalado no Wiring-Closet do CCE provê a conexão entre o bastidor do projeto GIGA e o bastidor da empresa Iqara Telecom – fornecedora do serviço de conexão em fibras ópticas do CCE até o NAP do Brasil, em Barueri – onde estão instalados os equipamentos de rede que formam o backbone da rede ANSP.
O mini-rack da GKC instalado no laboratório, que abriga os ativos de rede, foi doado pelo projeto KyaTera, enquanto o projeto GIGA disponibilizou dois painéis de distribuição óptica para 24 fibras, um deles foi instalado no CCIFUSP e outro no mini-rack do laboratório. As fusões ópticas e conectores ópticos foram também disponibilizados pelo projeto GIGA. No distribuidor do CCIFUSP, foram efetuadas fusões em 4 pares das fibras que chegam do CCE através do cabo óptico outdoor. As fibras restantes do cabo óptico outdoor (8 pares) foram fundidas diretamente às fibras do cabo indoor, e levadas diretamente ao painel de distribuição óptica do laboratório, que foi instalado dentro do mini-rack.
Link Internacional
O Center for High-Energy Physics Research and Education Outreach (CHEPREO) 5, uma colaboração entre Caltech, Florida International University, University of Florida, Florida State University, UERJ, UNESP, USP e FAPESP, é um centro inter-regional criado para viabilizar programas de incentivo à pesquisa e educação, através do aprimoramento da cyberinfrastructure – a infra-estrutura tecnológica de apoio à pesquisa científica. No final de 2004, uma parceria entre o CHEPREO, a FIU e a FAPESP, com apoio financeiro da NSF, permitiu a ampliação da conexão de rede que integra a rede acadêmica do Estado de São
5 http://www.chepreo.org
13
Paulo (rede ANSP) à rede Abilene (Internet2) nos EUA. Esta conexão, administrada pela AMPATH, foi ampliada de 45 Mbps para 622 Mbps, através da troca de diversos equipamentos de rede e da renegociação da concessão do link. Assim, este link consiste atualmente de um circuito STM-4 entre São Paulo e Miami, e faz uso de um cabo óptico submarino provido pela empresa LANautilus 6, do grupo Telecom Itália. Essa ampliação aumentou em cerca de 14 vezes a velocidade de comunicação dos centros acadêmicos do Estado de São Paulo com os Estados Unidos.
Embora esta rede esteja atualmente operando a 622 Mbps, ela será em breve atualizada para 1,2 Gbps (dois circuitos STM-4), devido ao projeto WHREN-LILA (detalhado adiante), e já dispõe de todas as condições técnicas para chegar a 2,5 Gbps. Durante o Bandwidth Challenge do evento SuperComputing 2004, que ocorreu em novembro passado em Pittsburg, esse novo link foi testado quase ao limite, como parte da demonstração “High Speed Terabyte Transfers for Physics”, coordenada pelo Caltech. A participação de São Paulo nessa demonstração tornou-se possível graças ao trabalho realizado pelo NARA (Núcleo de Apoio à Rede Acadêmica, que administra a rede ANSP) e pelos pesquisadores do laboratório SPRACE, e ocorreu devido a uma singular união de esforços de várias entidades: o consórcio Internet2 e a empresa Qwest forneceram a conectividade entre Miami e Pittsburg; as empresas Terremark do Brasil e Impsat forneceram espaço físico e suporte técnico em seus data-centers; a Eletropaulo Telecom e a Iqara cederam fibras ópticas em São Paulo; a LANautilus, do grupo Telecom Itália, cedeu capacidade no cabo submarino entre São Paulo e Miami; a FPL FiberNet (Florida Power & Light Company) cedeu fibras ópticas em Miami; Cisco e Foundry supriram os equipamentos de rede necessários para o funcionamento da conexão. O link foi fechado desde o NAP do Brasil em Barueri até o “floor” do evento, e o tráfego atingiu 2 + 1 Gbps (tráfego de chegada + tráfego de saída) e foi sustentado durante 1 hora.
O link São Paulo-Miami é bastante estratégico; os principais objetivos de utilização definidos para ele são:
• Estabelecer um peering com a rede Abilene (Internet2) e outras redes de pesquisa e educação dos Estados Unidos através da AMPATH, possibilitando conectividade óptica de alta velocidade a todos os grupos de pesquisa do Estado de São Paulo com centros de pesquisa americanos;
• Fornecer conectividade ao backbone WHREN-LILA, um projeto proposto pela FIU e CENIC e financiado pela NSF, que consiste de um anel óptico abrangendo todo o hemisfério oeste, interligando as redes acadêmicas da América Latina com importantes pontos de troca de tráfego nos EUA;
• Fornecer conectividade ao backbone Atlantic-Wave (A-Wave), similar à iniciativa Pacific Wave na costa oeste americana, que prevê a interligação de vários pontos de troca de tráfego internacional por toda a costa leste americana, estendendo-se à Europa pela rede GEANT, e que permitirá futuro provisionamento de lambdas (redes WDM reconfiguráveis).
6 http://www.lanautilus.com
14
A rede Abilene 7 foi o primeiro testbed óptico de extensão nacional construído nos Estados Unidos, sobre o qual foi implementada a rede Internet2. É uma corporação sem fins lucrativos, e iniciou-se através de uma sociedade entre as empresas Qwest, Cisco Systems, Nortel Networks e a Indiana University. Atualmente a rede Abilene (Internet2) é formada por um amplo consórcio de universidades americanas, denominado UCAID 8 (University Corporation for Advanced Internet Development). A AMPATH 9 foi a responsável por prover acesso à rede Abilene aos países latino-americanos, através da disponibilização de canais de 45 Mbps para a ANSP em São Paulo, RNP no Rio de Janeiro, RETINA em Buenos Aires, REUNA em Santiago, REACCIUN em Caracas e SENACYT no Panamá. A rede ANSP recebeu o canal de 45 Mbps em março de 2002.
O padrão internacional atual de comunicação óptica está em 10 Gbps. Considerando que até 2004 os pesquisadores no Estado de São Paulo contavam com um canal de 45 Mbps com a rede Abilene americana (menos de 0,5% do padrão internacional), a evolução que está ocorrendo é bastante significativa pois o mesmo canal já está pronto para operar a 2,5 Gbps (25% do padrão internacional).
É evidente que na América Latina ainda não existe a mesma integração na área de redes ópticas avançadas para pesquisa e educação, como nos EUA, no Canadá, na Europa, e nos países da Ásia Oriental e Austrália, onde já existem a mais tempo fortes enlaces intra-regionais e organizações regionais correspondentes, como as redes Abilene, StarLight, TeraGrid nos EUA, a CA*Net4 10 no Canadá, a TERENA – Trans-European Reseach and Education Network 11 na Europa, e a APAN – Ásia-Pacific Advanced Network 12 na região da Ásia e Austrália.
Esta situação começou a mudar em 2005, em virtude de uma iniciativa da NSF, lançada em abril de 2004. Naquele ano, a NSF abriu um programa de financiamento de novas conexões entre as redes avançadas dos EUA e redes semelhantes em outras partes do mundo, denominado IRNC – International Research Network Connections. Este programa dará apoio a grandes projetos de conexão durante 5 anos, com investimentos anuais da ordem de US$ 5 milhões, e envolvem diretamente a Europa, Japão, Austrália, Rússia e América Latina. No caso da América Latina, a proposta de projeto submetida pela FIU e CENIC, em conjunto com a rede paulista ANSP e com as redes de pesquisa nacionais latino-americanas RNP, REUNA, RETINA e CUDI, foi uma das contempladas pelo programa, que foi aprovado em dezembro de 2004.
A proposta submetida pela FIU e CENIC irá criar uma rede óptica abrangente para todo o hemisfério ocidental. O projeto, denominado WHREN-LILA 13 (da sigla em inglês Western Hemisphere Research and Education Network – Links Interconnecting Latin America), foi iniciado oficialmente em maio de 2005, e resultou de uma parceria entre a NSF (Award # 0441095), FAPESP (Projeto No 04/14414-2), Corporation for Education Initiatives in
7 http://abilene.internet2.edu 8 http://www.ucaid.org 9 http://www.ampath.fiu.edu 10 http://www.canarie.ca/canet4/ 11 http://www.terena.nl 12 http://www.apan.net 13 http://whren.ampath.net
15
California (CENIC) e Florida International University (FIU), esta última a responsável pelo projeto AMPATH. A rede WHREN-LILA já está em fase de implantação, e está conectando pontos de troca de tráfego internacional já bem estabelecidos da América do Norte (Miami, FL, Seattle, WA, Los Angeles, CA, Chicago, IL e New York, NY) com pontos de troca de tráfego emergentes na América Latina (São Paulo no Brasil, Santiago no Chile e Tijuana no México). O resultado desse trabalho será uma rede para produção e pesquisa de alta velocidade e alta disponibilidade para as Américas. A proposta WHREN-LILA aumenta de imediato o link São Paulo-Miami para 1,2 Gbps, e adiciona três novos links: um link de 155 Mbps entre São Paulo e Santiago, um link de 310 Mbps entre Santiago e Tijuana, e um link em fibra apagada entre Tijuana e San Diego, na Califórnia. Durante o período de 5 anos de duração do financiamento da NSF, cada um desses links evoluirá para 2,5 Gbps, de acordo com o projeto proposto. A partir de San Diego, o anel óptico WHREN-LILA se fecha através da CalREN 14 em Los Angeles, CA, Abilene (conexão de Los Angeles a Atlanta, GA) e AMPATH, via FLR (Florida Lambda Rail 15).
O diagrama a seguir mostra maiores detalhes da atualização da conexão entre Miami e São Paulo dentro do contexto do projeto WHREN-LILA. O par de roteadores Cisco ONS 15454 já foram adquiridos, e a previsão é que sejam instalados em outubro de 2005. O ONS 15454 é um equipamento sofisticado e muito versátil, com suporte a serviços multi-camada e multi-protocolo, além de permitir um aumento incremental da largura de banda do link, através da agregação de múltiplos circuitos STM-4, ou da utilização de circuitos STM-16 (2,5 Gbps). Pode-se ver no diagrama que esta atualização irá fornecer conectividade em gigabit-Ethernet exclusiva para a rede ANSP, e conectividade em gigabit-Ethernet compartilhada entre as redes CLARA e RNP.
Figura 4: Conexão São Paulo–Miami via WHREN-LILA
14 http://www.cenic.org/calren 15 http://www.flrnet.org
16
Outra iniciativa de relevância é o backbone Atlantic-Wave (A-Wave), um peering internacional que interligará Canadá, Estados Unidos, América do Sul e Europa, com o objetivo de fornecer serviços multi-camada e multi-protocolo entre as redes participantes. Dentre as funcionalidades previstas, estão:
• Serviços de peering de camada 3 sobre Ethernet com suporte a Jumbo-Frame
• Serviços de comutação de lambdas e provisionamento de lightpaths para o GLIF – Global Lambda International Facility.
O GLIF 16 é um laboratório virtual em escala global, estabelecido em 2003, para o desenvolvimento de middleware e aplicações para uma área de pesquisa emergente conhecida como “λGrids”, em que aplicações para Grids computacionais baseiam-se no controle dos comprimentos de onda dos sinais ópticos (lambdas) em redes ópticas WDM dinamicamente reconfiguráveis. A comunidade GLIF compartilha a visão de se construir um novo paradigma de redes, que usa a tecnologia de geração e controle de lightpaths para dar suporte ao transporte de dados para aplicações em e-Science que demandam grande volume de troca de dados.
Nas Américas, os pontos de distribuição do Atlantic-Wave estarão em New York, Washington, DC, Atlanta, Miami e São Paulo. Em New York e em São Paulo, o anel se fechará com a Europa, através da rede européia GEANT. Novamente, o link São Paulo-Miami desempenha um papel fundamental nessa rede.
Com base no panorama de crescimento das redes ópticas apresentado, pode-se facilmente concluir que São Paulo está emergindo como um grande ponto de troca de tráfego de rede de nível internacional, agregando o backbone da rede CLARA, conectando-se à rede GEANT européia, e participando como ramo importante dos projetos WHREN-LILA e Atlantic-Wave. Neste contexto, a situação do laboratório SPRACE (como a de qualquer centro de pesquisa ou laboratório do Estado de São Paulo integrado à rede ANSP), é bastante privilegiada, por estar ligado a um ponto de troca de tráfego ao qual estão se conectando redes de alta velocidade trans-nacionais (com os EUA, Chile, México e Europa), financiadas principalmente por projetos acadêmicos. Essa ampliação da conectividade já está mostrando resultados muito positivos, possibilitando ao Brasil participar, pela primeira vez, de eventos internacionais de demonstração de tráfego de rede com taxas de comunicação compatíveis com padrões internacionais, absolutamente necessárias para eventos dessa natureza. O laboratório SPRACE tem aproveitado essas oportunidades para testar e aprimorar as configurações de seus equipamentos, e estreitar os laços de cooperação mútua com a comunidade internacional. O link inter-regional entre São Paulo e Miami, patrocinado pelo CHEPREO, FIU e FAPESP, está permitindo a participação do laboratório SPRACE no reprocessamento de eventos na colaboração D0 do Fermilab, e permitindo conectividade com o projeto UltraLight17, através dos backbones FLR (Florida Lambda Rail) e NLR (National Lambda Rail). Esse link estende a comunidade UltraLight à América do Sul, facilitando uma colaboração mútua entre a FIU, as universidades estaduais paulistas (UNESP, UNICAMP,USP), e os demais sites do projeto UltraLight.
16 http://www.glif.is/ 17 http://ultralight.caltech.edu
17
Em virtude das transformações advindas da ampliação do link entre São Paulo e Miami, o laboratório SPRACE viu-se obrigado a atualizar sua infra-estrutura de rede. Graças a uma importante doação do Caltech, que ocorreu em maio deste ano, o laboratório conta hoje com um switch/router Cisco Catalyst 3750, com software EMI (Enhanced Multilayer Image), que dá suporte a roteamento IP dinâmico completo. A doação também incluiu um par de conversores ópticos (SFPs 1000BASE-LX e 1000BASE-ZX), que permitiram conectar o switch diretamente aos roteadores da rede ANSP, situados a uma distância de quase 70 Km.
A configuração mais recente efetuada na rede do laboratório SPRACE transformou o Catalyst 3750 em um default gateway de toda a rede. Um bloco de endereços (200.136.80.0/24) foi disponibilizado pela FAPESP para uso do laboratório, e foi estabelecida uma rede ponto-a-ponto entre o laboratório e o roteador de entrada da rede ANSP, em Barueri. Com esta alteração, o switch Catalyst tornou-se o equipamento responsável pelo roteamento de tráfego entre as seguintes redes:
Figura 5: Configuração de rede do SPRACE
• Rede 200.136.80.0/24 , à qual estão ligados os servidores do laboratório
• Rede 143.108.254.240/30 , link ponto-a-ponto ligado diretamente à rede ANSP (e, conseqüentemente, ao link internacional)
• Rede 10.24.46.0/24 , ligada aos grupos de pesquisa em física de altas energias no Rio de Janeiro (rede GIGA)
• Rede 143.107.128.0/26 , que através do Instituto de Física liga-se diretamente à rede USPNet
O switch Catalyst é também o responsável pela troca de tráfego da rede interna ao cluster do próprio laboratório, interligando os switches instalados em cada rack, os servidores "sprace” e “spgrid” e o servidor de armazenamento.
18
O switch Catalyst também fornece informações de tráfego para o sistema de monitoração do projeto UltraLight, via SNMP. Esse sistema de monitoração é baseado no software MonALISA, desenvolvido pelo Caltech 18.
O diagrama a seguir ilustra a conexão entre o cluster no laboratório SPRACE e os roteadores da rede ANSP, e detalha a conexão com a UERJ pela rede GIGA, através do switch Catalyst.
Estamos trabalhando com pesquisadores do grupo de segurança da UNESP para implementar um sistema de monitoração de tráfego local, capaz de analisar e identificar padrões de tráfego resultantes de possíveis ataques que poderiam de alguma forma afetar a segurança do sistema computacional do laboratório.
Figura 6: Conexões com a ANSP e o GIGA
2.1.3 Auditoria de Segurança O fato de termos sido obrigados a ter nosso próprio domínio de rede diretamente
ligado ao link internacional trouxe além dos benefícios explícitos uma maior responsabilidade no que tange a segurança de nosso parque computacional contra ataques e invasões, sejam elas puramente destrutivas, ou pior, oportunistas, quando o equipamento instalado é utilizado para finalidades espúrias aos seus objetivos, ou mesmo ilegais.
Para nos prevenirmos destas possíveis situações de risco, foi efetuada nos dias 25 a 27 de agosto de 2005 uma análise de segurança nos computadores do SPRACE pela equipe do Laboratório ACME! 19 de Pesquisa de Segurança em Redes de Computadores sob a orientação do Prof. Dr. Adriano Mauro Cansian da UNESP.
No dia 25 de Agosto foram feitos testes externos partindo da rede do Laboratório ACME! com o objetivo de verificar vulnerabilidades remotamente exploráveis. Nos dias 26 e
18 http://monalisa-ul.caltech.edu:8080/index.html 19 http://www.acme.ibilce.unesp.br/
19
27 de Agosto foram efetuados testes internos, com o objetivo de identificar vulnerabilidades não acessíveis a atacantes remotos, mas que podem ser utilizadas por um atacante que ganhe acesso local ao sistema. Os seguintes procedimentos foram adotados durante o processo de análise:
• Identificação de serviços oferecidos localmente e via Internet.
• Procura por vulnerabilidades presentes nos softwares responsáveis por cada serviço oferecido.
• Procura por vulnerabilidades nos demais softwares que possam ser exploradas localmente.
• Verificação do nível de segurança das senhas dos usuários.
Durante a análise foi utilizado um conjunto de ferramentas para diagnosticar possíveis problemas de segurança presentes na rede:
• Nessus 20 : ferramenta utilizada para busca por vulnerabilidades nos serviços disponíveis na rede.
• Nmap 21 : ferramenta que efetua uma varredura de serviços disponíveis na rede.
• LSOF e Netstat : são utilitários úteis para identificar os processos que são responsáveis por cada serviço oferecido por um sistema Unix.
• John the Ripper 22 : ferramenta para verificação de senhas fracas.
• RPM: utilitário usado para obter uma lista sobre todos os softwares instalados no frontend e no host SPGrid.
Nossa escolha pelo uso de NAT (Network Address Translation) assegurou significativamente a segurança de nossa rede. Apesar disso, alguns problemas foram ainda encontrados.
Os principais problemas detectados estavam relacionados à falta de atualização de alguns softwares presentes na rede de computadores do SPRACE. Os softwares utilizados no servidor HTTP estavam sujeitos a diversas vulnerabilidades, muitas das quais ligadas à execução de código arbitrário. Os seguintes softwares estavam vulneráveis, com alto fator de risco: Apache, Apache Mod_SSL, PHP e OpenSSL. Estes problemas puderam ser solucionados com a atualização desses softwares, que foi realizada com a supervisão da equipe do Laboratório ACME!.
Outra sugestão da equipe do Laboratório ACME! foi a atualização de sistema operacional dos computadores do SPRACE com Linux Red Hat 7.3, o que simplificaria o procedimento de atualização dos softwares de segurança do sistema. Porém, devido a problemas de compatibilidade com os programas de Monte Carlo e reprocessamento de dados da Colaboração DØ do Fermilab, tal atualização é inviável atualmente.
20 http://www.nessus.org 21 http://www.insecure.org/nmap/ 22 http://www.openwall.com/john
20
2.2 Participação na Colaboração DZero Desde o início do Run II em março de 2001 o Tevatron vem operando com uma
energia de 1.960 GeV no centro de massa da colisão próton-antipróton. Até o momento foi capaz de entregar luminosidade integrada de 1.300 pb-1, tendo recentemente batido o recorde de luminosidade de pico de um acelerador hadrônico quando atingiu 1,41 X 1032 cm-
2 seg-1. O detector do DØ foi capaz de armazenar em fita um total de 1 fb-1 (= 1.000 pb-1) destes dados.
Figura 7: Luminosidade Integrada do Run II
2.2.1 O Experimento DZero O detector DØ é constituído por diversos sistemas de detecção com distintas
funções. O sistema central de rastreamento (tracking) está imerso em um campo magnético de 2 T gerado por um solenóide supercondutor. Ele é composto pelo Silicon Microstrip Tracker (SMT) e pelo Central Fiber Tracker (CFT). O SMT possui aproximadamente 800.000 microbandas de silício, espaçadas de 50–80 µm e tem a função de rastrear e identificar vértices da interação na região de |η| < 3. O sistema é composto por 6 tambores longitudinais, cada um deles possuindo 4 camadas envolvendo axialmente o feixe. O CFT é constituído por 8 tonéis coaxiais, cada um deles possuindo 2 pares sobrepostos de fibras cintilantes de 0,835 mm de diâmetro. Um dos pares é paralelo ao eixo de colisão, enquanto o outro é colocado alternadamente com ± 3o relativo a este eixo. Os sinais luminosos são transportados através de fibras claras para contadores de fótons (VLPC) que possuem uma eficiência de 80%. Detectores de chuveiro (preshower) centrais e frontais estão colocados na parte externa do solenóide supercondutor. Eles são compostos por várias camadas de bandas cintiladoras cujos impulsos são identificados através de VLPC’s.
A camada seguinte de detectores contém 3 calorímetros de argônio líquido e urânio. O calorímetro central possui uma cobertura até η ≈ 1, e os demais se estendem até |η| < 4, todos eles possuindo seu próprio criostato. Cintiladores colocados entre o criostato central e os frontais possibilitam obter uma amostragem do desenvolvimento dos chuveiros para 1,1 < |η| < 1,4.
21
O sistema de múons é situado após os calorímetros sendo composto por 3 camadas de detectores de rastro e contadores de cintilação. Na região de |η| < 2, a detecção é feita através de tubos de arrasto. A luminosidade do DØ é medida através de cintiladores plásticos localizados em frente aos criostatos centrais, cobrindo intervalo de rapidez 2,7 < |η| < 4,4.
Detectores de prótons frontais (Forward Proton Detector – FPD) estão situados no túnel do Tevatron, de ambos os lados da região de interação. O Forward Proton Detector foi desenvolvido, instalado e está sendo operado pelo grupo brasileiro que participa da colaboração DØ. Ele é formado por 18 Roman Pots que são utilizados para determinar o momento e ângulo de espalhamento dos prótons e antiprótons espalhados, fazendo a reconstrução da trajetória até a região de interação. Estas medidas são essenciais
para estudar com detalhes as propriedades do Pomeron, agente dinâmico dos processos difrativos e responsável por aproximadamente 40% da seção de choque total próton–antipróton.
Os sistemas de trigger e de aquisição de dados foram desenhados de acordo com a alta luminosidade do Run II do Tevatron. O output do primeiro nível do trigger é utilizado para reduzir a taxa de eventos para aproximadamente 1,5 kHz. O próximo estágio do trigger leva essa taxa para cerca de 800 Hz. Esses dois primeiros estágios envolvem apenas hardware e firmware. Já o último nível de trigger é implementado por software executado em um cluster de computadores, sendo responsável por reduzir a taxa de eventos para 50 Hz, os quais são posteriormente gravados em fita.
Figura 8: Detector do DØ
2.2.2 Análises Físicas Em um experimento de grande porte como o DØ os dados passam por um longo
processo antes de serem utilizados para a análise. A quantidade de dados gerados é enorme e necessita de um procedimento de seleção (Trigger) antes da gravação em fita magnética. Outro aspecto fundamental é a necessidade de padronização dos procedimentos de acesso aos dados e de análise, tendo em vista a grande quantidade de físicos participantes do experimento. É desejável um mecanismo robusto e, ao mesmo tempo, de fácil acesso para que os diversos grupos possam fazer suas análises de forma independente e padronizada.
Há algum tempo vimos nos preparando para iniciar uma análise física com os dados produzidos pelo detector do DØ. Para se ter uma idéia da dificuldade e complexidade deste tipo de análise é importante notar que uma colaboração com 676 membros, após quase 5 anos de tomada de dados foi capaz de submeter 30 artigos de análise para publicação.
22
Descrevemos a seguir o sistema de aquisição e análise de dados do DØ bem como nossos esforços para configurar nosso cluster no ambiente de análise do DØ e participar de análises para a colaboração.
Aquisição de dados
A aquisição de dados começa com os Triggers dos detectores. O sistema de Trigger do DØ é um sistema altamente flexível desenvolvido para selecionar de uma taxa de interação de 2,5 MHz os dados a serem gravados. Essa seleção é feita por um sistema seqüencial de três níveis. O primeiro nível processa rapidamente sinais dos detectores com base na eletrônica e é capaz de reduzir a taxa de eventos para 1.5 KHz. O segundo nível utiliza informação do primeiro nível e forma objetos físicos simples para reduzir a taxa de eventos para ordem de 800 Hz.
O terceiro nível, utilizando informações completas dos detectores para os eventos que passam nos níveis 1 e 2, realiza a reconstrução dos eventos em um cluster de computadores, utilizando algoritmos parecidos com os que serão utilizados na análise dos eventos. São aplicados então os algoritmos de seleção capazes de reduzir a taxa de eventos para 50 Hz. Esta é a freqüência média que os eventos vêm sendo gravados em fita.
Após serem gravados em sua forma bruta (informações diretas dos detectores) os eventos são reconstruídos para a obtenção do seu significado físico e são então gravados. Todas as versões dos programas de reconstrução (d0reco) produzem dados do tipo DST que consistem em vários conjuntos de objetos produzidos pelos vários algoritmos de reconstrução. A partir da versão P11 do software do DØ foi introduzido um novo formato de dados, os Thumbnail, que consiste em um subconjunto de dados do DST onde a maior parte das informações está contida em um só conjunto de objetos. O objetivo desse novo formato é facilitar a análise posterior dos dados e, principalmente, tornar mais rápido o processo. Veremos a seguir que outras etapas (camadas) de dados são produzidas antes da análise de dados. Vários ambientes para a análise foram e estão sendo desenvolvidos para tornar o processo mais fácil e mais uniforme dentro da colaboração.
Figura 9: Diagrama lógico dos triggers de nível 1 e 2.
23
Grupos de Análise
Com o objetivo de tornar o processo de análise mais uniforme dentro da colaboração existem vários grupos de análise no DØ. Esses grupos estão divididos em dois tipos: os grupos de algoritmos e os grupos de Física. Os grupos de algoritmos são responsáveis pela definição dos objetos físicos. São eles:
• Traços e Vértices: responsável por determinar e ajustar os traços e vértices do evento.
• Calorímetro: responsável por reconstruir os objetos físicos a partir do calorímetro contendo os subgrupos: fótons/elétrons, taus, jatos e missing ET.
• Múon: responsável por reconstruir e identificar o múon.
• Trigger: responsável por estudar o trigger.
Os grupos de Física são responsáveis pelas análises dos eventos. São eles: Eletrofraco, Quark b, Higgs, Novos Fenômenos, QCD e Quark Top.
As análises estão baseadas nas definições dos objetos físicos, feitas pelos grupos de algoritmos. Assim, um sinal no calorímetro identificado como sendo um elétron será considerado como um elétron para todos os diferentes grupos de análise (seja na procura de um leptoquark ou na medida da massa do quark top). Claro que cada análise pode definir um elétron mais puro ou menos puro, por exemplo, mas as características básicas do sinal relevantes para a identificação do elétron são definidas no grupo de algoritmo do elétron.
Um aspecto crucial da análise de dados é a seleção dos dados a serem analisados. A quantidade de dados gerados no DØ é enorme, sendo inviável utilizar todos os dados para cada análise que se deseja fazer. Assim, os diferentes grupos selecionam conjuntos de dados que serão interessantes para análise. Esses dados são chamados de dados skimmed e contêm eventos selecionados. Existe um grupo encarregado de coordenar a produção de arquivos com dados selecionados, chamado de Common Sample Group. Este grupo trabalha em conjunto com todos os subgrupos de análise, preparando arquivos com dados pré-selecionados, que serão utilizados nas mais diferentes análises, evitando, assim, duplicação de esforços.
Acesso aos dados: SAM
Além de um sistema de aquisição e seleção de dados é fundamental um sistema de armazenamento e acesso aos dados. O Sequential Access Model (SAM) foi concebido no Fermilab em meados de 1997 visando solucionar o desafio que seria o manuseio dos dados a serem obtidos pelo experimento DØ durante a década seguinte. O sistema mostrou-se estável e confiável, levando o experimento CDF a também adotá-lo. Atualmente o sistema gerencia um fluxo de dados da ordem de dezenas de Terabytes por semana, movimentados entre diversos locais nas Américas, Europa e Ásia.
O SAM é um sistema de manuseio de dados organizado como um conjunto de servidores geograficamente distribuídos que operam em conjunto para armazenar e acessar arquivos, incluindo uma caracterização exaustiva de suas características (meta dado) e um histórico completo de como esses dados foram gerados. Ele foi projetado tendo-se em vista a implementação dos seguintes objetivos:
24
• Prover armazenamento confiável e permanente dos dados coletados do detector e dos diversos centros de processamento espalhados ao redor do mundo, proporcionando a interface com o sistema robótico de armazenamento de dados em fitas magnéticas.
• Disponibilizar a distribuição dos dados armazenados para as cerca de 70 instituições de ensino e pesquisa participantes do experimento através da utilização de áreas locais de armazenamento em disco.
• Catalogar as características dos dados armazenados, tais como conteúdo, origem, status, localização, histórico do processamento, conjuntos definidos pelo usuário, etc.
• Gerenciar a distribuição dos recursos de armazenamento de modo a otimizar o seu uso e o fluxo dos dados, bem como implantar a política de administração dos dados dos experimentos.
• Entregar e transportar os dados entre os diversos servidores locais, bem como entre os servidores locais e o local de armazenamento permanente no Fermilab.
A arquitetura deste sistema está organizada ao redor dos conceitos de conjunto de dados, imagem, consumidor, projeto e estação. Neste sistema, um dado projeto é executado em uma determinada estação e requer a entrega de um conjunto de dados aos consumidores da estação. A estação é um conjunto local de recursos físicos de armazenamento e processamento. O projeto é um processo do SAM que executa a entrega do conjunto de dados descritos pela sua imagem. Os dados requeridos pelo projeto são entregues por um conjunto de estações conhecidas pelo catálogo do SAM usando-se o protocolo de transferência estabelecido pela estação requerente, e armazenados no cache da estação. Os dados no cache local ficam protegidos de serem apagados até que o consumidor que os requisitou os libere.
Nosso grupo instalou e mantém a estação SAM do projeto SPRACE, chamada sprace, e instalou uma outra estação no IFT/Unesp com o nome de d0ift. A estação sprace possui um cache de 1.200 GB e serve para enviar os dados de simulação de Monte Carlo do experimento e para armazenar localmente os dados obtidos do Fermilab para serem reprocessados. A estação d0ift possui um cache de cerca de 100 GB e serve principalmente para execução de projetos de análise de dados, obtendo os dados do experimento para serem processados localmente.
O Ambiente de Análise
O ambiente computacional de análise do DØ, simplesmente chamado Framework, é um sistema orientado a objeto que provê uma interface comum e uma determinada metodologia para fazer análise de eventos. O Framework define o caminho que o evento percorre nos programas aplicativos dos usuários. O objetivo do Framework é passar os dados do evento de um programa a outro, na ordem e configuração estabelecida pelo usuário na hora de rodar o programa.
Os dados do DØ estão padronizados no EDM (Event Data Model). Os vários formatos de dados do DØ (DST, Thumbnail e formatos de root) estão inseridos no EDM, de modo que um mesmo código pode acessar arquivos de diferentes tipos. Nesse modelo de dados os objetos físicos estão separados em grupos (chamados chunks) que podemos
25
acessar através de programas em C++. Por exemplo, há o chunk eletromagnético, com todas as informações do calorímetro eletromagnético, com objetos reconstruídos como elétrons ou fótons. Nesse chunk tem-se acesso a todas as características relevantes para um objeto eletromagnético, como, por exemplo, a forma do chuveiro depositada no calorímetro, ou possíveis correspondências entre as células do calorímetro e rastros deixados no sistema de tracking. O grupo de algoritmo do Calorímetro é o responsável por selecionar quais são as informações mais relevantes para o chunk eletromagnético e quais as características que os objetos eletromagnéticos devem ter para serem considerados um elétron ou um fóton. Analogamente ao chunk eletromagnético existe o chunk do múon, o chunk de jatos, o chunk do sistema de traços etc.
Podemos resumir o processo todo de análise com um exemplo prático rodado em nosso cluster como parte de nossa preparação para iniciar efetivamente a análise física dentro da colaboração. Instalamos o ambiente de análise do DØ e configuramos o programa analysis_example. Em nosso exemplo, acessamos o chunk eletromagnético, selecionamos elétrons e pósitrons e mostramos a distribuição da massa invariante de pares elétron-pósitron. Utilizamos dois conjuntos de dados (ambos no formato Thumbnail): o primeiro, contém dados de um run aleatório; o segundo contém dados selecionados com a presença de dois objetos eletromagnéticos com grande momento transversal. Em ambos os exemplos, utilizamos o SAM para acessar os dados. Ao todo foram processados 23.571 eventos para o run aleatório e 129.828 eventos para o conjunto de dados selecionados. Para o run aleatório poucos eventos possuíam um par elétron-pósitron com grande massa invariante. Para o conjunto de dados selecionados é possível observar um pico na massa invariante em torno de 90 GeV, indicando a presença do bóson Z.
Esse exemplo serviu apenas como teste do setup que foi feito em São Paulo. No entanto é importante ressaltar os diversos passos, todos executados localmente por nosso grupo: instalação dos programas do DØ, configuração do ambiente para análise, configuração e registro de nossas máquinas no SAM, configuração do programa analysis_example para conseguir a massa invariante do par elétron-pósitron, escolha de um projeto do SAM (basicamente, escolha de um conjunto de dados) e execução do projeto em nosso cluster. Essa é a primeira vez que dados obtidos no DØ foram processados localmente no Estado de São Paulo.
Análise Física
Nosso grupo planeja iniciar uma análise Física para a colaboração DØ, aproveitando a experiência anterior dos membros do grupo em fenomenologia de Partículas Elementares. Durante os meses de maio e junho do presente ano realizamos uma série de Journal Clubs em conjunto com o grupo de Fenomenologia da USP (além de nosso grupo de física experimental da UNESP, participaram os professores do IFUSP Oscar Éboli, Gustavo Burdman e Renata Funchal; os pós doutores Kenichi Mizukoshi, Alexandre Alves, Solveig Skadhauge, Walter Teves e alunos de pós graduação) com o intuito de levantar temas de análise que sejam do interesse das pesquisas realizadas no Brasil. Vários tópicos foram levantados, sempre na busca de sinais de uma física além do modelo padrão.
Para colaborar com nossas atividades de análise junto à colaboração DØ agendamos para a segunda quinzena de novembro p.f. uma visita ao Brasil do Prof. Greg Landsberg. O professor Landsberg da Universidade de Brown é um dos líderes de análise
26
do DØ tendo coordenado por vários anos o grupo de Novos Fenômenos. Nosso cronograma prevê o início do procedimento de análise durante essa primeira visita. Uma segunda visita do Prof. Landsberg está sendo programada para meados de 2006. No meio tempo, esperamos que pesquisadores do nosso grupo possam ir ao Fermilab para dar continuidade ao trabalho in loco. Essa interação direta com membros mais experientes da colaboração é essencial para que possamos seguir os vários procedimentos padrões e os passos que são definidos pela colaboração para as análises físicas.
Foi com base nessas expectativas que durante seu estágio de pesquisa no Fermilab, de 20 de Agosto a 10 de Setembro, Eduardo Gregores procurou por sua inclusão em algum dos grupos de pesquisa da colaboração. Levando em consideração sua experiência enquanto teórico e a manutenção da interação com os membros de nossa colaboração do Rio de Janeiro, resolveu-se por se fixar nos tópicos de pesquisa do grupo de Física de B’s, no qual todo o estudo da Física de Sabores Pesados está sendo realizado. Através do contato direto com os demais integrantes desse grupo de análise, pode inteirar-se da localização dos dados pré-selecionados sendo utilizados, bem como dos pacotes referentes à adaptação do Framework genérico da colaboração às necessidades específicas do estudo da produção de sabores pesados, o pacote BAna, abreviação de B Analyse.
O Dr. Gregores deverá fixar-se no estudo das propriedades da produção de estados ligados de quarks pesados, em interação com o Dr. André Sznajder da UERJ e de sua aluna de doutorado, cujo tópico de pesquisa versa sobre a produção difrativa de charmônios.
2.2.3 Processamento de Dados A implementação de uma unidade de processamento remoto da colaboração DZero
é um dos pontos fundamentais deste projeto. Trata-se da primeira experiência em processamento distribuído em escala global a ser posta em operação. As atividades de processamento dos dados do experimento dividem-se em dois grandes grupos: simulação do experimento e processamento dos dados adquiridos. Durante este período atuamos em ambas as áreas.
Simulação de Monte Carlo
Para que uma teoria científica possa se impor como paradigma ela deve ser capaz de reproduzir os fenômenos observados na Natureza. Dessa forma é preciso comparar as predições de uma dada teoria com o que realmente observamos na Natureza. Em Física de Altas Energias este procedimento é implementado através da simulação de Monte Carlo dos eventos que serão medidos em um dado experimento. Estas simulações são extremamente complexas e sofisticadas, já envolvem toda a informação a cerca dos detectores e levam em conta a sua resposta à passagem das partículas, deposição de energia, etc. Uma vez de posse das simulações dos eventos conforme uma dada previsão teórica, os resultados podem ser comparados com os dados experimentais obtidos.
É importante ressaltar que esta simulação de Monte Carlo é um ingrediente essencial para a publicação de todo e qualquer resultado obtido pela colaboração. Sem ela fica impossível extrair qualquer informação dos dados experimentais.
A produção de eventos de Monte Carlo do DØ segue uma série de fases, encadeadas pelo pacote mc_runjob. Primeiro os eventos são gerados usando-se Pythia,
27
Jetset, Isajet e Herwig entre outros. Esses eventos são então processados por programas do DØ que irão simular o detector e o sistema de aquisição de dados. Esses programas são:
• Simulação do Detector pelo Geant: d0gstar.
• Digitalização e "Pileup": d0Sim.
• Simulação dos "Triggers" do DØ: d0trigsim.
• Reconstrução do evento: d0reco.
• Transformação dos dados para formato thumbnail.
O tempo para a simulação de um evento (uma colisão) do DØ é de aproximadamente três minutos em um processador Xeon 2.4GHz. O número de eventos de uma simulação de Monte Carlo típica do DØ varia entre 10.000 e 200.000 eventos. Assim, uma simulação de 200.000 eventos em um único computador do SPRACE demoraria aproximadamente 415 dias para ser concluída. Para realizar a produção de Monte Carlo utilizamos até Junho deste ano o McFarm, programa que distribui a simulação desses eventos para todos os computadores do cluster.
O McFarm (Monte Carlo Farm Manager) é um programa mantido pela UTA e pelo grupo DOSAR com a finalidade de gerenciar a produção de Monte Carlo do DØ em um cluster local de computadores com sistema operacional Linux. Dentre suas principais funções estão a paralelização, monitoração e armazenamento dos resultados consolidados.
Figura 10: Dados de Monte Carlo produzidos pelo SPRACE
28
Utilizando o McFarm foram realizadas 84 simulações para dez grupos de pesquisa do DØ, totalizando aproximadamente 3,5 milhões de eventos. São elas:
Data Eventos Grupo Descrição
03/Jul/04 52.000 Quarks Pesados QCD inclusiva, pT > 80 GeV 09/Jul/04 53.000 Quarks Pesados QCD inclusiva, 40 GeV < pT < 80 GeV 07/Jul/04 51.000 Quarks Pesados QCD inclusiva, 80 GeV < pT < 160 GeV 01/Ago/04 101.000 Física de B’s B D0 mu nu 07/Ago/04 90.999 Algoritmo W c e mu c 13/Ago/04 65.998 Algoritmo W jato e mu jato 16/Ago/04 25.000 Nova Física Z jato nu nu jato 17/Ago/04 10.000 Nova Física Z jato e+ e- jato 18/Ago/04 25.000 Nova Física Z jato nu nu jato 20/Ago/04 10.000 Nova Física Z jato jato e+ e- jato jato 21/Ago/04 10.000 Nova Física gamma Z jato e+ e- jato 22/Ago/04 30.000 Nova Física gamma Z jato e+ e- jato 26/Ago/04 43.999 Top gamma Z jato mu+ mu- jato 28/Ago/04 49.999 Nova Física Z jato e+ e- jato 29/Ago/04 50.000 Nova Física Z jato um+ mu- jato 01/Set/04 10.000 Nova Física LQ LQ mu+ mu- jato jato 02/Set/04 10.000 Nova Física LQ LQ mu+ mu- jato jato 02/Set/04 10.000 Top gamma Z jato jato mu+ mu- jato jato 10/Set/04 44.000 Top gamma Z jato jato mu+ mu- jato jato 10/Set/04 20.000 Top gamma Z jato jato mu+ mu- jato jato 24/Set/04 101.000 Física de B’s B D 24/Set/04 108.500 Energia de Jatos gamma b inclusiva, pT > 20 GeV 25/Set/04 2.000 Nova Física gamma Z jato jato e+ e- jato jato 26/Set/04 4.000 Nova Física gamma Z jato jato mu+ mu- jato 26/Set/04 3.000 Nova Física gamma Z jato jato e+ e- jato jato 26/Set/04 7.000 Nova Física gamma Z jato jato e+ e- jato jato 26/Set/04 6.000 Nova Física gamma Z jato jato mu+ mu- jato jato 26/Set/04 9.000 Nova Física gamma Z jato jato mu+ mu- jato jato 29/Set/04 3.000 Nova Física gamma Z jato jato mu+ mu- jato jato 01/Out/04 39.999 DZero gamma Z mu+ mu- 02/Out/04 10.000 Nova Física gamma Z jato jato e+ e- jato jato 02/Out/04 10.000 Nova Física gamma Z jato jato e+ e- jato jato 03/Out/04 39.999 DZero gamma Z e+ e- 07/Out/04 101.500 Física de B’s Bs
07/Out/04 3.000 Nova Física W jato jato mu nu jato jato 07/Out/04 6.000 Nova Física W jato jato e nu jato jato 07/Out/04 5.000 Nova Física W jato jato mu nu jato jato 08/Out/04 2.000 Nova Física gamma Z jato jato e+ e- jato jato 11/Out/04 3.000 Nova Física gamma Z jato jato e+ e- jato jato 12/Out/04 8.000 Nova Física gamma Z jato jato mu+ mu- jato jato 13/Out/04 7.000 Nova Física W jato jato e nu jato jato 13/Out/04 11.000 Nova Física gamma Z jato jato mu+ mu- jato jato 19/Out/04 10.000 Higgs H H 2H A 4b, mHH =105 GeV, mA =35 GeV 19/Out/04 10.000 Higgs H H 2H A 4b, mHH =120 GeV, mA =25 GeV 21/Out/04 11.500 Higgs H H 2H A 4b, mHH =105 GeV, mA =45 GeV 24/Out/04 117.500 DZero W (+jatos) e nu (+jatos) 03/Nov/04 219.000 Energia de Jatos gamma + jatos, 10 GeV < pT < 20 GeV 10/Nov/04 105.000 Energia de Jatos gamma + jatos, 20 GeV < pT < 40 GeV
29
14/Nov/04 103.000 Energia de Jatos QCD inclusiva, 5 GeV < pT < 10 GeV 25/Nov/04 115.000 Energia de Jatos QCD inclusiva, 80 GeV < pT < 160 GeV 06/Dez/04 101.000 Energia de Jatos QCD inclusiva, 160 GeV < pT < 320 GeV 08/Dez/04 58.000 Quarks Pesados c c inclusiva, 20 GeV < pT < 40 GeV 10/Dez/04 53.500 Quarks Pesados gamma Z b b 14/Dez/04 52.500 Quarks Pesados gamma Z b b 17/Dez/04 58.500 Quarks Pesados gamma Z c c 20/Dez/04 6.000 Nova Física gamma Z jato jato jato nu nu jato jato jato 20/Dez/04 2.000 Nova Física gamma Z jato jato jato nu nu jato jato jato 21/Dez/04 5.000 Nova Física W jato jato mu nu jato jato 21/Dez/04 5.000 Nova Física W jato jato tau nu jato jato 22/Dez/04 7.000 Nova Física gamma Z jato jato jato nu nu jato jato jato 22/Dez/04 7.000 Nova Física W jato jato tau nu jato jato 24/Dez/04 15.000 Nova Física W jato jato e nu jato jato 24/Dez/04 25.000 Algoritmo Amostras da P14 29/Dez/04 25.000 Algoritmo Amostras da P14 30/Dez/04 25.000 Algoritmo Amostras da P14 17/Jan/05 100.500 Física de B’s D p pi mu um 21/Jan/05 25.000 Algoritmo Amostras da P14 25/Jan/05 49.999 Nova Física Z jato tau+ tau- jato 05/Fev/05 115.000 W Z gamma Z e+ e- 10/Fev/05 111.500 W Z gamma Z e+ e- 11/Fev/05 32.000 Higgs g g H tau+ tau-, mH = 120 GeV 14/Fev/05 34.000 Higgs g g H tau+ tau-, mH = 140 GeV 28/Fev/05 34.500 Higgs g g H tau+ tau-, mH = 160 GeV 14/Mar/05 203.500 W Z gamma Z e+ e- 15/Mar/05 204.500 W Z gamma Z e+ e- 30/Mar/05 105.000 Nova Física gamma Z (+jatos) e+ e- 30/Mar/05 107.000 Nova Física gamma Z (+jatos) mu+ mu- 06/Abr/05 8.000 Nova Física W jato jato jato mu nu jato jato jato 16/Abr/05 103.000 Nova Física gamma Z (+jatos) e+ e- 16/Abr/05 104.000 Nova Física gamma Z (+jatos) mu+ mu- 23/Abr/05 25.000 Energia de Jatos Amostras da P14 23/Abr/05 22.404 Energia de Jatos Amostras da P14 28/Abr/05 10.000 Nova Física W jato jato jato mu nu jato jato jato 29/Abr/05 11.000 Nova Física W jato jato jato e nu jato jato jato 06/Mai/05 25.000 DZero Amostras da P14 10/Mai/05 25.000 DZero Amostras da P14 10/Mai/05 25.000 DZero Amostras da P14 11/Mai/05 24.999 DZero Amostras da P14 14/Mai/05 25.000 DZero Amostras da P14 26/Mai/05 102.000 Física de B’s Bs
18/Jun/05 105.407 Física de B’s Bs
A partir de Julho de 2005 a simulação de eventos de Monte Carlo no SPRACE deixou de ser gerenciada pelo McFarm, passando a ser realizada via SamGrid.
O SAMGrid começou a ser desenvolvido em janeiro de 2002 como um projeto de computação do Fermilab e é o primeiro projeto de Grid a ser efetivamente utilizado pelos experimentos de Física de Altas Energias.
30
A arquitetura do SAMGrid é composta por três grandes componentes: o manuseio dos dados, o gerenciamento do processamento e o gerenciamento da informação. O manuseio dos dados é feito através do uso do SAM enquanto que o gerenciamento do processamento é feito através dos componentes do JIM (Job and Information Management), em desenvolvimento pela equipe da divisão de computação do Fermilab. A parte de monitoramento e busca de recursos está fortemente baseada em ferramentas desenvolvidas pelo Condor-G e Globus Toolkit, e utiliza informações compartilhadas em formato XML.
A divisão lógica do SAMGrid consiste em:
• Diversos sites de Execução;
• Um Selecionador de Recursos central;
• Diversos sites de Submissão de trabalhos;
• Diversos sites Clientes (interface do usuário).
O fluxo do trabalho é encaminhado da seguinte forma. Em primeiro lugar os servidores dos sites de submissão e de execução são registrados no selecionador de recursos central. Os usuários do sistema descrevem e submetem seus trabalhos aos sites de submissão via as interfaces instaladas nos sites clientes (um laptop, por exemplo). Os sites de submissão mantêm a lista de trabalhos requeridos, os quais são periodicamente confrontados com os recursos de processamento disponíveis. Cabe ao selecionador de recursos confrontar os pedidos com os recursos, ordenando e priorizando os trabalhos de acordo com o número de arquivo de interesse do trabalho em questão já existentes nos sites de execução. Os sites de submissão então despacham o trabalho ao site de execução determinado pelo selecionador de recursos. Ao final da execução do trabalho o site de execução entrega o resultado de volta ao site de submissão; cabe a este cuidar da lista de resultados, distribuindo ordenadamente o resultado dos trabalhos aos seus respectivos sites clientes.
Os recursos que devem estar presentes no site de execução são:
• Um sistema de gerenciamento de recursos local;
• Uma estação SAM;
• Um gerenciador de informações.
O sistema de gerenciamento de recursos locais possui uma interface especifica ao experimento a que o site pertence e é baseado em um sistema de fila de processos; ele é o responsável pelo recebimento dos processos enviados pelos sites de submissão e pela sua execução local. Cabe a ele fazer a interface entre a linguagem genérica de submissão de trabalho (grid middleware) e as especificidades do sistema local, também chamado “tecido” (fabric) por paralelismo à “malha” (grid).
A estação SAM é acionada para fazer o manuseio dos dados requeridos para a execução do trabalho e o armazenamento ordenado de seu resultado. Cabe a ela também fornecer as informações necessárias a serem disponibilizadas pelo sistema de informação, a partir da qual o gerenciador de recursos central irá determinar a prioridade e propriedade de execução do trabalho nesse determinado site.
31
Cabe ao gerenciador de informação prover os serviços necessários ao monitoramento do site. Através deste sistema cada site de execução anuncia a disponibilidade de seus recursos ao selecionador central de recursos.
O SPRACE foi configurado enquanto site de execução e cliente.
Para o sistema de gerenciamento de recursos locais, necessário para o funcionamento enquanto site de execução, o pacote sam_batch_adapter foi configurado para fazer a interface “grid-to-fabric” local utilizando o Condor como sistema de fila e distribuição dos trabalhos aos nós de processamento do cluster.
A estação SAM está funcionando regularmente para o manuseio dos dados, e já vinha sendo utilizada para o armazenamento dos dados de simulação de Monte Carlo produzidos pelo SPRACE usando o McFarm.
O sistema de informação, baseado no servidor de web Tomcat e em bancos de dados em XML, foi configurado e está operacional. O presente status do SPRACE no SAM-Grid pode ser visto nos sites de monitoramento, onde são mostrados os sites de execução 23e de submissão.
Um outro componente importante que permeia toda a atividade relacionada a processamento distribuído é a autenticação dos usuários habilitados a usar os recursos do site. Em um sistema onde todos os usuários de um determinado grid são habilitados a usar os recursos locais disponíveis, seu registro deve ser independente do site onde o processo deva ser executado. Ao invés de se criar contas locais de usuários, usam-se certificados emitidos por uma agência de confiança.
Tanto o SAM quanto o SAM-Grid utilizam certificados emitidos pelo DOE-Grid, agência do departamento de energia dos EUA (DOE). Os usuários e máquinas certificadas a usar os recursos locais são identificados através de seu registro em um arquivo presente em todas as máquinas pertencentes ao Grid, arquivo este mantido de forma centralizada no selecionador central de recursos do grid. Sua atualização local é feita periodicamente nos servidores que prestam serviço ao grid. Para poder submeter trabalhos ao grid, os usuários devem também possuir um certificado válido, e ter a descrição do certificado (subject name) incluído nesse arquivo.
Os subject names da estação sam sprace, da estação sam d0ift, do sprace para o SAM-Grid, e o subject name pessoal de um dos membros de nossa equipe são:
• /DC=org/DC=doegrids/OU=Services/CN=sam/sprace.if.usp.br
• /DC=org/DC=doegrids/OU=Services/CN=host/sprace.if.usp.br.
A simulação de Monte Carlo usando o SamGrid teve início no SPRACE em Julho de 2005 com 106.850 eventos simulados na versão P14 de software do DØ. Desde então as simulações vêm sendo realizadas na versão mais recente de software do DØ, a P17, com mais de 300.000 eventos simulados.
23 http://samgrid.fnal.gov:8080/list_of_resources.php?
32
Reprocessamento
Os dados coletados do detector consistem de uma seqüência de bits que indicam as partes do detector que foram ativadas com a passagem das partículas produzidas na colisão. É necessário que esses dados sejam processados para que esses sinais tenham uma interpretação física, identificando-se as partículas formadas no evento e suas características cinemáticas. Esse processamento leva em conta as condições em que foi feita a tomada dos dados e a eficiência dos diversos componentes do detector. Esses parâmetros são também guardados juntamente com os dados brutos obtidos.
O conjunto de programas que faz a leitura dos dados brutos e fornece a sua descrição em termos das partículas e seus momentos é o d0reco. Para a habilitação de uma determinada versão desse programa é necessário que ela seja homologada pela colaboração através da comparação dos resultados por ele gerados com aqueles obtidos pela simulação de Monte Carlo e por resultados similares anteriormente obtidos. Assim, à medida que os dados vão sendo coletados pelo detector, eles vão sendo imediatamente processados usando-se uma determinada versão desse programa de reconstrução. No entanto, esse programa vai sendo aperfeiçoado com o passar do tempo com a experiência adquirida pelo grupo em relação às respostas do detector. Desta forma, de tempos em tempos, o conjunto de dados brutos deve ser reprocessado utilizando-se para isto a versão mais moderna e precisa do programa de reconstrução.
Assim foi em 2003 quando a totalidade dos dados até então obtida foi inteiramente reprocessada usando-se a versão de produção P14 do software do DØ. Na ocasião foram reprocessados aproximadamente 500 milhões de eventos. Essa foi a primeira vez que se decidiu reprocessar a totalidade dos dados obtidos. O grande desafio era que o conjunto de computadores do DØ, um cluster de aproximadamente 600 computadores, era capaz de processar apenas a quantidade de eventos produzida diariamente pelo experimento, cerca de 4 milhões. A solução encontrada foi realizar o reprocessamento dos dados fora do Fermilab, nos clusters remotos das instituições pertencentes à colaboração.
Recentemente a colaboração decidiu que era chegada a hora de reprocessar o conjunto de eventos até hoje obtidos com a versão mais moderna do software do DØ, a P17. Os desafios encontrados anteriormente foram novamente enfrentados este ano, porém em maior escala. O cluster de computadores existente no Fermilab continua sendo suficiente apenas para o processamento dos dados obtidos diariamente, que ocorrem em número cada vez maior à medida que a luminosidade aumenta. Mesmo se nenhum dado novo fosse obtido do detector, o cluster do Fermilab levaria cerca de três anos para reprocessar o conjunto de dados. Para realizar essa tarefa sem interromper o fluxo de processamento diário dos dados foi necessário, mais do que nunca, utilizar os recursos computacionais distribuídos nos diversos centros de processamento remoto, como é o caso do SPRACE.
Foram reprocessados cerca de 1 bilhão de eventos, o que equivale a aproximadamente 250 TB de dados brutos. Se esses dados fossem armazenados em CD’s, eles formariam uma pilha aproximadamente da altura da torre Eiffel! Para processá-los em 6 meses é necessário um poder computacional equivalente a 3.000 processadores Pentium III 1GHz funcionando ininterruptamente.
33
O reprocessamento P17 foi inteiramente baseado na estrutura de processamento do SAMGrid. Trata-se da primeira experiência em escala mundial a utilizar a arquitetura Grid para processamento distribuído. O reprocessamento P17 teve início em março deste ano utilizando os clusters remotos do WestGrid do Canadá, CCIN2P3 de Lyon na França, Universidade do Texas nos EUA, Praga na República Tcheca, GridKa na Alemanha e GridPP e PPARC na Inglaterra.
Nosso grupo foi capaz de disponibilizar os recursos computacionais do SPRACE para esta tarefa logo após a implantação de sua segunda fase. Para tanto foi necessário:
• Implementação local do SAMGrid: Para o funcionamento do SPRACE como local de reprocessamento, o SPRACE precisa estar plenamente funcional como site de execução e site cliente.
• Instalação do software padrão: É utilizada a versão P17.03.03 do D0RunII e diversas outras versões específicas dos pacotes auxiliares para que o reprocessamento fosse independente do local onde ele foi executado. O D0RunII, apenas, possui mais de 500 pacotes, cada um deles com sua versão própria.
• Certificação da produção: Esta certificação visa confirmar que os dados reprocessados em um determinado local sejam idênticos aos dados reprocessados em outro local. Para isto um conjunto de dados padrão é processado em todos os sites e deve fornecer resultados idênticos.
• Certificação da consolidação: Após serem processados, os resultados de vários eventos são consolidados em um único arquivo onde a descrição desse conjunto de eventos é armazenada. Esses arquivos consolidados (merged) são os usados nas análises. Neste caso, conjuntos de dados diferentes são processados em cada site e o conteúdo do arquivo consolidado é comparado com o conteúdo dos arquivos que lhe deram origem.
Todas as etapas foram realizadas com sucesso e o reprocessamento dos dados do DØ no SPRACE teve início em 18 de Agosto de 2005, imediatamente após a entrada em operação do novo link internacional, sem o qual seria impossível a sua execução devido à enorme quantidade de dados transmitidos.
Apesar de estarmos aptos a participar do reprocessamento dos dados apenas em meados de agosto, quase 6 meses após o inicio dessa atividade pelos demais centros remotos, ainda assim fomos capazes de reprocessar 4.253 arquivos de dados brutos, contendo ao todo 9.206.931 eventos. Para processar estes dados, transferimos cerca de 3.120 Gigabytes de dados do Fermilab para nosso cache local, em uma escala de transmissão até então impensável.
Mais do que a significância quantitativa em relação ao total dos dados processados pelos diversos centros da Europa, Canadá e Estados Unidos, nosso sucesso na participação deste esforço conjunto demonstrou que é possível participar ativamente de empreendimentos tecnológicos de ponta mesmo encontrando-se situado fora do eixo do Atlântico Norte.
34
Nosso êxito demonstra a exeqüibilidade de nossa proposta de construção de um centro remoto de processamento dos grandes experimentos, bem como nossa capacitação humana e tecnológica de realizá-la.
2.2.4 Artigos Publicados Abaixo segue a lista dos artigos da colaboração DØ publicados durante o período
deste relatório. Ao final do relatório apresentamos Apêndice contendo uma cópia desses artigos.
1. Search for Doubly Charged Higgs Boson Pair Production in the Decay to mu+ mu+ mu- mu- in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 93, 141801 (2004)
2. Observation and Properties of the X(3872) Decaying to J / Psi Pi+ Pi- in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 93, 162002 (2004)
3. Search for Supersymmetry with Gauge-Mediated Breaking in Diphoton Events at D0, D0 Collaboration.
Phys. Rev. Lett. 94, 041801 (2005).
4. Measurement of the B0(s) Lifetime in the Exclusive Decay Channel B0(s) J / Psi Phi, D0 Collaboration.
Phys. Rev. Lett. 94, 042001 (2005)
5. A Search for the Flavor-Changing Neutral Current Decay B0(s) mu+ mu- in p anti-p Collisions at √s = 1.96 TeV with the D0 Detector, D0 Collaboration.
Phys. Rev. Lett. 94, 071802 (2005).
6. A Search for W b anti-b and W H Production in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 94, 091802 (2005)
7. Measurement of the Lambda0(b) Lifetime in the Decay Lambda0(B) J / Psi Lambda0 with the D0 Detector, D0 Collaboration.
Phys. Rev. Lett. 94, 102001 (2005).
8. Search for First-Generation Scalar Leptoquarks in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. D71, 071104 (2005)
9. First Measurement of Sigma (p anti-p Z) . Br (Z tau tau) at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. D71, 072004 (2005)
35
10. Measurement of the WW Production Cross Section in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 94, 151801 (2005)
11. A Search for Anomalous Heavy-Flavor Quark Production in Association with W Bosons, D0 Collaboration.
Phys. Rev. Lett. 94, 152002 (2005)
12. A Measurement of the Ratio of Inclusive Cross Sections Sigma (p anti-p Z + b-Jet) / Sigma (p anti-p Z + Jet) at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 94, 161801 (2005)
13. Measurement of the p-barp W gamma + X Cross Section and Limits on Anomalous WW gamma Couplings at √s =1.96 TeV, D0 Collaboration.
Phys. Rev. D71, 091108 (2005)
14. Measurement of the Ratio of B+ and B0 Meson Lifetimes, D0 Collaboration..
Phys. Rev. Lett. 94, 182001 (2005)
15. Measurement of Dijet Azimuthal Decorrelations at Central Rapidities in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 94, 221801 (2005)
16. Measurement of Inclusive Differential Cross Sections for Upsilon(1S) Production in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 94, 232001 (2005)
17. Study of Z Gamma Events and Limits on Anomalous Z Z Gamma and Z Gamma Gamma Couplings in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Rev. Lett. 95, 051802 (2005)
18. Search for Right-handed W boson in Top Quark Decays, D0 Collaboration.
Phys. Rev. D72, 011104 (R) (2005)
19. Search for Single Top Production in p anti-p Collisions at √s = 1.96 TeV, D0 Collaboration.
Phys. Lett. B622, 265 (2005)
20. Search for Randall-Sundrum Gravitons in Dilepton and Diphoton Final States, D0 Collaboration.
Phys. Rev. Lett. 95, 091801 (2005).
21. Production of WZ Events in p anti-p Collisions at √s =1.96 TeV and Limits on Anomalous WWZ Couplings, D0 Collaboration.
Phys. Rev. Lett. 95, 141802 (2005).
36
22. Search for Neutral Supersymmetric Higgs Bosons in Multijet Events at √s = 1.96 TeV. D0 Collaboration.
Phys. Rev. Lett. 95, 151801 (2005)
23. Measurement of the ttbar Cross Section in p anti-p Collisions at √s =1.96 TeV Using Kinematic Characteristics of Lepton plus Jets Events, D0 Collaboration.
Phys. Lett. B626, 45 (2005)
24. Measurement of the ttbar Production Cross Section in p anti-p Collisions at √s = 1.96 TeV Using Lepton + Jets Events with Lifetime b-Tagging, D0 Collaboration.
Phys. Lett. B626, 35 (2005)
25. Search for Supersymmetry via Associated Production of Charginos and Neutralinos in Final States with Three Leptons, D0 Collaboration.
Phys. Rev. Lett. 95, 151805 (2005)
26. Measurement of the ttbar Production Cross Section in ppbar Collisions at √s = 1.96 TeV in Dilepton Final State, D0 Collaboration.
Phys. Lett. B626, 55 (2005)
2.3 Participação na Colaboração CMS
2.3.1 O Experimento CMS A colaboração Compact Muon Solenoid (CMS) do LHC conta hoje com mais de 2000
cientistas de 36 países, dentre eles o Brasil que é representado pelo consórcio formado pelo Centro Brasileiro de Pesquisas Físicas (CBPF), Universidade Estadual Paulista (UNESP), Universidade do Estado do Rio de Janeiro (UERJ) e Universidade Federal do Rio de Janeiro (UFRJ) 24.
Os calorímetros e o sistema de rastreamento do CMS estão inseridos em um solenóide supercondutor que gera um campo magnético de 4 Tesla usado para o rastreamento das partículas carregadas. O Sistema de Rastreamento é formado por detectores de silício de pixels e de tiras. O Calorímetro Eletromagnético é constituído por cristais de tungstato de chumbo, possuindo cobertura angular
Suportes
Retorno do Campo Magnético
Solenóide Supercondutor
Calorímetro Hadrônico
Câmaras de Múons
Calorímetro Frontal
Pré-Shower
Calorímetro Eletromagnético
Sistema de Rastreamento
Figura 11: O Compact Muon Solenoid
24 http://cmsdoc.cern.ch/people/INSTITUTES0
37
de |η| < 3. O Calorímetro Hadrônico usa placas cintiladoras intercaladas com placas de chumbo ou de fibra de quartzo, tanto na parte central (|η | < 3), como nas partes frontais (3 < |η | < 5). As Câmaras de Múons estão localizadas fora do solenóide e são compostas por 4 camadas de tubos de arrasto inseridos entre as placas de ferro usadas para o retorno do campo magnético do solenóide. O momento dos múons é medido usando-se tanto o sistema de rastreamento como as câmaras de múons.
O consórcio brasileiro vem discutindo com os spokesman do experimento nossa participação na parte de hardware. Nossa contribuição deverá se dar na construção do detector de pixel. O detector de Pixel do CMS permite que seja feita a reconstrução do traço das partículas próximo da região de interação dos dois prótons. Ele é constituído de
pastilhas de silício, distribuídas em forma de discos com diferentes orientações para determinar sem ambigüidade a trajetória da partícula e fornecer informações sobre os vértices primários e secundários. Estas informações são fundamentais para a seleção de eventos contendo partículas com baixa vida média como leptons taus e quarks b. Estes discos estão distribuídos em dois cilindros e duas camadas frontais que serão colocadas em torno da região de
interação. Será preservado espaço suficiente para a introdução de uma terceira camada de pixels. Os discos são projetados para serem refrigerados a nitrogênio líquido devido às altas temperaturas alcançadas na região de interação. Toda a eletrônica próxima da região de interação deve ser fabricada em tecnologia CMOS (Complementary Metal-Oxide Semiconductor) com 0,25 mícrons, à prova de radiação.
Cada um dos detectores é composto por pixels com 150 X150 microns fixados em chip de leitura (pixel readout chip). Cada um destes sensores contém um conjunto de 52 X 53 ou 2756 pixels. Apenas os detectores frontais utilizarão um total de 6500 sensores ou, equivalentemente, 18 milhões de pixels.
A construção deste detector está sendo realizada por um consórcio de instituições entre as quais o Fermilab. Caso este projeto seja aprovado, passaremos a integrar este consórcio tomando a responsabilidade pela construção da 3ª. Camada de discos que constituem o detector de pixels.
Recente foi encaminhado aos Fundos Setoriais projeto científico que busca o financiamento de nossa contribuição para o CMS. O orçamento no valor de US$ 485.000,00 cobriria parte do material necessário para que nosso grupo possa construir os discos com os respectivos detectores, sendo as demais partes de responsabilidade do Fermilab.
Figura 12: Esquema do Detector de Pixel do CMS
38
2.3.2 OSG e LCG O LHC deverá enfrentar um
grande desafio para processar os dados produzidos em seus detectores. Deverá ocorrer um bilhão de interações próton-próton por segundo produzindo uma média de 30 ou 40 novas partículas. Esta taxa de produção jamais foi atingida em outro detector (veja diagrama comparativo ao lado) e deverá exigir que o CMS tenha que armazenar dados, depois do trigger de nível 3, a razão de 100 MB/seg.
O processamento destes dados só será possível com a implementação da arquitetura de Grid. Neste contexto, todos os laboratórios que participarem de um experimento do LHC poderão contribuir para o processamento colocando à disposição seus recursos computacionais. Passa, portanto, a ser imprescindível participar desta iniciativa para que se possa fazer pesquisa científica nesta área.
Como parte de nossa preparação para participar do processamento para a Colaboração CMS, o SPRACE passou a fazer parte do Open Science Grid (OSG) 25. O OSG é a iniciativa americana de processamento distribuído que apóia a computação científica
através da colaboração entre pesquisadores, desenvolvedores de software e engenheiros de rede. O OSG vem operando uma rede internacional de recursos computacionais que permite acesso aos pesquisadores de diversas áreas a esses recursos compartilhados.
O Large Hadron Collider Computing Grid (LCG) 26, contraparte européia do Open Science Grid, visa construir e operar uma infraestrutura de análise e armazenamento de dados para uso da comunidade científica que irá participar dos experimentos do LHC. Para tanto ele visa unificar a capacidade computacional existente nas instituições científicas ao redor do mundo.
Figura 13: Taxa e Tamanho dos Eventos
Figura 14: Monitoramento do OSG
25 http://www.opensciencegrid.org/ 26 http://www.cern.lcg/
39
O LCG está se dedicando ao desenvolvimento de aplicações de Física que sejam compatíveis com o ambiente heterogêneo e distribuído característico do Grid. Outras aplicações científicas, que incluem biomedicina e geofísica, também vem sendo testadas nesta infra-estrutura, com o apoio do projeto Enabling Grids for E-sciencE (EGEE). O projeto tem também como objetivo fazer o planejamento da aquisição e instalação dos componentes de hardware a serem implantados nas diferentes Tiers.
A partir de março deste ano o LCG passou a operar com mais de 100 sítios em 31 países, tornando-se o maior Grid internacional. Isto significa que mais de 10.000 CPU’s e um total de quase 10 Petabytes de capacidade de armazenamento encontram-se integrados. No entanto esta capacidade computacional corresponde a apenas 5% das necessidades do LHC. Desta forma, o LCG tem que manter uma taxa de crescimento acelerada para atender a demanda dos experimentos que deverão entrar em operação em menos de 2 anos.
2.4 Outras Atividades
2.4.1 VI DOSAR Workshop No final de setembro de 2005 foi realizado em São Paulo o sexto workshop
Distributed Organization for Scientific and Academic Research. O DOSAR congrega instituições do Sul dos EUA e da América Latina envolvidas no desenvolvimento da tecnologia de Grid para os principais experimentos da Física de Altas Energias.
Esta série de workshops é um instrumento importante para aprimorar o relacionamento entre os diversos grupos, permitindo trocar informação sobre os avanços de cada um dos centros envolvidos. As sessões anteriores deste workshop foram realizadas na University of Texas at Arlington, Oklahoma University, Louisiana Tech University, Kansas State University e University of Mississippi.
No V DOSAR Workshop, realizado em 31 de maio e 1 de abril, na University of Mississipi, foi discutido o rumo da organização para além do experimento DØ. Um dos grandes passos do DOSAR é a incorporação ao Open Science Grid (OSG), tendo se tornado uma organização virtual (VO). Este workshop organizado por nós pode ser considerado o primeiro workshop da era DOSAR como uma organização distribuída para pesquisa acadêmica e científica.
O workshop contou com a presença de membros de várias instituições do DOSAR, além de representantes de grupos brasileiros envolvidos de alguma forma com iniciativas de Grid no Brasil. Além dos participantes in loco, o workshop foi transmitido por vídeo conferência, via VRVS, de forma que todas as instituições membros do DOSAR puderam apresentar um resumo sobre o presente estágio de desenvolvimento de cada centro de processamento. Além das palestras tivemos uma demonstração ao vivo da simulação de eventos do CMS na estrutura de Grid do OSG, com os eventos sendo lançados a partir do nosso cluster. A programação do evento é apresentada a seguir. Maiores detalhes sobre o workshop podem ser encontrados na homepage do evento que está disponível no site: http://hep.ift.unesp.br/VIDOSARWorkshop/.
40
16 September (Friday) Venue: University of São Paulo (USP) 08:30 – 09:00 Welcome 09:00 – 09:20 DOSAR: Achievements and Perspectives Jae Yu 09:20 – 09:40 Cyberinfrastructure in Brazil Sérgio Novaes 09:40 – 10:00 SAM Grid Status and Dial-A-Job Joel Snow 10:00 – 10:30 Coffee Break 10:30 – 10:50 MC and Reprocessing at DØ Gavin Davies
10:50 – 11:10 Grid and the Tevatron Experiments Amber Boehnlein
11:10 – 11:30 OSG Status and Perspectives Ruth Pordes
11:30 – 11:50 LHC Data Challenges and Physics Analysis James Shank
12:00 – 13:30 Lunch 13h30 – 14h00 University of São Paulo Tour Sérgio Novaes
LTU: Dick Greenwood LU: Joel Snow Ole Miss: Breese Quinn OU: Horst Severini UTA: Jae Yu SPRACE: Eduardo Gregores Tata: Naba Mondal
14:00 – 15:30 Site Status Reports
Cinvestav: Heriberto Castilla 15:30 – 16:00 Coffee Break 16:00 – 16:20 Rio Grid Initiatives André Sznajder 16:20 – 16:40 Star and Alice Grid Initiatives Alexandre Suaide 16:40 – 17:00 Auger Project Computing Needs Philippe Gouffon 17:00 – 17:20 UltraLight and KyaTera Projects Rogério Iope
17:30 – 19h00 Demonstration session DIAL (Atlas): David Adams GAE (CMS): Michael Thomas
17 September (Saturday) Venue: Instituto de Física Teórica – UNESP 09:45 – 10:00 Welcome 10:00 – 10:30 What’s next for DOSAR? Dick Greenwood 10:30 – 11:00 OSG and DOSAR VO Horst Severini 11:00 – 11:30 Coffee Break 11:30 – 12:00 DOSAR Sites and LCG Tier 2 Pat Skubic 12:00 – 12:30 Final Discussions All
41
Durante o workshop realizado no SPRACE foram também discutidas as perspectivas futuras da nossa colaboração científica. Dentre as principais conclusões do evento podemos citar o seguinte plano de ação de médio prazo para o DOSAR:
• Completar a instalação do SAMGrid em todos os centros do DOSAR
• Manter o suporte à produção de Monte Carlo e ao reprocessamento do DØ
• Implementar o Open Science Grid em todos os centros do DOSAR
• Participar ativamente dos esforços relacionados ao Grid do LHC buscando tornar-se uma Tier 2 ligada ao Atlas e CMS.
• Registar todos os membros no DOSAR Virtual Organization Membership Server da Universidade do Texas
• Implementar um centro de suporte do DOSAR OSG
• Implementar um servidor de documentação do DOSAR
2.4.2 Projetos induzidos Projeto UltraLight e KyaTera
As atuais infra-estruturas computacionais de Grids já são capazes de integrar vastos recursos de processamento e de armazenamento geograficamente distribuídos, mesmo em escala global, tornando-os aptos a operar coordenadamente e cooperativamente como uma ferramenta de apoio à análise de experimentos científicos complexos. Tais infra-estruturas, porém, ainda estão limitadas pela forma com que os recursos comunicam-se entre si. Os modelos correntes de computação em Grid baseiam-se em sistemas inteligentes de escalonamento, que são capazes de buscar recursos computacionais e de armazenamento disponíveis e atribuir a eles tarefas específicas, usando-os de forma integrada e eficiente. Estes sistemas interconectam-se basicamente através de redes ópticas de alto desempenho. Essa estrutura óptica de interconexão, entretanto, é ainda tratada como um recurso externo (i.e. provido e administrado por terceiros), passivo e não gerenciável.
Diversas iniciativas estão surgindo de forma a tornar essa rede de interconexão de Grids computacionais um recurso ativo, capaz de ser controlado pelos agentes responsáveis pelo escalonamento dos recursos 27. O objetivo é tornar tais agentes – distribuídos por toda a infra-estrutura – capazes de monitorar as informações disponíveis nos elementos ativos de rede e, com base nessas informações, tomar decisões no sentido de prover temporariamente maior largura de banda entre dois pontos quaisquer da rede em situações em que houver maior demanda, como por exemplo no caso de ser necessário transferir grandes massas de dados entre duas localidades distantes e não diretamente conectadas. A largura de banda entre os diversos ativos de rede intermediários entre essas localidades pode assim ser momentaneamente ampliada pelo período de tempo necessário para a transferência dessa massa de dados.
27 Canarie’s “User-Controlled LightPaths” software: http://www.canarie.ca/canet4/uclp/
42
Recentes avanços nas tecnologias de chaveamento de redes ópticas, como a tecnologia WDM (Wavelength Division Multiplexing), bem como o aumento crescente de malhas de fibras ópticas apagadas, construídas e controladas por seus proprietários (independentes de concessões de operadoras de telecomunicações), estão abrindo o caminho necessário para o controle ativo da infra-estrutura de rede. A tecnologia WDM permite que dezenas de sinais ópticos de comprimentos de onda distintos trafeguem sobre uma mesma fibra óptica. Cada um desses sinais ópticos de mesmo comprimento de onda – denominados lambdas, que representam individualmente uma largura de banda de até 10 Gbps – pode ser chaveado através dos elementos ópticos que compõem a rede, formando um caminho óptico fim-a-fim (lightpath) entre quaisquer dois pontos da rede. Cada link de conexão entre dois pontos quaisquer de uma rede composta por sistemas WDM poderia ativar temporariamente tantos lambdas quantos fossem necessários para criar um lightpath entre esses pontos e assim viabilizar a transferência de uma grande massa de dados em tempo hábil para ser devidamente processada. Para que isso se torne possível, os ativos de rede precisam ser monitorados e controlados pelo sistema de software responsável pelo escalonamento de recursos, da mesma forma que os recursos computacionais e de armazenamento são controlados pelas infra-estruturas de Grid atuais.
Encaminhamos ao Projeto KyaTera28 do Programa de Tecnologia da Informação no Desenvolvimento da Internet Avançada (TIDIA) uma proposta de trabalho para pesquisar novas soluções para o problema do monitoramento e escalonamento de recursos de rede associado ao gerenciamento dessas novas redes ópticas controladas pelos próprios usuários. Esta proposta envolve, além de nosso grupo, pequisadores da Escola Politécnica da USP (Profa. Líria Sato, Dra. Gisele Craveiro, Rogério Iope e Calebe Bianchini), da Faculdade de Engenharia Elétrica e de Computação da Unicamp (Prof. Hélio Waldman, Darli Mello e Gustavo Pavani) e da Unesp (Dr. José Roberto Gimenez).
Estamos trabalhando em estreita colaboração com o projeto UltraLight 29, financiado pela NSF, cujo PI (Investigador Principal) é o Prof. Harvey Newman do California Institute of Technology (Caltech).
O UltraLight é um projeto de âmbito global que envolve diretamente o Caltech, University of Florida, Florida International University, University of Michigan, Haystack/MIT, UCAID, Stanford Linear Accelerator Center, University of California at Riverside, Fermi National Accelerator Laboratory, University of Chicago, Brookhaven National Laboratory e a Boston University, além de renomados centros de pesquisa na Europa, Ásia e América do Sul. O projeto UltraLight também contempla sólidas parcerias com redes ópticas trans- e intercontinentais como TransLight, StarLight, NetherLight, UKLight, AMPATH e CA*Net4, e com empresas multinacionais como Cisco, Calient, HP, Level3, e Microsoft.
Pretendemos usar como plataforma de desenvolvimento a infra-estrutura óptica disponibilizada pelo projeto KyaTera da FAPESP. Deveremos utilizar também esta infra-estrutura para o desenvolvimento do projeto GAE (Grid-enabled Analysis Environment) 30 ,
28 Projeto KyaTera da FAPESP: http://www.kyatera.fapesp.br/portal 29 UltraLight Project: http://ultralight.caltech.edu/portal/html/ 30 Grid-enabled Analysis Environment: http://ultralight.caltech.edu/gaeweb/
43
projeto também coordenado pelo Prof. Newman, Chair do US CMS Collaboration Board, que está desenvolvendo toda a infra-estrutura de software necessária para a análise colaborativa dos dados que serão gerados pelo experimento CMS.
Como resultados imediatos deste trabalho, podemos antever a inclusão do Brasil neste ambicioso projeto de controle e manipulação da infra-estrutura óptica, de escala global, e a estreita interação entre pesquisadores de alguns dos mais conceituados centros de pesquisa do mundo e pesquisadores brasileiros, garantindo assim a transferência dessas novas tecnologias para o nosso país.
Segurança de Grid: Monitoramento via Netflow
Esta sendo submetido à FAPESP pelo Prof. Adriano Cansian da Unesp o projeto "Análise de Fluxo de Dados: Um Modelo de Aplicação para a Detecção de Ataques em Grids Computacionais e Redes de Alta Velocidade", que deverá utilizar nosso cluster e conexão internacional com a Internet2 americana para desenvolver estudos de segurança em infra-estruturas de Grid.
O projeto apresenta uma proposta de estudo e desenvolvimento de análise de fluxos de dados de redes de computadores através do NetFlow. O NetFlow é um padrão recentemente formalizado pela IETF (Internet Engeneering Task Force, Internet Society) como protocolo IPFIX (IP Flow Information Export), com o propósito de exportar, armazenar e analisar fluxos de dados produzidos pelo tráfego de rede.
Com isso, o projeto busca determinar e testar procedimentos para a detecção de ataques de negação de serviço, worms e prospecções (scans) em ambientes de rede, principalmente naqueles de alta velocidade. Além da detecção dos ataques, a análise de dados deverá fornecer informações suficientes para que sejam determinadas e implementadas as contra-medidas aos ataques.
Através desta pesquisa, o grupo do Prof. Cansian pretende modelar uma rede neural capaz de lidar com informações sobre fluxo de dados para identificar anomalias e tentativas de ataque presentes em redes de computadores. Este é um trabalho pioneiro na aplicação de Netflow conjugado às redes neurais artificiais, para análise de segurança e detecção de ataques.
Este projeto propõe que seja implantado um sistema de coleta de fluxo de dados NetFlow no núcleo da ANSP, no Ponto de Troca de Tráfego na Terremark (denominado “NAP do Brasil”) em Barueri, por intermédio da ativação do recurso nos roteadores Cisco em um ponto de interconexão que serve ao SPRACE.
Figura 15: Monitoramento via NetFlow
44
Projeto Auger: Espelho dos Dados no Hemisfério Sul
Além de processar e armazenar os dados dos projetos nos quais estamos diretamente envolvidos, buscamos também disponibilizar o uso de nosso equipamento para outros projetos científicos correlatos. Dentro deste espírito, passamos a compartilhar parte da capacidade armazenamento do SPRACE com o projeto Pierre Auger, sem prejuízo do andamento de nossos projetos principais. O SPRACE torna-se assim um exemplo de utilização racional e compartilhada dos recursos disponíveis para o apoio às mais diversas atividades de pesquisa financiadas pela FAPESP.
Estima-se que o volume de dados gerados pelos 1.600 tanques e 4 telescópios do Observatório Pierre Auger corresponda a algo em torno de 4 TB por ano. Boa parte deste volume consiste, no entanto, de dados de calibração, monitoramento e eventos com condições de seleção (“trigger”) muito brandas. Estes dados são necessários no presente momento, e ainda o serão por pelo menos um ano, para definir melhor os critérios de cortes e que tipo de informação deve ser coletada para manter um sistema de calibração completo e confiável.
No futuro, os dados de monitoramento dos detectores serão utilizados apenas localmente para assegurar a qualidade dos dados sendo apenas uma pequena fração guardada. Estima-se que para armazenar os dados coletados por um período de 3 anos, deverá ser necessário cerca de 1 TB de disco rígido. Com os dados produzidos até o momento tendo sido copiados para nosso cluster foi gerado um espelho (mirror) do depositório de Lyon na França e do Fermilab nos EUA. Estes dados serão acessados pela USP (IF e IAG), IFGW-Unicamp, CBPF, UFRJ, PUC-RJ, UFBA e UEFS.
A implementação do espelho dos dados está sendo feita através da abertura de uma conta para o Grupo Auger no nó central (sprace.if.usp.br) sob a qual os dados ficarão guardados, permitindo que membros da colaboração tenham acesso apenas com autorização de leitura. Por motivo de segurança, permitimos apenas conexões criptografadas, login através de autenticação via chave pública e através de máquinas previamente registradas. Deveremos realizar diariamente a atualização dos dados através de rsync dos dados do repositório do Auger em Lyon (Fr).
Missão à China
O reconhecimento da capacidade de nosso grupo pode também ser medido por este fato isolado mas, no entanto, significativo. Em meados de novembro p.p., Eduardo Gregores foi convidado pela colaboração DZero para ajudar o recém criado grupo de Física Experimental de Altas Energias da University of Science and Technology of China em Hefei, capital da província de Hanui.
O grupo participante do experimento DZero lá instalado encontrava dificuldades para por em funcionamento seu recém adquirido cluster e pediu ajuda à colaboração, solicitando o envio de alguém que pudesse rapidamente colocar em funcionamento seu equipamento.
Na colaboração DZero existem grandes especialistas em todos os ramos que compõem a instalação e operação de uma farm para produção de Monte Carlo e análise de dados. Poucos, no entanto, tiveram contato com todos os seus aspectos. Esse é exatamente o caso de nosso grupo que, devido ao reduzido número de pessoas, precisa entender um pouco de todos esses múltiplos aspectos. Além disso, considera-se que a
45
implantação de um cluster é tarefa que dificilmente pode ser efetuada em menos de três meses. A rápida entrada em operação da SPRACE contribuiu para que adquiríssemos a fama de ser um dos poucos grupos do mundo a dominar todos os aspectos da operação de um cluster do DZero e ser capaz de instalá-lo em pouco tempo.
A missão à China foi um sucesso. Em menos de três semanas o cluster estava inserido no SAM e produzindo eventos de Monte Carlo para o Dzero, com os trabalhos devidamente paralelizados e enviados aos nós do cluster.
Conferência do PASI
Os programas da Pan-American Advanced Studies Institute (PASI) consistem em cursos de curta duração voltados a disseminar conhecimento avançado em engenharia e ciência, bem como desenvolver treinamento e promover cooperação entre os pesquisadores dessas áreas.
Com suporte financeiro da National Science Foundation dos EUA e com a colaboração das comunidades da física de altas energias e astronomia, foi organizada entre 15 e 22 de Maio de 2005 em Mendoza, Argentina, a PASI em Computação em Grid e Tecnologias de Rede Avançada para Física de Altas Energias e Astronomia. Ela reuniu por uma semana estudantes e pesquisadores de física, astronomia, computação em grid e redes de alta velocidade para cursos rápidos sobre os usos e aplicações dos grids de computadores e os últimos desenvolvimentos em redes.
Além dos pesquisadores deste projeto participaram também os pesquisadores do projeto Jovens Pesquisadores em Centros Emergentes que participam deste projeto. Sérgio Novaes proferiu uma palestra descrevendo o atual estágio da implantação da arquitetura grid no Brasil tomando por base nossa experiência com o SPRACE. Esta conferência teve também a participação de um estudante de mestrado (Rogério Iope) da Escola Politécnica da USP, que desenvolve trabalho de pesquisa em computação distribuída em colaboração com nosso grupo, além de um estudante de doutorado do IFT-Unesp (Clóvis Maia) que trabalha na área de Gravitação e Cosmologia.
2.4.3 Demonstrações de Transmissão de Dados SuperComputing 2004
A conferência SuperComputing 2004 realizada em novembro de 2004 em Pittsburgh, EUA, promoveu o chamado Bandwidth Challenge que busca atingir recordes de velocidade de transmissão de dados. Um dos objetivos desses desafios é incentivar cientistas e engenheiros a desenvolverem novas técnicas e ferramentas de transmissão de dados e aplicativos da Internet avançada.
Pelo segundo ano consecutivo o grupo de Física de Altas Energias venceu este desafio com uma transferência sustentada de 101 Gbps para Pittsburgh, o que corresponde a mais de 4 vezes o recorde anterior. A esta taxa, toda a informação contida na Biblioteca do Congresso americano poderia ser transferida em apenas 15 minutos.
O grupo foi liderado pelo California Institute of Technology e incluía como parceiros o Stanford Linear Accelerator Center (SLAC), o Fermilab, o CERN, a University of Florida, a University of Manchester, University College London, a Kyungpook National University e o Korea Institute of Science and Technology Information (KISTI), a Universidade do Estado do
46
Rio de Janeiro (UERJ), além de nossas universidades paulistas USP e UNESP. Pela primeira vez o evento contou com a presença brasileira.
Figura 16: Transmissão de dados durante a SC04 monitorada pelo MonALISA
Nosso grupo em São Paulo foi capaz de fazer por uma hora a transferência
sustentada de dados a uma velocidade de (2 + 1) Gbps de input e output. Trata-se do recorde de transmissão entre os hemisférios Norte e Sul. É importante ressaltar o papel desempenhado pela ANSP que disponibilizou através da CHEPREO-AMPATH esta conexão OC-48 entre a Abilene em Atlanta, a Florida International University em Miami, e São Paulo, especialmente para a realização deste evento. Nós também contamos com o apoio da Intel e da Foundry, que disponibilizaram equipamentos para a demonstração. Parte de nosso cluster da Itautec, financiado pela FAPESP, foi utilizado para rodar Iperf , uma alternativa moderna de medida de desempenho de tráfico do TCP e UDP que permite o ajuste de diversos parâmetros para melhoria da taxa de transmissão de dados.
Durante a demonstração foi empregado o protocolo FAST TCP e utilizado quatro comprimentos de onda dedicados do National LambdaRail entre Pittsburgh, Los Angeles, Chicago e Jacksonville, além de conexões de 10 Gbps através das redes Scinet, Abilene, TeraGrid e Esnet.
Este tipo de exercício de transmissão maciça de dados é de suma importância para estarmos preparados para o desafio dos dados que serão produzidos pelo LHC do CERN a partir de 2007. Cada uma das principais colaborações do LHC, CMS e Atlas, conta com mais de 2000 cientistas vindos de 160 instituições espalhadas pelo mundo. Os vários petabytes de dados deverão ser processados, distribuídos e analisados nesses centros de computação interligados em forma de Grid. Redes ópticas de 10 Gbps serão essenciais para o funcionamento da estrutura de Grid. Com esta demonstração ficou clara a possibilidade de se utilizar, em escala de distancias continentais, links com as mais variadas velocidades de transmissão, atingindo até 10 Gbps.
47
Figura 17: Taxa de transmissão de dados mostrando o recorde de 2 Gbps.
Como parte da demonstração também foi feita a análise distribuída de dados simulados para o LHC. Para tanto foi utilizado o Grid-enabled Analysis Environment (GAE) desenvolvido pelo Caltech, como parte dos projetos Particle Physics Data Grid, do Grid Physics Network, do International Virtual Data Grid Laboratory e do Open Science Grid. Esta demonstração envolveu a transferência de dados para o CERN, Fermilab, Caltech, UC San Diego e para o Brasil. Os dados foram processados pelos clusters de computadores geograficamente distribuídos, sendo posteriormente coletados e transferidos para Pittsburgh, onde era criado um display dinâmico das variáveis de interesse físico.
Nossa participação na SuperComputing 2004 foi coberta pela impressa especializada. Algumas notas apareceram nos órgãos:
Ministerio da Ciência e Tecnología 31 Imprensa Oficial do Estado 32 Sociedade Brasileira de Computação 33 Agência FAPESP 34 RNP 35 AMPATH 36 CIARA 37 Agência USP 38
31 http://agenciact.mct.gov.br/index.php?action=/content/view&cod_objeto=21774 32 http://www.saopaulo.sp.gov.br/sis/lenoticia.asp?id=57775 33 http://www.sbc.org.br/index.php?language=1&subject=1&content=news&id=866 34 http://www.agencia.fapesp.br/boletim_dentro.php?data[id_materia_boletim]=2824 http://www.agencia.fapesp.br/boletim_dentro.php?data[id_materia_boletim]=2846 35 http://www.rnp.br/noticias/2004/not-041111.html 36 http://www.ampath.fiu.edu/sc2004.htm 37 http://ciara.fiu.edu/events.htm 38 http://www2.usp.br/canalacontece/artigo.php?id=2106
48
iGrid 2005
iGrid 2005, quarta edição do evento internacional voltado para o desenvolvimento de Grids computacionais sobre redes ópticas, ocorreu entre os dias 26 e 29 de setembro de 2005 na Universidade da Califórnia em San Diego, Estados Unidos. Um dos principais objetivos desse evento é acelerar o desenvolvimento e utilização de aplicações em Grid sobre redes ópticas experimentais de alta velocidade, com ênfase especial em aplicações destinadas a auxiliar a pesquisa científica.
Nesta edição o evento contou com a participação de 20 países, com demonstrações de sofisticadas aplicações que fazem uso das mais recentes inovações tecnológicas que estão sendo desenvolvidas para a próxima geração da Internet. As demonstrações evidenciaram o potencial da tecnologia WDM (Wavelength Division Multiplexing), que permite transmitir, simultaneamente, dezenas de ondas de luz, com comprimentos de onda distintos, em uma mesma fibra óptica, tornando possível múltiplas transmissões simultâneas através de um mesmo meio físico. O resultado foi um impressionante esforço coordenado de pesquisadores espalhados ao redor do mundo, que mostraram como redes ópticas extremamente rápidas, combinadas com aplicações avançadas e inovações em middleware, camada de software que torna possível unir recursos computacionais formando Grids, podem dar grande impulso à pesquisa científica.
O Brasil participou com o SPRACE de uma das demonstrações (ver esquema dos Data Flows ao lado) do evento, denominada “Global Lambda for Particle Physics Analysis”, (US 113) juntamente com o California Institute of Technology (Caltech), Stanford Linear Accelerator Center (SLAC) e Fermi National Accelerator Laboratory (FNAL) dos EUA, e o Centro Europeu de Pesquisas Nucleares (CERN).
A participação do SPRACE ocorreu através do novo link internacional de 622 Mbps, um circuito STM-4 entre São Paulo e Miami, implementado pelo projeto WHREN-LILA39, financiado pela National Science Foundation (Award #0441095), FAPESP (Projeto No. 04/14414-2), Corporation for Education Initiatives in California (CENIC) , e Florida International University (FIU).
As demonstrações dos físicos de Altas Energias mostraram o imenso potencial das ferramentas que vêm sendo desenvolvidas para a análise globalmente distribuídos de dados experimentais produzidos nos aceleradores de partículas. Em particular, foram feitas demonstrações da capacidade de disponibilizar recursos de rede sob demanda, em resposta a requisições de análises de eventos que podem partir, por exemplo, de um simples desktop. Durante a sessão de análise interativa (vide snapshot acima), os complexos fluxos de trabalho são transferidos, através de algorítmos de provisionamento adequados,
39 http://whren.ampath.net/
49
alocações de fluxos de rede bem definidos e escalonamento adequado de recursos computacionais de processamento e armazenamento em locais remotos. As demonstrações foram monitoradas através do MonALISA40 – uma sofisticada ferramenta de monitoração desenvolvida por pesquisadores do Caltech – que é capaz de acompanhar o progresso das tarefas de análise, os fluxos de dados através das redes, e os efeitos no sistema em nível global (vide acima) .
Figura 18: Análise de dados remotamente processada no SPRACE
Figura 19: Monitoramento via MonALISA
Durante as demonstrações, outras ferramentas de teste também foram utilizadas, tais como:
• Iperf 41: ferramenta para teste de saturação de um link de rede por transmissões bidirecionais tipo TCP e UDP;
• Bbcp 42: programa de cópia de arquivo otimizado para redes de alta velocidade.
Através do uso dessas ferramentas, foi possível manter um tráfego de rede contínuo superior a 500 Mbps entre São Paulo e San Diego, em ambas as direções, durante quase 2 horas, praticamente saturando o tráfego de rede através do link da FAPESP. Foi uma verdadeira prova de fogo para este novo link, que ainda não havia sido testado em toda a sua capacidade.
As tecnologias usadas na demonstração Global Lambda for Particle Physics Analysis estão sendo desenvolvidas principalmente pelos projetos UltraLight 43, FAST 44, PPDG 45, GriPhyN 46, iVDGL 47, e ESLEA 48, e foram usadas para mostrar os principais componentes
40 http://monalisa.cacr.caltech.edu/ 41 http://dast.nlanr.net/Projects/Iperf/ 42 http://www.slac.stanford.edu/~abh/bbcp/ 43 http://ultralight.caltech.edu/ 44 http://netlab.caltech.edu/ 45 http://www.ppdg.net/ 46 http://www.griphyn.org/ 47 http://www.ivdgl.org/
50
do Grid Analysis Environment 49, uma poderosa infra-estrutura de software que permitirá a análise interativa de eventos e de dados experimentais distribuídos entre localidades geograficamente remotas.
Esses componentes serão parte do ferramental que os Físicos de Altas Energias terão à sua disposição para gerenciar e controlar recursos computacionais dispostos em Grids para a análise dos eventos gerados nos grandes laboratórios nos próximos anos.
SPGRID
Para a realização das demonstrações relativas à nossa participação na iGrid2005 e na SC2005, reservamos o servidor de armazenamento recém adquirido, os dois módulos de armazenamento novos com capacidade total de 8 TB, e quatro dos nós de processamento já existentes (2.4 GHz) com os quais formamos um cluster independente usado exclusivamente para estes testes. Desta forma pudemos participar destas atividades de desenvolvimento e ao mesmo tempo manter o processamento dos dados do experimento DØ, utilizando os nós mais velozes de processamento adquiridos.
Este cluster de desenvolvimento e demonstrações possui um servidor central que serve ao mesmo tempo de gatekeeper dos serviços de grid, de servidor de armazenamento e de distribuição de processos para os quatro nós a ele conectados em rede local própria. Ele foi registrado com o nome spgrid.if.usp.br e é uma unidade de processamento local do Open Science Grid.
Figura 20: Ocupação da banda na iGrid 2004
2.4.4 Participação nas Atividades do CHEPREO O Center for High Energy Physics Research and Education Outreach (CHEPREO) é
um projeto financiado pela National Science Foundation (NSF) envolvendo o California Institute of Technology (Caltech), University of Florida (UF), Florida State University (FSU) e a Florida International University (FIU). O projeto teve início em setembro de 2003 e, entre outros propósitos, visa desenvolver uma infraestrutura de rede avançada para possibilitar a existência de Tiers do HEP Grid na América do Sul, tais como o SPRACE. O CHEPREO
48 http://www.eslea.uklight.ac.uk/ 49 http://ultralight.caltech.edu/gaeweb/
51
utiliza as redes do National LambdaRail, do Florida LambdaRail e da AMPATH para aprimorar a conexão brasileira com o exterior.
Em março de 2005 participamos da visita da NSF a FIU para realizar uma avaliação do projeto. Nessa oportunidade representamos a parte brasileira apresentando um seminário sobre os avanços recentes na implementação brasileira do HEP Grid e as novas conexões de rede disponíveis.
Em novembro p.f. Eduardo Gregores deverá representar nosso grupo em nova reunião de avaliação que será realizada na sede da National Science Foundation em Washington DC.
Vale lembrar que projeto do CHEPREO possibilitou também a doação do switch Cisco Catalyst 3750G-24TS-24 e a alocação do link internacional de 2,5 Gbps usado em nossa demonstração durante a SuperComputing 2004.
2.4.5 Atividades Didáticas e de Extensão Vimos preparando uma seqüência de cursos que visam formar estudantes em final
de Graduação para desenvolver pesquisa em Física de Altas Energias. Estes cursos deverão incluir tópicos tais como Grupos e Tensores, Relatividade Restrita, Teoria Clássica de Campos, Teoria Quântica de Campos, Introdução às Partículas Elementares, Modelo Padrão e QCD, além de Técnicas em Física Experimental de Altas Energias.
Estes cursos estão sendo preparados em um formato que possibilite que seja ministrado a distância através do emprego de um sistema de vídeo conferência tal como o VRVS.
Alguns destes cursos já se encontram disponíveis na internet:
• Teoria Quântica de Campos: http://hep.ift.unesp.br/novaes/TQC/
• Introdução à Física de Partículas: http://hep.ift.unesp.br/novaes/IntHEP/
• Física de Altas Energias: http://hep.ift.unesp.br/novaes/HEP/
O curso de Teoria Quântica de Campos já foi ministrado em dois anos consecutivos e o de Física de Altas Energias está sendo ministrado este semestre pela primeira vez. O curso de Introdução à Física de Partículas foi ministrado na XX Jornada de Física do Instituto de Física Teórica em julho deste ano.
Nosso grupo também participou ativamente do evento de Extensão Universitária “Física do Século XX: Cem Anos de Física em Cem Horas”50 contribuindo com 3 seminários. Participou também do Congresso Paulo Leal Ferreira, organizado anualmente pelos estudantes do Instituto de Física Teórica, com a apresentação de um seminário.
50 http://www.ift.unesp.br/100anos/
52
3 Planejamento para o Próximo Período
O êxito alcançado nas etapas até agora realizadas do nosso projeto visando a implantação de um centro de processamento remoto dos grandes experimentos de física de partículas nos traz confiança em poder continuar executando este projeto de acordo com seu cronograma original. Assim sendo, durante este próximo período de atividades deveremos:
• Adquirir o material correspondente à Fase III, composta de 32 CPU’s e de 1,6 TB de disco;
• Instalar e testar o novo equipamento e integrá-lo ao parque computacional das Fases I e II;
• Testar o hardware e software com todas as 80 máquinas integradas;
• Participar da nova fase de produção de eventos de Monte Carlo do DZero através do SamGrid no cluster integrado (fases I, II e III);
• Realizar análise de dados do DØ;
• Instalar e iniciar testes do software da Colaboração CMS do CERN;
• Configurar o SPRACE para atendimento das necessidades do trabalho no CMS;
• Iniciar a produção de eventos de Monte Carlo do CMS;
• Rever os cronograma de acordo com os objetivos alcançados e elaborar o relatório da Fase III.
De acordo com o que descrevemos até agora, para darmos prosseguimento às atividades de pesquisa conforme originalmente previsto, será de fundamental importância darmos prosseguimento à construção de nosso centro de processamento remoto. Embora a implantação da fase II tenha sido suficiente para a participação nas tarefas de processamento remoto da colaboração DZero, para que possamos postular uma participação efetiva no esforço mundialmente distribuído de processamento dos dados da colaboração CMS necessitamos ampliar nosso poder de processamento de acordo com o planejamento original, de modo a encontrarmo-nos perto de satisfazer os requerimentos mínimos exigidos por parte da colaboração.
Deveremos proceder ao upgrade da terceira fase do projeto com a aquisição do seguinte equipamento:
• 32 nós de processamento dual Xeon com as seguintes caracteristicas:
o Processadores de 3.6 GHz com extensão de memória de 64 bits.
o 2 GB de memória RAM compartilhada pelos 2 processadores.
o 1 MB cache L2 por processador.
o Disco interno SCSI 36 GB.
o 2 interfaces de rede gigabit.
53
• Gabinete para rack com 1U de altura.
• 2 Switch com 24 portas Gigabit para rack com 1U de altura. Cada conjunto de 16 nós de processamento será conectado em um switch a partir do qual sairá a conexão para o switch central.
• nobreaks de 3kVA / 220V para rack com 2U de altura. Cada nobreak deve ter capacidade para alimentar 8 nós de processamento.
• 2 racks de 23U de altura com ventilação forçada. Em cada rack serão acondicionados um switch, dois nobreaks e 16 nós de processamento.
O orçamento aproximado estimado para a compra deste equipamento é:
Item Descrição Qtd. Valor (R$) Total (R$)
1 Nós de Processamento 32 12.000,00 384.000,002 Nobreaks 4 2.500,00 12.000,003 Switches 2 4.500,00 11.000,004 Racks 2 6.500,00 13.000,00 Total 420.000,00
Além destas atividades passíveis de planejamento antecipado, outras deverão se juntar a elas, a exemplo do que ocorreu durante este segundo ano de vigência do projeto. Dentre estas, já podemos antever nossa participação nas demonstrações da SuperComputing 2005 que ocorrerá em Seattle, Washington, de 12 a 18 de novembro. O tema da conferência este ano é “O portal para descobertas”. Será enfatizado como o alto desempenho em computação, rede ópticas e armazenamento levam a avanços na pesquisa, educação e comércio.
Estaremos participando novamente das demonstrações de Bandwidth Challenge em que cientistas e engenheiros são desafiados a desenvolver novas técnicas e ferramentas de transmissão de dados e aplicativos da Internet avançada.
Esse ano os critérios de julgamento para o evento serão os seguintes:
• Relevância para a missão científica.
• Transmissão de dados sustentada, não sendo aceitas transmissões simuladas, como Iperf.
• Uso inovador de implementações TCP e não TCP.
• Distância física entre as localidades envolvidas.
• Uso de tecnologias emergentes ou subutilizadas.
Assim como no ano passado, estaremos fazendo parte do grupo liderado pelo Califórnia Institute of Technology (Caltech). A idéia básica da apresentação é gerar, filtrar e transferir dados físicos a uma velocidade 300 Gbps. Nossa conexão será via Ampath-Abilene-Seattle, tendo como meta atingir uma taxa de transmissão sustentada de 2,5 Gbps.
54
O link já está diretamente ligado a nosso laboratório, e operando a uma velocidade de 622 Mbps (vide demonstração do iGrid). Estamos solicitando a liberação do link para 2,5 Gbps durante a realização do evento. A meta do grupo liderado pela Caltech é atingir a taxa agregada de transmissão da ordem 300 Gbps através da transferência de dados a partir de diversos sites remotos, incluindo entre outros o Fermilab, University of Michigan, University of Florida, Florida International University, CERN, Korea e SPRACE no Brasil.
Para finalizar, é interessante citar os comentários de Arden L. Bement, Jr., diretor da National Science Foundation acerca da importância da Cyberinfrastructure durante a conferência “Collaboration and Contemplation: The Keys to 21st Century Cyberinfrastructure” realizada em maio deste ano. Ela corrobora a filosofia que temos adotado no desenvolvimento de nosso projeto.
Cyberinfrastructure is one of the most important investments of the 21st Century, for science and engineering and for the nation. An ideal cyberinfrastructure will be as prevalent, reliable and useful as the electrical grid, enabling avenues of commerce, collaboration and communication that will exceed the best capabilities of today’s Internet.
To realize this enormous potential, new collaborations and partnerships are needed. Tighter bonds must be forged among the science and engineering community to ensure the broadest possible participation among researchers. New collaborations with the private sector are critical, as they will create the equipment that underpins tomorrow’s cyberinfrastructure. Finally, new partnerships will be needed across the globe, to glean insight, ensure openness, interoperability and a high level of trust within the international community.
São Paulo, 21 de outubro de 2005.
Dr. Sérgio F. Novaes
55
4 Apêndice: Cópia dos Artigos Publicados
56