computação grid e infra-estruturas para e-ciência
DESCRIPTION
TRANSCRIPT
Computação Grid e Infra-estruturas para e-Ciência
Grid computing and e-Infrastructures (Cyberinfrastructures)
Leandro N. [email protected]
Juiz de Fora, 12.06.2008
UFJF, 12.06.2008 2
O Problema
Bioinformática Astronomia
Clima /
previsões
UFJF, 12.06.2008 3
• Search for Extraterrestrial Intelligence • http://setiathome.berkeley.edu/• Screensaver
– Ciclos ociosos
• “volunteer computing“
Seti@Home (1999)
UFJF, 12.06.2008 4
• Frequentemente, um único computador ou mesmo supercomputadores não são suficientes para esses tipos de cálculos,tornando muito difícil, caro e às vezes impossível alcançar determinados objetivos
O Problema
UFJF, 12.06.2008 5
E-infrastructure shared between Europe and Latin America
• O maior experimento científico do mundo
Um problema maior ainda!
UFJF, 12.06.2008 6
~100m abaixo da terra
Túnel de 27 Km
LHC - Large Hadron Collider
UFJF, 12.06.2008 7
• 40.000.000 de colisões porsegundo em cada detector
• 15 Petabytes de dados por ano (~15.000.000 GB)
– ~ 21 milhões de CDROMs– 41TB por dia– 150 vezes todo conteúdo publicado
anualmente na WWW *
LHC - Large Hadron Collider
CMS
LHCb
ATLAS
ALICE
(*) Baseado em uma extimativa do vice-presidene de operações do Google
UFJF, 12.06.2008 8
• Seria necessário um cluster com ~100.000 CPUs• Os dados precisam estar disponíveis para milhares
de cientistas, independete da sua localização
LHC - Large Hadron Collider
UFJF, 12.06.2008 9
A Solução
Grid computing - Analogia à rede elétrica (electrical power grid)
UFJF, 12.06.2008 10
A metáfora do Grid
GRID
MIDDLEWARE
Visualising
Workstation
Mobile Access
Supercomputer, PC-Cluster
Data-storage, Sensors, Experiments
Internet, networks
UFJF, 12.06.2008 11
e-Ciência
• Espaço de armazenamento abundante
• Altíssimo poder de computação
• Colaboração com colegasdistantes, compartilhandorecursos, dados e resultados
Características
UFJF, 12.06.2008 12
Evolução tecnológica
* Sputnik
1960 1970 1975 1980 1985 1990 1995 2000
* ARPANET
* Email* Ethernet
* TCP/IP* IETF
* Internet Era * WWW Era
* Mosaic
* XML
* PC Clusters*Crays
* Mainframes
* HTML
* W3C
* P2P
* Grids
CO
MP
UTIN
GC
om
mu
nic
ati
on
* Web Services
* Minicomputers * PCs
* WS Clusters
* PDAs* Workstations
2010
* e-Science
Computing as Utility
* e-Business
* SocialNets
Controle Centralizado Controle Descentralizado
UFJF, 12.06.2008 13
Internet X Web X Grid
• INTERNET– Infra-estrutura de rede que conecta milhões de
computadores ao redor do mundo – TCP/IP– Década de 1970
UFJF, 12.06.2008 14
Internet X Web X Grid
• World Wide Web– Serviço de compartilhamento de informações/documentos
construído no topo da Internet– Início década de 1990
UFJF, 12.06.2008 15
Internet X Web X Grid
• Grid– Também é um serviço construído no topo da Internet, mas
vai um passo a diante…
– Na WWW, os computadores compartilham informações– Graças ao Grid, computadores serão capazes de compartilhar poder computacional e recursos como armazenamento de disco, aplicativos e base de dados.
UFJF, 12.06.2008 16
GRID
MIDDLEWARE
01011010110
- CPU - Memory- Disc - Input/Output
, o presente …O passado
A revolução do Grid
UFJF, 12.06.2008 17
A revolução do Grid
…O futuro
virtual services
virtual
services
virtual
services
virtual services
virtual s
ervice
s
virtual s
ervices
Cenário em 2007
UFJF, 12.06.2008
Investimentos da UE
€Bi.
UFJF, 12.06.2008
Projeto EGEE
• Coordenado pelo CERN• 32 países• 91 instituições • Orçamento de 35+ M€
• > 35.000 CPUs• ~ 2.500 TB storage• > 50.000 jobs per day
www.eu-egee.org
UFJF, 12.06.2008
Projeto EGEE
UFJF, 12.06.2008
Projeto EGEE - Aplicações
• Variado domínios científicos– Arqueologia– Astrofísica– Química– Geofísica– Física de Altas Energias– Engenharia– Simulações Financeiras– Biologia– Genética
http://indico.cern.ch/conferenceTimeTable.py?confId=22351
UFJF, 12.06.2008
Rede GÉANT2
USA
Latin America
Asia
South-East Europe
Mediterranean Area
UFJF, 12.06.2008 24
“Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
Mapa das Redes
UFJF, 12.06.2008 25
“Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
RedCLARA
RNP-BRREUNA-CL
CUDI-MX
RAAP-PE
REACCIUN-VE
www.redclara.net
UFJF, 12.06.2008 26
LA Country NREN organisation
Maximum national connections:backbone links | access links
External capacity through International R&E networks
Argentina Innova-Red 34 Mbps 90 Mbps RedCLARA
Bolivia ADSIB 128 kbps n/a
Brazil RNP 10 Gbps 1 Gbps 155 Mbps RedCLARA + 900 Mbps USA
Chile REUNA 310 Mbps 10 Mbps 90 Mbps RedCLARA
Colombia RENATA 10 Mbps 10 Mbps 10 Mbps RedCLARA
Costa Rica CR2Net 512 kbps n/a
Cuba RedUniv 2 Mbps n/a
Ecuador CEDIA 45 Mbps 10 Mbps RedCLARA
El Salvador RAICES 10 Mbps RedCLARA
Guatemala RAGIE 100 Mbps 100 Mbps 10 Mbps RedCLARA
Honduras HONDUnet n/a
Mexico CUDI 155 Mbps 34 Mbps 34 Mbps RedCLARA, 1 Gbps USA
Nicaragua RENIA 100 Mbps n/a
Panama RedCYT 45 Mbps RedCLARA
Peru RAAP 10 Mbps 45 Mbps RedCLARA
Uruguay RAU 1 Mbps 34 Mbps RedCLARA
Venezuela REACCIUN 155 Mbps 34 Mbps 45 Mbps RedCLARA + 45 Mbps USA
UFJF, 12.06.2008 27
O Projeto EELA
E-science grid facility for Europe and Latin America
UFJF, 12.06.2008 28
O Projeto EELA• Argentina (JRU)
– 3 members (coord. LINTI-UNLP )• Brasil (JRU)
– 15 members (coord. UFRJ)• Chile (JRU)
– 7 members (coord. REUNA)• Colombia (JRU)
– 2 members (coord. UNIANDES)• Cuba (CUBAENERGIA)• Equador (UTPL)• França (JRU)
– 2 members (coord. CNRS)• Irlanda (UCC-CMRC)• Italia (INFN)• Mexico (UNAM)• Peru (JRU)
– 4 members (coord. SENAMHI)• Portugal (JRU)
– 3 members (coord. UPORTO)• Espanha (JRU)
– 8 members (coord. CIEMAT)• Venezuela (JRU)
– 2 members (coord. ULA)• Internacional (CLARA)
UFJF, 12.06.2008 29
EELA em 1 slide
• Pesquisadores querendo realizar pesquisas em conjunto com outros colegas/instituições
• Infra-estrutura: centros de computação na UE e na América Latina
• Aplicações e dados científicos(HEP, Biomed, e-Learning, Clima)
www.eu-eela.eu
UFJF, 12.06.2008 30
• 47 aplicações (13 no projeto precedente)
• Ap. voltadas para problemas da América Latina
El NiñoMalaria E-learning
Aplicações
http://applications.eu-eela.eu
UFJF, 12.06.2008 31
Centros de computação - EELA
EELA countries
stand-alone Grid site
• ~ 1100 CPUs• ~ 60 TB storage
UFJF, 12.06.2008 32
Centros de computação – EELA-2
• ~ 3000 CPUs• ~ 700 TB storage
UFJF, 12.06.2008 33
Conceitos básicos
UFJF, 12.06.2008
Middleware
• Software de mediação”
• Grid Middlewares– gLite
http://glite.web.cern.ch/glite/
– Globus Toolkithttp://www.globus.org
– Condorhttp://www.cs.wisc.edu/condor/
– UNICOREhttp://www.unicore.eu
– OMII-UKhttp://www.omii.ac.uk
– Etc…
UFJF, 12.06.2008 35
Preocupação com a segurança (1/4)
UFJF, 12.06.2008 36
Preocupação com a segurança (2/4)
1
1. Solicitar seu certificado digital à um CA (Certification Authority) certificado pelo IGTF (International Grid Trust Federation)
2. Carregar o certificado no browser3. Aceitar os “Termos de Uso” do Grid4. Solicitar sua inscrição em uma das VOs
(Virtual Organization) disponíveis para o Grid em questão
2
3 4
UFJF, 12.06.2008 37
Preocupação com a segurança (3/4)
• Seu certificado é sua chave para acessar o Grid• Certificado X.509• Criptografia de chaves pública e privada
• Chave pública: distribuída livremente
• Chave privada: apenas o dono a possui
OBS: todos os atores em um Grid (usuários, PCs, instrumentos...) precisam de um certificado
UFJF, 12.06.2008 38
Preocupação com a segurança (4/3)
• Conteúdo de um certificado X.509:
– Chave pública do usuário
– Identidade do usuário
– Informações sobre o CA
– Validade
– Número de serie
– Assinatura Digital do CA
Public keyPublic key
Subject:C=CH, O=CERN, Subject:C=CH, O=CERN, OU=GRID, CN=Andrea Sciaba OU=GRID, CN=Andrea Sciaba 89688968
Issuer: C=CH, O=CERN, Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CAOU=GRID, CN=CERN CA
Expiration date: Aug 26 08:08:14 Expiration date: Aug 26 08:08:14 2005 GMT2005 GMT
Serial number: 625 (0x271)Serial number: 625 (0x271)
CA Digital signatureCA Digital signature
UFJF, 12.06.2008 39
Arquitetura básica
User Interface
Resource Broker
ssh
Worker nodes
Worker nodes
CE
BDIILFC
SE
VOMS
UserDesktop
SE
UFJF, 12.06.2008 40
Concluindo…
• A fase atual do desenvolvimento do Grid pode ser comparada à da Web de 10 anos atrás
• Acredita-se que Grid Computing revolucionará a TI da mesma forma que a Web fez (e está fazendo)
• Atualmente empresas como HP, Sun, Oracle, IBM e Microsoft também estão investindo em pesquisas relacionadas ao Grid
• Instituições que antes eram privadas de pesquisas que exigiam muito poder computacional, agora podem tirar proveito do Grid
• NGIs (Iniciativas Nacionais de Grid) estão sendo criadas em vários países
• A chamada “e-Science” representa um ativo que contribuí para o desenvolvimento de um país
UFJF, 12.06.2008 41
Concluindo…
Afresco de Nicola Cianfanelli – Museu de Hist. Natural de Florença
Alessandro Volta apresenta em Paris, na presença de Napoleão, a primeira bateria (1801).
UFJF, 12.06.2008 42
Concluindo…
…e no futuro, haverá redes elétricas em todo o mundo…
Power (Electrical) Grid
O quê ?!?!Esse cara é louco…
Oh, monDieu !
UFJF, 12.06.2008 43
Prorrogação
Para saber mais…
UFJF, 12.06.2008 44
http://gridcafe.web.cern.ch/gridcafe/
Grid Café
UFJF, 12.06.2008 45
“Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
Ian Foster
UFJF, 12.06.2008 46
GILDA: Grid INFN Laboratory for Dissemination Activities
https://gilda.ct.infn.it
UFJF, 12.06.2008 47
GILDA: Grid INFN Laboratory for Dissemination Activities
UFJF, 12.06.2008 48
GILDA: Grid INFN Laboratory for Dissemination Activities
Etna, Italy Tungurahua, Ecuador
• “Sonificar” dados geofísicos coletados de sismogramas digitais instalados em vulcões.
UFJF, 12.06.2008 49
GILDA: Grid INFN Laboratory for Dissemination Activities
• Melodização
5s = 20h de processamento em 1 PC simples
UFJF, 12.06.2008 50
Links e contato
• Slides sobre gLite https://grid.ct.infn.it/twiki/bin/view/EELA2/TrainingOnGLite
• gLite tutorial – GILDA Wiki https://grid.ct.infn.it/twiki/bin/view/GILDA/UserTutorials
• What is the Grid? http://access.ncsa.uiuc.edu/witg/
• iSGTW http://www.isgtw.org/?pid=1000550
• Open Grid Forum http://www.ogf.org