el reto de ofrecer servicios a una comunidad virtual planetaria: el … · 2001-11-14 · el reto...
Post on 14-Aug-2020
1 Views
Preview:
TRANSCRIPT
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 1
European Organization for Nuclear Research (CERN)Information Technology Division
El reto de ofrecer servicios a una comunidad virtual planetaria:
el caso del CERN
Prof. Manuel DelfinoLeader, CERN IT Division
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 2
Esquema
Breve introducción del CERN y su comunidadCaracterísticas de los usuariosCaracterísticas de los serviciosRetos del presenteRetos del futuro: La comunidad LHC y sus necesidadesGrid y su importancia para el LHCLos proyectos EU-DataGrid y LHC Computing GridDesarrollo e implementación de la LHC Computing Grid
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 3
Breve introducción del CERN y su comunidad:El CERN como institución
Investigación fundamental en física de partículasDiseño, construcción y operación de aceleradoresDesarrollo de tecnologías punta necesarias:
Alto vacíoImanes superconductoresTécnicas de detección de partículasElectrónica ultrarápidaComputación (invención del World Wide Web y de SHIFT)
Organización inter-gubernamental con 20 países miembrosPresupuesto de unos 600 millones de euros anualesPlantilla de 2,500Acceso abierto basado solamente en excelencia científica:Mas de 6,000 investigadores de todo el mundo como usuarios
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 4
Breve introducción del CERN y su comunidad:El laboratorio científico mas grande del mundo
Experimentos de gran envergadura y larga duración, conducidos por un pequeño numero de grandes colaboraciones:Era LEP (finalizada): 4 experimentos, cada uno:
500 físicos50 universidades y laboratorios20 paísesCosto del aparato: 60 millones de euros
Era LHC (en curso): 4 experimentos. Los 2 grandes, cada uno:2000 físicos150 universidadesGlobalCosto del aparato: 300 millones de euros
Notar que el tamaño del “cuanto colaborador” es aproximadamente constante, unas 10 personas por grupo.
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 5
Breve introducción del CERN y su comunidad:El laboratorio científico mas grande del mundo
Large Hadron Collider
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 6
Características de los usuarios
Casi todos los procesos estan informatizados.Los usuarios tienen experiencias muy variadas:
Los Físicos van y vienen constantemente desde su “casa” y quieren tener un entorno uniforme (petición, en sí, razonable)
Lo saben TODO, sin necesidad de estudiar NADA. Sus requisitos son extremadamente SIMPLES y el problema es la increible FALTA DE INTELIGENCIA DE LOS OTROS para compreder y complacer.
Los Físicos Usuarios
Herramientas de desarrollo de SW, desarrollo de “valor añadido” a paquetes
Expertos en computación (físicos, ingenieros e informáticos)
Paquetes específicos, simulaciones numéricasIngenieros
Word, Excel, aplicaciones de gestión con interface WebSecretarias y administradores
Interfaces custom, generalmente “display and menu”
Técnicos mecánicos y eléctricos, operadores
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 7
Características de los serviciosTipos de servicios
“Normales”Sobremesas Windows PC, Linux y Unix Servidores Web IIS y ApacheServidores e-mail IMAP y SMTPServidores OracleServidores específicos sobre Solaris/OracleLAN como servicio uniforme y transparente
“Especiales”Recepción y almacenamiento de datos de los experimentosProcesamiento, análisis y simulación de datos de física:
• Arquitectura SHIFT• Mas de 2000 máquinas con todos los sistemas operativos• Model NAS: Servidores de CPU, disco, cinta. Todo habla con todo.
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 8
Características de los serviciosTipos de servicios
O sea, “igual que todo el mundo”, excepto:
3000 usuarios intensivos diariamente físicamente en el campus y cada vez mas usuarios entrando remotamente.Ingenieros mecánicos americanos y japoneses introduciendo diseños en el EDMS los días de Navidad y Año NuevoFlujo agregado de adquisición de datos de los experimentos de unos 50 MB/s = 4 TB/día, 24x7 9 meses al año.Capacidad batch necesaria en CPU, flujo y almacenamiento de datos realmente fenomenal.Exportación de cintas magnéticas ha dado paso a exportacióna traves de red por parte de individuos con patrones “caóticos”
Por tanto, siempre estamos persiguiendo maneras de dar mas capacidad y funcionalidad por menor costo.
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 9
Características de los serviciosEvolucion y tendencias
Migración de casi 4000 asientos de Windows 95 con Novell a Windows 2000 con Active Directory y SMS.Desarrollo de un sistema centralizado de impresión y del “CERN Printer Wizard”.Migracion de batch y desktop para fisica a Linux/Intel.Desarrollo de un sistema de migracion cinta/disco “CASTOR”Extensión del sistema de recepción y almacenamientode datos de los experimentos a centros de simulaciónEmpezando desarrollos de automatización de instalación y gestión de hardware y de LinuxApuesta por tecnologia Grid con enfasis en DataGrid
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 10
Características de los serviciosEvolucion y tendencias
40.000 puntos de cableado UTP estructurado.Backbone redundante Gigabit Ethernet.Racionalizacion de multiples sistemas con solapamiento: Telefono, GSM, alarmas, video y audio, videoconferencia, etc.Mucha presion para Ethernet inalambrica 802.11bInfraestructura privada de fibras (¡¡¡cruzando lafrontera Francia(EU)-Suiza(no-EU)!!!)Migracion a un unico protocol de red: TCP/IPPunto neutro de interconexion de operadores: “CIXP”Empezando estudios DWDM y VPN end-to-end
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 11
aéroport
Centre de Calcul Genève
Características de los servicios:Red privada de fibras opticas + fibras operadores
A Lyon y Paris A Ginebra,
Lausanne y Zurich A Telehouse-
Ginebra
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 12
Características de los servicios:CERN Internet Exchange Point
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 13
Características de los servicios:Ejemplo de infraestructura LAN
15000 hostsMas de 2000 elementos red gestionados1000 hubsVarios centenares de switchesMas de 100 routers
Tendencias: Cociente dispositivos/personas a sobrepasado 100%, y muy probablemente se dispararaImpacto de inalambrico 802.11bRelacion con GSM, Bluetooth, etc.
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 14
Retos del presente
Help Desk y cadena de resolucion de problemasSeguridad e identificacion de usuariosConflictos creados por el modelo “firewall” de seguridad: dentro los buenos / afuera los malos.Falta de diferenciacion en Europa entre
Accesos de alumnos a la Internet generalAccesos de investigadores a laboratoriosAccesos servicio-servicio de altas prestaciones
Desastrosamente bajo nivel de seguridad en universidades Falta de soporte para servicios sofisticados de red end-to-endPreocupacion sobre el futuro de AFS y falta de alternativasMonitorizacion, instalacion y parcheado de miles de componentes.
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 15
Retos futuros: Necesidades de la comunidad LHC
Level 1 - Special HardwareLevel 2 - Embedded Processors
40 MHz 40 MHz (1000 TB/sec)
(1000 TB/sec)
Level 3 – Farm of commodity CPUs
75 KHz 75 KHz (75 GB/sec)
(75 GB/sec)5 KHz5 KHz (5 GB/sec)
(5 GB/sec)100 Hz 100 Hz (100 MB/sec)
(100 MB/sec)Data Recording &
Data Recording &Offline Analysis
Offline Analysis
Experimento CMS
2000 profesores, estudiantes e investigadores repartidos por todo el mundo
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 16
Retos futuros: Necesidades de la comunidad LHCAcumulacion de 10 PB/año durante 10 años
Long Term Tape Storage EstimatesLong Term Tape Storage Estimates
CurrentCurrentExperimentsExperiments COMPASSCOMPASS
LHCLHC
002'0002'0004'0004'0006'0006'0008'0008'000
10'00010'00012'00012'00014'00014'000
1995
1995
1996
1996
1997
1997
1998
1998
1999
1999
2000
2000
2001
2001
2002
2002
2003
2003
2004
2004
2005
2005
2006
2006
YearYear
TeraBytesTeraBytes
Accumulation: 10 PB/yearAccumulation: 10 PB/yearSignal/Background up to 1:10Signal/Background up to 1:101212
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 17
Retos futuros: Necesidades de la comunidad LHCDatos muy complejos = Mayor CPU/byte
Estimated CPU Capacity required at CERN
0
1,000
2,000
3,000
4,000
5,000
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
Jan 2000:3.5K SI95
LHCLHC
K SI95
Moore’s law –some measure of the capacity technology advances provide for a constant number of processors or investment
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 18
Retos futuros: Necesidades de la comunidad LHCPeticiones caoticas agregan a enormes demandas
DetectorDetector
Raw dataRaw data
EventReconstruction
EventEventReconstructionReconstruction
EventSimulation
EventEventSimulationSimulation Interactive
Data AnalysisInteractive
Data Analysis
ProcessedData
ProcessedData
1-100 GB/sec1-100 GB/sec
One ExperimentOne ExperimentOne Experiment35K SI9535K SI95
~200 MB/sec~200 MB/sec
250K SI95250K SI95
350K SI9564 GB/sec350K SI9564 GB/sec
500 TB500 TB
1 PB / year1 PB / year
~100 MB/sec~100 MB/sec
200 TB / year200 TB / year
analysis objects
Event Filter(selection &
reconstruction)
Event FilterEvent Filter(selection &(selection &
reconstruction)reconstruction)Event
SummaryData
Event Summary
Data
Batch PhysicsAnalysis
Batch PhysicsBatch PhysicsAnalysisAnalysis
0.1 to 10.1 to 1GB/secGB/sec
Thousands of scientists worldwide
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 19
Grid y su importancia para el LHCArquitectura “Fabrics interconnected into Grid”
DEVELOPER VIEW
GRID
FABRIC
APPLICATION “GRIDIFICATION”
USER VIEW
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 20
Tejidos computacionales para tratamiento intensivo de datos:
Las “plantas generadoras” que mantienen el “voltaje” del Grid
55
250250
0.80.888 24 *24 *
960 *960 *
6 *6 *
1.51.5
1212
LAN-WAN RoutersLAN-WAN Routers
0.80.8
0.80.8Storage NetworkStorage Network
StorageNetworkStorageNetwork
Farm NetworkFarm Network
* Data Ratein Gbps
* Data Ratein Gbps
10 Thousand dual-CPU boxes10 Thousand dual-CPU boxes
10 Thousand disk units10 Thousand disk units
Hundreds oftape drives
Hundreds oftape drives Real-time
detector dataReal-time
detector data
Grid InterfaceGrid Interface
Multi-Gigabit Ethernet switchesMulti-Gigabit Ethernet switches
Computing fabricat CERN (2006)Computing fabricat CERN (2006)
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 21
Grid y su importancia para el LHCEvolucion del punto focal del entorno
0 1 2 3 4 5 6 7
1950
1960
1970
1980
1990
2000
Decade
Increasing Complexity of implementationIncreasing Functionality to user
Process - centric
Algorithm - centric
CPU - centric
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 22
Grid y su importancia para el LHCEvolucion del punto focal del entorno
0 1 2 3 4 5 6 7
1950
1960
1970
1980
1990
2000
Decade
Increasing Complexity of implementationIncreasing Functionality to user
Network - centric
Database - centric
Process - centric
Algorithm - centric
CPU - centric
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 23
Grid y su importancia para el LHCEvolucion del punto focal del entorno
0 1 2 3 4 5 6 7
1950
1960
1970
1980
1990
2000
Decade
Increasing Complexity of implementationIncreasing Functionality to user
Network - centric
Database - centric
Process - centric
Algorithm - centric
CPU - centric
Technology becomes commodity
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 24
Grid y su importancia para el LHCEvolucion del punto focal del entorno
0 1 2 3 4 5 6 7
1950
1960
1970
1980
1990
2000
Decade
Increasing Complexity of implementationIncreasing Functionality to user
People - centric
Network - centric
Database - centric
Process - centric
Algorithm - centric
CPU - centric
Technology becomes commodity
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 25
Grid y su importancia para el LHCPunto focal: Individuos y comunidades
Application
Fabric“Controlling things locally”: Access to, & control of, resources
Connectivity“Talking to things”: communication (Internet protocols) & security
Resource“Sharing single resources”: negotiating access, controlling use
Collective“Managing multiple resources”: ubiquitous infrastructure services
User“Specialized services”: user- or appln-specific distributed services
InternetTransport
Application
Link
Intern
et Proto
col Arch
itecture
Grid Architecture
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 26
Los proyectos EU-DataGrid y LHC Computing Grid
EU-DataGridEnfoque: Componentes “atomicos” para gestion de datos en entornos Grid: Almacenamiento, acceso, replicacionFuerte colaboracion con proyectos que desarrollan otros componentes, por ejemplo Globus. Participacion en Global Grid Forum.10 Meuros, fundamentalmente para personalPersonal adicional financiado por varios institutosMulti-disciplinar: Fisica, biologia, medicina, geo-observacionAcuerdo de colaboracion con GEANT
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 27
Los proyectos EU-DataGrid y LHC Computing Grid
LHC Computing GridEnfoque: Implementacion de prototipos e instalacion inicial de Grid para analizar los datos del LHC2002-2004: 200 ingenieros/año, inversion de 30 MeurosAprox. 50% actividad en el CERN:
• Motor europeo de educacion continuada de ingenieros• Potenciacion del desarrollo europeo del Grid
Canalizado a traves del
Tanto el CERN como varios paises europeos tienen puestos disponibles
www.cern.ch/openlab
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 28
Desarrollo e implementación de la LHC Computing Grid
User point of view:Virtual analysis communities
H→µµ
H→γγ
b-physics
Data-Intensive
Meta-Computer
Center
Physical setupTransparent
Analysis Region
Transparent
Analysis
Region
Transparent Analysis Region
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 29
Desarrollo e implementación de la LHC Computing Grid
regional group
les.ro
bertso
n@ce
rn.ch
CERNTier2
Lab a
Uni a
Lab c
Uni n
Lab m
Lab b
Uni bUni y
Uni x
Tier3physics
department
αααα
ββββ
γγγγDesktop
Germany
Tier 1
USAUK
France
Italy
……….
CERN Tier 1
……….
The LHC Computing Centre
Higgs
B physics
top
PORTAL Higgs
top
PORTAL
man
uel.d
elfino
@ce
rn.ch
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 30
Centro de Calculo del CERN en 1985
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 31
Primeros “RISC-farms”: Centro de Calculo del CERN en 1992
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 32
Introduccion de Linux/Intel: Centro de Calculo del CERN 1997-2000
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 33
Implantacion de “generador” LHC Computing Grid: Centro de Calculo del CERN 2002-2006
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 34
La clave es tener arquitecturas solidas
Computerworld Honors Award 2001
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 35
Arquitectura, Automatizacion y Control de Calidad
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 36
Posibilidades de transferencia de tecnologia
IT Division
26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 37
Conclusiones
Cociente dispositivos/persona > 100%Entornos centrados en personas y comunidades“Nube planetaria”
personas y dispositivosapareciendo y desaparenciendohaciendo peticiones y compartiendo los resultados
Modelo de “infraestructura”Los usuarios tienen la ilusion de un entorno uniformeLos proveedores crean esta ilusion con “plantas generadoras, lineas de transmision, transformadores”.
La capacidad de la sociedad para absorber, utilizar y adaptar tecnologias Web/Internet ha sido alucinanteLas necesidades de la investigacion de hoy nos pueden permitir explorar y desarrollar la tecnologias de gran impacto para la sociedad de mañana y el desarrollo economico.Es nuestra decision si invertimos en ello, o lo dejamos a otros.
top related