09/01/2002 - drrt, région rhône-alpes laurent desbat, université joseph fourier, grenoble
DESCRIPTION
Méso-informatique et calcul distribué à haute performance Projet du CPER CIMENT Calcul Intensif Modélisation Expérimentation Numérique et Technologique. 09/01/2002 - DRRT, Région Rhône-Alpes Laurent Desbat, Université Joseph Fourier, Grenoble http://ujf-grenoble.fr/CIMENT. Plan. - PowerPoint PPT PresentationTRANSCRIPT
Méso-informatique et calcul distribué à haute performance
Projet du CPER
CIMENTCalcul Intensif Modélisation
Expérimentation Numérique et Technologique
09/01/2002 - DRRT, Région Rhône-AlpesLaurent Desbat, Université Joseph Fourier, Grenoble
http://ujf-grenoble.fr/CIMENT
Plan
• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales
– Coordination– Collaborations scientifiques et techniques– Formations
• Bilan scientifique des différents projets• Perspectives
Contexte général calcul à Grenoble
• Utilisation des centres de calculs nationaux– IDRIS, CINES
• Partenariats régionaux– Avec le CEA : financement 2000-2006 (Région -
CEA) 7MF
• Développement de projets « calcul » mésoscopiques au sein des universités de Grenoble
Équipement pour le calcul du projet CIMENT
• Projets– Observatoire, MIRAGE, Grappe de PC, Chimie calculatoire (CECIC), BioIMAGe,
PhyNum– Formation transversale au niveau des écoles doctorales
• Financement – Appel à projet national de Guy René Perrin, Nov 98 (2MF) + COMI CNRS– CPER 2000/2006 : 15MF
• MENRT, INRIA, Région, Métro,Ville de Grenoble
– Compléments CNRS, IMAG, INPG, INRIA, etc.
Financement dans le cadre du CPER(en MF)
Projets 2001 2002 2004 2005-2006Grappe de PC 3,7
Chimie calculatoire 1,5Physique numérique 1,5
BIoIMAGe 0,8 1Soutien à la formation 0,4
JouvencesSCCIOG 2MIRAGE 1,5
Autres Jouvences 2,6Total 8,9 6,1
MENRT,INRIA, Région, Métro,Ville de Grenoble
+ co-financement CNRS/projet et soutien en terme de poste d’ingénieur
Financement dans le cadre du CPER(en Euros)
MENRT,INRIA, Région, Métro,Ville de Grenoble
+ co-financement CNRS/projet et soutien en terme de poste d’ingénieur
Projets 2001 2002 2004 2005-2006Grappe de PC 564061
Chimie calculatoire 228674Physique numérique 228674
BIoIMAGe 121959 152449Soutien à la formation 60980
JouvencesSCCIOG 304898MIRAGE 228674
Autres Jouvences 396367Total 1356796 929939
Plan
• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales
– Coordination– Collaborations scientifiques et techniques– Formations
• Bilan scientifique des différents projets• Perspectives
Coordination du projet • Comité de pilotage du projet : définit les grandes orientations
• Conseil Scientifique annuel
• Mise en place d’un séminaire trimestriel (2000)
• Structuration des projets par regroupements de projets : – “ Couplage modélisation hydrologique et météorologique ” inclus dans MIRAGE. – Génétique, bio-informatique et imagerie médicale (BIoIMAGe). – Création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie.– Le projet PhyNum pourrait s’associer au SCCIOG.
• + Participation à la journée CINES-IDRIS de l’automne 1999 et 2000, CEA (Visualisation, journées Petaflops)
• Recrutement d’un Ingénieur de Recherche UJF pour le projet MIRAGE : Laurence Viry + AFIP CNRS pour un AI (TIMC-BioIMAGe) + Profil d’IE (administration de cluster)
• Accès prioritaire aux réseaux rapides au niveau du campus
CIMENT Campus Cœur Giga/Eth100 (Evolution Q1-2002)Bâtiment OBS Bâtiment IRIGM
Mirage Mécanique
Mirage LMC
Mirage Biologie
Sortie Campus Imag
Secu-UJF
Ethernet 100Ethernet 1000Memory ChannelEthernet 1000 (projet)
FermeOsug
LPG
Pôle Santé
[email protected] Centre de Ressources Informatiques de Proximité - UJF
Le réseau métropolitain GrenobloisMetroNet phase 1 -> Q4-2000/Q3-2002
Vers LyonParis (NIO2 RENATER)
NRD
622 Mb vers Lyon,Puis 2,5Gb vers Paris
Plaque métro
60 Mb
Campus100 Mb
Inria100 Mb
Viallet
100 Mb
CEA
100 Mb
CNRS
Technologie IP / Ethernet 100 commuté
Technologie IP / ATM
[email protected] Centre de Ressources Informatiques de Proximité - UJF
Le réseau métropolitain GrenobloisMetroNet phase 2 à compter de Q4-2002
Vers Lyon, Paris
NRD
622 Mb
Plaque métro
100 Mb
Campus1000 Mb
Inria1000 Mb
Viallet
1000 Mb
CNRS
1000 Mb
CEA
Technologie IP / Ethernet 1000 commuté
[email protected] Centre de Ressources Informatiques de Proximité - UJF
Collaborations Scientifiques• Thèses
– Parallélisation d'un code de calcul en océanographie, Thèse de Grégory Mounié (2000) co-encadrée par Eric Blayo (LMC [MIRAGE]) et Denis Trystram (ID grappe de PC)
– Algorithmes d'ordonnancements optimaux en temps et en mémoire : Etude de cas sur des problèmes en mécanique quantique. Thèse de N. Maillard (Nov. 2001), co-encadrée par P. Valiron (LAOG) et J-L. Roch (ID).
– une thèse co-encadrée depuis 2 ans par le LGIT et le LPM2C : Renaud Hennino (Phynum - Obs)
• Collaborations inter-projets– Simulations de la propagationdes ondes sismiques dans la croûte terrestre (B. Van
Tiggelen (LPMMC), M. Campillo (LGIT))
– Analyse génétique et localisation spatiale: Stéphanie Manel et Françoise Berthoud (BioIMAGe et PhyNum)
– MIRAGE et ID : équilibrage dynamique de la charge dans le raffinement adaptatif de maillage et évaluations de perf. sur cluster
– Méthodes mixtes MM/MQ ( T. Gautier (ID), A. Imberty (CERMAV), A. Milet (LEDSS))
Collaborations Techniques• Partage des expertises
– Séminaires, liste de diffusion, ingénieurs (bureau partagé au LMC), rapprochement du projet PhyNum de celui de l’Observatoire. Ex :
» Portage de l'interface de programmation parallele Athapascan, developpee au laboratoire ID, sur les machines SMP de l'Observatoire.
» Participation croisée à des commissions techniques d’appel d’offre pour gappes (ID-BioIMAGe)
» collaboration technique entre Françoise Berthout (phynum) et Françoise Roch (obs) : une journée par semaine depuis 1 an.
» Validation du code de dynamique moléculaire Takakaw (ID) dans une architecture SMP (CECIC)
• Expérimentation du calcul hétérogène – projet Data Grid (participation de ID, expérimentation de globus)
– Chimie quantique sur un serveur et une grappe de PC (Obs.)
Formation doctorale
– Un projet de formation au Calcul Haute Performance transversale aux écoles doctorales (premier cours HIER !)
– deux modules accompagnés de TP (janvier 2002) • Introduction au calcul réparti
– Introduction au parallélisme et au calcul intensif. Formation à l’optimisation de code, à MPI et à OPEN MP. Utilisation de bibliothèques de calcul scientifique (ScaLaPack, …)
• Modélisation numérique et calcul intensif – Différents problèmes apportés par les communautés utilisatrices, leur
modélisation et leur résolution sur une grappe de PC, formeront les TP (MIRAGE, BioIMAGe, PhyNum,…)
– Accueil des cours et des TP au sein de l’UFR IMA
Plan
• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales
– Coordination
– Collaborations scientifiques et techniques
– Formations
• Bilan technique et scientifique des différents projets• Perspectives
Observatoire de Grenoble P.Valiron et F. Roch
LAOG, LGIT, SGEP du LIS• Projet : calcul intensif en astrophysique et géophysique. • Solution retenue : IBM (SMP 16 procs 375MHz, 16Go, 24Gflops crête et 2
Quadri-Pro, SMP, 4 Go). Solution centralisée. • Financement : 500kF COMI CNRS +165kF quadriennal UJF ; 600kF
Ministère (CIMENT) + 495 KF quadriennal UJF (soutien du ministère quadriennal 400kF/an)
• État d’avancement : fin de mise en place juillet 2000 (coût 1,76MF)• Projets scientifiques (une vingtaine de chercheurs, une vingtaine de
thésards) : évolution stellaire, disque proto-planétaire, astrochimie quantique : dynamiques microphysique, simulation numérique MHD et hautes énergies, propagation des ondes sismiques, reconstruction en sismologie, champs magnétique terrestre, modélisation de
l’ionosphère dans les zones polaires, Interactions cinétiques soleil/terre, ...
Résolution des équations de Maxwell en 2D
Simulations de propagation d’ondes électromagnétiques
à travers un noyau de comète.
Alexandre Piot
Modèle de comète
Plate forme Mirage E. Blayo, L.Viry
LMC, LEGI, LTHE, LGGE, LEA • Projet : modélisation et calcul pour l’environnement et climat.
• Solution retenue : 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory 7 DS20 (bi-pro alpha EV67, 7x2,5Go, Memory Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 Channel) et 3x100Go DD ; LSF et TotalView. Solution répartie sur 3 sites.sites.
• État d’avancement : En exploitation depuis janvier 2000 (1,5MF)
• FinancementFinancement : 1,75MF : 1,75MF [ 600kF MENRT, 650kF COMI CNRS, 100kF BQR INPG, 60kF CNES, 200kF des laboratoires ] + 200kF INRIA, soutien du ministère (quadriennal 60kF/an)
• Projets scientifiques (une quarantaine de chercheurs, une quinzaine de thésards) : modélisation des calottes polaires, couplage glace-atmosphère, Modélisation océanique, assimilation de données océaniques, modélisation interface sol-végétation atmosphère, hydrologie en zone montagneuse.
Simulation de la circulation océanique dans la baie de Los Angeles
pour la prévision locale
Calcul parallèle du modèle ROMS (UCLA) -
L. Debreu et E. Blayo (LMC-IMAG)
P. Marchesiello et J. Mc Williams (UCLA).
Température de surface
Trois tailles de maille18km6km2km
Vitesse de l’eau en surfaceRégion calculée
Région visualisée
Pôle de chimie calculatoireS.Perez et P.Vatton
LEDSS, CERMAV, Cristallographie, LEOPR, DPM
• Projet : création du CECIC : Centre d ’Expérimentation du Calcul Intensif en Chimie
• Solution : Une machine IBM SP (3 quadri Pro Power III 3x8Go) + une machine SGI 0200 quadri pro,4Go (logiciels de modélisation moléculaire)
• Avancement : démarrage : 01/11/01.• Financement : 1,5MF dans le cadre du CPER + 0,5MF CNRS +
462kF sur fonds propres labo• Projets scientifiques (une dizaine de thésards) : Chimie quantique,
Mécanique/Dynamique Moléculaires, Etat condensé, Recherches des Conformations Bio-Actives, Bases de données
GT Accepteur-OH + XDP-sucre
Mn++
Accepteur-O-sucre + XDP
Etude du mécanisme catalytique d’une N-acétylglucosaminyltransférase dontle site actif comprend in ion Mn2+:
Collaboration : Anne Imberty (CERMAV) - Anne Milet (LEDSS)
Première étude, par simulation numérique du mécanisme d ’action d ’une glycosyltransférese (Au moins 500 gènes (0.5 - 1% du génome humain traduit ) participeraient à l ’expression structurale et fonctionnelle d ’oligosaccharides)
Système modèle :
Gaussian 98: DFT B3LYP5 électrons célibataires54 atomes, dont Mn++.
Optimisation d’une géomètrie4 jours CPU, 4 processeursespace disque 150 Mo.
Demande environ 25 optimisations géométriques !
En prévision: MM / QM
Grappe de PCD.Trystram, P. Augerat
ID, SIRAC et ReMaP (ENS L)• Projet : expérimentation des systèmes et du calcul distribué sur
une grappe de PC.
• Solution envisagée : 100 PC (bi-pro, 1Go) disposant d’un réseau rapide de technologie myrinet. Solution massivement distribuée.
• État d’avancement : expérimentation locale le i-cluster (225 PIII en réseau ethernet : no=385 du TOP 500/81,6Gflops). Un appel d’offre infructueux en cours de réactualisation. Simplification vers une solution grappe très intégrée
• Financement : 5MF (0,8MF MENRT, 0,3MF ENSL + CPER : 2,5MF INRIA et 1,2MF Région)
• Projets scientifiques (une dizaine de thésards) : outils d’exploitation et méthodes de programmation (projet RNTL : CLIC Bull, Mandrake,UJF distribution linux pour cluster incluant MPI/OPEN MP,…, athapascan).
0
10
20
30
40
50
60
70
80
90
0 50 100 150 200 250
Linpack 81,6 Gflops = rang 385 au TOP 500 (mi-2001)
Nombre de noeuds
Gflops
• Projet : Imagerie et modélisation biomécanique médicales Biologie informatique et analyse génétique spatialisée.
• Solution : modifiée au printemps 2001 pour migrer d ’une solution à base d ’alpha vers une grappe de PC
• Avancement : Grappe de 24 Bi-pro Athlon 1800+, 3Go, Ethernet 100 (x2)+1000.
• Financement : deux tranches CPER 800kF 2001, 1MF 2002(?) • Projets scientifiques (une vingtaine de chercheurs, une quinzaine de thésards) :
reconstruction rapide en imagerie 3D, atténuation et diffusion en imagerie nucléaire (quantification), IRMfonctionnelle 3D, modélisation biomécanique d ’organes, Equations de Maxwell pour la modélisation de neurones, pôle bio-informatique (étude des structures génétiques spatiales, identification de matrices d ’interaction génique, modélisation du génome,…)
Projet BIOIMAGE L. Desbat G. Bourrel
TIMC-IMAG UMR 5525, INSERM 438, RMN Bioclinique, Laboratoire de Biologie des Populations d'Altitude
Collaboration TIMC-IMAG ; LETI/CEA ID-IMAG-INRIASchéma de compression de calcul en tomographie dynamique
Composentes Composentes fréquentiellesfréquentielles
DecompositionDecompositionindirecteindirecte
Rétro-Rétro-projectionprojection
SynthèseSynthèse
53
Résultats• Compression de calcul 3 à 5 fois plus
rapides sur des images 512x512x32 en séquentiel que FBP
• Parallélisation sur le i-cluster : résultats récents Temps de reconstruction d'un volume 256x256x32
0
10
20
30
40
50
60
70
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Nombre de processeurs
Tem
ps C
PU (s
)
Projet PHYNUMA. Pasturel et F. Berthoud
IPMC (LPM2C, CRTBT, LEPES, SPECTRO, Louis Néel)
• Solution envisagée : centralisée, 16 à 32 proc, 16 à 32 Go mais évolution possible vers une grappe de PC
• Avancement : 2002, couplage envisagé avec l’Observatoire.• Financement : Dans le cadre du CPER (1,5MF 2002)• Projet scientifiques (une dizaine de chercheurs, une quinzaine de thésards)
– Simulations de la propagation des ondes sismiques dans la croûte terrestre- Etude de la diffusion multiple de la lumière en milieu complexe- Supraconductivité dans des systèmes de dimension réduite- Transport thermique dans un conducteur mésoscopique- Manipulation des états quantiques dans des nanocircuits supraconducteurs- Elasticité de la croissance cristalline et auto-organisation de nanostructures- Structures d'équilibre et dynamique réactionnelle de surfaces- Thermodynamique et Transition de Phases.- ...
Bilan scientifique
• Une communauté d’une centaine de chercheurs et d’environ 70 thésards
• Contribue à une centaine de publications par an dans des revues à comité de lecture et des conférences internationales
• Perspectives riches dans chacune des disciplines avec des enjeux sociétaux, économiques importants
Plan
• CIMENT : Projet mésoinformatique pour le calcul• Actions Tranversales
– Coordination– Collaborations scientifiques et techniques– Formations
• Bilan scientifique des différents projets• Perspectives
Perspectives techniques et formation• Maturation des grappes de PC (matériel et
logiciel) => solutions économiques du calcul intensif => Plus grande diffusion
• Renforcement des actions transversales– Projet d’administration centralisée de grappes de PC
distribuées (Philippe Augerat)
• Nécessité de former les étudiants et les chercheurs aux techniques de calcul intensif – Formation doctorale– Formation permanente + collaboration avec les
centres de calcul nationaux
Perspectives scientifiques• Projet ACI GRID (janvier 2002)
– Grilles des projets CIMENT– Essor des techniques de Monte Carlo en Physique
Numérique, imagerie nucléaire, etc.
• Développement de méthodes et outils d’administration de l’informatique distribuée (administration de grappes, caches WEB) + bio-info (reconstruction d'arbres de phylogénie).
• Propres à chacune des disciplines (environnement, climat et développement durable, Biologie, Biochimie et Bioinformatique, etc…)
FIN