journées informatiques in2p3/dapnia118-21 septembre 2006 le projet de développements logiciels du...
TRANSCRIPT
18-21 septembre 2006Journées Informatiques IN2P3/DAPNIA 1
Le projet de développements logiciels du DAPNIALe projet de développements logiciels du DAPNIApour la simulation et la visualisation despour la simulation et la visualisation des
plasmas astrophysiquesplasmas astrophysiques
V. Gautard, J.-P. Le Fèvre, D. Pomarède, B. ThoorisLaboratoire d’Ingénierie Logicielle des Applications Scientifiques
CEA/DAPNIA/LILAS - Saclay
JIID 2006 2D. Pomarède, CEA/DAPNIA/LILAS
•Les simulations numériques au DAPNIA
– Les enjeux scientifiques et les codes du SAp
– Moyens de calculs
•Le projet de développements logiciels
– Gestion des données
– Visualisation
•Perspectives
JIID 2006 3D. Pomarède, CEA/DAPNIA/LILAS
Les simulations numériques au DAPNIA•La simulation des plasmas astrophysiques, aux cotés des
projets de détecteurs spatiaux et d’observatoires terrestres, est l’un des trois piliers sur lequel se fonde le programme scientifique du Service d’Astrophysique du DAPNIA
•L’objectif scientifique est la compréhension de la formation des structures observées dans l’Univers :
Structure et distribution des amas de galaxies à partir des conditions initiales du Big Bang
Dynamique des nuages moléculaires où se forment les étoiles
Magnétohydrodynamique stellaire
Formation des systèmes protoplanétaires
JIID 2006 4D. Pomarède, CEA/DAPNIA/LILAS
Les codes du SAp•Quatre codes de simulations numériques sont développés à Saclay
ou dans le cadre de collaborations internationales :– RAMSES (R. Teyssier)
• étude multi-échelles de la formation des structures de l’univers• solution de l’interaction de la Matière Noire avec le gaz baryonique• hydrodynamique et systèmes à N-corps, gravitation, MHD
– HERACLES (E. Audit et al)• formation et dynamique des nuages moléculaires• Hydrodynamique radiative
– ASH (A.S. Brun, collaboration avec J. Toomre et al.)• Magnétohydrodynamique du Soleil
– FARGO (F. Masset)• études des forces de marées disque-planètes• Hydrodynamique 2D & 3D
•Ces codes partagent des caractéristiques communes– F90 ou C, parallélisés avec la librairie MPI– Emploi de solveurs d’équation type Riemann ou Godunov– Maillage spatio-temporel sur des grilles cartésiennes fixes
(HERACLES, ASH) ou a résolution adaptative (RAMSES, FARGO)
Illustration de la technique de maillage adaptatif (AMR) de RAMSES
level 2
level 3
level 5
level 9
level 14
La résolution du maillage est améliorée dynamiquement quand des gradients importants sont observés sur la distribution de variables telles que la densité de matière
level 11
Niveaux 9 à 14 de l’AMR.Le raffinement ultime est atteint au niveau 14 qui correspond à 4.1107 cellules
Illustration de la technique de maillage adaptatif (AMR) de RAMSES
La résolution finale équivalente atteinte est de 213 =8192 cellules dans chaque direction, soit au total 81923=5.5 1011 cellules
Avec cette résolution, des mécanismes physiques à des échelles trés différentes sont traités : depuis l’interaction gravitationelle à grande échelle (matière noire) jusqu’à la formation d’étoiles dans les galaxies
Densité de la Matière Noire
Illustration de la technique de maillage adaptatif (AMR) de RAMSES
Densité du plasma baryonique
Température du plasma baryonique
Age et distribution des étoiles
Référence : “The History of the Baryon Budget – Cosmic Logistics in a Hierarchical Universe”, Y. Rasera & R. Teyssier, astro-ph/0505473 (23 May 2005)
JIID 2006 8D. Pomarède, CEA/DAPNIA/LILAS
Les moyens de calculs
•Les codes de simulations sont parallélisés, conçus pour être exécutés sur des mainframes performants
•Ressources du CEA : – CCRT (CEA Bruyères-le-Châtel) :
• NickelChrome HP/OSF1 225 quadri-processors alpha nodes (2250 GFlops au total)
• Tantale HP/Linux 138 quadri-processors AMD Opteron
•Ressources du “Projet Horizon” pour la Cosmologie– IDRIS (CNRS Orsay)
• Ensemble de 1024 processors Power4 répartis sur plusieurs clusters
– MareNostrum (Barcelona Supercomputing Center)• 2406 dual 64-bit processor nodes @ 2.2GHz, ~42 TeraFlops peak
– Part of the DEISA « Extreme Computing Initiative »• DEISA=Distributed European Infrastructure for
Supercomputing Applications• Requirement 8 To RAM, 4096 processors
Les moyens de calculs : rappel sur le Top500
CNRS/IDRIS out (281eme en 2005, 11eme en 1996)
ISC ConferenceDresde juin 2006
Note : CC-IN2P3 linux = 639 proc, 3500 GFlops
(GFlops)BlueGene130000 processeursRecherche (biologiemoléculaire, …)
ColumbiaUtilisée par nos concurrents US(Cosmologie,…)
CEA/Defense
MareNostrumUtilisée pour lesProds RAMSES
CEA/Defense
JIID 2006 10D. Pomarède, CEA/DAPNIA/LILAS
Le projet de développements logiciels•Depuis septembre 2005, les développements software sont organisés dans le cadre
d’un projet d’ingénierie indépendant. L’objectif est de partager les expertises et de fournir des modules de type “core software” utilisables par les différents codes. Cela inclut la gestion des données, le post-traitement, la visualisation, l’optimisation du parallélisme, le développement d’algorithmes numériques novateurs.
RAMSESA
SH
HE
RA
CL
ES
FARGO
CORE SOFTWAREMODULESI/O, Graphics,
Algorithms
JIID 2006 11D. Pomarède, CEA/DAPNIA/LILAS
•1er axe de développements : format des données de sortie des codes
– choix du format HDF5 (Hierarchical Data Format) développé par le NCSA (National Center for Supercomputing Applications, USA)
– free, open source, portable, F90/C/C++/Java interfaces– la librairie est optimisée pour lire et écrire efficacement sur des
systèmes de calcul parallèle, pas de limite de taille– Deux objets de base : datasets (tableaux) et groupes (structures)– Grouping & linking mechanisms, browsing/navigation efficace dans la hierarchie
– Nombreuses applications– 1er jalon : migration d’HERACLES, avril 2006
Gestion des données
Visualization and browsing of HDF5 files in IDL
JIID 2006 13D. Pomarède, CEA/DAPNIA/LILAS
Gestion des données
•2eme axe de développements : les bases de données Le Projet ODALISC (Opacity Database for Astrophysics,
Lasers experiments and Inertial Fusion Science): mise en place d’une base de données d’opacités et d’équations d’état pour les communautés d’Astrophysique et des interactions plasma/laser
• collaboration avec le CELIA Bordeaux (Centre Lasers Intenses et Applications)
• MySQL• Web-service TOMCAT• Installée au DAPNIA (cds.datagrid.cea.fr)• Fichiers HDF5 (mise à disposition d’une interface de haut-
niveau pour les utilisateurs)• visualisation IDL• β release opérationel depuis mai 2006
JIID 2006 15D. Pomarède, CEA/DAPNIA/LILAS
Gestion des données
•2eme axe de développements : les bases de données L’Observatoire Virtuel HORIZON
• Effort de la communauté mondiale des astrophysiciens pour stocker et partager les observations via des Virtual Observatories
– Exemples : EURO-VO, IVOA, SkyView VO (NASA)• Cela vaut également pour les données simulées• Les productions massives du code RAMSES seront
gérées par un tel VO– Collaboration avec l’Observatoire de Lyon (INSU)– Mesomachine au DAPNIA
JIID 2006 16D. Pomarède, CEA/DAPNIA/LILAS
Visualisation : SDvision
•Developpement d’une interface graphique dans le cadre d’IDL
•Basée sur les Objets Graphiques des derniers releases (6+) de la plateforme
SDvision
the Saclay/DAPNIA Visualization Interfacethe Saclay/DAPNIA Visualization Interface
•Visualisation 3D interactive et immersive, accélération graphique•Scènes composites avec différents objets : iso-surfaces, projections
volumiques, image slices, nuages de points, vecteurs, streamlines•Input : RAMSES, HERACLES, ASH. Champs 3D scalaire & vecteur
sur grilles cartésiennes ou complexes (AMR), particules
Projections volumiques
HERACLES (density)volume of size 15 pc
grid 12003
ASH mag field Bphiseen from the pole
RAMSESbaryon densitysize 100 Mpc
ASH (Bphi)Blue negativeRed positive
Iso-surfaces
RAMSES(baryon density)
HERACLES (density)volume of size 15 pc
grid 12003
Illustration des capacités d’immersion dans les simulations
Données RAMSESLe point de vue est à l’intérieur du volumeFocale ~ grand angleVisualisation simultanée de la distribution de la densité de matière baryonique, du champ de vélocité hydrodynamique baryonique, et du nuage de particules de Matière Noire
La scene est composée de : 1 nuage de particules
halos très dense 3 iso-surfaces de la densité baryonique :
grise = haute-densité, (semi-transparente) jaune = moyenne rouge = basse
1 image semi-transparente de la densité baryonique sur une tranche 2 sources d’illumination
frontale ambiante
Les limites du volume
La scene est composée de : 1 projection volumique de la densité baryonique 1 image semi-transparente de la densité baryonique
La scène est composée de : 1 projection volumique de la densité baryonique 1 nuage de particules
halos très dense1 image semi-transparente de la densité baryonique
La scène est composée de : 1 nuage de particules
halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique
La scène est composée de : 1 nuage de particules
halos très dense 1 collection de lignes de courant du champ de vélocité hydrodynamique 1 image semi-transparente de la densité baryonique
JIID 2006 28D. Pomarède, CEA/DAPNIA/LILAS
Perspectives
•Gestion des données :– évaluation comparée des performances de HDF5– migration des autres codes sur ce format– nouvelles fonctionnalités pour ODALISC– release du VO HORIZON
•Visualisation :– nouvelles fonctionnalités– visualisation des données de FARGO (systèmes protoplanétaires)– optimisation du management de la mémoire pour accéder à des jeux de
données plus importants (zoom spatial et zoom en résolution synchronisés)– parallélisme (fastDL/mpiDL solutions d’ITT)
•Développements d’algorithmes– RAMSES : optimisation des algorithmes pour améliorer l’équilibrage de
charge– HERACLES : algorithmes multi-grille pour améliorer la résolution
•Divers :– page web, Wiki– management des codes (Subversion)
JIID 2006 29D. Pomarède, CEA/DAPNIA/LILAS
Publications, conférences, Web
•Page web du Projet http://www-dapnia.cea.fr/Projets/SNOOPY
•Présentations à des conférences : “Numerical Simulations of Astrophysical Plasmas: status and perspectives of the
Saclay/DAPNIA software project”, E. Audit, D. Pomarède, R. Teyssier, B. Thooris, Proceedings of the First CalSpace-IGPP International Conference on Numerical Modeling of Space Plasma Flows, ASTRONUM2006, Palm Springs CA, USA, March 27-30, 2006, to appear in the Astronomical Society of the Pacific Conference Series.
“Visualization of large astrophysical simulations datasets”, D. Pomarède, E. Audit, R. Teyssier, B. Thooris, Proceedings of the 2006 Conference on Computational Physics, CCP2006, Gyeongju, Republic of Korea, August 29 – Sept 1, 2006.
“Numerical Simulations of Astrophysical Plasmas”, D. Pomarède, B. Thooris, E. Audit, R. Teyssier, Proceedings of the Sixth IASTED Conference on Modeling, Simulation, and Optimization, MSO2006, Gaborone, Botswana, September 11-13, 2006, Acta Press.
•A venir : « Accessing the database of the HORIZON project », J.-P. Le Fèvre, H. Wozniak, J.
Devriendt, R. Teyssier, Astronomical Data Analysis Software & Systems Conference ADASS XVI, Tucson AZ, USA, October 15-18, 2006.
Organisation de la Conférence ASTRONUM2007 « International Conference on Numerical Modeling of Space Plasma Flows » à Paris en juin 2007
Session spéciale « Data Handling and Visualization »