![Page 1: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/1.jpg)
Globalisation des Ressources Informatiques et des Données
Madeleine - Marcel
Olivier Aumage Raymond Namyst
LIP - ENS Lyon
Projet Logiciel
RMI
![Page 2: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/2.jpg)
Introduction
MadeleineMarcel
![Page 3: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/3.jpg)
Architecture du projet
VTHDVTHD Myrinet SCI …
Madeleine Marcel
PadicoTM
MPI
OpenCCM ProActivePDC
Do!
DSM MomeCORBA
Java VM
GK
PaCO++
Couplage de code de simulation C3D Croissance de plantes
![Page 4: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/4.jpg)
Architecture du projet
VTHDVTHD Myrinet SCI …
Madeleine Marcel
PadicoTM
MPI
OpenCCM ProActivePDC
Do!
DSM MomeCORBA
Java VM
GK
PaCO++
Couplage de code de simulation C3D Croissance de plantes
![Page 5: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/5.jpg)
Madeleine, Marcel, PM2
Interface
Application
PM2
Marcel Madeleine
Iso-malloc
DSM-PM2
Gestion des threads Migration Exploitation des nœuds SMP Scheduler activations Synchronisation Détection d’événements
Gestion des communications Paradigme de type passage de message Support pour RPC et migration Gestion de session Interface générique
Allocation de mémoire iso-adresses
Mémoire virtuellement partagée
Point d’entrée Gestion des RPC
Net-Toolbox Toolbox
Communication de contrôle Routines TCP
Listes Hâchages Tableaux dyn. Arguments Chaînes Allocateur rapide Macros
![Page 6: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/6.jpg)
Madeleine, Marcel
Interface
Application
PM2
Marcel Madeleine
Iso-malloc
DSM-PM2
Gestion des threads Migration Exploitation des nœuds SMP Scheduler activations Synchronisation Détection d’événements
Gestion des communications Paradigme de type passage de message Support pour RPC et migration Gestion de session Interface générique
Allocation de mémoire iso-adresses
Mémoire virtuellement partagée
Point d’entrée Gestion des RPC
Net-Toolbox Toolbox
Communication de contrôle Routines TCP
Listes Hâchages Tableaux dyn. Arguments Chaînes Allocateur rapide Macros
![Page 7: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/7.jpg)
Madeleine Interface générique de communication
Support réseau Gestion de session
Efficacité Portabilité
Richesse fonctionnelle Simplicité
![Page 8: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/8.jpg)
CaractéristiquesAdaptativité Protocoles multi-paradigmes
VIA message passing, remote DMA SCI shared memory, DMA
Protocoles à tampons statiques SBP
Protocoles multi-modes BIP messages courts/longs
Exhaustivité Support multi-protocole Support multi-adaptateur
![Page 9: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/9.jpg)
Architecture Approche modulaire
Module de gestion de tampon (MGT) Module de transmission (MT)
Interface
Gestion des
tampons
Gestionde
protocole
MGT MGT
MT MT MT
RéseauRéseau
![Page 10: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/10.jpg)
GRID-RMI: trois axes Communications
Support des architectures multi-grappes et grilles de grappes
Routage Multiplexage Dynamicité
Réactivité Support au niveau de l’ordonnanceur de threads Agrégation de requêtes de scrutation Ajustement de fréquence
Analyse Gestion de traces et visualisation de chronologies
![Page 11: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/11.jpg)
Communications multi-grappes
RoutageDéploiement
![Page 12: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/12.jpg)
Support multi-grappe Exploitation des Grappes de grappes
Réseaux intra-grappes rapides Liens inter-grappes rapides Hétérogénéité au niveau réseau
Réseau à haut débitRéseau haute
performanceRéseau haute performance
![Page 13: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/13.jpg)
Principe Canaux réels
Liés à un réseau Ne couvrent pas nécessairement tous les noeuds
Canaux virtuels Couvrent tous les noeuds Contiennent plusieurs canaux réels
MyrinetSCI
Virtuel
![Page 14: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/14.jpg)
Fonctionnement Support des retransmissions multi-réseau
Négotiation de MTU Routes statiques Gestion multi-threadée Prise en charge générique
Machine
Mémoire
Bus PCI
Réseau Myrinet
LANai
Réseau SCI
![Page 15: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/15.jpg)
Préservation du débit
Pipeline Réception et ré-émission simultanée avec 2 tampons
Une copie Même tampon pour la réception et la ré-émission
Tampon 1
Tampon 2
Réception
Ré-émission
LANai
![Page 16: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/16.jpg)
Intégration Module de transmission générique Limitation du code traversé sur les passerelles
Interface
Gestion des
tampons
Gestionde
protocole
MGT MGT
MT MT MT
RéseauRéseau
MT générique
![Page 17: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/17.jpg)
Déploiement Démarrage de session
Une approche modulaire Flexibilité Extensibilité
Deux modules Madeleine
Communications Léonie
Contrôle de session
![Page 18: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/18.jpg)
Léonie Sessions
Configurations multi-grappes Lancement unifié
Déploiement en rafale Support pour lanceurs optimisés
Réseau Constructions des tables d’information
Répertoire des processus Tables de routages des canaux virtuels
Ordonnancement Initialisation des cartes, ouverture des canaux
![Page 19: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/19.jpg)
Infrastructure
Madeleine
Léonie
![Page 20: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/20.jpg)
Résumé des problèmes Multiplexage
Connexion complète des canaux réels inadaptée Consommation de ressources
Routage Routes statiques
Pas de dynamicité Routes uniques
Risques de déséquilibres Contrôle de flux
Contentions sur les bus des passerelles
Adéquation du déploiement ?
![Page 21: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/21.jpg)
Dynamicité
Support d’architectures évolutives
![Page 22: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/22.jpg)
Points clésGranularité Niveau processus Niveau grappes
La dynamicité a un coût Scrutations supplémentaires Prise en compte du changement de topologie
La dynamicité est parfois impossible Interfaces de communication à lanceur propriétaire Interfaces sans primitives/potentiel de connexion
dynamique
![Page 23: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/23.jpg)
Changement de topologie Propagation à toute la configuration
Serveur Léonie Processus applicatifs
Deux conséquences Vraisemblablement une synchronisation globale
Impact fort sur l’exécution Prise en charge d’événements asynchrones de Léonie sur
les nœuds applicatifs Nécessité d’un thread dédié Verrouillages délicats
![Page 24: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/24.jpg)
Changement de topologieCas du routage multi-réseau
Nécessité d’un recalcul des routes par Léonie Opération coûteuse
Problème pour les blocs de données en transit sur les passerelles
Routage dynamique ? Ordre des messages Refaire IP ?
![Page 25: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/25.jpg)
Conclusion – support dynamicité Réalisable
pour une dynamicité à gros grain (grappes) pour une faible dynamicité au niveau processus
Prohibitif pour une forte dynamicité au niveau processus
Impossible Interfaces à lanceurs spécifiques Interfaces sans possibilités de connexions dynamiques
MPI, BIP
![Page 26: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/26.jpg)
Réactivité
Threads et scrutations
![Page 27: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/27.jpg)
Support actuel Interaction avec l’ordonnanceur de threads Marcel
Agrégation de requêtes Agrégations par canal Requêtes de niveau bas Pas de réentrance
Fréquence de scrutation Contrôle à très gros grain
Timer, yields, idle Pas de réglages de la fréquence par rapport au réseau
![Page 28: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/28.jpg)
Principe
Processus
Noeud
Marcel
Processus
Processus
Thread
Réseau
LANai
![Page 29: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/29.jpg)
Objectifs Prise en charge des requêtes
Scrutations multi-niveau Meilleure prise en charge de la retransmission sur les
passerelles Scrutations vs. interruptions
Solution mixte ?
Fréquence de scrutation Favoriser la scrutation fréquente des réseaux efficaces Notion de priorité des requêtes
![Page 30: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/30.jpg)
Analyse
Enregistrement de tracesVisualisation de chronologies
![Page 31: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/31.jpg)
Support actuel Outils
FKT Fast Kernel Trace
FUT Fast User Trace
Supertrace Unification des données FKT/FUT
Sigmund Analyse des résultats
Status ?
![Page 32: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/32.jpg)
Principe
Marcel
Processus
Thread
![Page 33: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/33.jpg)
Principe
Marcel
Processus
Thread
Mode noyauMode noyau
Mode utilisateurMode utilisateur
![Page 34: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/34.jpg)
Principe
Marcel
Processus
Thread
Mode noyauMode noyau
Mode utilisateurMode utilisateur
![Page 35: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/35.jpg)
Principe
Marcel
Processus
Thread
Mode noyauMode noyau
Mode utilisateurMode utilisateur
FKT
FUT
![Page 36: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/36.jpg)
Principe
Marcel
Processus
Thread
Mode noyauMode noyau
Mode utilisateurMode utilisateur
FKT
FUT
Su
pert
race
![Page 37: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/37.jpg)
Su
pert
race
Principe
Marcel
Processus
Thread
Mode noyauMode noyau
Mode utilisateurMode utilisateur
FKT
FUT
Sigmund
![Page 38: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/38.jpg)
Objectifs Mise à jour/finalisation des outils existants
Meilleure interface pour les traces applicatives Evénements de haut niveau
Outil de visualisation « intelligent » Chronologie multi-thread/multi-lwp Communications Traitement sémantique des informations ?
Support générique Intégration des traces applicatives et middleware
Interface graphique ?
![Page 39: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/39.jpg)
Conclusion
GRID-RMIMadeleine/Marcel
![Page 40: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/40.jpg)
ConclusionTravaux prévus à trois niveaux
Communications multi-grappes/grilles de grappes Extension des mécanismes de routage
Réactivité et multi-threading Méthodes de scrutation avancées
Outils d’analyse Enregistrement de traces Visualisation d’événements
![Page 41: Globalisation des Ressources Informatiques et des Données Madeleine - Marcel Olivier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr Projet](https://reader035.vdocuments.pub/reader035/viewer/2022070309/551d9dd4497959293b8e5d10/html5/thumbnails/41.jpg)