Grid’5000

Grid’5000

F. CappelloINRIA

Animateur CP Grid’5000Avec tous les membres participants

Compte rendu d’avancement

Grid’5000 Participants

-Franck Cappello (animateur)-Thierry Priol (Directeur directeur ACI Grid)-Brigitte Plateau (Directrice CS ACI Grid)-Dani Vandrome (Renater)-Frédéric Desprez (Lyon)-Michel Daydé (Toulouse)-Yvon Jégou (Rennes)-Stéphane Lantéri (Sophia)-Raymond Namyst (Bordeaux)-Pascale Primet (Lyon)-Olivier Richard (Grenoble)

Comité de Pilotage (11) :

Jean-Luc ANTHOINE

Jean-Claude Barbet

Pierrette Barbaresco

Nicolas Capit

Eddy Caron

Christophe Cérin

Olivier Coulaud

Georges Da-Costa

Yves Denneulin

Benjamin Dexheimer

Aurélien Dumez

Gilles Gallot

David Geldreich

Sébastien Georget

Olivier Gluck

Claude Inglebert

Julien Leduc

Cyrille Martin

Jean-Francois Méhaut

Jean-Christophe Mignot

Thierry Monteil

Guillaume Mornet

Alain Naud

Vincent Néri

Gaetan Peaquin

Franck Simon

Sebastien Varrette

Jean-Marc Vincent

Comité Techniqueétendu (28) :

Grid’5000A) Financements

1) ACI Grid avec 2 appels Grid’50002) ACI Masse de Données avec Grid eXplorer3) Demandes locales (régions + départements)4) Demandes INRIA5) 2 AS CNRS (eGrid5000 et Programmation des Grilles)

B) Gouvernance et communication1) Un comité de pilotage + 1 comité technique2) Des audioconférences fréquentes :

2 Comités de pilotage et 2 comités technique 3) Un Wiki avec tous les documents (wiki.grid5000.org)4) Des réunions tel. ou F2F avec Renater5) Un site Web (www.grid5000.org) 6) 2 mailing lists (CT@grid5000.org, CP@grid5000.org)

C) Réalisations1) 30 machines déployés dans 8 sites (9 sites le 1er Juin)

60 machines d’ici quelques semaines (8 par site).2) Prototype de sécurité à base de VPN opérationnel

(Vtune)3) Prototype de control en cours de réalisation4) Outils de supervision prototype (Nagios)

Eléments tangibles (1)

Grid’5000D) Montages en cours1) 3 Appels d’offres lancés (CCTP rédigés et vérifiés par le CP) échange d’informations (Bench. Tarif, dispo processeurs, etc.) 2) Mise à disposition connexion 1Gb/s entre site et NRD Renater

E) Discussions/réflexions en cours1) Modes de fonctionnement : local/Grid’50002) Modes d’utilisation : partagés, réservé, batch3) Démos (reboot, réseau, middleware, exécutifs, applications) 4) Recensement des expériences

F) Echéances1) Planning démo partielle pour SC2004 (Novembre)2) Mise en place progressive du prototype jusqu’en Octobre avec un calendrier3) Basculement sur l’infrastructure réelle en Octobre4) Mise en place services et tests fonctionnels sur prototype

G) Initiatives de Communication1) Jeux de slides pour présentation2) Flyers3) Stand Grid5000 à SC2004

Eléments tangibles (2)

Grid’5000

Grid’5000 Financement 2003

0,6M€~0,4€

~0,35€

~0,5€ ~0,5€

~0,3?€

~0,5€

~3M€ de matériel

Financements 2003

Grid’5000

Grid’5000 Hardware

Call for proposals

Sept03

Selection of 7 sites

Nov03

ACI GRIDFunding

Jan04

Call for ExpressionOf Interest

March04

Vendorselection

Jun/July 04

Instal.First tests

Spt 04

Final review

Oct 04

FisrtDemo(SC04)

Nov 04

Grid’5000 System/middleware Forum

Security Prototypes

Control Prototypes

Grid’5000 Programming Forum

Grid’5000

Grid’5000 Experiments

PlanningProposition : avancer d’1 moisle planning initial

Renater connection

Demo preparation

today

Switch Proto toGrid’5000

Grid’5000Grid’5000Une vision du prototype

Grid’5000

Sébastien Georget, Sophia

Grid’5000Une autre vision du prototype

Grid’5000

• Comme un grand cluster de clusters– Pas de nécessité de gérer la sécurité(tous les ports sont ouverts entre ressources Grid’5000

rsh, etc. fonctionnelles, possibilité de tester NFS, etc.)Tester les exécutifs et les applications sans interférence

vis-à-vis de la sécurité (isolation des phénomènes)

• Comme un ensemble de clusters dans des domaines d’administration distincts.– Nécessité de gérer la sécurité (au minimum SSH sur tous

les nœuds), idéalement :possibilité de sélectionner le middleware de gestion de la sécurité (Globus 2, 3, 4?)

Tester les exécutifs et les applications dans des conditions de sécurité réalistes.

Visions utilisateur de Grid’5000

Grid’5000

Switch Grid

controleur

LABO

Routeur RENATER

MPLS

vlans

Firewall/nat

Switch/routeur labo

Front-endlocal

Routeur RENATER

Routeur RENATER

Routeur RENATER

Site grid5000

Controleur = serveur de boot, replicat LDAP?, DNS secondaire, ordonnancement…Front-end local = routes statiques vers grid5000 et default vers Firewall/natFirewall/nat = 2 interfaces, redirige accès port 22 vers front-end-local

Cluster banaliséAdresses privées

RENATER

Architecture de sécurité consensuelle(version pour adressage privé)

Grid’5000

Switch Grid

controleur

LABO

Routeur RENATER

MPLS

vlan

Switch/routeur labo

Routeur RENATER

Routeur RENATER

Routeur RENATER

Site grid5000

Controleur = serveur de boot, replicat LDAP?, DNS secondaire, ordonnancement…

Cluster banaliséAdresses publiques

RENATER

Architecture de sécurité consensuelle(version pour adressage public)

Grid’5000

Control commands

Lab’sNetwork

LAB/FirewallRouter

Test Cluster

ControlMaster

Site 1

Site 2

Site 3

Users(ssh loggin

+ password)

Firewall/nat

ControlSlave

Test Cluster

Boot server + dhcp

-rsync (kernel,dist)-orders (boot, reset)

ControlSlave

user site

System kernels and distributionsare downloaded from a boot server.They are uploaded by the users assystem images.

Architecture de contrôle

Grid’5000

• Partagé (préparation des expériences, taille S)– Pas de ressources dédiées (les utilisateurs se loguent

sur les nœuds et utilisent le système par défaut, pas de middleware, etc.)

• Réservé (à la Planet-Lab, taille M)– Ressources réservées non coordonnées (les utilisateurs

peuvent changer l’OS sur les nœuds qu’ils ont réservés)

• Batch (automatique, taille L ou XL) – Les ressources de Grid’000 sont réservées par les

utilisateurs et les expériences sont en mode automatique)

• Avec planification possible

Modes d’utilisation

Grid’5000

• 5 démos déclanchées à la demande :– Infrastructure G5k : on/off/reboot, OAR, etc.– Expériences réseaux– Installations/modifications middleware (Globus)– Environnements (DIET, Padico, PM2, Pro-active, XW, etc.)– Applications

• 3 objectifs– Expérimenter/éprouver l’infrastructure Grid’5000– Démo pour les extérieurs/présentations/politiques– Démo pour les grandes conférences (SC)

• 2 contraintes– Démos très visuelles– Démontrant les capacités de Grid5000 pas celles des

logiciels

Démos

Grid’5000• Networking

– End Host Communication layer– High performance long distance protocols– High Speed Network Emulation– Grid Networking Layer

• Middleware / OS– Grid’5000 control/access– Grid’5000 experiment automation– Scheduling / data distribution in Grid– Fault tolerance in Grid– Resource management– Grid SSI OS and Grid I/O– Desktop Grid/P2P systems

• Programming– Component programming for the Grid (Java, Corba)– GRID-RPC– GRID-MPI– Code Coupling

• Applications– Multi-parametric applications (Climate modeling/Functional Genomic)– Large scale experimentation of distributed applications (Electromagnetism, multi-material

fluid mechanics, parallel optimization algorithms, CFD, astrophysics – Medical images, Collaborating tools in virtual 3D environment

Recensement des expériences

Grid’5000

• Multi-parametric applications- ACI GRID-TLSE Project : expertise site for sparse linear algebra- Climate modeling and Global Change- DataGène Project : Functional genomic

• Large scale experimentation of distributed applications – JECS: a JAVA Environment for Computational Steering

• Distributed computing and interactive visualization of 3D numerical simulations (Caiman and Oasis project-teams)

• Collaborative environment • Computational Electromagnetism application (JEM3D)

– MECAGRID (ACI GRID project, Smash project-team)• Massively parallel computations in multi-material fluid mechanics• Study of numerical algorithms for heterogeneous computing platforms

– Grid computing for medical applications (Epidaure project-team)• Interoperable medical image registration grid service

– Optimal design of complex systems (Coprin project-team)• Evaluation of parallel optimization algorithms based on interval analysis

techniques• Study of load balancing strategies on heterogeneous resources

+ CFD, astrophysics,… applications+ Collaborating tools in virtual 3D environment.

Applications

Grid’5000 Ouverture à la communauté

• Grid’5000 pourrait, à terme, être ouvert à la communauté, au-delà des chercheurs en Grid ACI Masse de Données Core Grid Collaborations internationales

• Organisation d’une journée en Juin pour recenser les utilisateurs potentiels ACI Grid et ACI MD

• Intérêt de la communauté réseau (participation régulière au CP du RTP réseau).

• Par ailleurs intérêt de la communauté internationale, notamment Japon.