Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

SuperComputing 2015 Bilan - 8 janv. 2016

  Présentation de l'opération de communication SC'15

  Retours sur le Technical Program et la partie Salon

Sommaire

Retour SC'15 08/01/2016 2

Le plus gros événement du genre autour du HPC, du réseau, du stockage et du traitement de données

  1 fois par an   3e semaine de novembre   Aux US

SuperComputing en quelques chiffres

Retour SC'15 08/01/2016 3

Salon   13 000 m2 d'exposition   350 exposants (issus de 24 pays)   + 12 000 visiteurs

Conférence   4 829 inscrits au Technical Program

o  Workshops o  Tutoriaux o  Posters o  Challenges étudiants, etc.

55% des visiteurs sont des 'non profit research & development'   31% issus de départements académiques   12% de centres de calcul

Plus de 83% des participants parcourent plus de 800 km pour assister à SC

Profil des participants à SC'15 et leurs attentes

Retour SC'15 08/01/2016 4

Pourquoi ils participent à SC’15?

69% Attend Industry Exhibits 69% Network with colleagues/vendors 65% Keep up to date on industry trends/issues

52% Meet with vendors 49% Get technical information/specifications

49% See specific companies or products 29% Evaluate/compare products for purchase

  Xavier Canehan – urbanisme, production   Salon + workshops

  Virginie Delebarre – communication   Salon

  Fabio Hernandez – recherche et LSST   Salon + technical program + workshops

  Frédéric Suter – recherche   Salon + stand Inria

  Gaëlle Shifrin – communication   Salon

  Loïc Tortay – stockage   Salon + technical program + workshops

Equipe du CC sur place

Retour SC'15 08/01/2016 5

5e participation du CC comme exposant   Vitrine du CC à un niveau international   Point de rencontre

o  Industriels : DDN o  Partenaires académiques : NCSA

2e année Stand 'Computing au CNRS'   En partenariat avec l'Idris et GENCI   Proposer une vue d'ensemble du calcul au CNRS   Resserrer les liens entre les deux centres

Stand 2015 (1/2)

Retour SC'15 08/01/2016 6

Partenaire industriel   UNIVA

o  3e année o  Lot du tirage au sort o  Communication

French Tour   4e année   (La plupart des) Autres stands français

o  Inria, CEA, BULL ATOS, HPC Magazine, starts-up   Levier de communication   Soutien logistique   Tirage au sort

Stand 2015 (2/2)

Retour SC'15 08/01/2016 7

  Overview

  Organization

  Hardware and software infrastructures

  Data center infrastructure

  Scientific applications

  Workload and software platforms

  Focus   LSST (CC)   E-Biothon project (Idris)   GENCI

  Miscellaneous

Contenu du stand

Retour SC'15 08/01/2016 8

L'occasion de tester un peu de réalité virtuelle

Retour SC'15 08/01/2016 9

Oculus Rift   Prêté par le Planétarium de Vaulx-en-Velin   Embarquement pour 'Le Solar System Trip'   Introduction à LSST

Google cardboards   Nouveauté   Oculus Rift du pauvre   Vue immersive du télescope LSST   Goodies

Deux temps forts : les tirages au sort du French Tour et d'UNIVA

Retour SC'15 08/01/2016 10

Objectif : faire du buzz à moindre frais

Avant   Communiqués sur les sites IN2P3, INSU et GENCI   Newsletter Teratec   Twitter

Pendant   Twitter

Après   Newsletter 'IN2P3 Informatique'   Retour en amphi

Communication

Retour SC'15 08/01/2016 11

12

Bilan de l'opération

Retour SC'15 08/01/2016

Plutôt une bonne édition   Nombre de visiteurs difficile à évaluer (goodies à distribution restreinte)   Stand régulièrement visité (hormis mercredi matin)

Bonne équipe avec profils variés

Stand   Concept qui fonctionne   Lieu de rencontre et discussions (notamment politiques)   Liens avec l’Idris et GENCI renforcés

French Tour   Moins de synergies   S’essouffle un peu

A noter : conférence intéressante d’Alan Alda sur la communication scientifique

(https://soundcloud.com/usetacc/sc15-science-advocate-and-emmy-award-winning-actor-alan-alda-to-open-sc15)

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour SuperComputing 2015 Fabio Hernandez

  Ma première participation à SuperComputing   Impressions générales ◦  Énorme conférence: 12.000+ participants, 350+ exposants ◦  Et pourtant, le réseau sans fil fonctionnait parfaitement ◦  Beaucoup d’activités simultanées: workshops, tutoriaux, exposition,

conférence, etc. ◦  Programme difficile à naviguer ◦  Intéressant pour rencontrer des personnes en position d’influencer les

décisions, dans un contexte professionnel mais plutôt décontracté ◦  Etre exposant vous positionne dans une catégorie supérieur vis-à-vis

de vos interlocuteurs   Mes sujets ciblés ◦  Stockage de données ◦  Transfert de données longue distance ◦  Accélérateurs de calcul

Préambule

Retour SC15 2016-01-08 14

  Network-aware data management workshop ◦ http://2015.ndm-meeting.org ◦ « Network integration with workload management: the PanDA

example »  Ou comment le système d’ordonnancement global de ATLAS intègre

les informations sur l’accès aux données (localisation, disponibilité, vitesse d’accès) pour l’ordonnancement des travaux

◦ « Managing scientific data with named data networking »   Extension possible des services fournis par le réseau afin de

cataloguer les objets persistants, de fournir des services d’accès en tenant compte de la charge et de la disponibilité

  Fait partie du travail sur la nouvelle génération de l’architecture réseau, financé par NSF

Workshops

Retour SC15 2016-01-08 15

  Parallel Data Storage Workshop ◦  participation partielle ◦  http://www.pdsw.org/index.shtml ◦ Ma conclusion: service de métadonnées des systèmes de fichiers en

réseau est le facteur limitant le passage à l’échelle de ce type de systèmes   Compatibilité avec POSIX est une fonctionnalité pas forcément nécessaire

pour toutes les applications ◦  Beaucoup d’activité de la part des utilisateurs (centres HPC) et des

fournisseurs (constructeurs de matériel et développeurs de logiciel) autour du stockage objet pour contourner cette limitation   Los Alamos, EMC, DDN, Hitachi, Scality, etc. ◦  Beaucoup d’activité aussi sur l’intégration des technologies mémoire

avec des caractéristiques différentes dans un continuum   Mémoire cache interne à la CPU ⇄ RAM ⇄ burst buffers (NVMe) ⇄ SSDs ⇄

stockage objet en réseau

Workshops (suite)

Retour SC15 2016-01-08 16

  Parallel Data Storage Workshop (suite) ◦ « DeltaFS: Exascale File Systems Scale Better Without

Dedicated Servers » ◦ « Taming the cloud object storage with MOS » ◦ « MarFS: a scalable near-POSIX metadata file system with

cloud based object backend »

Workshops (suite)

Retour SC15 2016-01-08 17

  Présentation de Alan Alda sur la communication autour de sujets liés à la science

  Présentation de M. Valero (Barcelona Supercomputing Center) sur l’évolution de la conception des machines HPC

  Présentation de Alex Szalay (Johns Hopkins) sur l’application des architectures initialement conçues pour le traitement de données d’astronomie à d’autres sciences (séquençage)

  Présentation sur la revue quadriennal des technologies pour l’énergie ◦ Ou comment la recherche exploitant HPC contribue à réduire la

consommation d’énergie d’origine fossile aux US   Présentation sur l’impact dans la société des simulations très

détaillées de tremblements de terre

Conférence

Retour SC15 2016-01-08 18

  Temps insuffisant pour explorer les nouveautés concernant les accélérateurs ◦ Xeon PHI vs NVIDIA GPU ◦ Les futures machines HPC du DOE seraient équipées

majoritairement de Xeon PHI et des hiérarchie de mémoire avec environ 1-2 GB par cœur de mémoire très rapide, plus rapide que la RAM actuelle

Divers

Retour SC15 2016-01-08 19

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Retour SC'15 Loïc Tortay

Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Super Computing 2015

Workshops et contacts

Visite TACC Xavier Canehan

2016-01-08

Workshops ◦ E2SC: Energy Efficient Super Computing

◦ Data-Intensive Computing in the Clouds

◦ Energy Efficient HPC Working Group

Constructeurs ◦ Refroidissement

◦ Solutions émergentes

Contacts divers

Merci à Frédéric Suter d’assurer la présentation

Détails dans Atrium: mindmap et présentations suivies

Présentation du plus pertinent de

SC2015 – X. Canehan 2016-01-08 2

Changements depuis SC2014 ◦ Les interactions annoncées entre gros consommateurs et

fournisseurs d’énergie se sont concrétisées

◦ iTUE n’est plus mentionné

Nouveautés ◦ Importances des métriques

◦ Nouvelles API mesures de consommation

Workshops

SC2015 – X. Canehan 2016-01-08 3

Programme détaillé

IBM SyNAPSE TrueNorth NeuroSynaptic Processor ◦ Haute efficacité en reconnaissance de motif

Node Power Capping at Tsubame ◦ TiTech – Institut de Technology de Tokyo

◦ PUE 1.09, 2ème au Green 500

◦ Refroidissement : Immersion huile / Eau chaude / Free Cooling

◦ Machine à 1MW, limitée à 800kW en été

stratégies statiques vs dynamiques

Importance du monitoring

Workshop – Energy Efficient SuperComputing

SC2015 – X. Canehan 2016-01-08 4

Programme détaillé

An Astronomy Use Case ◦ Masse de données pour compter les étoiles : LSST, Snovae

◦ Utilisation Hadoop/Spark

◦ Comparaison BigData/JVM vs SuperCalculateur/C

Solving the Scalability Challenge ◦ Importance de savoir bien attendre

◦ La gestion des timouts

Workshop – Data Intensive Computing in the Clouds

SC2015 – X. Canehan 2016-01-08 5

JVM lentes mais sauvées par les autres bottlenecks Localisation des données > bande passante du SC

Analyzing LHC Data on 10K Cores with Lobster and

Work Queue ◦ Analyse CMS à l’Université de Notre Dame

◦ Utilisation opportuniste de cœurs disponibles

◦ Workflow via Cluster Lobster, distribution soft via Parrot/CVMFS

Workshop – Data Intensive Computing in the Clouds

SC2015 – X. Canehan 2016-01-08 6

Programme détaillé et présentations

HPC Energy Efficiency in 3 Japanese Supercomputing

Centers ◦ 140 MW à Tokyo en 2020

◦ Immersion à huile utilisée chez les plus gros du Green500

◦ Efforts constants Tsubame (Titech) et K Computer (Riken)

Energy Efficient HPC WG

SC2015 – X. Canehan 2016-01-08 7

Monitoring Modélisation Meilleur

rendement IT

Plus de science!

Hess : Simulation et interprétation de données

◦ Similitude avec notre histoire

EEHPCWG - Energy Efficiency Panel with Oil & Gas Industry Participants

SC2015 – X. Canehan 2016-01-08 8

Mainframe 1980

Air cooled servers 1990

Hot/Cold corridors

2000

• Retrait mainframe • Ajout allées chaudes • Distribution triphasée

Nouveau datacenter

2010

Efficacité énergétique

2015 : passent en colocation dans un DC externe Importance de conserver la maîtrise de l’infrastructure du Datacenter

CGG: Oil immersion with GRC ◦ Évolution de 2 DC, classique vers immersion huile

◦ 1000 GPU, 10k CPU sockets

◦ Avis extrêmement positif

◦ +20 bacs GRC

Même taux de panne air vs huile

« Oil is messy, but not that bad »

composants serveurs à 20° de moins dans l’huile

◦ Aucune estimation chiffrée, mais gains annoncés substantiels

sur un PUE de départ à 1.3-1.4

EEHPCWG – Oil & Gas Industry

SC2015 – X. Canehan 2016-01-08 9

Nouvelles API à suivre absolument

EEHPCWG – Controls and Monitoring

SC2015 – X. Canehan 2016-01-08 10

◦DMTF remplacera IPMI Redfish, supporté par tous les acteurs de l’industrie Moderne : REST/JSON/HTTPS

◦PowerAPI décrit et monitore la totalité du système encore restreint au supercomputer

ouverture possible aux plus petites machines en particulier sur les serveurs que nous utilisons

Climatisation

SC2015 – X. Canehan 2016-01-08 11

Tous les types et combinaisons de techno existent !

Refroidissement à bain d’huile universel

Solutions extrêmement ingénieuses huile / Chgt Phase

Le refroidissement à air a toujours le vent en poupe…

Climatisation

SC2015 – X. Canehan 2016-01-08 12

Contact pris avec Calyos Calytronics est une solution de direct Cooling : • à changement de phase sur le CPU • ajout de radiateur, échangeur ou dissipateur • dans un châssis C6000 Société Belge qui cherche des testeurs en France Travail commandé par Intel

Jérome Gaysse ◦ Met en rapport des industriels français pour créer du hardware

avec des technologies nationales

◦ Aimerait connaître le CC pour développer Stockage ou Calcul

Stockage: spécificités HTC, besoins du CC / LSST

Calcul: avoir notre avis sur des designs ou tests de matériel

DDN ◦ Baie SFA intégrant dans ses contrôleurs disques des

conteneurs dCache

Serveur et tiroir de disques unifiée dans 1 seule baie

Performances acceptable pour Triumph

Consommation intéressante

◦ Intérêt signalé pour CC/LSST

Contacts divers

SC2015 – X. Canehan 2016-01-08 13

La salle machine de TACC vaut celles du CC-IN2P3 Si on avait des supercalculateurs, verts ou pas, plus de monde et plus d’argent. A part ça, c’est pareil.

Toutes proportions gardées, nos salles sont

similaires ◦ 10 MW entrée, 15000ft² dont 10000ft² utiles (~930m²) ◦ Faux-plancher ventilé

◦ Corridors chauds pour les supercalculateurs, allées ordonnées ouvertes pour la salle généraliste

◦ InRow APC simple et double largueur pour les SC

◦ 8 CRAC Liebert + InRow APC pour le reste

◦ STAMPEDE : 6400 nœuds Dell, 40 kW par rack 48U, 40

nœuds par rack, 2MW à 4MW IT en pic

Visite du Texas Advanced Computing Center

SC2015 – X. Canehan 2016-01-08 14

Visite TACC

SC2015 – X. Canehan 2016-01-08 15

Dalles de ventilation fermées sauf urgences

75 miles de fibres InRow APC

Largeur Couloir 2 dalles

Visite TACC

SC2015 – X. Canehan 2016-01-08 16

Espaces vides entre racks

Départs 32A triphasé côté racks (PDM)

Départs 32A triphasé côté onduleurs dans la salle

Visite TACC

SC2015 – X. Canehan 2016-01-08 17

Serveurs Dell de même modèles que les nôtres, refroidis à huile directement dans la salle machine

Visite Tacc, idées pour le CC

SC2015 – X. Canehan 2016-01-08 18

Bacs de rangement libellés sur les étagères en salle

Sécurité compacte

InRow en placement libre selon les points chauds

•Vaste plan lisible au cœur de la salle •Coordonnées lignes/colonnes affichées aux murs •Etiquettes des racks en dur