Download - Calcul québec florent parent
Campus DMZ
Florent.Parent@{calculquebec.ca | dti.ulaval.ca}
Chef de division, DTI, Université Laval
Responsable du bureau d’architecture, Calcul Québec
Networking National Team lead, Compute Canada
Colloque RISQ 2016
Objectifs
• En quoi cette présentation peut vous intéresser?• Calcul Canada: Infrastructures de calcul et de stockage
• 60+ PB de stockage pour les données de recherche
• Infrastructures importantes pour les chercheurs de votre campus
• Questions qui vous semble familières? • “J’utilise scp, rsync et c’est trop lent”
• “Je déplace mes données sur un disque USB”
• ”Comment puis-je améliorer le taux de transfert de données de mon laboratoire vers la plateforme nationale?”
Agenda
• Calcul Canada• Regroupement et consolidation
• Réseau national de recherche et d’éducation
• Transfert de données• Contraintes, considérations
• Science DMZ• Calcul Canada
• Campus et laboratoire de recherche
Regroupement et consolidation
Actuel
•27 sites
•50 systèmes
2018
•5-10 sites
Importance accrue du réseau entre les laboratoires de recherche et centres de calcul
Investissements technologique
https://www.computecanada.ca/la-plateforme-canadienne-de-cip-pour-la-recherche/
Réseau National de Recherche et d’Éducation
Transfert de données rapide vers la plateforme nationale?
Calcul Canada Campus
NREN/Canarie
“Gestion des attentes”
0
20
40
60
80
100
120
140
160
1 Gbps 10 Gbps 100 Gbps
Temps (min) pour transférer 1 To de données(cas idéal)
• Stockage• Disque dur rapide (7200rpm)
• 100 – 125 Mo/s = 1 Gbps
• USB-2: 480 Mbps• Grosseur et quantité de fichiers
• Serveur• Génération CPU, PCI, et OS
• Réseau• Vitesse et latence• Partage du réseau et TCP: perte de
paquets-> contrôle de congestion• Pare-feu, filtrage, IPS
2h 15mins
14 mins1.4 mins
Considérations:
http://fasterdata.es.net/
TCP: impact de la latenceSource: http://fasterdata.es.net/network-tuning/tcp-issues-explained/packet-loss/
Intra-campus
Intra-NREN
National
Un réseau conçu pour le transfert de données de rechercheà haut débit est requis
TheScienceDMZ* in1SlideConsistsofthreekeycomponents,allrequired:
• “Frictionfree”networkpath
– Highlycapablenetworkdevices(wire-speed,deepqueues)
– Virtualcircuitconnectivityoption
– Securitypolicyandenforcementspecifictoscienceworkflows
– Locatedatornearsiteperimeterifpossible
• Dedicated,high-performanceDataTransferNodes(DTNs)
– Hardware,operatingsystem,librariesalloptimizedfortransfer
– IncludesoptimizeddatatransfertoolssuchasGlobusOnline andGridFTP
• Performancemeasurement/testnode
– perfSONAR
• Engagementwithendusers
Detailsathttp://fasterdata.es.net/science-dmz/
* ScienceDMZisatrademarkofTheEnergySciencesNetwork(ESnet)
©2013Wikipedia
1 – ESnet Science Engagement ([email protected]) - 6/18/16
©2015,TheRegentsoftheUniversityofCalifornia,through
LawrenceBerkeleyNationalLaboratoryandislicensedunderCCBY-
NC-ND4.0
ScienceDMZ @Calcul Canada
Model architecture: Some variation expected between sites
Transfert de données rapide vers la plateforme nationale?
Campus(es)
RISQ
• Réseau de recherche et d’éducation au Québec
• Gère la dorsale et la boucle local vers le campus
• Propriétaire du réseau de fibre optique
• Dorsale IP/MPLS
Université Laval
• Propriétaire d’un réseau de fibre(MAN)
• Interconnecte les centres de recherche et hôpitaux
Campus DMZ
• “Science DMZ” distribuée
• Lien direct avec RISQ
• Routage et accès IP contrôlés
• IPv6
LAN/MAN
Preuve de concept en cours entre l’Université Laval et
le RISQ
Sommaire
• Transfert rapide de données sur un réseau étendu est indispensable, mais reste un défi
• Collaboration entre chercheurs, experts TI du campus, NREN et CalculCanada est essentielle pour la mise en place d’une solution
• Chercheurs: prévoyez infrastructure réseau locale dans vos demandesd’infrastructure
• Ne pas ré-inventer la roue: les solutions existent.
https://www.computecanada.ca/featured-fr/demonstration-dun-transfert-de-megadonnees-parmi-les-plus-rapides-au-canada-a-la-sc16/
Simon Guilbault (UL)Jocelyn Picard (UL)Jean-Sébastien Landry (UL)Quan Nguyen (McGill)
Richard Corbeil et l’équipe du RISQ!Thomas Tam et Richard Klinger (CANARIE)Jason Chong, Joseph Chen (UofT)Doug Carson (GTAnet)Doug Paterson (ORION)
DTN 100G à SuperComputing 16
Interconnexions internationales à SC16