EGEE is a project funded by the European Union under contract IST-2003-508833

Πλέγματα Υπολογιστών(GRIDS)

Μια απαλή εισαγωγήΜανόλης Βάβαλης

Πανεπιστήμιο Κρήτης

Διημερίδα «Εισαγωγή στα Grids»Ηράκλειο, 16-17 Μαρτίου 2006

Ηράκλειο, 15/3/2006 - 2

Περιεχόμενα

ΤιΤι είναιείναι τοτο GRID;GRID;ΙστορικήΙστορική ΑναδρομήΑναδρομήΕίδηΕίδη ΥπολογιστικώνΥπολογιστικών ΠροβλημάτωνΠροβλημάτων & & ΕφαρμογώνΕφαρμογώνΑναπτυξιακάΑναπτυξιακά & & ΕρευνητικάΕρευνητικά ΠρογράμματαΠρογράμματα σεσε GridGridΟιΟι ΒασικέςΒασικές ΑρχέςΑρχές τουτου GridGridΚατηγορίεςΚατηγορίες ΣυστημάτωνΣυστημάτων GridGridΟιΟι ΔυνατότητεςΔυνατότητες τουτου GridGridΟιΟι ΧρήστεςΧρήστες τουτου GridGridΗΗ ΑρχιτεκτονικήΑρχιτεκτονική τουτου GridGridΗΗ ΧρήσηΧρήση τουτου GridGrid

ΗΤιΤι είναιείναι τοτο GRID;GRID;

Ηράκλειο, 15/3/2006 - 4

Τι είναι πόροςπόρος

• Μία οντότητα που πρόκειται ναμοιραστεί π.χ.

• μονάδες επεξεργασίας,• αποθηκευτικές μονάδες, • μονάδες συλλογής δεδομένων• εκτελέσιμα προγράμματα• λογισμικό

• Δεν χρειάζεται να έχουν φυσικήυπόστασηπ.χ. ένα κατανεμημένο file

system

Ηράκλειο, 15/3/2006 - 5

Ιστορική Θεώρηση

• Τοπικοί Υπολογισμοί• Όλοι οι υπολογιστικοί πόροι σε μια τοποθεσία.• Οι άνθρωποι μετακινούνται προς τους πόρους για να εργασθούν.

• Απομεμακρυσμένοι Υπολογισμοί• Πόροι προσβάσιμοι από απόσταση.• Όλοι οι σημαντικοί πόροι είναι ακόμα συγκεντρωμένες σε ένα κεντρικό σημείο.

• Κατανεμημένοι Υπολογισμοί• Πόροι κατανεμημένοι γεωγραφικά.• Ειδικευμένοι και πρωτόγονοι τρόποι πρόσβασης, κυρίως μεταφορές δεδομένων.

• Υπολογισμοί Grid• Πόροι και υπηρεσίες κατανεμημένοι γεωγραφικά.• Τυποποιημένες διεπαφές χρήσης; Μεταφορές δεδομένων και υπολογισμών.

Ηράκλειο, 15/3/2006 - 6

Στόχος & Συνέπειες

• Ο στόχος σε μια πρόταση:• Να επιτρέψουμε επιστήμονες από διάφορες θεματικές περιοχές να

χρησιμοποιήσουν, να διαμοιραστούν και να διαχειρισθούν κατανεμημένους(γεωγραφικά) πόρους με έναν διαυγή τρόπο.

• Απλή δήλωση, πολλές συνέπειες:• Δεν περιορίζεται σε μια συγκεκριμένη εφαρμογή. • Ενέργειες και πολιτικές που υπερκαλύπτουν τοπικές διαχειριστικές &

πολιτικές πρακτικές.• Τυποποιημένες υπηρεσίες & APIs.• Απαιτείται κάποιο λογιστικό σύστημα.• Έλεγχος πρόσβασης σε δεδομένα και υπηρεσίες.• Δυναμικοί και ετερογενείς πόροι.

Ηράκλειο, 15/3/2006 - 7

Πριν το Grid…

Ηράκλειο, 15/3/2006 - 8

Μετά το Grid…

Ηράκλειο, 15/3/2006 - 9

Η “Συμμορία” των GRID

• Χρήστες• Επιστήμονες με διεργασίες που απαιτούν υπολογιστικούς πόρους.

• Ιδεατοί Οργανισμοί (Virtual Organizations – VOs)• Επιστήμονες από διαφορετικά ιδρύματα με κοινούς στόχους.• Διαμοιράζονται υπολογιστικούς πόρους για να πετύχουν τους κοινούς τους

στόχους.

• Διαχειριστές Συστημάτων (System Administrators)• Τεχνικοί υπεύθυνοι για την λειτουργία των πόρων ενός ιδρύματος.• Εξασφαλίζουν την αποδοτική και σωστή χρήση των διαθέσιμων πόρων.

• Ιδρύματα• Ερευνητικά, εκπαιδευτικά, χρηματοδοτικοί οργανισμοί, κυβερνήσεις, ...

• Φορείς καθορισμού προτύπων - τυποποίησης• OASIS, GGF, W3C, IETF, ...

Ηράκλειο, 15/3/2006 - 10

Αναλογίες: GRID – Ηλεκτρική Ενέργεια

• Η ηλεκτρική ενέργεια• Παράγεται με διάφορους τρόπους (από πυρηνικά εργοστάσια μέχρι ανεμόμυλους) σε

διάφορες χώρες• Αποθηκεύεται, μεταφέρεται, διανέμεται, πωλείται (και επανα-πωλείται) μέσω ιδιαίτερα

πολύπλοκων τεχνικών και εμπορικών διαδικασιών

• Δεν χρειάζεται να γνωρίζουμε τις λεπτομέρειες αυτές. Γιαεμάς

• Ο ηλεκτρισμός είναι κάτι που το παίρνουμε από την πρίζα.• Είναι διαθέσιμος, προσιτός, και αξιόπιστος.• Κάπου-κάπου πληρώνουμε τον λογαριασμό.• Είναι στην διάθεσή μας να

Ξοδέψουμε όσο λίγο ή πολύ θέλουμε.Επιλέξουμε (εκτός Ελλάδας) τον προμηθευτή ηλεκτρικής ενέργειας.

• Οι περισσότεροι καταναλωτές δεν έχουν ιδέα τι είναι ηλεκτρισμός – ξέρουν όμως ότι είναιδιαθέσιμος και κάνει πολλά πράγματα να δουλεύουν.

ΤονΤον 21 21 αιώνααιώνα χρειαζόμαστεχρειαζόμαστε έναένα παραπλήσιοπαραπλήσιο GRID GRID πουπου θαθαμαςμας προμηθεύειπρομηθεύει υπολογιστικήυπολογιστική ισχύισχύ ((καικαι γνώσηγνώση) ) χωρίςχωρίς νανα

μαςμας απασχολείαπασχολεί τοτο απόαπό πούπού καικαι τοτο πώςπώς..

Ηράκλειο, 15/3/2006 - 11

Αναλογίες: GRID – Ηλεκτρική Ενέργεια

Grid ηλεκτρικής ενέργειας Το Grid

Χρησιμοποιείς την ηλεκτρική ενέργειαχωρίς να σε ενδιαφέρει πού και μεποιον τρόπο παράγεται. Είναι

διαθέσιμη, προσιτή και αξιόπιστη.

Έχεις πρόσβαση σε υπολογιστική ισχύκαι αποθηκευτικό χώρο που βρίσκονται

σε όλον τον κόσμο

Τεράστια υποδομή που περιλαμβάνειετερογενή συστήματα (σπίτια, σταθμούς παραγωγής, σταθμούς

μεταφοράς, καλώδια).

Τεράστια υποδομή που περιλαμβάνειετερογενή υπολογιστικά συστήματα και

υπηρεσίες.

Μπορείς να χρησιμοποιήσειςηλεκτρικές συσκευές παντού, απλά

βάζοντας αυτές στην πρίζα.

Θα μπορείς να έχεις πρόσβαση σεαπομακρυσμένους υπολογιστικούς

πόρους μέσω οποιασδήποτεπλατφόρμας, απλά χρησιμοποιώντας

το Web. Ζητάς ηλεκτρικό ρεύμα και σου δίνεται. Μοναδική δέσμευση ότι θα πρέπει να

πληρώσεις το λογαριασμό.

Ζητάς υπολογιστικούς πόρους καιπρόσβαση σε δεδομένα και σουδίνονται. Προς το παρόν είναι

“δωρεάν”!

Ηράκλειο, 15/3/2006 - 12

Αναλογίες: GRID – WWW

• To World Wide WebWorld Wide Web παρέχειπρόσβαση σε πληροφορίεςαποθηκευμένες σε εκατομμύριαδιαφορετικές τοποθεσίες ανά τονκόσμο.

• Κατ’ αναλογία το GridGrid είναι μίααναπτυσσόμενη υποδομή πουπαρέχει πρόσβαση σε πόρους(υπολογιστική ισχύ, αποθηκευτικό χώρο ...) κατανεμημένο σε όλο τον κόσμο.

ΠηγήςΠληροφορίας

Server

Χρήστες

Ηράκλειο, 15/3/2006 - 13

Τι είναι το Grid?

• Συλλογή γεωγραφικά κατανεμημένων ετερογενώνυπολογιστικών πόρων“Most generalized, globalized form of distributed computing”

• Προσφέρει σημείο πρόσβασης σε ένα ενιαίο ισχυρόεικονικό υπολογιστή

• Ο χρήστης υποβάλλει σε αυτές εργασίες για εκτέλεση

• Υποβολή από τους χρήστες μεγάλου πλήθους εργασιώνχωρίς να ενδιαφέρονται που θα εκτελεστούν

Ηράκλειο, 15/3/2006 - 14

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”

Ηράκλειο, 15/3/2006 - 15

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Grid technology allows scientists:• access resources universally• interact with colleagues• analyse voluminous data• share results

Η τεχνολογία GRID μαςπαρέχει:

– Καθολική πρόσβαση σε πόρους– Αλληλεπίδραση με συναδέλφους– Ανάλυση δεδομένων μεγάλου

όγκου– Δημοσιοποίηση και διαμοιρασμό

αποτελεσμάτων

Ηράκλειο, 15/3/2006 - 16

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Περιλαμβάνει παραδοσιακούς

πόρους:• Πρωτογενή υπολογιστική ισχύ• Αποθήκευση (δίσκους, ταινίες,

...)• Συνδεσμολογία δικτύου

Οι πόροι είναι:• Ετερόκλητοι• Δυναμικοί

Ηράκλειο, 15/3/2006 - 17

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Ανιχνευτές παράγουνπελώριες ποσότητεςδεδομένων προς ανάλυση.

Μη-παραδοσιακοί πόροι:• Επιστημονικά όργανα• Τεχνολογίες συνδιάσκεψης

βίντεοήχοσυνομιλία

Ηράκλειο, 15/3/2006 - 18

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Πρόσβαση σε δεδομένα:

• Αρχεία δεδομένων & σύνολαδεδομένων, Βάσεις δεδομένων

• Μετα-δεδομένα αντιγράφων• Μετα-δεδομένα εφαρμογών

Διαχείριση δεδομένων:• Μεταφορά και αντιγραφή

δεδομένων• Εντοπισμός σχετικών

δεδομένων

Ηράκλειο, 15/3/2006 - 19

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Υπηρεσίες:

• Υψηλού επιπέδου υπηρεσίεςγια την διευκόλυνση της χρήσηςτου grid

π.χ. μεσάζων διαχείρισηςεργασιών προς εκτέλεσηπ.χ. Συστήματα ΑΑΑ

• Πόροι συγκεκριμένωνεφαρμογών

π.χ. δικτυακές πύλες

Ηράκλειο, 15/3/2006 - 20

Τι είναι το GRID;

Gri

d “M

iddl

ewar

e”Τι είναι το grid?• Middleware (μεσισμικό):

• Υπηρεσίες δια-χρηστικότητας• Υψηλού-επιπέδου υπηρεσίες

• Πόροι που:• Διατίθενται από τους

συμμετέχοντες• Διαμοιράζονται για αποδοτική

χρήση

Ηράκλειο, 15/3/2006 - 21

Επιστημονικά Κίνητρα

• Επανα-ανακάλυψη του τροχού:• Πολλές υπολογιστικές διεργασίες είναι κοινές.• Οι υψηλού-επιπέδου, τυποποιημένες υπηρεσίες μας βοηθούν να

αποφύγουμε επαναλήψεις και δημιουργίες πανομοιότυπων αντιγράφων.• Οι επιστήμονες επικεντρώνονται στα αποτελέσματα και όχι στα εργαλεία

ανάκτησης/παραγωγής τους.

• Οι ανάγκες σε πόρους αυξάνουν συν τω χρόνω:• Ξεκινάμε δοκιμές με μικρά προβλήματα.• Προχωράμε στα όρια για μέγιστη ¨ευκρίνεια¨.• Τα APIs των Grid επιτρέπουν την εύκολη εξεύρεση και χρήση επιπρόσθετων

πόρων.

• Πρόσβαση σε δεδομένα:• Ευκολότερη εύρεση και πρόσβαση υπαρχόντων δεδομένων. • Εύκολη δημοσιοποίηση αποτελεσμάτων (χτίσιμο πάνω σε αυτά).

Ηράκλειο, 15/3/2006 - 22

Οικονομικά Κίνητρα

• Η χρήση των υπολογιστικών πόρων εξαρτάται από τονχρόνο.

• Πριν από επιστημονικά συνέδρια.• Οικονομικές αναλύσεις στο τέλος χρήσης.• Ιούλιος και Αύγουστος είναι για διακοπές.

• Τωρινή λύση:• Αγορά συστήματος που ικανοποιεί ανάγκες αιχμής. Αδρανές σε περιόδους

μη-αιχμής.• Αγορά συστήματος μέσης ανάγκης. Καθυστέρηση αποτελεσμάτων..

• Η λύση του Grid:• Διαμοιρασμός πόρων για καιροσκοπική διαθεσιμότητα.• Αγόρασε πόρους μέσης ανάγκης αλλά πάρε τα αποτελέσματα χωρίς

καθυστέρηση.• Βελτίωσε την αξιοπιστία με αυτόματη αντικατάσταση σε περίπτωση

βλάβης.

Ηράκλειο, 15/3/2006 - 23

Καλές Υποψήφιες Εφαρμογές για GRID

• Δεδομένα• Μεγάλου όγκου (πολλά)• Κομματισμένα (διαφορετικές πηγές, τοποθεσίες, διατάξεις, μετα-δεδομένα) • Σε επαναλαμβανόμενα πολλά αντίγραφα

• Υψηλές Υπολογιστικές Απαιτήσεις• Τα προβλήματα της περιοχής μπορούν να παραλληλισθούν (με περιορισμένη

αλληλεπίδραση μεταξύ των διεργασιών).• Υπάρχει όφελος από την ύπαρξη πληθώρας CPUs

• Επιθυμία για διαμοιρασμό• Πόρων• Ανθρώπινου δυναμικού• Γνώσης

Επιπρόσθετο κέρδος: Απροσδόκητα μεγάλες απαιτήσεις σε κάποιο απότα παραπάνω.

Ηράκλειο, 15/3/2006 - 24

Πώς Μοιάζει μια Εφαρμογή Grid;

WebBrowser

ComputeServer

GlobusMCS/RLS

DataViewerTool

CertificateAuthority

CHEF ChatTeamlet

MyProxy

CHEF

ComputeServer

Resources implement standard access & management interfaces

Collective services aggregate &/or

virtualizeresources

Users work with client applications

Application services organize VOs & enable

access to other services

Databaseservice

Databaseservice

Databaseservice

SimulationTool

Camera

Sensor

TelepresenceMonitor

Globus IndexService

GlobusGRAM

GlobusGRAM

GlobusDAI

GlobusDAI

GlobusDAI

Application Developer 2

Off the Shelf 9

Globus Toolkit 4

Grid Community 4

ΗΙστορικήΙστορικήΑναδρομήΑναδρομή

Ηράκλειο, 15/3/2006 - 26

Σταθμοί προς το Grid

1990 : World Wide Web (CERN)επιτρέπει την επικοινωνία στο Grid

1991: Το λειτουργικό σύστημα Linux λειτουργικό σύστημα ανοικτού κώδικα

1994: Συστοιχίες υπολογιστών(cluster) (NASA)

χρήση καρτών Ethernet για διασύνδεση υπολογιστών μευψηλή ταχύτητα

το Grid είναι συλλογή από cluster

1995: Ανάπτυξη της γλώσσας Java (SUN)

Η γλώσσα προγραμματισμού του διαδικτύου

Ηράκλειο, 15/3/2006 - 27

Γιατί τώρα ?

• Ραγδαία ανάπτυξη των υπολογιστικών μονάδων

• Σημαντική μείωση του αποθηκευτικού κόστους (2005: ~1 euro/GB)

• Αύξηση της ταχύτητας των δικτύων υπολογιστών καιεύκολη πρόσβαση σε αυτά

οπτικές ίνεςασύρματες ζεύξειςνέες τεχνικές που χρησιμοποιούνται στο Διαδίκτυο

(ADSL, WiMax)

• Οι εργασίες που εκτελούνται σε υπολογιστικά συστήματααπαιτούν μεγάλο αριθμό υπολογισμών και την επικοινωνίαμεταξύ των ατόμων που τις εκτελούν

Ηράκλειο, 15/3/2006 - 28

Γιατί τώρα ?

• Ραγδαία ανάπτυξη των υπολογιστικών μονάδων

• Σημαντική μείωση του αποθηκευτικού κόστους (2005: ~1 euro/GB)

• Αύξηση της ταχύτητας των δικτύων υπολογιστών καιεύκολη πρόσβαση σε αυτά

οπτικές ίνεςασύρματες ζεύξειςνέες τεχνικές που χρησιμοποιούνται στο Διαδίκτυο

(ADSL, WiMax)

• Οι εργασίες που εκτελούνται σε υπολογιστικά συστήματα απαιτούν μεγάλοαριθμό υπολογισμών και την επικοινωνία μεταξύ των ατόμων που τις εκτελούν

Ηράκλειο, 15/3/2006 - 29

Το Ευρωπαϊκό Δίκτυο

Προϋπολογισμός: 178.643.730 178.643.730 €€Διάρκεια: 4 4 χρόνιαχρόνια

Ηράκλειο, 15/3/2006 - 30

Το Ευρωπαϊκό Δίκτυο

Ηράκλειο, 15/3/2006 - 31

Το Παγκόσμιο Δίκτυο

Ηράκλειο, 15/3/2006 - 32

Γιατί τώρα ?

• Ραγδαία ανάπτυξη των υπολογιστικών μονάδων

• Σημαντική μείωση του αποθηκευτικού κόστους (2005: ~1 euro/GB)

• Αύξηση της ταχύτητας των δικτύων υπολογιστών και εύκολη πρόσβασησε αυτά

οπτικές ίνεςασύρματες ζεύξειςνέες τεχνικές που χρησιμοποιούνται στο Διαδίκτυο (ADSL, WiMax)

• Οι εργασίες που εκτελούνται σε υπολογιστικάσυστήματα απαιτούν μεγάλο αριθμό υπολογισμών καιτην επικοινωνία μεταξύ των ατόμων που τις εκτελούν

Ηράκλειο, 15/3/2006 - 33

CERN

Mont Blanc, 4810 m

Downtown Geneva

Ηράκλειο, 15/3/2006 - 34

LHC (Large Hadron Collider)

• Το LHC θα φέρει σε σύγκρουση δύο ακτίνες πρωτονίων ενέργειας14TeV

• Διεξαγωγή 4 πειραμάτων με ανιχνευτές

ALICE

ATLAS

CMS

LHCB

ALICE

ATLAS

CMS

LHCB

Ηράκλειο, 15/3/2006 - 35

Ανιχνευτές του LHC

ATLAS

ALICE

CMS

LHCb

Ηράκλειο, 15/3/2006 - 36

Δεδομένα του LHC

Ξεκινώντας από αυτό το γεγονός …

Αναζήτηση αυτού του αποτυπώματος …

Καταγραφήγεγονότων

Αποθήκευσηγεγονότων

Επεξεργασίαγεγονότων

Καταγραφήγεγονότων

Αποθήκευσηγεγονότων

Επεξεργασίαγεγονότων

Ηράκλειο, 15/3/2006 - 37

Ανιχνευτές του LHC

CMSATLAS

LHCb

~10 PetaBytes / year~1010 events / year

~103 batch and interactive users ~ 20.000.000 CD / year

Concorde(15 Km)

Balloon(30 Km)

CD stack with1 year LHC data!(~ 20 Km)

Mt. Blanc(4.8 Km)

ΗΕίδηΕίδη ΥπολογιστικώνΥπολογιστικώνΠροβλημάτωνΠροβλημάτων καικαιΕφαρμογώνΕφαρμογών καικαι τοτοGridGrid

Ηράκλειο, 15/3/2006 - 39

Τι θέλουν οι επιστήμονες?

• Απεριόριστο υπολογιστική ισχύ

• Απεριόριστο αποθηκευτικό χώρο

• Αξιόπιστη πρόσβαση σε κοινούς πόρους, δεδομένα, εφαρμογές και αποτελέσματα που προέρχονται από τηνεπεξεργασία των δεδομένων

• Δυνατότητα να συνεργάζονται με συνάδελφους απλά, αποτελεσματικά

Ηράκλειο, 15/3/2006 - 40

Είδη υπολογιστικών προβλημάτων

• “Computer – centric” προβλήματα

Ανάγκη υπολογιστικής ισχύοςτο Grid συνδυάζει μεγάλης κλίμακας υπολογιστικούς πόρους

• “Data-centric” προβλήματα (“Data-intensive” προβλήματα)

Τεράστια ποσά δεδομένωνΤο Grid από γεωγραφικά κατανεμημένα repositories, βάσειςδεδομένων και ψηφιακές βιβλιοθήκες

συγκεντρώνει δεδομένααποθηκεύει δεδομένααναλύει δεδομένα

Ηράκλειο, 15/3/2006 - 41

Είδη υπολογιστικών προβλημάτων

• “Community-centric” problems ( collaborative εφαρμογές)

Αλληλεπίδραση άνθρωπου προς άνθρωπο

Συνεργασία μεταξύ ατόμων ή κοινωνικών ομάδων

“Virtual shared space”κοινή χρήση αρχείων δεδομένων, εξομοιώσεων

Πραγματικού χρόνου απαιτήσεις

Ηράκλειο, 15/3/2006 - 42

Κατηγορίες υπολογισμών

“fine-grained” παράλληλοι υπολογισμοίτο αποτέλεσμα ενός υποπροβλήματος εξαρτάται από τα αποτελέσματαάλλων υποπροβλημάτων (πρόβλεψη του καιρού)

high-performance computing

“coarse-grained” υπολογισμοίΚάθε υπόπρόβλημα ανεξάρτητο σε μεγάλο βαθμό από άλλαυποπροβλήματα (Monte Carlo εξομοιώσεις)

high-throughput computing

“embarassingly parallel” υπολογισμοίΚάθε υποπρόβλημα εντελώς ανεξάρτητο από τα άλλα υποπροβλήματα(κρυπτογραφική ανάλυση)

Συνδυασμός “fine” και “coarse” προσέγγισηςGrid

Ηράκλειο, 15/3/2006 - 43

High-throughput εφαρμογές

• Χωρισμός του προβλήματος σε πολλά διαφορετικά tasksανεξάρτητα μεταξύ τους

Προγραμματισμός των tasks για εκτέλεση στο Grid σεανενεργούς υπολογιστικούς πόρους

@home εφαρμογές

Ηράκλειο, 15/3/2006 - 44

High-performance εφαρμογές

• Supercomputing

• “Computer – centric” προβλήματα

• Επιστημονικές εφαρμογές

αστροφυσική οικονομικά μοντέλαDistributed Interactive Simulation μετερεωλογικά μοντέλαautomotive / aerospace βιομηχανία

ΗΑναπτυξιακάΑναπτυξιακά & & ΕρευνητικάΕρευνητικάΠρογράμματαΠρογράμματα σεσεGridGrid

Ηράκλειο, 15/3/2006 - 46

Αναπτυξιακά έργα Grid ανά τον Κόσμο

Access GridDISCOMDOE Science GridCondorESG (Earth System Grid)Fusion CollaboratoryGlobusGrADSoft (Grid Application

Development Software)Grid CanadaGRIDS (Grid Research

Integration Development & Support Center)

GriPhyN (Grid Physics Network)

iVDGL (International Virtual Data Grid Laboratory)

Music GridNASA Information Power GridNCSA Alliance Access Grid

AstroGridAVO (Astrophysical Virtual

Observatory)Comb-e-chemCrossGridDAME (Distributed Aircraft

Maintenance Environment)DAMIEN (Distributed Applications and

Middleware for Industrial Networks)DataTAGDiscovery NetDutchGridEDG (European DataGrid)EGSO (European Grid of Solar

Observations)GEODISE (Grid Enabled Optimisation

& Design Search for Engineering)

GRIA (Grid Resources for Industrial Applications)

Grid-IrelandGridLab (Grid Application

Toolkit and Testbed)GridPPLCG (LHC Computing Grid)MyGridNGIL (National Grid for

Learning Scotland)NorduGrid (Nordic Testbed for Wide

Area Computing and Data Handling)PIONIER GridReality GridScotGrid

ApGridApBioNetGrid Forum KoreaPRAGMA (Rim Applications and Grid Middleware Assembly)Grid Datafarm for Petascale Data Intensive ComputingGridbus Project

Ηράκλειο, 15/3/2006 - 47

Αναπτυξιακά έργα GRID στην Ευρώπη

• Ευρωπαϊκά Προγράμματα• European DataGrid• CrossGrid• DataTAG• LHC Computing Grid• GridLab• EUROGRID• DEISA• EGEE

• Εθνικά Προγράμματα• INFN Grid• NorduGrid• UK e-Science Programme

Ηράκλειο, 15/3/2006 - 48

inteliGRIDSemantic Grid based virtual organisations

ProvenanceTrust and provenance

for Grids

DataminingGridDatamining

tools & services

UniGridSExtended OGSA

Implementation based on UNICORE

K-WF GridKnowledge based

workflow & collaboration

GRIDCOORDBuilding the ERA in Grid research

Πρόσφατα GRID προγράμματα στο FP6

ΕκκίνησηΕκκίνηση: : ΚαλοκαίριΚαλοκαίρι 20042004ΧρηματοδότησηΧρηματοδότηση: 53 : 53 εκατεκατ..

OntoGridKnowledge Services for the semantic Grid

HPC4UFault tolerance,dependability

for Grid

Grid-based generic enablingapplication technologies to facilitate

solution of industrial problemsSIMDAT

EU-driven Grid services architecture for businesS

and industryNextGRID

Mobile Grid architecture and services for dynamic

virtual organisations Akogrimo

European-wide virtual laboratory for longer term Gridresearch-creating the foundation for next generation Grids

CoreGRIDSpecific support action Integrated project Network of excellence Specific targeted research project

Grid@Asia (Spring 2005) Towards EU-Asian Co-operation

Ηράκλειο, 15/3/2006 - 49

‘Eνα από τα GRID στις Η.Π.Α.

Ηράκλειο, 15/3/2006 - 50

‘Eνα από τα GRID στις Η.Π.Α.

Ηράκλειο, 15/3/2006 - 51

‘Eνα από τα GRID στις Η.Π.Α.

Ηράκλειο, 15/3/2006 - 52

‘Eνα από τα GRID στην Ιαπωνία

Ηράκλειο, 15/3/2006 - 53

‘Eνα από τα GRID στην Ιαπωνία

Ηράκλειο, 15/3/2006 - 54

‘Eνα από τα GRID στην Ιαπωνία

Ηράκλειο, 15/3/2006 - 55

‘Eνα από τα GRID στην Ιαπωνία

Ηράκλειο, 15/3/2006 - 56

‘Eνα από τα GRID στην Ιαπωνία

ΗΟιΟι ΒασικέςΒασικές ΑρχέςΑρχέςτουτου GridGrid

Ηράκλειο, 15/3/2006 - 58

“Five Big Ideas”

• Διαμοιρασμός των υπολογιστικών πόρων

Χρήστης αποκτάει πρόσβαση στο Gridχρησιμοποιήσει απομακρυσμένους πόρους, που θα του

επιτρέψουν να εκτελέσει εργασίες που δεν έχει τη δυνατότητα ναεκτελέσει σε ένα μεμονωμένο υπολογιστή ή σε μία συστοιχίαυπολογιστών

πρόσβαση σε απομακρυσμένο λογισμικό, υπολογιστικούςπόρους, δεδομένα, απομακρυσμένους αισθητήρες, τηλεσκόπια, επιστημονικά όργανα που ανήκουν σε ερευνητικά κέντρα.

Προβλήματα: Οι προσφερόμενοι πόροι ανήκουν σε διαφορετικούς ανθρώπους καιη χρήση τους υπόκειται σε διαφορετικές πολιτικές και περιορισμούς

Ετερογενείς πόροι ( διαφορετικά λογισμικά, διαφορετικοί κανόνεςπρόσβασης και ασφάλειας)

Ηράκλειο, 15/3/2006 - 59

“Five Big Ideas”

• Ασφαλής πρόσβαση

Access policyΣαφής καθορισμός της πρόσβασης των προμηθευτών των πόρων και τωνχρηστών και υπό ποιες προϋποθέσεις

AuthenticationΜηχανισμός που εξακριβώνει ποια είναι η ταυτότητα των χρηστών και τωνπόρων

AuthorizationΜηχανισμός που καθορίζει τις εργασίες που επιτρέπονται με βάση τουςκανόνες που ισχύουν

• Προβλήματα:Ασφάλειας στους υπολογιστές των Grid υποδομώνΣτον τρόπο μεταφοράς των δεδομένων μέσω του διαδικτύου

Ηράκλειο, 15/3/2006 - 60

“Five Big Ideas”

• Αποτελεσματική χρήση των πόρων

• Αύξηση του αριθμού των χρηστώνΜη επάρκεια των υπολογιστικών πόρωνΔημιουργία ουρών αναμονής πριν την εκτέλεση μίας εργασίας

Ανάπτυξη αλγορίθμων για την βέλτιστη ανάθεση των εργασιών στουςπόρους που διατίθενται

Βέλτιστη ανάθεση:Αριθμός εργασιών σε μία ουρά αναμονήςΥπολογιζόμενος χρόνος για την εκτέλεση των εργασιών πουπροηγούνταιΥπολογιστική ισχύ των πόρων

Ηράκλειο, 15/3/2006 - 61

“Five Big Ideas”

• Εξάλειψη της γεωγραφικής απόστασης

Απαιτούνται δίκτυα υψηλών ταχυτήτων για την διασύνδεση των πόρων( οπτικές ίνες, ανάπτυξη των διαδικτυακών τεχνολογιών )

Χρόνος μεταφοράς των δεδομένων μεγάλοςόχι ωφέλιμη η επεξεργασία δεδομένων σε ισχυρότερους αλλάμακρινούς υπολογιστικούς πόρους

Μικρή καθυστέρηση στην επικοινωνία των ατόμων έτσι ώστε ησυνεργασία να γίνεται σε πραγματικό χρόνο

Προβλήματα δικτύων: βελτιστοποίηση των πρωτοκόλλων μεταφοράς και δικτύουμεταγωγείς υψηλής απόδοσης τοπικών δικτύων Ethernet

Ηράκλειο, 15/3/2006 - 62

“Five Big Ideas”

• Δημιουργία κοινών προτύπων (Open Standards)

Μηχανικούς που αναπτύσσουν τις τεχνολογίες GridΕταιρείες που αναπτύσσουν τεχνολογίες διαδικτύου,

Μία εργασία που εκτελείται σε μία υποδομή Grid να εκτελείται με τονίδιο τρόπο και σε μία άλλη

Global Grid ForumΔημιουργία κοινών προτύπωνΣχεδιασμός μελλοντικών εφαρμογών και υπηρεσιών του Grid

Globus Toolkit

ΗΚατηγορίεςΚατηγορίεςΣυστημάτωνΣυστημάτωνGridGrid

Ηράκλειο, 15/3/2006 - 64

Κατηγορίες Grid Συστημάτων

• Υπολογιστικά Grids (Computational Grids)

Συλλογή κατανεμημένων υπολογιστικών υποδομών οι οποίεςλειτουργούν ως ενιαίος επεξεργαστής

Πραγματοποίηση επεξεργασιών δεδομένων με μεγάλες υπολογιστικέςαπαιτήσεις

ταχύτεραπιο αποτελεσματικάμε μικρό κόστοςχρησιμοποιώντας υπάρχουσες υποδομές

Επιστημονικός χώρος, βιομηχανία

Ηράκλειο, 15/3/2006 - 65

Κατηγορίες Grid Συστημάτων

• Grids Δεδομένων (Data Grids)

Ασφαλή πρόσβαση στα δεδομένα

Οι χρήστες και οι εφαρμογές διαχειρίζονται πληροφορίες από βάσειςδεδομένων που βρίσκονται σε κατανεμημένες πλατφόρμες:

εύκολααποτελεσματικά

Μειωμένο κόστος γιατί δεν υπάρχει ανάγκη για μεταφορά, αντιγραφήκαι συγκέντρωση δεδομένων σε ένα κεντρικό σημείο

Εφαρμογές Internet

Ηράκλειο, 15/3/2006 - 66

Κατηγορίες Grid Συστημάτων

• Grids Υπηρεσιών (Service Grids)

Πραγματοποίηση επεξεργασίας Πραγματικού Χρόνου

Προϋποθέσεις:η συλλογή δεδομένων από φυσικά κατανεμημένα εργαστήριαη ανάλυση των δεδομένωνη διαχείριση των δεδομένων

Ηράκλειο, 15/3/2006 - 67

Κατηγορίες Grid Συστημάτων

• Εμπορικά Grids

“Enterprise model”Πρόσβαση σε υπολογιστικούς πόρους μίας εταιρείας

αξιόπισταμε συνέπειαοικονομικά

• Μοίρασμα των πόρων:Αρκετά περιορισμένοΣτατικό

ΗΟιΟι ΔυνατότητεςΔυνατότητεςτουτου GridGrid

Ηράκλειο, 15/3/2006 - 69

Δυνατότητες του Grid

• Καλύτερη εκμετάλλευση πόρων

Το μηχάνημα του χρήστη μπορεί να είναι απασχολημένο ή ναχρησιμοποιεί το μεγαλύτερο μέρος της ισχύος του

Xρήση ενός grid για την εκτέλεση μίας εφαρμογής grid (Grid application) σε ένα απομακρυσμένο μηχάνημα

Εκτέλεση της εφαρμογής σε κάποιο άλλο αδρανές (idle) μηχάνημα στοGrid

Καλύτερη αξιοποίηση των υπαρχόντων υπολογιστικών πόρων

Προϋποθέσεις : Σχεδιασμός εφαρμογής με βάση τους μηχανισμούς του GridΤο απομακρυσμένο μηχάνημα να διαθέτει κατάλληλο υλικό καιλογισμικό για την εκτέλεση της εφαρμογής

Ηράκλειο, 15/3/2006 - 70

Δυνατότητες του Grid

• Παράλληλη υπολογιστική επεξεργασία (Parallel CPU Capacity)

Εφαρμογές υψηλών απαιτήσεων σε υπολογιστική ισχύ

Χωρισμός αλγορίθμων σε τμήματα που μπορούν να εκτελεστούνταυτόχρονα

Προβλήματα

Δύσκολο να χωριστεί μια εφαρμογή σε τελείως ανεξάρτητα κομμάτια

Συγκρούσεις όταν υπάρχουν κοινά αρχεία ή κοινές βάσεις δεδομένωνγια ανάγνωση και αποθήκευση δεδομένων

Ηράκλειο, 15/3/2006 - 71

Δυνατότητες του Grid

• Παράλληλη υπολογιστική επεξεργασία (Parallel CPU Capacity)

Τεχνικά προβλήματα στην επικοινωνία παράλληλων εργασιών:η περιορισμένη χωρητικότητα δικτύουτα πρωτόκολλα συγχρονισμούτο εύρος ζώνης προς συσκευές αποθήκευσης

Πολλές επιστημονικές εφαρμογές όπως: σωματιδιακή φυσική animationβιοιατρική επεξεργασία videοοικονομικά μοντέλα μετερεωλογικά μοντέλα

Ηράκλειο, 15/3/2006 - 72

Δυνατότητες του Grid

• Συνεργασία μέσω εικονικών οργανισμών

• Μεμονωμένα άτομα ή οργανισμοί που μοιράζονται υπολογιστικούςπόρους με έναν ευέλικτο, ασφαλές και οργανωμένο τρόπο

ετερογενή υπολογιστικά συστήματα να συμπεριφέρονται σαν έναμεγάλο εικονικό σύστημα που διαθέτει μεγάλη ποικιλία εικονικώνπόρων

Δεδομένα σε αρχεία ή βάσεις δεδομένων (Grid Δεδομένων)μεγαλύτερη ασφάλεια στη φύλαξη των δεδομένων λόγω κράτησηςαντιγράφων ασφαλείας (backup) των κρισιμότερων δεδομένων

Άλλα κοινά “αγαθά” μεταξύ των εικονικών οργανισμώνειδικό εξοπλισμό άδειεςλογισμικό υπηρεσίες (services)εύρος ζώνης σύνδεσης στο internet

Ηράκλειο, 15/3/2006 - 73

Εικονικοί Οργανισμοί (VOs)

• Ενταγμένοι στο πείραμα LHCALICE Πείραμα ALICEATLAS Πείραμα ATLASCMS Πείραμα CMSDTEAM Grid (LCG) Deployment GroupLHCB Πείραμα LHCBSixTrack Single Particle Tracking Code

CMS LHCb ATLAS ALICE

Ηράκλειο, 15/3/2006 - 74

Εικονικοί Οργανισμοί (VOs)

• Μη ενταγμένοι στο πείραμα LHCBabar Πείραμα BabarD0 Πείραμα D0H1 Πείραμα H1Zeus Πείραμα ZeusILC ILC CommunityBiomed EGEE Biomedical ActivityESR Earth Science ResearchEGEODE Expanding GEOsciences on DemandPhenoGrid Particle Physics PhenomenologyCompChem Computational ChemistrySEE-VO South Eastern Europe VO

• Περισσότερα στοιχεία για τους εικονικούς οργανισμούς σεεπόμενη διάλεξη

Ηράκλειο, 15/3/2006 - 75

Δυνατότητες του Grid

• Ισορροπία πόρων

Ενοποίηση πόρων από μεμονωμένα μηχανήματαΕικονικοί πόροι διαθέσιμοι σε όλους

Ανάθεση εργασιών σε “idle” μηχανήματα ή μηχανισμοί πουεξασφαλίζουν την εκτέλεση εργασιών υψηλότερης προτεραιότητας

Ισορροπία πόρων

Ηράκλειο, 15/3/2006 - 76

Δυνατότητες του Grid

• Αξιοπιστία

Παράλληλα υπολογιστικά συστήματα:

ακριβό hardware αύξηση αξιοπιστίαςεναλλακτικά συστήματα τροφοδοσίας και ψύξης

αδιάλειπτη λειτουργία τους αν διακοπεί η κύρια τροφοδοσία

υψηλό κόστος

Συστήματα Grid:

Συστοιχίες φθηνών υπολογιστών απομακρυσμένων συνήθως μεταξύ τους

Απώλεια μηχανήματοςΕκτέλεση εργασίας αυτομάτως σε άλλη συστοιχία του Grid

ΗΟιΟι ΧρήστεςΧρήστεςτουτου GridGrid

Ηράκλειο, 15/3/2006 - 78

Χρήστες του Grid

Χρήστες εφαρμογών (End Users): Χρησιμοποίηση των εφαρμογώνΑξιοποίηση της υπολογιστικής ισχύς και του αποθηκευτικού χώρου πουτους παρέχεται

Σχεδιαστές εφαρμογών (Application Developers): Σχεδίαση και ανάπτυξη εφαρμογών που μπορούν να εκτελεστούν σεGrid υποδομές

Σχεδιαστές των εικονικών οργανισμών ανάπτυξη εφαρμογώνγια τις προσομοιώσεις πειραμάτων

Ηράκλειο, 15/3/2006 - 79

Χρήστες του Grid

Διαχειριστές συστημάτων Grid (Grid Administrators):Διαχείριση των επιμέρους Grid υποδομών και εξασφάλιση της σωστήςλειτουργίας τους.(διαχειριστές δικτύου, διαχειριστές cluster, διαχειριστές cluster ευρύτερης γεωγραφικής περιοχής, διαχειριστές των προγραμμάτωνπου χρησιμοποιούνται από τους εικονικούς οργανισμούς)

Σχεδιαστές συστημάτων Grid (Grid Developers):Ανάπτυξη, σχεδιασμός και εφαρμογή των νέων υπηρεσιών

Σχεδιαστές εργαλείων (Tool Developers): Ανάπτυξη εργαλείων, compilers, βιβλιοθηκών

Παροχή αποδοτικών εφαρμογών των προγραμματιστικών μοντέλωνπου θα χρησιμοποιηθούν από τους προγραμματιστές εφαρμογών

Ηράκλειο, 15/3/2006 - 80

Χρησιμοποίηση του Grid

• Η κυβέρνηση και Διεθνής οργανισμοίΧρήση των ισχυρότερων υπολογιστικώνπόρων σε καταστάσεις έκτατης ανάγκηςανταλλαγή αρχείων δεδομένων απλά καιαποτελεσματικά μεταξύ ιδρυμάτωνκαταστροφές (πλημμύρες, πυρκαγιές), οικονομικά μοντέλα, urban planning

• Η εκπαίδευσηΤηλε-εκπαίδευση, διευκολύνοντας τηνσύνδεση διάφορων απομακρυσμένωντόπων και την αλληλεπίδραση καισυνεργασία μεταξύ των ατόμων

Ηράκλειο, 15/3/2006 - 81

Χρησιμοποίηση του Grid

• Η Επιστημονική κοινότητα και η Τεχνολογία

Εξομοίωση των εφαρμογών σε πραγματικό χρόνο

Εκτέλεση διάφορων υπολογισμών

Σύνδεση απομακρυσμένων μηχανημάτων σε φάρμες υπολογιστώνέτσι ώστε να μπορούν να παρακολουθούν και να διαχειρίζονται

Απαιτούνται:Πολλές μονάδες επεξεργασίαςΜεγάλο αποθηκευτικό χώροΠρόσβαση σε κοινές βάσεις δεδομένων.

Φυσική Υψηλών Ενεργειών, Αστρονομία, Μετεωρολογία, ΒιοϊατρικέςΕπιστήμες

Ηράκλειο, 15/3/2006 - 82

Χρησιμοποίηση του Grid

• Το περιβάλλονΕπίλυση των διάφορωνπεριβαλλοντολογικών προβλημάτων, όπως η τρύπα του όζοντος, το φαινόμενοτου θερμοκηπίου, η μόλυνση του νερούκαι του αέρα

• Ιδιωτικός τομέαςΠαρέχουν λογισμικό εφαρμογών καιυπηρεσίες ειδικού ενδιαφέροντοςΧρήστες των τεχνολογιών Grid για τιςδραστηριότητες τους

Η γεωγραφική διασπορά των τμημάτωντων εταιρειών

ανάπτυξη τοπικών Grids (intra –grids) κατά αναλογία με τα intranets

ΗΗΗ ΑρχιτεκτονικήΑρχιτεκτονικήτουτου GridGrid

Ηράκλειο, 15/3/2006 - 84

Αρχιτεκτονική του Grid

Χρήστες – Εφαρμογές

“Grid” Middleware

Πόροι

Δίκτυο

Επίπεδο ΔικτύουΕπίπεδο ΠόρωνΕπίπεδο ΜεσσισμικουΕπίπεδο Εφαρμογών

Ηράκλειο, 15/3/2006 - 85

Αρχιτεκτονική του Grid

Ηράκλειο, 15/3/2006 - 86

Αρχιτεκτονική του Grid

Ηράκλειο, 15/3/2006 - 87

Μεσισμικό (Middleware)

• Λογισμικό που οργανώνει και ενοποιεί διαφορετικούςυπολογιστικούς πόρους που ανήκουν σε ένα Grid

• Αυτοματοποιεί όλες τις «machine to machine) (M2M) διαπραγματεύσεις που απαιτούνται για να συνδυάσουντους υπολογιστικούς και αποθηκευτικούς πόρους και τοδίκτυο σε ένα ενιαίο εικονικό υπολογιστή

• LCG, Globus, Condor

Ηράκλειο, 15/3/2006 - 88

Οικογενειακό Δένδρο Middleware

EDG

Globus Condor

LCG Alien

EGEE

...

Παν-Ευρωπαϊκήπλατφόρμα δοκιμών.

Υποσύνολο Υπηρεσιών

του EDG.

Ηράκλειο, 15/3/2006 - 89

Μεσισμικό (Middleware)

• Βρίσκει το “κατάλληλο μέρος” για να εκτελεστεί μία εργασία

• Βελτιστοποιεί τη χρήση των γεωγραφικά κατανεμημένων πόρων

• Εξασφαλίζει αποτελεσματική πρόσβαση σε επιστημονικά δεδομένα

• Είναι υπεύθυνο για την ταυτοποίηση των χρηστών ότανυποβάλλουν μία εργασία σε ένα site

• Υπεύθυνο για εκτέλεση των εργασιών

• Καταγράφει την πορεία εκτέλεσης μίας εργασιών

• Επανακάμπτει από προβλήματα

Ενημερώνει το χρήστη όταν μία εργασία εκτελεστεί και επιστρέφει τοαποτέλεσμα

Ηράκλειο, 15/3/2006 - 90

Globus Toolkit

• Grid project Πρωτόκολλα

Υπηρεσίες

• Αναπτύσσεται από το Globus Alliance

• Λογισμικά εργαλεία για τη δημιουργία υπολογιστικών πλεγμάτων

Υποδομή “ανοιχτού κώδικα” που περιλαμβάνει πολλές υπηρεσίες πουχρησιμοποιούνται για την ανάπτυξη εφαρμογών Grid που σχετίζονταιμε την ασφάλεια, την ανακάλυψη πόρων, την διαχείριση πόρων καιτην πρόσβαση σε δεδομένα

• GRAM, GSI, MDS, GRIS, GIIS, GridFTP, Replica Catalog, Replica Management System

Ηράκλειο, 15/3/2006 - 91

Globus Toolkit

• Στηρίζεται σε υπάρχοντα πρωτόκολλα :» Δικτύων υπολογιστών» Αποθήκευσης δεδομένων

• Object-oriented approach

• Επιλογή υπηρεσιών ανάλογα με τις ανάγκες των σχεδιαστών τωνεφαρμογών

• Open source κώδικαςΒελτίωση των υπηρεσιών από τον καθένα

Ηράκλειο, 15/3/2006 - 92

Testbeds

Ηράκλειο, 15/3/2006 - 93

User Interface

• Επιτρέπει στους χρήστεςνα έχουν πρόσβαση στιςλειτουργίες του Grid

• Προσωπικό λογαριασμόκαι εγκαταστημένο τοπροσωπικό τουςπιστοποιητικό

• Πύλη για τα Grid Services

• Λειτουργίες που υλοποιείείναι:Εύρεση όλων τωνυπολογιστικών πόρων που είναισυμβατοί με τις απαιτήσεις μιαςυποβαλλόμενης εργασίας.Υποβολή (submit) μίαςεργασίαςΠαρακολούθηση της πορείαςεκτέλεσης της εργασίαςΑκύρωση ενός ή περισσοτέρωνεργασιώνΑνάκτηση των πληροφοριώνυποβολής μίας εργασίαςΛήψη της εξόδου ενός ήπερισσοτέρων εργασιών πουέχουν ολοκληρωθείΑνάκτηση των δεδομένωνεξόδων από τις εργασίες πουεκτελέστηκαν

Ηράκλειο, 15/3/2006 - 94

Resource Broker

• Λαμβάνει τις εντολές χρηστών για την υποβολήμίας εργασίας

• Εξετάζει τους καταλόγους πληροφοριών για ναβρει τους κατάλληλους υπολογιστικούς πόρουςγια την εκτέλεση της εργασίας

Ηράκλειο, 15/3/2006 - 95

Computing Element

• “Grid interface”

• Διαχειρίζεται μία φάρμα ομογενών υπολογιστικών κόμβων τα οποίαονομάζονται Worker Nodes

• Εκτελεί τις βασικές συναρτήσεις των ουρών αναμονής

• Χρησιμοποιείται για την υποβολή των εργασιών για εκτέλεση σταWorker nodes

• Παρακολουθεί την κατάσταση εκτέλεσης μίας εργασίας

Κάθε τόπος (site) που αποτελεί μέρος του LCG-2 Grid διαθέτει ένα ήπερισσότερα CE και μία φάρμα από WNs που ανήκουν σε αυτό

Ηράκλειο, 15/3/2006 - 96

Worker Node

• κόμβοι για να εκτελούν τις εργασίες

• απαιτείται μόνο μικρό μέρος του middleware για να είναισυμβατά με την τεχνολογία gridπ.χ βιβλιοθήκες εφαρμογών

εντολέςApplication Programming Interfaces (API)

Ηράκλειο, 15/3/2006 - 97

Storage Element

• Πρόσβαση και υπηρεσίες σε αποθηκευτικούς χώρους

• Κάθε τόπος (site) που αποτελεί μέρος του LCG-2 Grid έχειένα ή περισσότερα Storage Element διαθέσιμα

Ηράκλειο, 15/3/2006 - 98

Information System (IS)

• Πληροφορίες σχετικά με τους υπολογιστικούς πόρους και τηνκατάσταση στην οποία βρίσκονται

• Οι πληροφορίες γνωστοποιούνται από υπηρεσίες που εκτελούνταιστους ίδιους τους κόμβους

• Οι πληροφορίες αποθηκεύονται σε βάσεις δεδομένων

• Χρησιμοποιούνται για την αντιστοίχηση των εργασιών με τους κόμβουςπου ικανοποιούν τις απαιτήσεις τους και να τη δρομολόγηση τους σεαυτούς

• Χρησιμοποιούνται για την επιλογή αποθηκευτικών πόρων

• Χρησιμοποιούνται από τα monitoring systems

Ηράκλειο, 15/3/2006 - 99

Information System (IS)

• Grid Resource Information Service (GRIS)Εκτελείται σε κάθε Computing Element και Storage Element Επιστρέφει στατικές και δυναμικές πληροφορίες, οι οποίεςαποθηκεύονται σε μία βάση δεδομένων

• Grid Information Index Service (GIIS)Εκτελείται σε κάθε τόπο (site) που αποτελεί μέρος του LCG-2 GridΚαταχωρούνται σε αυτό όλα τα τοπικά GIISΚάθε φορά που γίνεται μία ερώτηση, αυτό με τη σειρά του ρωτά όλα τατοπικά GRISΕπιστρέφει το συνολικό αποτέλεσμα

• Berkeley Database Information Index (BDII)Εκτελεί περιοδικά ερωτήσεις στα GRIS και GIIS που υπάγονται σε αυτόΔιαφορετικό BDII για κάθε εικονικό οργανισμό (VO)

Ηράκλειο, 15/3/2006 - 100

Monitoring systems

• GridICEΑποτελεί το πιο ολοκληρωμένο monitoring system

συλλογήαποθήκευσηπαράσταση

πληροφοριών για την κατάσταση των υπολογιστικών πόρων

Πληροφορίες χαμηλού επιπέδου όπως το φορτίο των υπολογιστικώνμονάδων, διαθέσιμη μνήμη, χρήση αποθηκευτικών μέσων, κτλ

Πληροφορίες για την κατάσταση των υπηρεσιών

Πληροφορίες για το Grid, όπως τον αριθμό των υπολογιστικώνμονάδων που χρησιμοποιούνται, τον αριθμό των εργασιών πουεκτελούνται και τον αριθμό των εργασιών που αναμένουν ναεκτελεστούν, τις ελεύθερες υπολογιστικές μονάδες και τον διαθέσιμοαποθηκευτικό χώρο, κτλ.

Ηράκλειο, 15/3/2006 - 101

GridICE(http://gridice2.cnaf.infn.it:50080/gridice/site/site.php)

Ηράκλειο, 15/3/2006 - 102

Monitoring systems

• R-GMA

• Υπηρεσία για παρακολούθηση και διαχείριση πληροφοριών σεκατανεμημένα συστήματα

• Εμφανίζεται στους χρήστες σαν μία μεγάλη σχεσιακή βάση δεδομένων. Για την εκτέλεση ερωτήσεων χρησιμοποιείται η γλώσσα SQL.

Producer

Consumer

RegistryΜεταφοράδεδομένων

ΑποθήκευσηΤοποθεσίας

ΕύρεσηΤοποθεσίας

ΗΗΗ ΧρήσηΧρήσητουτου GridGrid

Ηράκλειο, 15/3/2006 - 104

Υποβολή εργασίας στο Grid

UIWN

WN

CE

SERB

WN

SEΥποβολή εργασίας

Ηράκλειο, 15/3/2006 - 105

Υποβολή εργασίας στο Grid

UIWN

WN

CE

SERB

WN

Εργασία εκτελέστηκε

Ηράκλειο, 15/3/2006 - 106

Αναφορές

Η ομιλία αυτή περιέχει υλικό από ομιλίες των:– Dave Berry (NeSC) & David Fergusson– Andrew Grimshaw (Univ. of Virginia)– Bob Jones (EGEE Tech. Director)– Mark Parsons (EPCC)– EDG Training Team– Ian Foster (Argonne National Laboratories)– Jeffrey Grethe (SDSC)– Tony Hey (The National e-Science Centre)– EU IST presentations– M. Petitdidier (EGAPP presentation)– O. Gervasi (EGAPP presentation)– Την ιστοσελίδα του Grid café

http://gridcafe.web.cern.ch/gridcafe