grid computing - uni-due.devrgeo projekt beispiele für grids globus toolkit seti@home classic ibm...
TRANSCRIPT
AnwendungenAnwendungen
GridGridGrid ComputingComputingComputingMiroslawa UtzkaMiroslawa UtzkaOktober 2004Oktober 2004
ÜbersichtÜbersicht
Einleitung Einleitung •• Einsatzgebiete und BeispielprojekteEinsatzgebiete und Beispielprojekte
GridGrid AnwendungenAnwendungen
BOINCBOINC•• Projekte rund um BOINCProjekte rund um BOINC
Seti@homeSeti@home
AusblickAusblick
Wenn Kosten eine Rolle spielenWenn Kosten eine Rolle spielen
PublicResource
ComputingRechen-leistung,
Speicher-kapazität
GRID Computing
Computer Cluster
Super-computer
Kosten
Mögliche Einsatzgebiete für das Mögliche Einsatzgebiete für das GridGrid ComputingComputing
Wissenschaft und ForschungWissenschaft und ForschungGeschäftsanwendungen Geschäftsanwendungen -- Kommerzielles Kommerzielles GridGrid ComputingComputing
Beispiele:Beispiele:•• Mathematische BerechnungenMathematische Berechnungen
•• FaktorisierungFaktorisierung von Zahlenvon Zahlen•• Berechnung von Nullstellen komplexer FunktionenBerechnung von Nullstellen komplexer Funktionen
•• Risikobewertung im BankwesenRisikobewertung im Bankwesen•• ChipChip--Design in der IndustrieDesign in der Industrie•• CrashCrash--SimulationenSimulationen•• ÖlfeldsucheÖlfeldsuche•• Wettervorhersage, KlimaforschungWettervorhersage, Klimaforschung•• Wissenschaftliche SimulationenWissenschaftliche Simulationen•• Diagnosen in der MedizinDiagnosen in der Medizin•• BiotechnikBiotechnik
BeispielprojekteBeispielprojekte
Geschäftsanwendungen Geschäftsanwendungen •• Banken und VersicherungenBanken und Versicherungen
•• Managen von AktienportfoliosManagen von Aktienportfolios•• Nutzung für komplexe RisikoanalyseNutzung für komplexe Risikoanalyse
•• Online Video Spiele MarktOnline Video Spiele Markt•• Zusammenarbeit von Zusammenarbeit von Butterfly.netButterfly.net und IBMund IBM-- Intelligente Verteilung von Rechenleistung innerhalb einer Intelligente Verteilung von Rechenleistung innerhalb einer
vernetzten Serververnetzten Server--Farm zur Realisierung einer besonders hohen Farm zur Realisierung einer besonders hohen Anzahl von SpielernAnzahl von Spielern
GridGrid AnwendungenAnwendungen
Distributed SupercomputingDistributed Supercomputing
High Throughput ComputingHigh Throughput Computing
OnOn--DemandDemand--ComputingComputing
Data Intensive ComputingData Intensive Computing
Collaborative ComputingCollaborative Computing
Distributed Supercomputing
Verbund von verschiedener Supercomputer die über Verbund von verschiedener Supercomputer die über Hochgeschwindigkeitsverbindungen gekoppelt sind.Hochgeschwindigkeitsverbindungen gekoppelt sind.
Frage im Vordergrund:Frage im Vordergrund:wie viele Rechenoperationen pro Sekunde erreicht wie viele Rechenoperationen pro Sekunde erreicht werden könnenwerden können
Beispiel:Beispiel:•• Im Bereich der EchtzeitanwendungenIm Bereich der Echtzeitanwendungen
Distributed Interactive SimulationsDistributed Interactive Simulations (DIS)(DIS)z.B. Simulierte Weltenz.B. Simulierte Welten
High Throughput ComputingKoordination und Nutzung von ungenutzten Ressourcen in schwach Koordination und Nutzung von ungenutzten Ressourcen in schwach gekoppelten Systemengekoppelten SystemenVon besonderem Interesse ist hier der Durchsatz der möglichen Von besonderem Interesse ist hier der Durchsatz der möglichen BerechnungenBerechnungenBerechnungen, die selbst für Supercomputer unmöglich in einer Berechnungen, die selbst für Supercomputer unmöglich in einer angemessenen Zeit zu lösen sindangemessenen Zeit zu lösen sind
Frage im Vordergrund:Frage im Vordergrund:Wie viele FLOPS pro Monat oder Jahr erreicht werdenWie viele FLOPS pro Monat oder Jahr erreicht werden
Beispiel: Beispiel: •• seti@home seti@home •• Cancer Research ProjectCancer Research Project
Bedingung:Bedingung:•• Es muss möglich sein das Problem/ die Daten in kleine Häppchen Es muss möglich sein das Problem/ die Daten in kleine Häppchen
zu unterteilen zu unterteilen →→ Vielzahl “überschaubarer” AufgabenVielzahl “überschaubarer” Aufgaben
On-Demand-Computing„Rechenleistung auf Bedarf“„Rechenleistung auf Bedarf“Vergleichbar mit dem elektrischen StromnetzVergleichbar mit dem elektrischen StromnetzIm Kern handelt es sich um eine DienstleistungIm Kern handelt es sich um eine DienstleistungUnternehmen können kurzfristig Rechenleistung bzw. Unternehmen können kurzfristig Rechenleistung bzw. Speicherkapazität anmieten Speicherkapazität anmieten •• kurzfristig, kurzzeitig kurzfristig, kurzzeitig →→ deswegen günstig!deswegen günstig!
•• Beispiel:Beispiel:•• Ressourcen können Berechnungen, Software oder Daten seinRessourcen können Berechnungen, Software oder Daten sein
Bsp. MeteorologieBsp. Meteorologie
Anbieter unter anderem sind:Anbieter unter anderem sind:•• HPHP•• IBMIBM
Data Intensive ComputingKonzentriert sich auf die Synthetisierung von neuen Konzentriert sich auf die Synthetisierung von neuen Informationen aus großen verteilten DatenbeständenInformationen aus großen verteilten Datenbeständen
„Die Nadel im Heuhaufen finden“„Die Nadel im Heuhaufen finden“
Daten sollen zu einem bestimmten Zeitpunkt lokal Daten sollen zu einem bestimmten Zeitpunkt lokal vorhanden seinvorhanden sein
Hohe Bandbreitenanforderungen Hohe Bandbreitenanforderungen
Mögliche Einsatzgebiete: Mögliche Einsatzgebiete: •• Hochenergie Physik Hochenergie Physik
((distributed system for high energy physicsdistributed system for high energy physics))•• Wettervorhersage in modernen meteorologischen SystemenWettervorhersage in modernen meteorologischen Systemen
Collaborative ComputingErmöglicht die bessere Koordination von Mensch –zu – Mensch Interaktionen
Der Fokus liegt auf Echtzeit- Interaktion
Beispiel:Argonne National LaboratoryArgonne National LaboratoryVRGeoVRGeo ProjektProjekt
Beispiele für Beispiele für GridsGrids
Globus Globus ToolkitToolkitSeti@home Seti@home ClassicClassicIBM IBM ZetaGRIDZetaGRIDCERNCERN--DataData GridGrid (LHC)(LHC)BOINC ProjekteBOINC Projekte
„Die Zukunft gehört“ BOINC „Die Zukunft gehört“ BOINC
BOINC BOINC Berkeley Berkeley Open Infrastructure for Network ComputingOpen Infrastructure for Network Computing
Ziele:Ziele:•• Kostengünstige PRC ProjekteKostengünstige PRC Projekte•• Abkopplung der Projekte von der SoftwareAbkopplung der Projekte von der Software•• Einfache und bequeme Multi Projekt TeilnahmeEinfache und bequeme Multi Projekt Teilnahme•• Überprüfbare und glaubwürdige ErgebnisseÜberprüfbare und glaubwürdige Ergebnisse•• Einfache Anpassung an neue oder sich ändernde AnforderungenEinfache Anpassung an neue oder sich ändernde Anforderungen•• Viele und verschiedene Wissenschaftliche Projekte Viele und verschiedene Wissenschaftliche Projekte
Struktur eines BOINC Projektes Struktur eines BOINC Projektes
Projekt BackendProjekt Backend DatenserverDatenserver
Web Web Interface'sInterface's Utility ProgrammeUtility Programme
BOINC DatenbankBOINC Datenbank
VVEERR
CCLLIIEENNTT
Serv
er K
ompl
exSe
rver
Kom
plex
SSEERR
SchedulingScheduling ServerServer
Wissenschaftliche AnwendungWissenschaftliche AnwendungBOINC Client Schnittstelle (API)BOINC Client Schnittstelle (API)
Basis ClientBasis Client
BOINC Software BOINC Software
Die Projekte rund um BOINC (1) Die Projekte rund um BOINC (1)
SETI@home (BOINC)SETI@home (BOINC) -- NothernNothern Hemisphere SearchHemisphere SearchIst am 22. Juni 2004 offiziell gestartet Ist am 22. Juni 2004 offiziell gestartet
Predictor@homePredictor@home ((protein structure predictionprotein structure prediction))Seit Juni 2004 im Alphatest Seit Juni 2004 im Alphatest
ClimatePrediction.netClimatePrediction.net(predictions of climate change and global warming)(predictions of climate change and global warming)Am 12. September 2003 begann offiziell der EchtbetriebAm 12. September 2003 begann offiziell der Echtbetrieb
AstroPulseAstroPulse ((Astronomical Pulse DetectionAstronomical Pulse Detection))Herbst 2004 soll der Testbetrieb wieder aufgenommen werdenHerbst 2004 soll der Testbetrieb wieder aufgenommen werden
Predictor@homePredictor@home
Proteinstrukturvorhersage
ClimatePrediction.netClimatePrediction.net
Die Projekte rund um BOINC (2) Die Projekte rund um BOINC (2)
Einstein@homeEinstein@home ((Erforschung von Gravitationswellen Erforschung von Gravitationswellen ))FrühjahrFrühjahr 2005 (Beitrag zum Weltjahr der Physik 2005 )2005 (Beitrag zum Weltjahr der Physik 2005 )
SETI@home IISETI@home II Southern Southern Hemisphere SearchHemisphere SearchVoraussichtlich Mitte 2005 Voraussichtlich Mitte 2005
Folding@homeFolding@home ((protein folding)protein folding)Demnächst als BOINC Projekt verfügbar Demnächst als BOINC Projekt verfügbar
LHC@homeLHC@home (Large (Large HadronHadron ColliderCollider)) PartikelbeschleunigerPartikelbeschleunigerAm 1. September 2004 Betatest gestartet (nur 1000 Teilnehmer)Am 1. September 2004 Betatest gestartet (nur 1000 Teilnehmer)29.09.2004 Echtbetrieb gestartet29.09.2004 Echtbetrieb gestartet
Folding@homeFolding@homeProtein Faltung bestimmte
LHC@homeLHC@home
Seti@home ÜberblickSeti@home ÜberblickS.E.T.I S.E.T.I SSearch for earch for EExtraxtraTTerrestrialerrestrial IIntelligencentelligence
•• Radioteleskop liefert gewaltige Datenmengen, die mit Radioteleskop liefert gewaltige Datenmengen, die mit herkömmlichen Großrechnern nicht zu verarbeiten sindherkömmlichen Großrechnern nicht zu verarbeiten sind
•• Teilnehmer installiert Teilnehmer installiert SETISETI--ClientClient (BOINC) dieser (BOINC) dieser bekommt Daten, wertet sie aus und sendet Ergebnis bekommt Daten, wertet sie aus und sendet Ergebnis zurückzurück
•• Client arbeitet nur wenn sich Rechner im Leerlauf Client arbeitet nur wenn sich Rechner im Leerlauf befindet (z.B. Bildschirmschoner)befindet (z.B. Bildschirmschoner)
Arecibo Radio Arecibo Radio ObservatoryObservatoryFertig gestellt: 1963Fertig gestellt: 1963Ort: Arecibo, Ort: Arecibo, Puerto Rico, USA Puerto Rico, USA
Durchmesser: 305 mDurchmesser: 305 mTiefe: 51,4 mTiefe: 51,4 mFläche des Fläche des Reflektors: 73.000 m² Reflektors: 73.000 m² Gewicht der Gewicht der Antennenplattform: Antennenplattform: 600 t 600 t Sendeleistung: Sendeleistung: 500 000 Watt 500 000 Watt
Das größte und Das größte und empfindlichste empfindlichste Radioteleskop der WeltRadioteleskop der Welt
AblaufAblauf1.1. Daten SammelnDaten Sammeln
2.2. SignaleSignale(Kandidaten) finden(Kandidaten) finden
3.3. Daten Integrität Daten Integrität prüfenprüfen
4.4. Störungen die durchStörungen die durchRadiofrequenzRadiofrequenz--InterfrenzenInterfrenzenentstehen entfernenentstehen entfernen
5.5. Endgültige Signale Endgültige Signale (Kandidaten) finden (Kandidaten) finden ––PersistentePersistente SignaleSignale
Scannvorgang an einem TagScannvorgang an einem Tag
Aktueller Stand des ScannensAktueller Stand des Scannens
Wie oft wurde bereits die Zone Wie oft wurde bereits die Zone gescannt gescannt
Seti@home BildschirmschonerSeti@home Bildschirmschoner
SETI@home: Statistik
Gesamt Letzte 24 Std.
BenutzerBenutzer
Empfangene ResultateEmpfangene Resultate
CPU Zeit insgesamtCPU Zeit insgesamt
FPOFPO
CPU Zeit/ CPU Zeit/ WorkunitWorkunit
5 115 495 2 715
1 532 818 080 3 248 739
2 045 520 Jahre 2 510 Jahre
5,5e+21 1,2e+19
11 Std. 41 min 6 Std. 46 min
Stand: 2 Sep 2004 11:48:06Stand: 2 Sep 2004 11:48:06
Wer sucht mit?Wer sucht mit?
Keine signifikante SignaleKeine signifikante Signale51 51 –– 100 signifikante Signale100 signifikante Signale1 1 –– 20 signifikante Signale20 signifikante Signaleüber 100 signifikante Signaleüber 100 signifikante Signale21 21 –– 50 signifikante Signale50 signifikante Signale
Die nächste Generation des InternetDie nächste Generation des Internet
NetworkingNetworking::TCP/IPTCP/IP
Kommunikation:Kommunikation:ee--mailmail, ftp, ftp
Information:Information:World World WideWide WebWeb
ee--BusinessBusinessWorld World WideWide WebWeb
Zusammenarbeit:Zusammenarbeit:Das Das GridGrid
Einheitliche Identifikation,einheitlicher Zugriff aufDokumente
Transaktionen über das Netz
Einheitlicher, schneller Zugriff aufIT Ressourcen für virtuelle Unternehmen
AusblickAusblickGridGrid CommputingCommputing bekommt massive Unterstützung von:bekommt massive Unterstützung von:•• Forschung (CERN,NASA, US National Labs usw.)Forschung (CERN,NASA, US National Labs usw.)•• IT Industrie (IBM, Microsoft, Sun usw.)IT Industrie (IBM, Microsoft, Sun usw.)•• Regierung (EU, BMBF)Regierung (EU, BMBF)
TechnischTechnisch-- wissenschaftliche Anwendungen werden „wissenschaftliche Anwendungen werden „gridfähiggridfähig“ “ gemachtgemacht
GridGrid Technologie wird mittelfristig in allen Betriebssystemen Technologie wird mittelfristig in allen Betriebssystemen integriert (oder optional verfügbar) sein.integriert (oder optional verfügbar) sein.
Implementierungen sind vorhanden wie z.B.:Implementierungen sind vorhanden wie z.B.:•• Globus Globus ToolkitToolkit•• DataData GridGrid ProjectProject•• BOINC SoftwareBOINC Software
WWG WWG –– World World WideWide GridGrid
Vielen Dank für Eure Vielen Dank für Eure
AufmerksamkeitAufmerksamkeit