web12 semantic web: grid computing -- descrieri semantice

Dr. Sabin Buraga http://www.purl.org/net/busaco

Semantic Web <?xml version=“1.0” ?><curs desc=“…” />

Web semantic

Dr. SabinCorneliu BuragaFacultatea de Informatica

Universitatea “A.I.Cuza” – Iasi, Romania

http://www.infoiasi.ro/~busaco/



Grid descris semantic



“A successful tool is one that was usedto do something undreamt of by its author.”

Stephen C. Johnson



necesitati

O infrastructura computationala distribuitadestinata rezolvarii de probleme complexe,

necesitind putere mare de calcul



necesitati

Oferirea de suport pentru cautarea si regasireainformatiilor (cunostintelor),

indiferent de localizarea lor fizica



grid computing

Analogie cu retelele electrice (power grids)anii ’90 – Ian Foster

executarea de task‐uri pe mai multe masini,privite ca un calculator unic

I. Foster & C. Kesselman, The Grid: Blueprint for a New Computing Infrastructure,

Morgan Kaufmann, 1999



grid computing: scopuri (Abbas, 2004)

Partajarea flexibila, sigura & coordonataa resurselor intre colectii dinamice de indivizi,

institutii si resurse




Abilitatea de a forma organizatii colaborativevirtuale (virtual organizations)– eventual, constituite dinamic –

partajind aplicatii & date intr‐un mediu deschis si eterogen pentru a rezolva mutual diverse probleme




Abilitatea de a agrega un volum considerabilde resurse computationale dispersate geografic in vederea solutionarii unor probleme complexe



grid computing: caracterizare

Infrastructura hardware & software care oferaacces permanent, ieftin, de oriunde,

in maniera consistenta, la resurse de calcul

Modalitate de a procesa in maniera distribuitainformatiile (cunostintele) disponibile in Internet




Tehnologii inrudite:Peertopeer (P2P)Cluster computingInternet computingWeb computingCloud computing




Resursa:entitate partajabila, existenta in cadrul unui Grid

tipuri de resurse:de calcul: PDA, PC, statie de lucru, server, clusterde stocare: hard disk, RAID (Redundant Array of Independent Disks), SAN (Storage Area Network),…

de tip I/O: senzori, retele, imprimante etc.logice: utilizatori, contoare de timp,…



istoric

Generatia 1 – proiectul Globus (Goble & Foster)aplicatii necesitind putere mare de calculinclude protocoale (X.509, LDAP, FTP) siinstrumente de dezvoltare eterogene

suport pentru accesul la & transferul de fisierefoloseste tehnologiile Internet, dar ignora Web‐ul

dezvoltare in medii academicepartajarea resurselor se realizeaza via GridFTP

urmat de Legion, Condor, Unicore,…



istoric

Generatia 2 – OGSA(Open Grid Services Architecture)

aplicatii necesitind prelucrarea unor cantitatimari de date (data intensive knowledge intensive)

locul central este luat de serviciile Webstandardizare via GGF (Grid Global Forum)dezvoltare in medii preponderent industriale

numeroase implementari, inclusiv Globus Toolkit



istoric

Generatia 3 – prezent & viitoroferirea de servicii specifice

pentru aplicatii bazate pe arhitectura Gridintegrare de paradigme si tehnologiiprivitoare la calcul distribuit si paralel:

agenti softwareservicii Webpeertopeerwireless

cloud computing



istoric

Generatia 3 – prezent & viitordomenii de interes (Jeffery & Kacsuk, 2004):

infrastructuraarhitecturamiddlewareprogramareaplicatiiproiecte



istoric

Generatia 3 – prezent & viitordirectii de cercetare (mai ales in Europa):

tehnologii Grid genericenoi arhitecturi Grid

descrierea semantica a serviciilor Grid modele de programare, integrarea datelor, colaborare,

descoperirea cunostintelor, securitate,...

dezvoltarea retelei de excelenta CoreGRID:www.coregrid.net



arhitectura

Arhitecturile Grid utilizeaza simultan un numarmare de resurse (hardware, software, logice)



arhitectura

Aspecte privind partajarea resurselor Grid:Identitate & autentificare

Autorizare & asocieri de politici de acces (policy)Descoperirea resurselorCaracterizarea resurselor

Alocarea resurselorManagementul resurselor

Contorizare, plata (billing), contracte privitoare la serviciile oferite – Service Level Agreement (SLA)

Securitate



arhitectura

Aspecte de interes:interoperabilitatea protocoale generice

arhitectura Grid ≡ arhitectura protocolului (Foster, 2002)

arhitectura Grid este o arhitectura a serviciilor utilizate(de baza si de nivel inalt), independenta de API si SDK

punct de vedere impartasit de SOA



arhitectura

Ce servicii de baza trebuie oferite?Numire (Naming)

Autorizare (Authorization)Securitate (Security)

Confidentialitate (Privacy)…



arhitectura

Ce servicii de nivel inalt trebuie oferite?Controlul activitatilor – fluxuri de lucru (Workflows)

Tranzactii (Transactions)Data/relation mining

Descoperirea cunostintelor (Knowledge discovery)Managementul cunostintelor

…



arhitectura

Necesitatea unei arhitecturi stratificate (Abbas, 2004):



FabricFurnizeaza resurse – de calcul, de stocare, retea,directory,… – pentru care accesul partajat e mediat de protocoalele Grid‐ului

Ofera componente care implementeaza operatiilocale, specifice fiecarui tip de resursa

arhitectura



ConnectivityNucleu al protocoalelor de comunicare si de autentificare pentru tranzactiile de retea

Servicii minimale pentru comunicare: transport, dirijare si numire

Moduri de autentificare: inscriere singulara (user subscribe), delegare, integrarea cu solutii de securitate locala, relatii bazate pe incredere (trust)

arhitectura



ResourceScop: definirea de protocoale (+API/SDK) pentru negocieri sigure, monitorizare, control, contabilitate si plata a operatiilor de partajare a resurselor individuale

Protocoalele se concentreaza asupra resurselor individuale, iar problemele legate de starea globala sunt ignorate la acest nivel

arhitectura



ResourceUtilizarea de protocoale de informare

Obtinerea informatiilor despre structura si stareaunei resurse: configuratie, incarcare, politica de utilizare,...

arhitectura



ResourceProtocoale de administrare

Negocierea accesului la resursele partajate:solicitari(e.g., calitatea serviciilor – QoS, rezervare)operatii(e.g., creare, accesare de date,…)

Instanțierea relatiilor de partajareMonitorizarea/controlul starii unei operatii

arhitectura



CollectiveOfera protocoale si servicii ce privesc global resurseleGrid‐ului – e.g., faciliteaza interactiunile dintre seturide resurse

Poate implementa servicii de partajare a resurselor:Catalogare (directory)Co‐alocare, planificare si intermediereMonitorizare si diagnosticareReplicare si descoperireColaborare

arhitectura



ApplicationCuprinde aplicatiile‐utilizator care opereazape baza arhitecturii Grid

Medii de programare + biblioteci de nivel inaltExploatarea sinergiei dintre ebusiness & servicii Grid

arhitectura



Nivelul fabric include protocoalele & API‐urileoferind acces la resursele partajate

viziune logica asupra resurselor si nu una fizica

protocoale & API‐uri



Connectivity layer include protocoale de bazapentru tranzactii de retea specifice Grid‐ului

protocoalele Internet standard

protocoale vizind securitatea: Grid Security Infrastructure (GSI) autentificare, autorizare & protejare




Resource layer – protocoale pentru initierea &controlul partajarii resurselor localemanagementul alocarii resurselor Grid‐ului:Grid Resource Allocation Management (GRAM)alocarea, rezervarea, monitorizarea & controlul

de la distanta ale resurselor GridFTP – acces & transport eficient al datelorserviciul de informare privind resursele Grid: Grid Resource Information Service (GRIS)

acces la structura si starea unui nod al Grid‐ului




Nivelul collective specifica protocoale oferindservicii la nivel de sistem pentru exploatarea

pe scara larga a unui sistem Grid

servicii de indexare si meta‐catalogare pentru structurarea si accesarea resurselor

broker‐i de resurse pentru descoperirea sialocarea resurselor conform cerintelor aplicatiilor




Arhitectura stratificata conceptuala a Grid‐ului (R. Buyya, 2002)



Tipuri de Grid – la nivelul localizariiconform (Buyya, 2002):

Global GridEnterprise GridCluster Grid

tipuri



tipuri



Global Gridreprezinta o colectie de Grid‐uri de tip enterprisesi cluster, plus alte resurse distribuite geografic pe o arie larga – continent sau planetapolitica de utilizare globala protocoale generale de partajare a resurselor

numit si inter grid (IBM)

tipuri



Enterprise Gridfaciliteaza partajarea de resurse intre mai multedepartamente si colective ale unei organizatii(virtuale)

politici de management a resurselornumit si intra grid ori campus gridin contextul extranet: Extraprise Grid

tipuri



Cluster Gridreprezinta o colectie de calculatoare interconectatefolosite (si vazute) ca o resursa unica la nivel dedepartament/grup departmental grid (Sun) / infra grid (IBM)

face posibila utilizarea la maxim a resurselor colectieide calculatoare (PC‐uri, laptop‐uri, smartphone‐uri,…)

cluster ≡ ansamblu de calculatoare – dintr‐un LAN –care formeaza o resursa unica de calcul

tipuri



Cluster Gridalternative: NOW (Networks of Workstations), COW (Clusters of Networks Workstations)

tipuri



tipuri



Categorii de clustere (Dan Grigoras):dedicate

constituite din noduri omogene: procesor, OS,…– rack de placi de baza

de intreprindereeterogene, distribuite geografic, control limitatactivitatile locale au prioritate mai mare decat cele ale intreprinderii

tipuri



Categorii de clustere (Dan Grigoras):cyclesharing

partajeaza ciclurile procesoareloradhoc

create in mod dinamic pentru rezolvarea unor probleme tranzitorii

mobilepur mobile (dispozitive mobile: telefon, smartphone, laptop, palmtop, consola de jocuri,…) sau mixte (mobile + fixe)

tipuri



tipuri



Aplicatii specifice cluster computing:Procesari intensive(HPC – High Performance Computing, supercomputing)

calcul numericgrafica computationala 2D/3D(rendering – e.g., raytracing, shading,…),

simulari: biocomputing, domeniul militar, meteo,…

Exemplu autohton: cluster raytracinglucrare de licenta – Silviu Homoceanu, 2006

tipuri



Aplicatii specifice cluster computing:Stocare distribuita a unui volum mare de date (high availability) + depozite de date (warehouses)a se vedea serviciile de stocare de la Amazon

Cautarea distribuita de resurseComert electronic pe scara largaAplicatii critice rulind in timp‐real – e.g., enhancing trafic safety (Kashif Din, 2008): www.arsenal.ac.at

Divertisment – de exemplu: jocuri online

tipuri



Implementare: Beowulf –www.beowulf.org(T. Sterling, W. Gropp & E. Lusk, 2003)Suport pentru constituirea de clase de cluster‐e (lowend/highend)

Calculatoarele pot fi adaugate dinamicComunicare via MPI (Message Passing Interface)Model de programare independent de infrastructura, de tehnologiile de retea sau de componente

Nodurimaster (coordonatori) si worker (procesatori)Alternativa la alte abordari precum OpenMOSIX

tipuri



tipuri



Pentru alte detalii privitoare la cluster computinga se consulta:

www.openclustergroup.org

www.linuxhpc.org

tipuri



Tipuri de Grid – la nivelul logicdupa tipul resurselor

(Jeffery, 2000; Moreau, 2002; Ruby & Miller, 2008)Computational GridInformation GridKnowledge Grid

tipuri



Computational Gridnivel de baza, ofera servicii de calcul si date pe scaralarga: ACDC (Advanced Computational Data Center) Grid

necesitatea unei infrastructuri pentru monitorizarea si controlul resurselor vazute ca un ansamblu

rafinari: desktop grid, server grid &highperformance/cluster grid

exemple: procesari grafice intensive, machine learning,rezolvarea problemelor de optimizare etc.

tipuri



Information Gridpermite accesul uniform la surse eterogene deinformatii si ofera servicii publice de baza rulind pe resurse computationale distribuite

resursele computationale pot varia de la simpleinvocari de metode la distanta pina la aplicatii (Web)sofisticate

exemple: grid‐uri in domeniul bioinformaticii, medicina computationala, stiintele pamintului etc.

tipuri



Knowledge Gridnivel superior oferind (meta‐)servicii specializatepentru managementul de resurse (cunostinte) stocatein maniera distribuita si pentru gestiunea serviciilor

meta‐serviciile pot fi compuse din alte serviciimanagementul resurselor poate implica utilizareasistemelor de multi‐agenti (Rana & Moreau, 2000;

Sycara & Payne, ‘03; Shi et al., ‘06; Ruby & Miller, ‘08)

tipuri



Conform specificului aplicatiilor disponibile intr‐un Grid(Laszewski & Wagstrom, 2004):arhitecturi multi‐strat (Ntiered)

aplicatii rolebasedaplicatii bazate pe servicii

tipuri



tipuri (Laszewski & Wagstrom, 2004)



Open Grid Service Architecture (OGSA) serviciile Grid sunt servicii Web extinse

serviciile Web sunt dependente de stare: stateful

managementul timpului de viata a serviciilor

existenta unei infrastructuri deschise:OGSI (Open Grid Service Infrastructure)

implementari



OGSA defineste interfete si comportamente(prin WSDL) pentru a specifica – via servicii Web –

un serviciu pentru Grid

precizarea unui profil pentru fiecare serviciu(interfete obligatorii si optionale)

implementari



Serviciile Web vor putea fi extinse pentru a suportafunctionalitati specificate de Grid

serviciile trebuie sa fie dependente de stare (stateful)notificare asincrona a schimbarii de stare

specificarea referintelor la instante de servicii…

implementari



implementari

Mentinerea starii instantelor de servicii Web dintr‐unsistem Grid via WSRF (Web Services Resource Framework)



Serviciile Grid constituite trebuie sa fie:dinamice si volatile – multimi de servicii compusecreate, invocate si eliminate “din zbor”

adhoc – nu exista locatie centrala ori control central; nu exista relatii de incredere

pe scara larga – orchestrarea unui numar mare de servicii (>100) trebuie realizata oricind

disponibile, potential, pe termen lung(e.g., o simulare poate dura saptamini)

implementari



implementari



Specificatii tehnice:Open Grid Services Infrastructure (OGSI)

acces la & integrare a datelor,înregistrarea şi managementul resurselor,

jurnalizare distribuită, orchestrare a serviciilor , Java binding etc.

standardizate de Global Grid Forum

implementari



Globus Toolkit 4implementare de referinta bazata pe OGSAwww.globus.orgvarianta minimala: GliteJava Grid Commodity Kit (CoG) – dezvoltatorul poateevita interactiunea directa cu serviciile Globus(executia job‐urilor prin GRAM, transfer via GridFTP, descoperirea caracteristicilor resurselor etc.)

pyGlobus – implementare Python

implementari



Instrumente oferite de IBM, Microsoft, NEC, Oraclesi altii pentru UNIX/Linux sau Windows

Alte proiecte:Apple Xgrid

Sun Grid Engine

Microsoft Windows Azure (?)

implementari



GridPP (UK Computing Grid for Particle Physics)parte integranta a celui mai mare Grid din lume: LCG (LHG Computing Grid), unde LHG = Large Hadron Collider (CERN, din 2007)

LCG este compus din peste 5200 CPU‐uri, 4000 TB memorie, rulind >5000 de task‐uri simultan

face parte din cadrul proiectului EuroGrid

www.gridpp.ac.uk

initiative



Fraunhofer Grid Alliance –www.fhrg.fhg.descop: oferirea unui Grid computational pentru acces facil la resursele Grid‐ului via un portal Web

pune la dispozitie un pachet middleware bazat peGlobus Toolkit – eXeGrid Open‐Source Project:www.exegrid.net

workflow specificat via GADL – Grid Application Definition Language

functioneaza in mediul academic & industrial

initiative



JGridframework pentru Grid‐uri compuse din componentehardware/software vazute ca servicii

se bazeaza pe tehnologia Jini – infrastructura & model programatic pentru crearea de sisteme distribuitedinamice in Java

aplicatiile JGrid pot fi dezvoltate via P‐Grade(mediu de dezvoltare grafic)

http://jgrid.jini.org/

initiative



GRASPframework pentru ASP (Application Service Provision) bazat pe servicii Grid – aliniat OGSA

functionalitati pentru localizarea, instantierea siorchestrarea serviciilor Grid

prototip implementat pe baza BPEL4WS, WS‐Security, WS‐Trust etc.

www.eugrasp.net

initiative



GRASP

ServiciiWebinterfete

pentru apelurila distanta

ASP (Application Service Provision)concept business(intre entitati

independente financiar)

Gridintrastructurade baza

pt. calcul distribuitdinamic

ASP orientat

componenta,interoperabil

ASP reliable, proprietar

OGSA

GRASPcomponente pt.

workflow‐uri businessin corporatii virtuale

initiative



D4Science (Distributed colLaboratories Infrastructure on GridENabled Technology for Science)proiect de creare a unei infrastructuri stiintifice, prinintegrarea bibliotecilor digitale si a sistemelor Grid

e‐comunitati = organizatii virtuale + medii virtuale de cercetare (virtual research environments)

www.d4science.eu

initiative



Exemple de aplicatii:

Vizualizarea 3D fotorealisticarendering prin POV‐Ray, date distribuite via Grix

Chirurgie vasculara virtualaCrossGrid – componenta‐cheie: Migrating Desktop

www.crossgrid.org

initiative



Exemple de aplicatii:Rezolvarea problemelor de optimizare

proiectul TRACER (foloseste arhitecturi ca Globus, Condor, Legion, Sun Grid Engine)

http://neo.lcc.uma.es/Monitorizarea resurselor dintr‐un Grid – GriW

bazata pe paradigma SOA implementare multi‐platforma: Java, .NET, C#, JavaScript, SVG

lucrare de licenta – Alina Sirbu, 2008

initiative



Provocari – in contextul Grid computing:formarea si managementul in maniera dinamica

a organizatiilor virtuale

negocierea online a accesului la servicii: cine?, ce?, de ce?, cind?, cum?

configurarea automata a aplicatiilor/sistemelorpentru asigurarea QoS

web‐ul semantic & grid computing



Provocari – in contextul Grid computing:adoptarea unui punct de vedere abstract asupra resurselor

prin virtualizare

managementul inteligent al infrastructurilor, serviciilor,aplicatiilor si resurselor distribuite la nivel de Grid

managementul starii globale a unei platforme Grid

web‐ul semantic & grid computing



myGridproiect in domeniul bioinformaticiiutilizeaza servicii Web descrise semantice si agentiresurse eterogene, complexe si provenind din domeniiinrudite (problema accesului si notificarii modificarii)

foloseste servicii de meta‐date: servicii Grid + ontologii

www.mygrid.org.uk

grid semantic: initiative



Registry

mIR

Discovery View

HaystackProvenance Browser

FreeFluoEnactor

TavernaWF Builder

PedroAnnotation tool

Ontology Store

Others

WSDL Soap‐lab

Interface Description

Annotation/description

Annotation providers

Query &Retrieve Workflow

Execution

Store data/knowledge

Scientists

Bioinformaticians

invoking

Query & register

ServiceProviders

Data descriptions

Vocabulary

Carole Goble (University of Manchester) & IBM

myGrid



Rolul ontologiilor in proiectul myGrid




DB‐Annotatorproiect in domeniul bioinformaticiiadnotator de surse informationale structurate(date relationale, descrieri XML) recurgind la RDF

folosit pentru adnotarea semantica a descrierilorserviciilor Grid, la nivel de UDDI

permite si vizualizarea ontologiilor utilizate




Alchemi (Rajiv Ranjan et al., 2007)sistem Grid bazat pe .NET Frameworkasigura interoperabilitatea cu alte sisteme Grid via Gridbus Grid Service Broker

utilizat in cadrul proiectului DisMy – Grid semantic bazat pe modelul de coordonare Linda: Andrei Iacob – lucrare de licenta, 2008

vezi si TripleSpace (Krummenacher et al., 2006):http://tsc.deri.at/




DisMydemo




Grid‐ul reprezinta o aplicatie reala, implicind un set larg de resurse eterogene,

cu scopul de a realiza calcul de inalta performanta sau de a oferi acces transparent

la un volum mare de cunostinte indiferentde localizarea lor in cadrul Internetului/Web‐ului

in loc de concluzii



Tehnologiile & aplicatiile pentru Grid implica rezolvarea unor probleme de scalabilitate, flexibilitate, performanta si securitate

in loc de concluzii



Intrebari:Ce pot face tehnologiile Web‐ului semantic

pentru Grid?

Ce pot face tehnologiile GridpentruWeb‐ul semantic?

in loc de concluzii



www.semanticgrid.org



Diverse aspecte avute in vedere de Web‐ul semantic pot fi aplicatii ale Grid‐ului

e.g., cautare de informatii, data/relation mining,

aplicatii de lingvistica computationala, regasirea cunostintelor,

analizarea retelelor sociale,procesarea & managementul ontologiilor

etc.

in loc de concluzii



Problematicile si aplicatiile destinate Grid‐ului sunt un bun exemplu de aspecte pe care poate

sa le aiba in vedere Web‐ul semantic

Grid‐ul reprezinta o meta‐aplicatie middleware implicind utilizarea meta‐datelor si ontologiilor

la nivel de resurse, infrastructura, servicii & aplicatii

in loc de concluzii



Rezumat

Introducere in (semantic) Grid computingcaracterizare, arhitectura, servicii Grid, aplicatii



?

web12 semantic web: grid computing -- descrieri semantice

Education