Leksion: Sistemet P2P dhe Leksion: Sistemet P2P dhe Replikimi i te dhenave ne Replikimi i te dhenave ne

sistemet P2P sistemet P2P

Dr. Evjola SpahoDr. Evjola SpahoDepartamenti i Elektronikes dhe Departamenti i Elektronikes dhe

TelekomunikacionitTelekomunikacionit

2PermbajtjaPermbajtja

HyrjeHyrjeSistemet P2PSistemet P2PReplikimi i te dhenave ne sistemet P2P Replikimi i te dhenave ne sistemet P2P Menaxhimi i update-ve Menaxhimi i update-ve Strategjite e vendosjes se replikave ne P2PStrategjite e vendosjes se replikave ne P2PDiskutimeDiskutimeKonkluzioneKonkluzione

3Arkitektura C/S

Cdo proces eshte nje klient ose nje server.

Serverat jane kompjutera te fuqishem, te

dedikuar, me shkalle te larte burimesh

informacioni, per te siguruar sherbime per

klientet.

Klientet kontaktojne vetem serverat per burimet e

te dhenave.

4Karakteristikat e C/SArkitekture komunikimi e centralizuar. Burimet e informacionit

vetem ne servera.

Servera me kapacitete te medha dhe te fuqishem

Adresat dhe portat e serverave jane te mirenjohura

Menyre komunikimi : shume tek nje

Komunikim asimetrik. Trafiku rrjedh kryesisht nga serveri tek

klientet.

Klientet zakonisht iniciojne lidhjen

5Disavantazhet e C/S Pike e vetme avarie apo deshtimi (serveri).

Servera te fuqishem por me kosto te larte.

Mirembajtje e vazhdueshme dhe e dedikuar per serverat (administrator).

Jo shume scalable, nuk ka aftesine te ruajne performancen kur numri i

klienteve rritet shume. Shume kliente kerkojne shume servera.

Perdorim jo eficent i brezit te komunikimit, pasi hierarkia strikte me dy nivele

(serverat gjithmone ne maje), nuk pershtatet mire me arkitekturen e

decentralizuar te shtreses se rrrjetit te Internetit. Keshtu qe kur trafiku qe

vjen nga shtresa e aplikimit klient/server rrjedh ne shtresen e rrjetit, nje

numer i konsiderueshem linkesh te shtreses se rrjetit shfrytezohen shume

nen kapacitetin e tyre.

6P2P P2P fut konceptin e barazise ne rrjet.

Cdo kompjuter eshte nje klient dhe server njekohesisht.

P2P lejon shkembimin direkt te burimeve dhe sherbimeve midis

peers, pa patur nevojen e serverave qendrore.

P2P eshte gjithashtu nje koncept decentralizimi.

Kontrolli eshte i decentralizuar tek te gjitha nyjet (peers), pra

nuk ka nje pike qendrore kontrolli te rrjetit.

Permbajtja dhe sherbimet jane gjithashtu te shperndara neper

nyjet (peers) ne rrjet.

7Vecorite & Avantazhet e P2P Arkitekture e decentralizuar. Nuk ka servera qendrore.

Nyjet jane simetrike. Sillen njekohesisht si servera dhe kliente. Server + Klient = SERVENT

Aftesi veteorganizuese per secilen prej nyjeve dhe kontroll i shperndare ne rrjet.

Ndryshim dinamik i nyjeve te lidhura.Topologji dinamike.

Struktura e decentralizuar sjell shperndarjen e rrezikut dhe te avarive tek te gjitha nyjet ne rrjet.

Eleminon rrezikun ne nje pike te vetme.

Sherbime te shperndara ne skajet e rrjetit, neper te gjitha nyjet e tij. Ngarkese e ballancuar e

trafikut. Eficence me e madhe ne perdorimin e brezit te komunikimit ne dispozicion per SERVENT.

Ndan koston midis te gjithe perdoruesve ne rrjet.

Njerezit mund te krijojne lehtesisht komunitetet e tyre on-line.

Rrit shkallen e intimitetit dhe anonimatin, duke u lejuar njerezve te komunikojne direkt te pa

monitoruar nga askush dhe te jene anonime pas makinave te tyre.

8Disavantazhet e modelit P2P

Ne nje rrjet P2P eshte shume e lehte te perhapen gjithfare lajmesh dhe aktivitetesh qe Nje rrjet P2P nuk ka

ndonje menyre qe te garantoje te drejten e autorit mbi permbajtjen (copyright). Nuk ka dyshime qe P2P

ka hapur syte dhe imagjinaten e njerezve te disiplinave te ndryshme, tek ndarja massive e burimeve,

permes Internetit. Brenda konteksit te ndarjes se materialeve me te drejta autori, ekzistojne argumenta

pro dhe kunder kesaj teknologjie.mund te perfshijne shtremberime informacioni.

Ne nje rrjet P2P nuk ka garanci qe burimet do te jene gjithmone te disponueshme, pasi peers hyjne dhe

dalin vazhdimisht nga rrjeti.

Modeli P2P zgjeron rrjetin dhe sistemet individuale duke i ekspozuar ndaj hackers, sulmeve, viruseve

Nje rrjet P2P i papergatitur, mund te ngarkohet/rendohet nga rritja e trafikut.(Psh, perdorimi i Napster

ngarkon me trafik shume rrjeta universitetesh).

P2P vuan mungesen e standarteve, infrastructures dhe suportit; ajo i ngjan disi perendimit te eger dhe te

shkrete.

9Fushat e aplikimeve te P2P

Aplikimet e P2P

Ndarja/shkembimi i skedareve

Perpunimi i shperndare Sistemet e bashkepunimit Platformat P2P

Napster GnutellaSETI@home Jabber JXTA

10

P2P file sharing File sharing: Perdoruesit ndajne fila dhe te tjeret mund ti download-ojne ato.

Permbajtja eshte kryesisht muzike, video, software. Napster: eshte rrjeti i pare masiv P2P i lindur ne vitin 1999. Qellimi i ketij rrjeti

ishte te lejonte shkembimin e skedareve muzikore midis nyjeve peer ne Internet. U mbyll per shkak te shkeljes se copyright dhe tani eshte blere nga Rhapsody.

Gnutella: eshte nje protokoll per kerkimin e shperndare ne rrjet. Ka lindur si algoritem dhe aplikim P2P ne vitin 2000. Cdo nyje ne rrjet sillet si servent. Nyjet peer ne Gnutella realizojne zbulimin e nyjeve te tjera dhe permbajtjes se kerkuar, me anen e disa mesazheve. Mesazhet qe perdoren ne Gnutella jane:

Ping: dergohet nga nje peer te njoftoje prezencen e saj ne rrjet. Nje nyje qe merr mesazhin ping, mund te pergjigjet me mesazhin pong. Query : paraqet mekanizmin e kerkimit, i cili permban fjalen-celes te kerkimit.

QueryHit : nje servent qe merr nje mesazh query do te pergjigjet me nje queryhit, nqs ka ne permbajtjen e tij te informacionin qe kerkohet.

11

Projektet Seti@HOME Search for Extra-Terrestrial Intelligence, projekt

distributed computation.Analizon sinjalet radio per te kerkuar shenja te ekzistences se

jashtetokesoreveClimateprediction.net: studion ndryshimet klimaterike.Einstein@home: kerkon per sinjale gravitacionale te emetuara

nga pulsar (pulsating star) pulson radiovale deri ne 1000 pulse ne sek.

Predictor@home: investigon semundjet e lidhura me proteinat.Rosetta@home: ndihmon kerkuesit te zhvillojne kura per

semundjet e njerzve.

12

Modelet e rrugezimit P2PMe qellim qe peers ne nje rrjet te komunikojne me njera tjetren duhet

fillimisht te lokalizojne dhe gjejne njera tjetren dhe permbajtjen tek nyja

peer e gjetur per te cilen ato interesohen. Realizohen dy procese:

Zbulimin e nyjeve peer

Zbulimin e indeksit te permbajtjes tek nyjet peer

Per te realizuar keto procese, ekzistojne tre modele rrugezimi:

Modeli me direktori te centralizuar

Modeli i shperndarjes shumedrejtimeshe (flooding)

Modeli i rrugezimit dokument

13

Platformat e zhvillimit te aplikimeve P2P

JXTA eshte nje bashkesi protokollesh te hapura P2P, qe lejojne cdo pajisje te

lidhur ne rrjet, te komunikoje dhe bashkepunoje.

JXTA eshte nje projekt me kod te hapur e iniciuar nga Sun Microsystems (open-

source) ne vitin 2001, qe zhvillohet nga nje numer ekspertesh nga institucione

akademike dhe industria, dhe si e tille eshte ende ne evolucion.

Platforma me e njohur ne ndertimin e aplikimeve P2P eshte platforma JXTA.

Qellimi kryesor i JXTA eshte te ndertoje sisteme P2P qe te mundesojne cdo dhe

te gjitha tipet e sherbimeve P2P brenda nje sistemi (jo e specializuar vetem ne nje

sherbim) duke siguruar keshtu kerkesat baze te aplikimeve.

14

Arkitektura JXTA Projekti JXTA percakton nje grup prej gjashte protokollesh, qe mund te perdoren

te ndertojne sistemet P2P, duke perdorur modelin e centralizuar, hibrid, ose te

decentralizuar, por prirja e saj eshte ne krijimin e sistemeve te decentralizuar.

Keto protokolle standartizojne menyren ne te cilen nyjet peer :

Zbulojne njera-tjetren

Veteorganizohen brenda grupeve te peer

Reklamojne dhe zbulojne sherbimet e rrjetit

Komunikojne me njera-tjetren

Monitorojne njera-tjetren

15

Struktura e JXTA Berthama JXTA

Permban blloqet baze per te lejuar mekanizmat esenciale te

P2P, duke perfshire formimin e peer dhe grupeve te peer,

zbulimin e peer, transportin etj.

Shtresa e sherbimeve

Kjo shtrese perfshin sherbimet e rrjetit P2P, te cilet mund te

mos jene absolutisht te nevojshem qe nje rrjet P2P te operoje,

por jane te zakonshem dhe te perfshire ne nje ambjent P2P.

Shembuj te sherbimeve te rrjetit jane, kerkimi dhe indeksimi,

sistemet e depozitimit te te dhenave, ndarja e skedareve,

sistemet e shperndare te skedareve, etj.

Shtresa e aplikimeve

Perrfshin implementimin e aplikimeve te integruara, si programet

per ndarjen e skedareve, sistemet e depozitimit , etj, qe realizojne

sherbimet e siguruara nga shtresa e sherbimeve.

Sherbimet JXTA

Aplikimet JXTA

Berthama JXTA

Grupet peer

Pipes e peer

Monitorimi i peer

16

Protokollet JXTA

Protokolli i zbulimit te peer (Peer Discovery Protocol , PDP)

Nje peer perdor protokollin PDP te zbuloje burimet e

reklamuara ne rrjet. Burimet ne JXTA, pershkruhen nga

reklamime XML ne rrjet. Zbulimi ne rrjet nepermjet PDP

mund te jete i centralizuar, decentralizuar ose hibrid i te

dyve.

17

Protokollet JXTA

Protokolli i informacionit te peer (Peer Information Protocol,

PIP)

Pasi nje peer eshte lokalizuar, duhet te pyetet per statusin

dhe mundesite e saj. Protokolli PIP siguron nje teresi

mesazhes per te siguruar informacionin mbi statusin e

peer, psh kohen totale ne pune, mundesite e saj, eshte e

lidhur apo jo, etj.

18

Protokollet JXTA

Protokolli i lidhjes se pipe (Pipe Binding Protocol,

PBP)

PBP perdoret per te stabilizuar nje kanal virtual

komunikimi (pipe) midis nje ose me shume peer.

Nje peer lidh nje reklamim pipe tek nje nyje

fundore pipe, per te krijuar nje lidhje virtuale.

19

Protokollet JXTA

Protokolli i permbajtjes se peer (Peer Resolver Protocol, PRP)

Protokolli PRP, i lejon nje peer te implementoje aftesi te larta kerkimi, duke lejuar qe nje

peer te dergoje dhe te marre pyetje dhe kerkesa per te gjetur ose kerkuar per nyje te

tjera ose reklamime te tjera ne rrjet. BRP eshte protokolli baze per implementimin e

pyetjeve dhe kerkesave dhe protokolli baze mbi te cilin ndertohen protokollet PIP dhe

PDP, qe bazohen ne pyetjet dhe kerkesat per te zbuluar statusin e nje peer, dhe burimet

e peer ne rrjet.

20

Protokollet JXTA

Protokolli i takimit (Rendezvous Protocol, RVP)

Protokolli RP lejon nje peer te dergoje mesazhe tek te gjitha peer, qe

bejne pjese branda nje grupi. Ky protokoll lejon qe:

Peer te lidhen tek sherbimi dmth te jene te aft ate perhapin mesazhet

dhe te marrin mesazhet e perhapura.

Te kontrollojne perhapjen e mesazheve , psh nepermjet TTL (time to

live)

Protokolli RVP perdoret nga protokollet PRP dhe PBP, per te derguar

mesazhet ne rrjet.

21

Protokollet JXTA

Protokolli i rrugezimit ne pikat fundore (Endpoint Routing Protocol, ERP)

Protokolli ERP siguron nje teresi pyetje/kerkesa qe perdoren per te gjetur

informacionet e rrugezimit. Dmth i mundeson nje peer te gjeje informacion ne

lidhje me rruget ekzistuese per dergimin e mesazheve ne nyjen peer

destinacion. Kur nje peer kerkon te dergoje nje mesazh tek nje adrese e dhene

e nje peer endpoint, ajo fillimisht shikon ne tabelen e vet nese ka ndonje ruuge

te percaktuar drejt peer destinacion. Nqs nuk e gjen kete informacion atehere

dergon nje kerkese tek nyja e rrugezimit e disponueshme, duke e pyetur per

informacionin e rrugezimit.

22

Sistemet P2P

Sisteme vete-organizuese Peer: entitet ne sistem (aplikim ose useri i

ketij aplikimi) Peer e nje sistemi duhet te jene me rendesi

ekuivalente Nje peer i vetem nuk duhet te jete kritik (te

kete shume peshe) per funksionimin e sistemit

23

Karakteristikat e P2PVete-organizimi: Sistemet P2P vetendertohen dhe

vete-organizohen. Cdo peer ne menyre dinamike zbulon peer e tjere dhe nderton rrjetin.

Potenciali per tu shkallezuar Perdorimi i resource-ve te paperdorura: gjate

nates ciklet procesuese te kompjuterave nuk vihen ne perdorim. Nje aplikim P2P mund te perdore keto burime per te cilat eshte paguar por nuk perdoren.

24

Sistemet P2P Sistemet P2P

Mungesa e nje pike te vetme deshtimiMungesa e nje pike te vetme deshtimi

Shume te rendesishme per sistemet e Shume te rendesishme per sistemet e shperndara te te ardhmes dhe aplikimet shperndara te te ardhmes dhe aplikimet

Shume interesante per zhvillimin e Shume interesante per zhvillimin e aplikimeve te decentralizuaraaplikimeve te decentralizuara

Problemet: availability dhe besueshmeriaProblemet: availability dhe besueshmeria Zgjidhja: replikimi i te dhenaveZgjidhja: replikimi i te dhenave

25

Replikimi ne sistemet P2P Replikimi ne sistemet P2P

Replikim i te dhenave: Mbajtja e disa Replikim i te dhenave: Mbajtja e disa kopjeve te te dhenave ne kompjutera te kopjeve te te dhenave ne kompjutera te vecante vecante

Dokumenta te plote ose vetem pjeseza te Dokumenta te plote ose vetem pjeseza te tyre mund te replikohen tyre mund te replikohen

26

Klasifikimi i mekanizmave te Klasifikimi i mekanizmave te kontrollit te replikimit kontrollit te replikimit

27

Single-master ReplicationSingle-master Replication

Vetem nje site ka kontroll te plote mbi replikat (R&W), te tjeret kane Vetem nje site ka kontroll te plote mbi replikat (R&W), te tjeret kane vetem te drejte vetem te lexojne vetem te drejte vetem te lexojne

Updatet perhapen nepermjet Updatet perhapen nepermjet push-mode push-mode (masteri fillon perhapjen) dhe (masteri fillon perhapjen) dhe pull-mode pull-mode (slaves i kerkojne masterit per updatet ekzistuese)(slaves i kerkojne masterit per updatet ekzistuese)

MASTERR-W Replica

SLAVER Replica

SLAVER Replica

Pull

mode

Push

mode

28

Multi-master ReplicationMulti-master Replication

Shume site kane te drejten per te Shume site kane te drejten per te modifikuar replikat e ruajtura ne to.modifikuar replikat e ruajtura ne to.

MASTERR-W Replica

MASTERR-W Replica

MASTERR-W Replica

29

Replikimi i plote (Full Replikimi i plote (Full Replication) Replication)

Cdo site ruan nje kopje te cdo objekti te Cdo site ruan nje kopje te cdo objekti te bere sharebere share

A1B1A1B1

A2B2A2B2 A3B3A3B3

Full replication with two objects A and B

30

Replikimi i pjesshem (Partial Replikimi i pjesshem (Partial Replication)Replication)

Cdo site mban nje kopje te nje subset nga Cdo site mban nje kopje te nje subset nga objektet e bera share (mbajne objekte objektet e bera share (mbajne objekte repikash te ndryshme)repikash te ndryshme)

Kerkon me pak hapesire storageKerkon me pak hapesire storage

A1B1A1B1

A2A2 B2B2

Partial replication with two objects A and B

31

Full Replication vs. Partial Full Replication vs. Partial ReplicationReplication

Full replication Full replication Cdo site duhet te kete te njejtin kapacitet Cdo site duhet te kete te njejtin kapacitet

memorjejememorjeje Kerkohet vlefshmeri (availability) maksimale Kerkohet vlefshmeri (availability) maksimale

pasi cdo site mund te zevendesoje nje tjeter pasi cdo site mund te zevendesoje nje tjeter ne rastin e deshtimit ane rastin e deshtimit a

Partial replicationPartial replication Kerkon me pak storage spaceKerkon me pak storage space Redukton numrin e mesazheve qe duhen per Redukton numrin e mesazheve qe duhen per

te update-uar replikatte update-uar replikat

32

Synchronous ReplicationSynchronous Replication

Synchronous (rekomandohet per numer te vogel Synchronous (rekomandohet per numer te vogel sites)sites) Nuk ka divergjence midis replikave (avantazh)Nuk ka divergjence midis replikave (avantazh) Vonesa ne komunikim nese nyjet jane larg Vonesa ne komunikim nese nyjet jane larg Ulet performanca e sistemit te shperndareUlet performanca e sistemit te shperndare

R r r

1

4

2 3 2 3Data Write

Data Commit

33

Asynchronous ReplicationAsynchronous Replication

Performanca rritet ndjeshem Performanca rritet ndjeshem

R r r

1

2

3 4 3 4Data Write

Data Commit

34

Perfitimet nga Data ReplicationPerfitimet nga Data Replication

Permireson availability e sistemit duke bere te Permireson availability e sistemit duke bere te mundur te aksesohen te njejtat te dhena nga mundur te aksesohen te njejtat te dhena nga disa site te ndryshme disa site te ndryshme

Perdoruesit mund te aksesojne replikat me te Perdoruesit mund te aksesojne replikat me te aferta duke reduktuar vonesat dhe duke aferta duke reduktuar vonesat dhe duke permiresuar perforamncen e sistemitpermiresuar perforamncen e sistemit

Permiresohet shkallezueshmeria e sistemit Permiresohet shkallezueshmeria e sistemit Psh. Sistemet P2P per music file sharing, replikimi lejon qe Psh. Sistemet P2P per music file sharing, replikimi lejon qe

te gjenden filat e deshiruara ne disa peer, download behet te gjenden filat e deshiruara ne disa peer, download behet me shpejt me shpejt

35

Replica Placement Strategies Replica Placement Strategies

36

Faktoret qe ndikojne ne Faktoret qe ndikojne ne performancen e Data Replication performancen e Data Replication Konsumi i Bandwidth Numri i Replikave Permasat e Objekteve Koha e dergimit te replikave Shkalla e konsistences

37

Krijimi i nje plani per replikimin

1. Cfare do te replikohet?2. Ku do te replikohet?3. Si do te replikohet?

38

Konkluzione I Konkluzione I Teknikat e replikimit varen nga aplikimet ne te cilat ato do te Teknikat e replikimit varen nga aplikimet ne te cilat ato do te

perdoren perdoren Ne pergjithesi nje teknike replikimit duhet te mare ne Ne pergjithesi nje teknike replikimit duhet te mare ne

konsiderate ne te njejten kohe: reduktimin e kohes se konsiderate ne te njejten kohe: reduktimin e kohes se aksesimit dhe konsumimit te bandwidth, zgjedhja e nje numri aksesimit dhe konsumimit te bandwidth, zgjedhja e nje numri optimal replikash dhe nje workload te balancuar midis optimal replikash dhe nje workload te balancuar midis replikave.replikave.

Data replication eshte shume I perdorshem per te arritur high Data replication eshte shume I perdorshem per te arritur high data availability, system reliability dhe scalability gjithashtu data availability, system reliability dhe scalability gjithashtu mund te perdoret per maksimizimin e hit probability te mund te perdoret per maksimizimin e hit probability te aksesimit te kerkesave per permbajtjen ne komunitetetin aksesimit te kerkesave per permbajtjen ne komunitetetin P2P, maximizimi i content searching (look-up) time, P2P, maximizimi i content searching (look-up) time, minimizimi i numrit te hopeve per te gjetur permbajtjen e minimizimi i numrit te hopeve per te gjetur permbajtjen e kerkuar, minimizimi i kostos se permbajtjes, shperndarja e kerkuar, minimizimi i kostos se permbajtjes, shperndarja e ngarkeses se peer.ngarkeses se peer.

39

Konkluzione II Konkluzione II Benefitet e replikimit nuk vijne pa overhead per krijimin, Benefitet e replikimit nuk vijne pa overhead per krijimin, mirembajtjen dhe update-imin e replikave. Nese aplikimi ka mirembajtjen dhe update-imin e replikave. Nese aplikimi ka natyre read-only, ai permireson ndjeshm performancen. natyre read-only, ai permireson ndjeshm performancen. Nese aplikimi kerkon konsistence rigoroze dhe ka nje numer te Nese aplikimi kerkon konsistence rigoroze dhe ka nje numer te madh updatesh, replikimi mund te zbehe performancen per madh updatesh, replikimi mund te zbehe performancen per shkak te kerkesave te sinkronizimit. shkak te kerkesave te sinkronizimit. Planifikim i kujdesshem duhet bere kur vendoset se cilat Planifikim i kujdesshem duhet bere kur vendoset se cilat dokumnete do te replikohen dhe tek cilat peer. dokumnete do te replikohen dhe tek cilat peer. Gjate replikimit eshte shume e rendesishme qe te gjendet nje Gjate replikimit eshte shume e rendesishme qe te gjendet nje faktor replikimi i duhur.faktor replikimi i duhur.

Slide 1Slide 2Slide 3Slide 4Slide 5Slide 6Slide 7Slide 8Slide 9Slide 10Slide 11Slide 12Slide 13Slide 14Slide 15Slide 16Slide 17Slide 18Slide 19Slide 20Slide 21Slide 22Slide 23Slide 24Slide 25Slide 26Slide 27Slide 28Slide 29Slide 30Slide 31Slide 32Slide 33Slide 34Slide 35Slide 36Slide 37Slide 38Slide 39