m. r. meiss, f. menczer, a. vespignani structural analysis ... · campionamento dei pacchetti con...
TRANSCRIPT
![Page 1: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/1.jpg)
Structural analysis of behavioral networks from the Internet
M. R. Meiss, F. Menczer, A. Vespignani
De Santis Roberto
![Page 2: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/2.jpg)
2
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
La rete delle reti
● Successo di Internet
● Rete vista in termini di
● Fisicità
● Sistema complesso
● Applicazioni e reti virtuali
![Page 3: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/3.jpg)
3
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Com'è fatta la rete Internet?
● Problemi inerenti allo studio di Internet
● Mancanza di una componente di controllo centralizzato o che permetta di avere una visione globale
● Collezione di vari elementi di visione locale
● Traceroute
● Risultati
● Topologia controversa, ma nota a grandi linee
● Proprietà interessanti
![Page 4: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/4.jpg)
4
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Utilizzi della rete e comportamenti
● Struttura topologica della rete fisica e della rete virtuale sono indipendenti l'una dall'altra
● Perchè studiare le “reti comportamentali”?
● Miglioramento nella progettazione delle reti future
● Modellare meglio il traffico di Internet
![Page 5: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/5.jpg)
5
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Rilevare i comportamenti
● Server log
● Non basato su user-to-user interaction
● Flussi di rete
● IP, porte
● Cisco NetFlow
● Problema della privacy
● Campionamento dei pacchetti con frequenza 1:100
![Page 6: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/6.jpg)
6
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Scenario: la rete Abilene
● Progetto di Internet2 fine anni '90
● Prestazioni elevate: 10Gbps sulle dorsali
● Università e centri di ricerca: centinaia di migliaia di utenti
● Mai congestionata
![Page 7: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/7.jpg)
7
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
I dati raccolti: forma e preparazione
● Dati sottoforma di record (circa 30GB al giorno)
● Dettagli su sorgente e destinatario
● Tipo e quantità di dati scambiati
● Identificazione dei ruoli: client e server
● C = {i1, i
2, …, i
Nc }
● S = {j1, j
2, …, j
Ns }
![Page 8: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/8.jpg)
8
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Behavioral, functional, application graphs
![Page 9: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/9.jpg)
9
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Flussi osservati
● Osservazione di 24 ore il 14 Aprile 2005
● 625 milioni di flussi
● 258 milioni (41,3%) relativi al Web
● 82 milioni (13,1%) relativi ad applicazioni P2P
● 285 milioni (45,6%) relativi ad altro traffico (incluso network monitoring)
Web41,3%
Altro45,6%
P2P13,1%
![Page 10: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/10.jpg)
10
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Host osservati
● 15 milioni di host (considerando tutti i flussi):
● 5,82 milioni di client
● 11,1 milioni di server
● Considerando solo il flusso web:
● 3,97 milioni di client
● 0,68 milioni di server
● Considerando solo il flusso P2P:
● 0,71 milioni di client
● 0,14 milioni di server
![Page 11: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/11.jpg)
11
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Distribuzione degli edge rispetto ai traffici
● Behavioral graph
● Traffico web: 50.1 milioni di edge (38,0%)
● Traffico P2P: 7.89 milioni di edge (6,0%)
● Traffico di altro tipo: 54.9 milioni di edge (41,6%)
Web44%
P2P7%
Altro49%
![Page 12: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/12.jpg)
12
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Degree overlap tra client e server
● Alcuni nodi fungono sia da client, sia da server
● Nel behavioral graph tali nodi compaiono due volte
● Grado di overlap tra gli insiemi C ed S:
● Valori rilevati nel behavioral graph
● Generico: O = 0,14
● Traffico web: O = 0,013
● Traffico P2P: O = 0,097
O=(∣C∣∩∣S∣)(∣C∣∪∣S∣)
![Page 13: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/13.jpg)
13
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Statistiche sul traffico
● 1.85 TB di informazioni scambiate (in media 124 kB per host)
● Tenere in considerazione il campionamento 1:100
Web25%
P2P6% Altro
69%
![Page 14: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/14.jpg)
14
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Confronto tra flusso e traffico
Web41,3%
Altro45,6%
P2P13,1%
Distribuzione del flusso
Web25%
P2P6% Altro
69%
Distribuzione del traffico
![Page 15: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/15.jpg)
15
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Studio della struttura del behavioral graph
● Degree di un nodo N
dN=i+j
dove i e j sono rispettivamente il numero di archi uscenti ed entranti
● Strength di un nodo N
dove
è il peso dell'arco da N a Nk
● Il degree di un nodo rispecchia la quantità di altri nodi con cui ha scambiato dati, mentre la strength si riferisce alla quantità di dati scambiati
sN=∑k=1
i
wN , N k+∑
k=1
j
wN k , N
wN , N k
![Page 16: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/16.jpg)
16
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Distribuzioni di degree e strength
● Decisioni individuali in una popolazione molto larga
● Distribuzione normale?
Degree Strength
● Distribuzioni di tipo “long-tailed” (10 ordini di grandezza per strength)
● Distribuzione approssimabile con power-law per entrambe
P (n)∼n−γ
![Page 17: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/17.jpg)
18
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Distribuzione power-law P(n)∼n-γ
● A seconda del valore di γ si ha una certa rapidità di convergenza a 0
● Valore atteso <n>=∫ n P(n) dn
● Varianza <n2>=∫ n2 P(n) dn
● Se 2<γ<3 la varianza diverge, la media è ben definita
● Il valore atteso <n> non è più un parametro in grado di predire il numero di collegamenti nel sistema su ogni nodo (degree)
● Alta probabilità di avere client connessi con un numero arbitrario di server (degree) o che abbia scaricato un'arbitraria quantità di dati (strength)
● Se γ<2 la media diverge: né il valore medio di collegamenti (degree), né la quantità media di dati trasmessi sono caratteristiche predicibili nel sistema
● Forte eterogeneità
● Scale-free network
![Page 18: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/18.jpg)
19
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Traffico web: degree e strength
Degree
Strength
![Page 19: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/19.jpg)
20
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Traffico P2P: degree e strength
Degree
Strength
![Page 20: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/20.jpg)
21
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Relazione tra degree e strength
● Relazione tra numero di host contattati e quantità di informazioni scambiata
● Comportamento atteso: strength che aumenta in funzione del degree
![Page 21: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/21.jpg)
22
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Relazione tra degree e strength
● Power-law (crescente)
● <s(k)> k∼ β
● Server web: β≤1
● Client web: β=1.2±0,1
![Page 22: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/22.jpg)
23
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Conclusioni
● Il comportamento degli utenti raramente segue una distribuzione normale
● Comportamenti differenti a seconda dell'applicazione
● In alcuni casi il comportamento può diventare un parametro identificativo dell'applicazione
● Attuale politiche di sicurezza con soglie basate sul data rate per il rilevamento di anomalie nel traffico
● Informazioni importanti per network design e capacity planning dei collegamenti
![Page 23: M. R. Meiss, F. Menczer, A. Vespignani Structural analysis ... · Campionamento dei pacchetti con frequenza 1:100. 6 M. R. Meiss, F. Menczer, ... Alta probabilità di avere client](https://reader031.vdocuments.pub/reader031/viewer/2022031415/5c67864809d3f2ff5a8c037f/html5/thumbnails/23.jpg)
24
M. R. Meiss, F. Menczer, A. Vespignani, Structural analysis of behavioral networks from the Internet
Grazie per l'attenzione!