big data e la forza degli eventi - intervento di dominoni
DESCRIPTION
Speech di Dominoni per l'evento "Big Data e la forza degli eventi" http://www.comunicareonline.itTRANSCRIPT
![Page 2: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/2.jpg)
Complessità che cresce …
• Cloud Computing – la
nuvola
• PC, tablet, smartphone
– funzionano in costante
connessione con la rete,
alla quale cedono di
fatto gran parte della
loro "memoria»
2
![Page 3: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/3.jpg)
…in più dimensioni
• 590 milioni di connessioni a Internet in banda larga su rete fissa,
• 1,1 miliardi di connessioni su rete mobile
• (dati ITU a fine 2011)
3
![Page 4: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/4.jpg)
Un ambiente di “studio”
• Università Bicocca – 40 tecnici per:– Didattica:
• 40 laboratori informatici, 2.000 postazioni, 15.000 studenti attivi, 500 docenti, 100 server di gestione
• 20 Piattaforme elearning: 10.000 studenti
• 2 Piattaforme di assessment e sondaggi: decine di migliaia di prove in assessment l’anno
– Ricerca/Dipartimenti• 16 dipartimenti + 4 scuole (assistenza informatica “front-end”): 1600
docenti (interni/a contratto/collaboratori), 1.8 apparecchiature informatiche per docente, 300 pta, 1.2 apparecchiature informatiche per pta.
• Infrastruttura di Backend dipartimenti: 200 VM : siti, proxy, AD, sqlserver, documentali, cms, fil server, print server
• Supporto attività di ricerca: “in via di definizione … livello e standard di servizio”: 3 centri di ricerca e 2 laboratori di ricerca in fase di sperimentazion
4
![Page 5: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/5.jpg)
Gestione e Progettazione
• “cruscotto” in grado di monitorare dati provenienti da fonti dati diverse e disomogenee per poter prendere delle decisioni sia di carattere organizzativo/logistico , sia di carattere dimensionale/quantitativo
• Serve un sistema che analizzando centinaia di Gigabyte giornalieri provenienti da sistemi diversi e in formati diversi possa dar delle risposte a chi deve prendere delle decisioni
5
![Page 6: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/6.jpg)
Alcuni esempi …
• Analisi di grossi volumi di dati eterogenei proveniente da database applicativi, log di sistema, sistemi di accounting/autenticazione, traffico di rete, uso delle risorse, ….. al fine di poter dare risposte a domande quali: – riusciamo con lo staff attuale a coprire gli interventi giornalieri ?
– dove è necessario ricollocare il personale per affrontare picchi di assistenza ?
– che uso viene fatto delle risorse informatiche?
– quali sw sono piu’ utilizzati per la didattica ?
– quante ore di didattica in laboratorio con docenza viene fatta ? quanta in selfservice?
– abbiamo un sistema di virtualizzazione che garantisce adeguate performance ?
– quali i sistemi/piattaforme vengono più utilizzate ?
– quante tempo i docenti “stanno” sulle piattaforme ?
– quali i tempi medi di risposta alle richieste di assistenza ?
– quali i dipartimenti/utenti fanno più richieste ? in quale periodo dell’anno ?
– quanti guasti e su quali apparecchiature? Quali quelli piu’ frequenti ?
– …….
– …..
6
![Page 7: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/7.jpg)
monitoraggio dei laboratori
informatici
• esame dell’utilizzo medio dei
laboratori di ateneo per
capire:
– quanto effettivamente le
postazioni siano utilizzate
• per quanto tempo
• per quale utilizzo
– rilevare eventuali anomalie
– correlare le attività didattiche
7
![Page 8: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/8.jpg)
Requisiti e obiettivi
• lavoro fatto su 30 laboratori e 1600 PC
• tendenza a migrare i servizi su portali online:– importante sapere quanto le infrastrutture fisiche siano
effettivamente usate dagli studenti.
• informazioni principali da ottenere:– stato della postazione:
• spenta
• accesa: se qualcuno la sta usando o se è idle (in attesa che qualcuno effettui la login)
– processi in uso: nel caso che qualcuno la stia utilizzando, capire che uso viene fatto (didattico o non)
• necessario limitare il più possibile l’invio di dati a quelli utili (filtrando sul lato client le informazioni superflue)
8
![Page 9: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/9.jpg)
Strumenti e Infrastruttura
• Strumento di raccolta dati - Splunk
– Multipiattaforma, configurazione distribuita, funzionante senza l’appoggio di un database, con possibilità di recuperare qualsiasi informazione sugli host (registri di sistema, wmi, windows alert, snmp)
• laboratori distribuiti nel campus, collegati in VLAN
– problema di distribuzione degli agent
• raccolta dati effettuata con server virtuali
– configurazione veloce
– basso impatto sulla logistica dei servizi
9
![Page 10: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/10.jpg)
Funzionalità
• Raccolta e indicizzazione di Dati Macchina di qualsiasi provenienza, senza l’installazione di plugin aggiuntivi
– riesce a prendere in ingresso log di applicazioni standard e custom, stack trace, code di messaggi, database audit trails, event logs, configurazioni e metriche da hypervisor, sistemi operativi e network.
• Ricerca ed analisi, grazie all’architettura basata su MapReduce garantisce velocità di accesso e scalabilità
– E’ possibile fare ricerche sia su dati storici indicizzati che sullo streaming di dati correnti sulla stessa interfaccia, con un meccanismo di query molto simile a quello dei motori di ricerca web tradizionali
• Reportistica e Allarmi– tramite il report builder si possono generare tabelle, grafici e dashboard che evidenziano
tendenze significative, picchi alti e bassi, sintesi di valori critici e frequenza di eventi.
– le ricerche si possono trasformare in avvisi (Alert) che attivano automaticamente azioni quali notifiche via e-mail, rss, trap SNMP.
• Architettura distribuita, in base al carico e al numero di dati si possono unire più sessioni di questo software per distribuire il lavoro di indexing su più macchine, mantenendo la base di dati comune ridondata.
10
![Page 11: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/11.jpg)
Valutazione dello sforzo
• configurazione server
• istallazione agent sugli host di laboratorio
– per 140 host - esecuzione parallela – si riesce a
eseguire l’istallazione su tutte le macchine in circa
5 minuti.
• lavoro portato a termine da studente per il
suo lavoro di stage (con il supporto di tecnici
informatici)
11
![Page 12: Big Data e la forza degli eventi - Intervento di Dominoni](https://reader033.vdocuments.pub/reader033/viewer/2022060115/5575e6c6d8b42af74e8b4ac8/html5/thumbnails/12.jpg)
Alcune considerazioni finali
• uso di tecnologie di questo tipo permettono
un analisi multidimensionale dei servizi
hardware e software
– con uno sforzo limitato possibile monitorare e
modellare i servizi di rete
• possibilità di sviluppare modelli intelligenti di
erogazione di servizi complessi
12