università degli studi di padova facoltà di ingegneria gestiona le dipartimento di tecnica e...
TRANSCRIPT
Università degli studi di PadovaFacoltà di Ingegneria Gestionale
Dipartimento di tecnica e gestione dei sistemi industriali
Strumenti software per gestire i BIG DATA
Laureando: Pedassou Yao Edem Relatore: Bonollo Giuliano
Anno Accademico 2011-2012
Sommario
Definizione di big dataDescrizione dei processi in campo big data e i
relativi problemi e criticitàLe tecnologie : Apache hadoopApplicazioniProspettive e conclusioni
• E’ un insieme di dati talmente grande che è praticamente impossibile utilizzarli con gli strumenti tradizionali.
• Definizione doppiamente inadeguata per la dimensione dei dati via via crescente e il valore di sfida che racchiude il big data
PROCESSI E CRITICITÀ
Dati di acquisizione e di recording
• Sorgenti di generazione dei dati• Definizione dei filtri dei dati• Generazione automatica del metadata giusto• Provenienza dei dati
Estrazione dell’informazione e il data cleaning
Informazioni non inizialmente in formato strutturato pronte per l’analisi
L’integrazione, l’aggregazione e la rapresentazione dei dati
Ricerca di automatizazione dell’analisi dei dati rendendo l’analisi comprensibile in modo computazionale e poi risolvibile con la robotica
Elaborazione delle query, modellazione e analisi dei dati
• Scaling di query complesse• Mancanza di coordianamento tra i sistemi di dati strutturati e non
strutturati
Interpretazione dei dati
• L’analisi deve essere reso facile al decisore• Si deve soddisfare la richiesta di precisione del decisore
Le sfide
• Eteregeneità• La scala• La tempestività• La privacy• La collaborazione umana
Tecnologie
• apache hadoop
• linguaggio R
• Cascading
• Scribe
• ElasticSearch
• Apache Hbase
• Apache Cassandra
• MongoDB
• Apache CouchDB
Cos’è ?
È un framework Open
Source per
applicazioni distribuite
data-intensive
• MapReduce
• Hadoop Distributed file system (HDFS)
HDFS: È un software che :
• memorizza i file attraverso un insieme di server in un cluster. • Rileva e compensa i problemi di hardware, di disco e guasti di server• Tolera e compensa i fallimenti del cluster
MapReduce : Sistema di elaborazione parallela dei dati
• Fare fronte a un problema di esplosione di dati che nessun
sistema preesistente era in grado di risolvere
• Capace di archiviare qualsiasi tipi di dati
• Prevedere uno stoccaggio a costo basso
• Offre un nuovo repository dove tutti dati strutturali e
complessi possono essere facilmente combinati
• Scalabilità e affidabilità per l’elaborazione di algoritmi arbitrari
• Compatibile con i sistemi preesistenti (database, log
generator…)
• Permette al DBA di ottimizzare il database
• Fornire agli utenti meno tecnici informazioni sui dati
(analisti..)
• Guida ad una struttura incentrata sui dati
Applicazioni
Applicazioni analitiche
• Basate su Attributi Attribuiscono un credito a una serie di attività
(Partner di società)
• Basate su predizione o previsione Usano le tecniche statistiche e di data Mining per
processi decisionali in svariati scenari di mercato (valutazione rischi, gestione del rendimento)
• Basate su approfondimento Usano le stese tecniche della precedente ma per
rilevare Comportamenti insoliti (uso della carta di credito)
Applicazioni settoriali
• Finanza
• Impatto su i costi, rischi, ricavi e conformità
• Miglioramento dell’anlisi del profilo di clienti determinazione dell’eggibilità del capital azionario (mutui, assicurazione,credito)
• Individuazione delle frodi e prevenzione di eventi futuri di frodi
• Permette l’analisi del commercio
Industria Manifatturiera
Gestione dei servizi
piu efficiente e più efficace grazie alla proliferazione dei sensori e all’ analisi di feed di dati di gran dimensione
Le Operazioni
• Miglioramento del processo di post-vendita di manutenzione • Con l’aggiunta di sensori per attrezzature per fornire livello
crescenti di dati sulle operazioni di manutenzione dell’apparecchiatura
• Aumento della qualità complessiva del prodotto
Sanità
• Migliorare la qualità dei servizi sanitari e ridurre il numero di ospedalizzazioni.
• Sviluppo dei farmaci : uso dei dati per fornire medicinali efficace e in tempo breve
• Scambio di informazioni sulla salute
Conclusioni
• Nuove tecnologie come hadoop sono impiegate per affrontare le sfide di big data e fino ad oggi ci riescono abbastanza bene
• Finché i Cloud Computing, l’internet ed altri generatori di dati ci sarano, i problemi dei big data sarano di attualità :
• La tecnologia deve affrontare il dilemma di risolvere crescita esponenziale e continua di dati con risorse a capacità limitate e con esigenza degli utenti ancora piu accentuata
• Siamo ancora in fase sperimentale e di ricerca: permangono vari punti dubbi riguardo alle tecnologie, alle possibili “Killer application”, ad un utilizzo basico a livello di utenti.
GRAZIE PER
L’ATTENZIONE