Download - Progetto Di Un Data Warehouse Per Il Supporto Al Monitoraggio Di Prezzi E Tariffe Sul Web
UNIVERSITA’ POLITECNICA DELLE MARCHEFacoltà di Ingegneria
Corso di Laurea Specialistica in Ingegneria Informatica
PROGETTO DI UN DATA WAREHOUSEPROGETTO DI UN DATA WAREHOUSEPER IL SUPPORTO AL MONITORAGGIOPER IL SUPPORTO AL MONITORAGGIO
DI PREZZI E TARIFFE SUL WEBDI PREZZI E TARIFFE SUL WEB
Anno Accademico 2007/2008http://pollosky.ithttp://pollosky.it
AmbitoAmbito
Osservatori prezzi TRASPARENZA E CONOSCENZA SUI LIVELLI E SULLE DINAMICHE CHE CARATTERIZZANO
L’ ANDAMENTO DEI PREZZI
ProblematicheRACCOLTA DATI (COSTI, COMPLESSITÀ)
POTENZIALITA’ DI ANALISI
ObiettiviRACCOLTA ED INTEGRAZIONE DEI DATI SUL WEB
GESTIONE DEI DATI
SISTEMA DI SUPPORTO ALLE ANALISI
Attività progettualeAttività progettuale
• Progettazione della base dati– Completa– Generalizzata
• Soluzione problematiche– Gestione delle eterogeneità (aggregazioni)
Sistema di supporto alle analisiSistema di supporto alle analisi
Analisi flessibilied interattive OLAPOLAP
DimensioneDimensione
Modello multidimensionaleModello multidimensionale
Funzione di Funzione di aggregazioneaggregazione
MisuraMisura
Identificazione di fatti e dimensioni
Schema Entità-Relazione
Grafo Dimensionale
Modello MD
• Studio della natura delle sorgenti
• Formato di rappresentazione dei dati
• Proprietà associate ai fatti
• Identificazione delle misure e delle prospettive di analisi
• Studio della natura delle sorgenti
• Formato di rappresentazione dei dati
• Proprietà associate ai fatti
• Identificazione delle misure e delle prospettive di analisi
Data warehouseData warehouseMetodologia di progettazione [Cabibbo, 1998]:
COMUNALEPROVINCIALE
REGIONALE
NAZIONALENAZIONALE
Gestione delle eterogeneitàGestione delle eterogeneità
informazioniinformazionisul websul web
diversi livelli di diversi livelli di granularitàgranularità
Misure aggregateMisure aggregate
ProvinciaProvincia ProvinciaProvincia
1,5221,522 Comune 1Comune 11,5221,522 Comune 1Comune 1
1,517 1,517 Comune 2Comune 21,517 1,517 Comune 2Comune 2
1,5211,521 Comune 3Comune 31,5211,521 Comune 3Comune 3
Roll upRoll up
1,5361,536 Comune 4Comune 41,5361,536 Comune 4Comune 4
AVG
AVG
Misura aggregataMisura aggregata1,5241,524
Misure aggregateMisure aggregate
1,520 1,520 ProvinciaProvincia1,520 1,520 ProvinciaProvincia
1,5221,522 Comune 1Comune 11,5221,522 Comune 1Comune 1
1,517 1,517 Comune 2Comune 21,517 1,517 Comune 2Comune 2
1,5211,521 Comune 3Comune 31,5211,521 Comune 3Comune 3
1,524 1,524 ProvinciaProvincia1,524 1,524 ProvinciaProvincia
-- Comune 4Comune 4 -- Comune 4Comune 4
AVG
AVG
NON PRESENTE NELNON PRESENTE NELDATA WAREHOUSEDATA WAREHOUSE
GIA’ DISPONIBILEGIA’ DISPONIBILE
Possibili soluzioniPossibili soluzioni Prevedere un modulo che pre-calcoli ogni livello di
aggregazione navigabile Personalizzare il server OLAP Viste materializzate Intervenire a livello logico (query MDX)
prezzo aggregato
SoluzioneSoluzione• DIMENSIONE AUSILIARIADIMENSIONE AUSILIARIA
• FILTRAGGIOFILTRAGGIO
• NUOVA MISURANUOVA MISURA
IF Level IS [Nazionale] THENIF Level IS [Nazionale] THENIF Level IS [Regionale] THENIF Level IS [Regionale] THENIF Level IS [Provinciale] THENIF Level IS [Provinciale] THENIF Level IS [Comunale] THENIF Level IS [Comunale] THEN
IF Level IS [Nazionale] THENIF Level IS [Nazionale] THENIF Level IS [Regionale] THENIF Level IS [Regionale] THENIF Level IS [Provinciale] THENIF Level IS [Provinciale] THENIF Level IS [Comunale] THENIF Level IS [Comunale] THEN
Query MDX
ImplementazioneImplementazione
Query espresse in MDXLegge i dati da un RDBMSPresenta i risultati in forma
multidimensionale
Motore OLAP Mondrian-JPivotMondrian-JPivot
Mondrian XML SchemaMondrian XML Schema
CON
FIG
UR
AZI
ON
E
CubeTableDimensionHierarchyLevelCalculatedMemberMeasures
Collezione di misure e dimensioni
Relazioni con le tabella del database fisico
Gerarchie legate aduna dimensione
SperimentazioneSperimentazione
• Analisi sui dati disponibili Generare query di interesse Elaborare rappresentazioni grafiche Confrontare le misure visualizzate
• Stimare i tempi di calcolo
• Performance
• Significatività
Analisi OLAPAnalisi OLAP
Analisi OLAPAnalisi OLAP
AGIPAGIP
16 Luglio 2008
ConclusioniConclusioni• Riuso delle informazioni acquisite dal web• Adattabilità a diverse tipologie di prodotti (Alimenti, Carburanti,
Servizi, etc.)• Analisi ad alto valore aggiunto
PROTOTIPO
• Flessibile– Adattabilità delle sorgenti– Elasticità di analisi
• Robusto– Nessun malfunzionamento rilevato
• Efficiente– Rapidità– Puntualità
Sviluppi FuturiSviluppi Futuri
•Nuovi flussi informativi
• Supporto agli utenti nella costruzioni di analisi
•Nuovi servizi di analisi avanzata–Data quality–Data mining