La soluzione Open Source per la validazione ed il trattamento dei flussi informativi

ESIGENZA

Tutto nasce dalla necessità di

popolare una banca dati

attraverso flussi informativi

provenienti da più fonti e validare

tutti i tracciati record.

PROBLEMI

Nella creazione e nella

implementazione di una banca

dati, solitamente, si riscontrano i

seguenti problemi:

o Gestione dei dati

provenienti da flussi

informativi diversi

o Necessità di validare tutti I

tracciati record

SOLUZIONI STANDARD

Generalmente si implementa un

software di caricamento specifico

per ogni singolo flusso oppure si

adotta un ETL già presente sul

mercato, oppure uno schema

XSD.

LIMITI DELLE

SOLUZIONI STANDARD

o Competenze dl sistemi ETL

o Bug di programmazione

o Tempi di sviluppo che si

“allungano”

o Impossibilità di controlli

"logici" in XSD

jValidator VS Data Quality Firewall

La garanzia di dati qualitativamente validi è una delle prerogative principali per il successo di iniziative di Business Intelligence aziendali.

L'assenza di controllo delle informazioni in entrata potrebbe portare alla propagazione, all'interno di un sistema, di dati insufficienti, approssimativi o antitetici in grado di compromettere le relazioni con clienti, fornitori e partner commerciali.

Per esempio, le transazioni web in tempo reale o attraverso standard di scambio informativo EDI, rischiano di ridurre costantemente la qualità dei dati da importare.

Molti responsabili non si pongono in modo diretto il problema della qualità dei dati dando per scontato che gli errori facciano parte della normale attività quotidiana.

Spesso si dimentica che tutto ciò può essere evitato e corretto alla fonte.

Così facendo si rinuncia ad un importante fattore di efficienza.

Errori di questo tipo, però, potrebbero portare una azienda a dover gestire un incremento di costi di gestione ed, eventualmente, anche danni di immagine.

A tal proposito, secondo Gartner i dati di scarsa qualità possono determinare danni nel 50% dei sistemi di CRM (Gestione delle Relazioni con i Clienti).

Per evitare che questo accada è fondamentale l’utilizzo di un Data Quality Firewall

Data Quality Firewall è un concetto innovativo pensato al fine di proteggere un asset fondamentale per tutta l’azienda: la qualità dei dati. Così come i firewall delle reti hanno lo scopo di proteggere il computer da virus o hacker, il Data Quality Firewall è utile per assicurare il corretto funzionamento delle applicazioni grazie a dati validi e consistenti. La qualità dei dati è garantita dall'utilizzo di metodologie reattive per “elaborare” i dati provenienti da sistemi eterogenei, e proattive, che processano, bonificano e validano i dati in tempo reale.

DOMANDE FREQUENTI

Cosa succede se la struttura

dei flussi cambia spesso o

inavvertitamente?

Chi controlla che il flusso

arrivato sia sempre corretto,

completo e conforme alle

specifiche?

Se ci sono nuove specifiche

nella descrizione dei flussi, chi

modifica il software di

caricamento o gli script dell'

ETL?

Come si gestiscono più

versioni di uno stesso flusso

che può essere attivo o

disattivo in un determinato

periodo?

Supponendo di disporre di

risorse umane adeguate,

quanto tempo si impiega ad

apportare le modifiche per un

corretto caricamento?

Quanto costerà porre rimedio a

tutte queste problematiche?

LA VERA SOLUZIONE

jValidator é un sistema server Open Source per la validazione ed il trattamento di flussi informativi.

COSA FA

o Rileva anomalie salvando preziose

informazioni prima del processo di

trasformazione e caricamento

all’interno dei sistemi di destinazione

finale.

o Standardizza i dati secondo precise

regole di business personalizzabili ed

in linea con le esigenze aziendali.

o Semplifica la fase finale di confronto

ed arricchimento, rilevando eventuali

duplicazioni anche in presenza di dati

anomali, inconsistenti o addirittura

mancanti.

o Realizza e popola un Data Mart o un

Data Warehouse rispettando le

tempistiche del progetto.

o Esegue velocemente una estrazione

di file per creare un report accurato.

o Opera euristicamente (effettuando cioè

una ricerca) sugli elementi dei tracciati

record nella comunicazione tra sistemi

eterogenei.

o Processa i flussi informativi garantendo

la consistenza della banca dati.

o Permette la definitiva e completa

eliminazione di tutte quelle applicazioni

sviluppate per validare i flussi.

o Può essere utilizzato dall'utente finale.

Un utente che spesso non ha

competenze tecniche, ma che può

contare su un'amichevole interfaccia

web che consente di operare su

qualsiasi livello di dettaglio.

o Abbatte i costi delle "soluzioni standard"

offrendo, inoltre, possibilità strutturate di

integrazione con sistemi di ETL e

specifici software proprietari.

o Analizza i dati in ingresso,

indipendentemente dalla fonte da cui

essi originariamente provengono.

Per definire in modo preciso ed univoco i controlli da effettuare alla ricezione di un flusso

(es. richiesta di servizio in una banca) jValidator definisce 3 livelli di controllo:

Controlli sostanziali: rappresentano i controlli di competenza strettamente correlati al tipo di servizio erogato. In alcuni casi possono essere applicati mediante accesso ad informazioni esterne.

Controlli applicativi: sono i controlli che non possono essere effettuati tramite semplice validazione XSD dei messaggi ricevuti, ma necessitano di ulteriori verifiche di tipo applicativo che coinvolgono dati e logiche.

Controlli formali: controlli volti alla verifica che i dati veicolati rispettino il formalismo imposto dagli standard definiti. L’insieme dei controlli formali coincide con l’insieme dei controlli definiti negli schemi XSD.

VANTAGGI

o Completa autonomia dei modelli dei flussi

o Regole di validazione formali e logiche

o NO costi di gestione di una soluzione ad - hoc

o Multi piattaforma (OS Windows o qualsiasi Unix)

o Multi linguaggio nell'interfaccia con altri sistemi

o Gestisce anche di un singolo tracciato record

o Supporta le modalità RMI, SOAP e Batch

CHI LO PUO’ USARE

o Un utente anche privo di conoscenze

di programmazione

COME

o Interfaccia WEB 2.0 “user-friendly” che opera su qualsiasi livello di dettaglio

o Metalinguaggio in lingua italiana per creare macro per validazione complesse

SE DATO_1 E' MAGGIORE DI ( DATO_2 + X ) ERRORE (DATO_1 MAGGIORE DI Y)

COMPATIBILITA’

o Applicazioni sviluppate con Java

o Applicazioni sviluppate con C/C++, PHP, Perl, Python, C#, ASP, VBasic, Delphi

o Applicazioni sviluppate con COBOL o CICS

SETTORI DI APPLICAZIONE Responsabilità “amministrativa” degli Enti in relazione alla commissione di reati - D.Lgs.231/2001

(es. L’operatività conseguente l’adozione di un modello di gestione richiede flussi di segnalazione)

Flussi di comunicazione interni alle aziende- D.Lgs.231/2007(es. Flussi informativi verso il Consiglio di Amministrazione o il Collegio Sindacale)

Flussi informativi preposti alle norme anti-riciclaggio(es. verso Organismi di Vigilanza)

Flussi informativi tra soggetti aventi sistemi informativi eterogenei(es. Banche, ASL, Ministeri, etc)

COS’E’ UN FLUSSO

INFORMATIVO?

E' una sequenza di dati che

vengono scambiati durante la

comunicazione tra due sistemi.

COSA SIGNIFICA VALIDARE

UN FLUSSO INFORMATIVO?

Controllare ogni singolo dato del

flusso informativo secondo

specifiche regole stabilite a priori.

COSA SIGNIFICA “ETL”?

E’ l’acronimo inglese di "Extract,

Transform, Load".

Si riferisce al processo di

estrazione, trasformazione e

caricamento dei dati all’interno di in

un sistema informativo.

COSA SIGNIFICA “XML”?

E' un metalinguaggio che,

mediante la creazione di tag

personalizzati, permette di creare

nuovi linguaggi

COSA SIGNIFICA “XSD”?

E' uno schema che descrive come

deve essere strutturato e

valorizzato un tracciato XML.

CARATTERISTICHE PRINCIPALIo Elevate performance di elaborazione anche con grandi quantità di dati

o Supporto nativo al Cluster

o Validazione asincrona dei flussi grazie alla tecnologia Java Message Driven Beans

o Messaggi di errore personalizzabili per ogni campo del tracciato record

o Task scheduler integrato per le validazioni programmate

o Pannello di controllo con dettagliati reports grafici sui dati elaborati e da elaborare

o Monitor performance ed Engine di autodiagnosi per il controllo delle comunicazioni

o Creazione mediante interfaccia visuale degli elementi che compongono il tracciato del flusso

o Versionamento dei modelli di flusso

o Pubblicazione di uno o più tracciati su programmazione temporale

o Disabilitazione automatica o programmata delle regole di programmazione

InstallazioneConfigurazioneManutenzioneIntegrazione

Supporto HardwareSupporto Tecnico

CHI SIAMO

Siamo una software house italiana

che dal 2004 opera nel campo della

Consulenza Informatica e nello

Sviluppo di Soluzioni e Sistemi

basati su tecnologie Open Source.

Siamo Sviluppatori, Project

Manager, Sistemisti, esperti di

Marketing & Comunicazione

accomunati dalla convinzione che

l'utilizzo di standard aperti

contribuisca a diffondere ed

incrementare l'innovazione e la

possibilità di scelta di prodotti sicuri,

affidabili, flessibili e customizzati a

costi competitivi ed inoltre non

vincola al monopolio dei produttori.

Lavoriamo al fianco di PMI, grandi

Aziende, Enti Pubblici e Ministeri

dove il nostro team di professionisti

eroga consulenze in Outsourcing.

Siamo annoverati tra i pochi fornitori

ufficiali di Engineering.

A riprova dell'efficacia del nostro

"modus operandi" e come sfida

continua verso efficienza e

miglioramento abbiamo scelto CSQ

quale partner per il nostro sistema

di Certificazione Qualità conforme

alla normativa ISO 9001:2008.

RIFERIMENTI

Servizio di tracking internazionale pacchi, per la validazione

e caricamento dei tracciati scambiati con T&T

http://www.poste.it

La comunità globale contribuisce alla sua costante evoluzione

http://www.assembla.com

OpenPRJ srlvia Prato Fiorito, 98

00132 Roma P.IVA 02914260787

Tel.+39 (06) 655.62.54

www.openprj.itinfo@openprj.it

REQUISITI TECNICI(Basato su architettura web 2.0)

Installazione del server

o Servlet Containero Java Runtime Environment (> 1.5)o Data Base indipendenteo Sistema Operativo indipendente

Accesso alle funzionalità da parte degli utenti

o Browser internet (Internet Explorer > 7.x, Mozilla Firefox > 3.5, Google Chrome)

Invio notifiche di promemoria e sollecito via e-mail

o Server smtp anche esterno

Segui le ultime novità su

http://www.jvalidator.com

Progetto patrocinato da

Associazione Italia per l’Open Source

http://www.aipos.it