2016 05 18 synapta anci e rena workshop su tecnologie civiche e open data
TRANSCRIPT
ContrattiPubblici.org
data curation e business intelligence per
rendere sostenibile il knowledge graph della
trasparenza sui contratti della PA
Laboratorio ANCI “Tecnologie civiche e dati aperti come strumenti di governo della complessità”
Torino, 18 maggio 2016
Federico Morando CEO Synapta SrlFellow Centro Nexa su Internet & SocietàPublic Lead Creative Commons Italia
18/05/2016 ContrattiPubblici.org 2
Normativa: i pilastri fondamentali
● Direttiva PSI (2003/98/CE) relativa al riutilizzo dell'informazione del settore pubblico
● come aggiornata dalla Nuova Direttiva PSI (2013/37/UE)– Decreto Legislativo 24 gennaio 2006, n. 36 (e s. m. i.)
● Codice Amministrazione Digitale (D.Lgs. 82/2005)● Decreto Trasparenza (D.Lgs. 33/2013)
● in fase di profonda revisione
18/05/2016 ContrattiPubblici.org 3
Decreto Legisl. 24 gennaio 2006, n. 36
● Art. 1. Oggetto ed ambito di applicazione● 1. [...] riutilizzo dei documenti contenenti dati pubblici nella disponibilità delle
pubbliche amministrazioni e degli organismi di diritto pubblico● 2. [che] provvedono affinché i documenti [...] siano riutilizzabili a fini
commerciali o non commerciali [...]● Art. 5. Richiesta di riutilizzo di documenti
● 1. Il titolare del dato adotta prioritariamente licenze aperte standard [...]● 3. [...] esamina le richieste e rende disponibili i documenti al richiedente, ove
possibile in forma elettronica, entro il termine di trenta giorni, prorogabile di ulteriori trenta giorni nel caso in cui le richieste siano numerose o complesse. In caso di decisione negativa, il titolare del dato comunica al richiedente i motivi del rifiuto sulla base delle disposizioni del presente decreto
– Quando e' adottata una decisione negativa ai sensi dell'articolo 3, comma 1, lettera h), per la parte relativa ai diritti di proprieta' intellettuale, il titolare del dato indica, inoltre, la persona fisica o giuridica titolare del diritto, se e' nota, oppure il licenziante dal quale il titolare del dato stesso ha ottenuto il materiale.
18/05/2016 ContrattiPubblici.org 4
Licenze Aperte Standard
● “licenza standard per il riutilizzo: il contratto, o altro strumento negoziale, redatto ove possibile in forma elettronica, nel quale sono definite le modalita' di riutilizzo dei documenti delle pubbliche amministrazioni o degli organismi di diritto pubblico”
● quindi, non solo le licenze Creative Commons, che tuttavia restano lo strumento più diffuso, sia in Italia che nell'Unione
18/05/2016 ContrattiPubblici.org 5
18/05/2016 ContrattiPubblici.org 6
6 combinazioni possibili
Attribuzione - Non commerciale - Non opere derivate
Attribuzione - Non commerciale - Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo stesso modo
Attribuzione
18/05/2016 ContrattiPubblici.org 7
solo 2 veramente “aperte”
Attribuzione - Non commerciale - Non opere derivate
Attribuzione - Non commerciale - Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo stesso modo
Attribuzione
18/05/2016 ContrattiPubblici.org 8
Focus
● tra gli obblighi di pubblicazione richiamati nel Decreto Trasparenza, ci sono quelli della Legge 190/2012 (anticorruzione)
● Art. 1, c. 32: “le stazioni appaltanti sono in ogni caso tenute a pubblicare nei propri siti web istituzionali: la struttura proponente; l'oggetto del bando; l'elenco degli operatori invitati a presentare offerte; l'aggiudicatario; l'importo di aggiudicazione; i tempi di completamento dell'opera, servizio o fornitura; l'importo delle somme liquidate. Le stazioni appaltanti sono tenute altresi' a trasmettere le predette informazioni ogni semestre alla [ANAC]”
● l'ANAC (già AVCP, già CiVIT) ha pubblicato linee guida dettagliate
● “Specifiche tecniche per la pubblicazione dei dati ai sensi dell’art. 1 comma 32 Legge n. 190/2012”
– famosi XML della sezione trasparenza
18/05/2016 ContrattiPubblici.org 9
ContrattiPubblici.org
data curation e business intelligence per
rendere sostenibile il knowledge graph della
trasparenza sui contratti della PA
18/05/2016 ContrattiPubblici.org 10
idea
● problema // opportunità sprecata● PA investono tempo e denaro per generare dati per
trasparenza amministrativa– vissuto come un onere burocratico vessatorio– (quasi) nessuno li utilizza (appieno)
● soluzione● organizzare e dar senso a questi dati con
competenze multidisciplinari– giuridiche ed economiche per decifrare il giuridichese e
capire il processo amministrativo che genera i dati– tecnologie linked data per facilitare la gestione di basi di dati
provenienti da fonti eterogenee e l'incrocio con altri dati● l'utilizzo dei dati relativi alla trasparenza per fare
business intelligence offre un canale di sostenibilità
13/04/2016 ContrattiPubblici.org 11
Synapta Srl
18/05/2016 ContrattiPubblici.org 12
linked data
● nascono per l'interoperabilità sul Web● fonti dati eterogenee● soggetti indipendenti, prospettive diverse
● incrociare informazioni senza vincolare a strutture dati ridige e predefinite, ma tramite
● un formalismo concettualmente semplice {s p o}● identificatori globali accessibili in modi standard (URI)● riutilizzo di vocabolari e tassonomie esistenti
● standard e raccomandazione del W3C
18/05/2016 ContrattiPubblici.org 13
linked data
● nati come linked open data accessibili sul Web● miglior modo di aprire i dati delle PA
secondo le linee guida AgID● ideali per fare interoperabilità dentro organizzazioni
pubbliche o private che gestiscono dati eterogenei● combinazione di dati strutturati
e descrizioni in linguaggio naturale● eventuali tassonomie e/o standard● diverse anagrafiche da collegare● reti complesse di attori
18/05/2016 ContrattiPubblici.org 14
innovatività
● non c'era nessuno che lo faceva ;-)● spesso quando si dice questo si sbaglia, ma...
– ...interessante che un infomediario leader li acquisti da noi– e che alcuni provider privati di informazioni sui bandi pubblici,
così come enti centrali e regionali, stiano valutando di farlo● la tecnologia linked data funziona in questo campo
● scenario da manuale:– soggetti eterogenei– possibilità di ricreare un grafo
● “riconciliazione” ex post– collegamenti a fonti terze
18/05/2016 ContrattiPubblici.org 15
18/05/2016 ContrattiPubblici.org 16
18/05/2016 ContrattiPubblici.org 17
dati principali
● Codice Identificativo Gara● oggetto del lotto● procedura di scelta del contraente
● struttura proponente● codice fiscale della stazione appaltante● denominazione stazione appaltante
● partecipanti, inclusi raggruppamenti● codice fiscale o P. IVA● ragione sociale● eventuale ruolo nel raggruppamento
● aggiudicazione e svolgimento● aggiudicatario● importo di aggiudicazione● data di effettivo inizio● data di ultimazione lavori● importo somme liquidate
18/05/2016 ContrattiPubblici.org 18
gran mole di dati
● dati 2015: 17.534 URL indice → ~200K file XML● dati 2014: 18.030 URL indice → ~200K file XML● >5,4 milioni di CIG validi
● più di 5,7 milioni di contratti distinti● >16,6 mila stazioni appaltanti
● in aumento (+25%) coi dati 2015● >800 mila aziende partecipanti
● >518 mila P. IVA valide e >215 mila codici fiscali
18/05/2016 ContrattiPubblici.org 19
data quality & cleaning
● molti dati, processi eterogenei, vari fornitori IT➔ molti errori (quelli immaginabili & molti altri)✔ implementazione di codice per correggere
sistematicamente i più comuni● processo oggi completamente automatizzato
● possibili aggiornamenti periodici– mensili: alcune PA aggiornano i dati sistematicamente
● beneficio da nuova pubblicazione semestrale● interlinking
18/05/2016 ContrattiPubblici.org 20
18/05/2016 ContrattiPubblici.org 21
interlinking
● fatto, con fonti open● Indice della PA (SPC Data)● DBPedia (internazionale e Italia)
● fatto, ma con fonti proprietarie● dati Infocamere (tramite Atoka.io)
● potenzialmente (open o “open by default”)● ISTAT● osservatori regionali/nazionali
18/05/2016 ContrattiPubblici.org 22
18/05/2016 ContrattiPubblici.org 23
18/05/2016 ContrattiPubblici.org 24
18/05/2016 ContrattiPubblici.org 25
18/05/2016 ContrattiPubblici.org 26
18/05/2016 ContrattiPubblici.org 27
18/05/2016 ContrattiPubblici.org 28
18/05/2016 ContrattiPubblici.org 29
18/05/2016 ContrattiPubblici.org 30
18/05/2016 ContrattiPubblici.org 31
motore di ricerca per analisi avanzate
18/05/2016 ContrattiPubblici.org 32
es.: formazione anticorruzione Sardegna
18/05/2016 ContrattiPubblici.org 33
impatto sociale
● ContrattiPubblici.org come progetto di social innovation
● oggi: i cittadini possono– fruire facilmente i dati sulla trasparenza
(che nel formato XML nativo sono criptici)– visualizzare e confrontare dati aggregati
● domani:– incroci con ulteriori fonti, confronti visuali tra PA
● in programma:– cittadinanza attiva
● crowdsourcing del monitoraggio● attivare e seguire una richiesta di Accesso Civico (es. dati mancanti)
● “FaciliTO Giovani e Innovazione Sociale” all'interno di Torino Social Innovation
18/05/2016 ContrattiPubblici.org 34
Synapta SrlSynapta.it
ContrattiPubblici.orgGitHub repository