Smart Cities and Communities and Social InnovationBando MIUR

D.D. 391/Ric. del 5 luglio 2012

“Open City Platform: una piattaforma cloud di valenza generale evolutiva aperta e innovativa per l’offerta e l’erogazione in cloud di servizi per la Pubblica Amministrazione

Mirco MazzucatoOCP Project Manager

(Mirco.mazzucato@pd.infn.it)

Outline

• Introduzione a OCP, strategie e focus

• Piattaforma IaaS

• Piattaforma PaaS

• Open Data Engine

• Application Store

• Service Toolkit

• Citizen Marketplace

• Security

• Deliverable e Tempi

Informazioni generali

Progetto di Ricerca Industriale finanziato dal MIUR

Durata: 30 mesi (1 gennaio 2014 – 30 giugno 2016 -> Dic. 2016)

Personale Coinvolto: oltre 100 unità

Mesi uomo: oltre 2000

Obiettivi Realizzativi: 11

Deliverable: 63 (tra ricerche e prototipi)

Budget Progetto: 11.949.448,89 euro

Totale Agevolazioni: 10.688.786,90 euro

Cofinanziamento: 1.260.662,00 euro

Oltre 9.000.000 di cittadini potenzialmente coinvolti dalle

sperimentazioni regionali e comunali

ATI Toscana/E.R.

Visione d’insieme

Open City Platform secondo il bando Smart Cities collabora strettamente con:

3 Regioni (Emilia Romagna, Marche e Toscana)

Decine di comuni e ANCI

per fornire una Piattaforma Cloud Open Source mirata per i Data Centers della PA che:

• Fornisca un’implementazione di riferimento per poter stabilire a livello nazionale

un’infrastruttura cloud completa e federata che permetta alle PA, cittadini e imprese la

l’accesso e la condivisione di servizi e dati disponibili nei vari CED cloud della PA

• Permetta di fornire una base tecnologica avanzata per richieste di finanziamento a livello

Europeo al mondo della Ricerca, Università, Industrie e PA

• Sviluppi competenze e nuovi modelli di business secondo le potenzialità dei territori

I Driver principali del progetto

- Per eliminare il lock in e la mancanza di trasparenza delle piattaforme proprietarie

- Per ridurre i costi per la PA e porre il paese alla frontiera mondiale in questo campo

- Per poter sfruttare un trend di mercato ormai consolidato

- Per poter anticipare le nuove aspettative degli utenti.

- Per abilitare lo sviluppo e il riuso di nuove applicazioni relative ai settori

d’interesse delle PA (Salute, eGov, Ambiente, Mobilità …)

- Per realizzare nuovi modelli organizzativi sostenibili nel tempo per le PA che

permettano d’innovare l’erogazione di servizi in modo nativamente digitale

Cloud Open Source: La scelta si è rivelata vincente

Da DZone Cloud Report 2014

Cloud: Cosa interessa di più oggi?

Da Dzone Cloud Report 2014

Una significativa evoluzione recente

Focus sulla PA: su cosa punta OCP ?

Perchè puntare su un nuovo cloud aperto per la PA?

• Lo sviluppo del Cloud Open Source è recente (2010)!

• E’ possibile realizzare nuovi servizi tecnologici infrastrutturali innovativi open source nell’ambito del Cloud, competitivi perchè nativamente interoperabili a livello federato, ora secondo le regole del paese ( SPID…) e poi europee e perché realizzati dalle imprese e il mondo della ricerca sotto la guida diretta delle esigenze delle PA (Security, Privacy..)

• E’ possibile abilitare tempestivamente lo sviluppo/di nuove applicazioni cloud competitive relative ai settori d’interesse delle PA (Salute, eGov, Ambiente, Mobilità …) nativamente predisposte e sostenute da tools specifici per poter essere attivate e riutilizzate in modo digitale nei CED cloud delle PA

• Per realizzare nuovi modelli organizzativi sostenibili nel tempo per le PA che permettano d’innovare l’erogazione di servizi in modo nativamente digitale da parte delle Pubbliche Amministrazioni Locali e Regionali a cittadini, imprese e altre amministrazioni a costi ridotti

La strategia di OCP per la Piattaforma Cloud per la PA

• Realizzare una Piattaforma Cloud generale Open Source per la PA che comprendea i tre livelli: Infrastructure as a Service- IaaS , Platform as a Service - PaaS e Software as a Service –SaaS integrando:

- I migliori prodotti che la vasta community internazionale open source ha reso disponibili e continuerà a sviluppare e rendere disponibili: Openstack, Zabbix, Cloudfoundry, WsO2, OpenShift- Le customizzazioni prodotte dai progetti pionieristici come PRISMA (progetto MIUR PON 22

con MEuro di finanziamento), Marche Cloud, INFN Cloud

• Aggiungere/integrare nella piattaforma con attività di Ricerca e Sviluppo nuovi servizi innovativi specifici per la PA

- AppStore, Open Data Engine, Security federata, Market Place per il cittadin

- In futuro piattaforme specifiche di settore a supporto a servizi in cloud per Sanità, eGov, Ambiente….

adapter

Disaster Recovery as

a Service (DRaaS)

Real Environment

(VM infrastructure, HW, network)

Real Environment

(VM infrastructure, HW, network)

IaaS / PaaS

Management

Flexible Resource

Management

Cloud to Cloud

(C2C) Cloud to

Ground

(C2G)

Service Composition

Orchestrator

brokering

Queue system

Openstack

Native API

Recipe

(HEAT)

IAAS providers

API API

API

API

Lifecycle Engine

API API

API

Mo

nit

ori

ng

en

gin

e

PaaS adapter layer

API

Cloud Formation as a

Service (CFaaS)

openstack

Billin

g e

ng

ine

App store

Auth SSOCitizen's

Marketplace

Reusable

components

(REST

services)

loggingAppManagement

Portal

Au

the

nti

ca

tio

n -

Au

tho

riza

tio

n -

ac

co

un

tin

g

API

App

App

API

Open Data

Services

(REST

services)

PRISMA ESB interface

iPaaS Layer

API

L’architettura della piattaforma è stata disegnata considerando:

• integrazione IaaS e PaaS• scalabilità• multilayer• interoperabilità• riuso delle componenti• robustezza

Include al suo interno macro componenti particolarmente rilevanti:

• modulo orchestrator/automation• modulo monitoring/billing• PaaS layer/services• IaaS layer/services• Open Data e Open Service Engine• Application Store e Toolkit

Repository • Citizen’s Marketplace

L’architettura generale della Piattaforma OCP

11

L’Architettura originale di Monitoring di OCP

Monitoring PillarOrchestrator

OpenstackENV

Openstack Hypervisor

CloudifyENV

Zabbix watcher

Zabbix metric

Zabbix Infrastructure

Zabbix WrapperBIZ

Orchestrator

(jBPM)BIZ Library

HEAT REST API

CLOUDIFYREST API

PRISMA MODEL

Billing

Policy engine

Rules

Price List

Billing Pillar

Static info from platform:

• Flavour• Service

type

Get metering data

Get static data

• Invoice Sytem

• notification

VMVM

+ script

12

Monitoraggio infrastruttura di

servizio

Metriche billing e di servizio E di monitoraggio

raggiungibilità servizio PAAS

[PRISMA]Ceilometer/script python custom

[ZCP]zabbix ceilometer proxy

Storicizzate su DB Zabbix

Metriche utente con frequenza di update

maggiore

Metriche per capire stato del servizio deployato (agent

Zabbix)

Infrastrutture Cloud: L’espansione di Openstack

• Cloud pubbliche:

o Amazon

o OpenStack

• Cloud private OpenStack

OpenStack vs. Amazon

• Nel 2013 Amazon domina ancora il mondo del Cloud

• Ma il trend sta cambiando:

IaaS da PRISMA: Layout architetturale

Le caratteristiche generali della IaaS di OCP

• HA: Tutti i servizi di OpenStack offerti alla PA in HA con tool d’installazione econfigurazione automatici basati su Puppet, Foreman e Fuel

• Monitoring integrato

• Fault-tolerance

o Soluzioni pronte per gestire i fallimenti dei servizi Core di OpenStack

o E per gestire il fault dei servizi utente ospitati su OpenStack

• Disaster Recovery

o Soluzioni di Cold-disaster-recovery direttamente integrate nell’infrastruttura IaaS

o Sia per i dati che per i servizi

• Performance a QoS

o Gestisce automaticamente (a livello di IaaS) QoS e autoscaling per gestire picchi di carico

Le strategie adottate per la PaaS di OCP

• Fornire alla PA automazione per l’attivazione di servizi su IaaS a livello di piattaforma eliminando dall’utente la necessità di gestire la complessità delle componenti dell’infrastruttura e delle configurazioni non solo per OpenStack ma per cloud eterogenee

• Continuare il focus sull’integrazione di soluzioni Open Source ma fornire la massima apertura alla possibilità di usare tecnologie e infrastrutture cloud proprietarie

• Fare scelte sempre guidate dagli Use Case della PA + standard di mercato

• Basare il core della piattaforma su soluzioni Open Source che sono o stanno diventando leader di mercato

17

Le Piattaforme PaaS di OCP

API

API

API API API

«OCP sta parallelamente conducendo test e sperimentazioni su quattro diverse piattaforme PaaS

leader di mercato»

«non necessariamente ne sarà scelta una sola, ma potrebbero coesistere nel prodotto finale più

soluzioni per risolvere problemi diverse…tutte integrate»

«Lo strato di integrazione e l’orchestrator giocheranno un ruolo fondamentale nella gestione

delle diverse piattaforme e delle ‘’RICETTE’’ relative ai servizi erogati»

Decisione sulla scelta dei prodotti da integrare in OCP prevista per fine marzo

• Restfull

interface

• Basate su

ricette o

cartridge

• Openstack

enabled

18

I servizi PaaS di basso livello di OCP

Identity access

management

Database

Application

deployment

Queue system Business

intelligence

Business

Process Manager

Open Data

framework

Tecnologie offerte as a Service derivati da PRISMA

Desktop as a

service

OCP offre già servizi di tipologia PaaS progettati per essere erogati rispettando concetti chiave del Cloud Computing:

• Monitoraggio• Raccolta metriche - Billing• Elasticità• Scalabilità• Self service• Affidabilità• Restful access

Ognuno di questi elementi è parte fondante della piattaforma

Messaging

(mail + sms)

Personal

storage

19

OCP e Open Service

OCP intende favorire la diffusione della cultura dell’Open Data, e in particolare la diffusione

degli Open Service quali soluzioni abilitanti la creazione di applicativi evoluti rivolti all’utenza

Smart City

Gli Open Data sono snapshot estratti dal sistema informatico sorgente, quindi ne rappresentano

una “copia” caratterizzata da estrema staticità

• I principali svantaggi degli Open Data sono legati all’impossibilità di (i) Accedere a

informazioni presenti nel sistema informatico originario in tempo reale (ii) Realizzare

transazioni e servizi bidirezionali (iii) Dare significato ai dati (iv) Garantire il principio

d’interoperabilità

Risolvere tali problematiche significa evolvere il concetto di Open Data a quello di Open

Service

• L’Open Service permette di accedere a informazioni presenti nel sistema informatico

originario in tempo reale, realizzare transazioni e servizi bidirezionali, implementare

l’interoperabilità all’interno della singola amministrazione e valorizzare il principio di

cooperazione applicativa tra i back-end di sistemi informativi pubblici di diverse

amministrazioni

OCP offrirà open service per usufrire di dati disponibili in

formato proprietario su applicazioni legacy già in uso

presso la PA

Standard OCP per la rappresentazione e integrazione dei dati

“A ‘point of interest’ is a location about which information is available. A POI can be as simple as a set of coordinates and an identifier, or more complex such as a three dimensional model of a building with names in various languages, information about open and closed hours, and a civic address. POI data has many uses including navigation systems, historical place-based research, geocaching, location-based social networking games, and augmented reality browsers.”

● In Openstreetmap un POI è rappresentato utilizzando il concetto di “node” (http://wiki.openstreetmap.org/wiki/Points_of_interest)

● Keyhole Markup Language(KML) è un formato di file utilizzato per visualizzare i dati geografici in un navigatore come Google Earth o Google Maps.https://developers.google.com/kml/

● W3C to OGC data model

Infomobilità

Mobilità (in particolare soggetti diversamente abili)

Controllo del Territorio, Videosorveglianza e ZTL

Open Data: Scouting Soluzioni Tecnologiche

• Socrata OpenData Portal, è una soluzione “chiavi in mano” (SaaS) per la realizzazione di portali Open Data fornita dalla compagnia Socrata.

• Comprehensive Knowledge Archive Network (CKAN), al momento è la soluzione open-source più utilizzata ma anche la più essenziale; promossa da Open Knowledge Fundation.

• Open Government Data Initiative (OGDI), è una piattaforma open source cloud based sviluppata da Microsoft.

• StatPortal OpenData, è una piattaforma open source sviluppata interamente in Italia da Sistemi Territoriali S.r.l. Consente di realizzare portali di open data con funzionalità avanzate.

Valutazione dei i migliori tool oggi utilizzati per la realizzazione di portali Open Data:

OCP Open Data Engine

• Ha una componente di data storage nativa in grado di gestire dati alfanumerici, geografici e triple RDF (Linked Open Data), consentendo quindi la gestione di informazioni di vario tipo

• Ha un avanzato modulo di data visualization grazie al quale i dati catalogati non sono solo scaricabili ma possono anche essere fruiti sul web con tabelle, grafici e mappe interattive generate automaticamente dal sistema e personalizzate

• Consente l’esposizione del catalogo e dei dati con molteplici formati e protocolli (es. XML, JSON, ODATA, RDF, endpoint SPARQL) agevolando quindi il possibile riuso dei dati

• Grazie al protocollo ODATA consente la realizzazione di reti di portali federati che condividono non solo i metadati ma anche i dati senza che questi siano copiati da un database ad un altro

• La piattaforma espone inoltre le API CKAN, rendendola quindi pienamente compatibile e federabile con altri portali realizzati con tale tecnologia, DatiGov.it compreso.

Stat Portal

L’Application Store di OCP

Tramite l’Application Store

le Pubbliche Amministrazioni che agiscono da Stazione Appaltante ( Regioni, Consip, AgID…) potranno abilitare i provider a rendere disponibili i prodotti acquisiti via gara

Le Pubbliche Amministrazioni Locali Acquirenti potranno acquisire e abilitare l’erogazione dei servizi applicativi disponibili verso il cittadino/impresa in infrastrutture Cloud.

Il processo di attivazione - automatizzato dalla Piattaforma Cloud di OCP (o altre) – renderà disponibili via cloud le risorse Software ed Hardware (virtuale) e i sistemi di monitoring e billing necessari al corretto utilizzo dei Prodotti“acquistati”.

L’ Application Store

• La base per attivare un vero e-commerce per il software per la PA

• Diviso in aree tematiche (eHealth, eGov…)

• Con Elementi Tecnologici (Service Toolkit)

• Best practices

• Opendata services

• Citizen Market Place

Citizen's

Marketplace

Reusable

components

(REST services)

App Open Data

Services

(REST services)App

App

e-Gov e-Health infomobility

Scelta tecnologica di OCP per l’Application Store

Dopo una valutazione approfondita la scelta tecnologica si è orientata nella selezione di WSO2 Enterprise Store come artefatto base su cui costruire l’Application Store.

La scelta è stata determinata da questi fattori:

• Soluzione completamente Open Source disponibile con licenza Apache 2.0

• Buona parte dei requisiti già disponibili out of the box.

• L’architettura di base a plugin permette una semplice e solida estensione delle funzionalità.

• Soluzione fortemente personalizzabile.• Soluzione nativamente multi-tenant• Architettura scalabile e coerente con i paradigmi

Cloud.

Il Market Place con i servizi riutilizzabili del Service Toolkit

di componenti software infrastrutturali (OCP Reusable components) o di servizi applicativi riutilizzabili pubblicati sull’AppStore di OCP nella sezione Market Place per i servizi del Service Toolkit messo a disposizione per questo scopo dalle imprese di OCP

In questo modo le imprese saranno agevolate a sviluppare le sole componenti applicative, senza dovere riprogettare i servizi più generali e standard.

Le imprese produttrici di software per la PAL (e per i Cittadini) potranno trarre vantaggio dal riuso

27

Servizi di messaggistica e per

soluzioni VOIP

Servizi per Gateway Multicanale

Servizi di integrazione storage

Servizi per la classificazione

semanticaServizi di accesso a dati catastali

Il service toolkit dei componenti ritutilizzabili

Servizi cartografici

Servizi per l'Identità Digitale

Servizi di accesso a gateway Billing,

Accounting e Pagamenti

Applicativi in OCP

Consultazione pratiche edilizie

Gestione pratiche SUE

Gestione pratiche SUAP

Estrazione dati catastali SigmaTer

Servizi geografici catastali SigmaTer

Accesso ai dati cartografici catastali

Visura catastale ai fini IMU/ICI

Pagamento Tassa rifiuti urbani

Pagamento IMU

Dichiarazione di variazione IMU

Denuncia IMU

Mobilità categorie diversamente abili

Servizi raccolta informazioni territoriali

Applicativi client per la creazione di archivi record

Servizi di condivisione dati

Servizi multicanale di interrogazione informazioni

Analisi Flussi Veicolari

Tracciabilita mezzi/persone/asset

Gestione Accessi-ZTL

Codice della Strada-Velox

Codice della Strada-Viper

Controllo ambientale

Videosorveglianza

Integrazione BIG DATA

Gestione parcheggi

TEnder Opportunities for SMEs (TEO)

Tassa automobilistica

Applicativi pilota

SmartGov, Territorio e Fiscalità

Infomobilità e videosorveglianza

Salute

Autocertificazione Stato di Famiglia

Autocertificazione di Matrimonio

Iscrizione Albo Scrutatori

Iscrizione Albo Presidenti di Seggio

Variazioni domiciliari

Consultazioni dati Anagrafici

Richiesta di Immigrazione

Cancellazione dagli Albi elettorali

Autocertificazioni Precompilate

Consultazione atti amministrativi

Gestione bandi, gare e concorsi

Cartella Clinica del cittadino

Health Directory Service

Il Citizen’s Marketplace

Il Citizen’s Marketplace è un luogo unico nel quale la PAL e le Aziende possono esporre i propri Servizi ai Cittadini.

Il Cittadino potrà scegliere di usare o acquistare i servizi proposti e avrà a disposizione un’area tramite la quale – in un unico contesto – potrà verificare amministrativamente i consumi e i costi a lui riferiti su tutti i contratti di servizio in essere con i vari fornitori di Servizi.

Oppure il Cittadino potrà interfacciarsi con i servizi applicativi che le PAL attivano per lui sul Cloud

Citizens are welcome

30

Un’implementazione open source di riferimento dei componenti dell’architettura disicurezza prevista dal Sistema Pubblico per la gestione federata delle Identità Digitalidi cittadini e imprese (SPID per I settori del cloud computing quali:

o Platform as a Service (PaaS)

o Software as a Service (SaaS)

La security di OCP

Schema architetturale

Attribute Authority (AA) VOMS-based

Carateristiche AA

• compatibile con quanto riportato nella sezione “Regole tecniche per il gestore diattributi qualificati” della specifica SPID

• sarà una evoluzione di Virtual Organization Membership Service (VOMS) usato inambito grid in centinaia di CED per l’autorizzazione distribuita e sviluppato neiprogetti europei EGEE ed EMI

• La sicurezza dell’accesso al servizio è garantita dall’adozione dello standard TLS1.2

Policy enforcement framework: vari modelli

Modello web application: PEP inserito nell’applicazione

Modello web service: PEP esterno all’applicazione

Basato sullo standard “eXtensible Access Control Markup Language v.2.0Farà leva sul know how acquisito nel progetto HealthSOAF e da INFN

Deliverables : quali e quando

COMPONENTI TEMPO

• Piattaforma IaaS con tutti servizi in HA e Monitoring Disponibile Avviata installazione nei testbed di Regione ToscanaEmilia Romagna e Toscana + …Umbria e Basilicata

•Piattaforma PaaS con Orchestrator, Cloudify , Tecnologie Disponibileas a Service e Monitoring multi-layer integrato

Installata a seguire nei testbed delle tre RegioniPrototipo I con altre PaaS e Billing Luglio 2015

• Open Data Engine (Prototipo I) Luglio 2015

• Application Store (Prototipo I) Luglio 2015

• Service Toolkit (Prototipo I) Luglio 2015

• Citizen Marketplace (Prototipo I) Luglio 2015

• Security (Prototipo I) Luglio 2015

• Primo Porting Applicazioni Luglio 2015

• Release finale dopo sperimentazione con PA Prototipi I Ottobre 2015