Download - Kuntasektorin datan avaus ja jakelu Suomessa
Tampereen alueen avoin datapilvi -projektin (TAPI) loppuraportin kalvot
17.3.2014Heikki Salo, Terhi Vesanen, Seppo Kalli, Jukka HelinKommentit kalvoihin: [email protected] Image by MazeNL77 (FindIcons.com) [CC-BY-3.0
(http://creativecommons.org/licenses/by/3.0)], via Wikimedia Commons
2014-03-17 © TAPI-projekti 2
Sisällysluettelo
• Taustaa• Avoin data ja kunnat
sekä ITI- ja INKA-ohjelmat
• Avoimen datan välitysalustan toteutusteknologia
• Ehdotetut toimenpiteet• Liitteet
Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
2014-03-17 © TAPI-projekti 3
• Tampereen alueen kehitysyhtiö Tredeantilaama kehitysprojekti
• Toteuttaja Valomo–osuuskunta• Projektin kesto 9/2013-3/2014 • Projektin tavoitteet:
- Tuottaa suositukset prosesseista, vaatimuksista, hallinnoinnista sekä rahoituksesta liittyen Tampereen alueen avoimen datan tarvitsemiin datakatalogi-, datahotelli- ja muihin pilvipalveluihin.
- Analysoida alueen liiketoimintamahdollisuudet, ekosysteemi ja mahdollisesti perustettavan avoimen datan välittäjän liiketoimintamalli.
• Projekti toteutettiin EAKR/ELY-rahoituksen tuella
Tampereen alueen avoin datapilvi -projekti (TAPI)
TAPI-projekti
Kansallinen dataportaali:
VM/VIP, Gofore
TAPI-projektin liitokset muihin hankkeisiin
SHOKit: Digile, FIMECCAvoin data -hankkeet
VMX-Road-palveluväylä
SitraTaltioni
HelsinkiHRI
TampereODTR, ITS Factory
EU/KTMINKA, ITI
KelaKanta
2014-03-17 © TAPI-projekti 4
2014-03-17 © TAPI-projekti 5
Avoimen datan ekosysteemi
Teknologia- jainfrastruktuu-ritoimittajat
Avoimendatan
omistajat
Sovellus-kaupat
Palvelun-tarjoajat
Loppukäyt-täjät ja
hyödyntäjät
Ei-avoimendatan
omistajat
Selitykset:
Datavirta*
Rahavirta*
Datan välittäjä jakaa avointa, suljettua ja niistä mahdollisesti jalostamaansa dataa. Se maksaa suljetusta datasta ja jakeluteknologiasta ja saa tuloja palveluntarjoajilta.
Palvelun kehittä-jät, alihankkijat,
tutkimuslaitokset
(Avoimen)datan
välittäjä
* Ko. virtojen mukana kulkee myös tunnistautumis-, ym. informaatiota.
2014-03-17 © TAPI-projekti 6
Avoin data Kysyntä
Palvelujen tarjontaInnovaatiot
Mittarit: yritysten ja liikevaihdon määrä
Mittarit: tutkintojen, sovellusten, julkaisujen ja patenttien lukumäärä
Mittarit: datan latausten, applikaatioiden ja käyttäjien lukumäärä
Mittarit: avattujen datajoukkojen lukumäärä
Avoimen datan positiivinen kehä*
Buustit:EU-direktiivit,valtiohallinnon ja kaupunkien toimet
Tiedon yhdistely luo uusia toimi-
aloja* Positiivinen kierre, positiivinen kehä (virtuous cycle, virtuous circle): ketju tapahtumia, jossa jokaisella edellisellä tapahtumalla on positiivinen vaikutus seuraavaan. Vrt.
negat. kierre, negat. kehä, ”noidankehä” (vicious cycle, vicious circle): ketju tapahtumia, jossa jokaisella edellisellä tapahtumalla on negatiivinen vaikutus seuraavaan.
Datan avaaminen luo uusia mahdol-
lisuuksia
Yritykset tuottavat palveluita
Ihmisten tarpeet luovat
kysyntää
Image couttery of atibodyphoto / freedigitalphotos.net.
2014-03-17 © TAPI-projekti 7
Sisällysluettelo
• Taustaa• Avoin data ja kunnat
sekä ITI- ja INKA-ohjelmat
• Avoimen datan välitysalustan toteutusteknologia
• Ehdotetut toimenpiteet• Liitteet
Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
Avoimen datan hyödyntämisen vaiheet kunnissa
Avoin data
1Kaupungit avaavat dataa palveluistaan
Jalostettu data
Avoimet rajapinnat:REST, Siri,…
2Avointa dataa ja rajapintoja on löydettävissä, sovelluksia voidaan kehittää ja dataa jalostaa3
Jalostetun datan ja uusien sovellusten avulla toiminta tehostuu ja saadaan säästöjä
03/2014 on menossa siirtymä 1 2-vaihe. 3-vaiheen toteutuminen edellyttää panostamista 2-vaiheeseen.
2014-03-17 © TAPI-projekti 8
Image by Rayshade (Own work) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0) or GFDL (http://www.gnu.org/copyleft/fdl.html)], via Wikimedia Commons
2014-03-17 © TAPI-projekti 9
Avoimen datan hyödyt kuntalaisille
Image couttery of David Castillo Dominici / freedigitalphotos.net.
Kuntalaisilla on uusia työpaikkoja, jotka datan jalostaminen ja yhdistely ovat luo-neet. He voivat osallistua palvelujen kehittämiseen ja tuottamiseen. Heillä on hyvät vaikutus- ja osallistumismahdolli-suudet kunnan päätöksenteossa.
3
Kuntalaisten ympäristö- ja laatutietoisuus paranee avattujen kunnan palvelujen datojen avulla ja kunnan hallinnon läpinäkyvyys lisääntyy.
1
Kuntalaisten elämä helpottuu avointa dataa ja rajapintoja hyödyntävien uusien sovellusten ja parempienpalvelujen avulla.
2
2014-03-17 © TAPI-projekti 10
Avoin data ja kuntien talous – visio 2016Vuonna 2012 valtioneuvosto on edellisenä vuonna julkistanut periaate-päätöksen julkisten tietoaineistojen saatavuudesta. Käsite avoin data alkaakonkretisoitua valtionhallinnossa ja kuntasektorilla.
Vuonna 2014 Suurimmat kunnat avaavat datavarantojaan, mutta pienillä kunnilla ei ole resursseja tähän. Kunnilta puuttuvat kunnolliset prosessit datan avaamiselle, säilömiselle ja jakeluun. Kunnan palveihin liittyvändatan avaaminen aiheuttaa lisämaksuja kunnille. Datan avaamista helpottamaan avataan valtionhallintoon ja kuntasektorille dataportaaleja ja datahotelleja.
Vuonna 2016 huomataan kunnissa datan avaamisen johdosta, että aiemmin oli tehty paljon päällekkäistä tiedonkeruuta ja ylläpitoa, josta on voitu luopua ja joka voidaan toteuttaa tehokkaammin. Kunnat eivät enää lähetä raportointitietojaan monille eri viranomaisille, vaan viranomaiset hakevat itse nämä tiedot kuntien dataportaalista. Kuntien avoimia datavarantoja hyödyntäviä ja yhdisteleviä, kunnille itselleen ilmaisia, sovelluksia syntyy useita mm. matkailun, logistiikan, energiasektorin, median, terveydenhoidon, hyvinvoinnin ja kaupunkipalvelujen alueille. Syntyy uusia yrityksiä ja liikevaihtoa ja kunnat saavat lisää verotuloja. Kuntien palveluissa saadaan säästöjä esimerkiksi yhdistettäessä terveys-, sosiaali-, vero- ja työllisyystietoja alueittain (hyvinvointimaantiede).
Näkyvät hyödyt
Näkymättömät hyödyt
Image by Uwe Kils (iceberg) and User:Wiska Bodo (sky). [GFDL (http://www.gnu.org/copyleft/fdl.html) or CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0/)], via Wikimedia Commons.
2014-03-17 © TAPI-projekti 11
Kuntasektorin vision toteutumisen edellytykset
Image couttery of ponsulak / freedigitalphotos.net.
• Vision toteutuminen edellyttää kuntasektorin avoimen datan välitysalustaa
• Tampereella voidaan toteuttaa välitysalustan ja palvelujen testaamiseen sopivan kehitysympäristön kombinaatio eli avoimen datan innovaatioalusta
• Innovaatioalusta mahdollistaa sekä isojen että pienten kuntien avoimeen dataan liittyvän testauksen, julkaisun, laadun, varastoinnin, jakelun ja löytämisen
• Tällä hetkellä useilla pienillä kunnilla ei ole resursseja, välitysalustaa eikä prosessia kuntansa avoimen datan suhteen
• Alustan päälle voidaan kehittää ja tuotteistaa yrityksien avointa dataa hyödyntäviä palveluja
2014-03-17 © TAPI-projekti 12
Ehdotus välitysalustan dataportaaliosuudeksi
Image couttery of Stuart Miles / freedigitalphotos.net.
• VM ja Valtion IT-palvelukeskus (VIP) rakentavat kansallista dataportaalipalvelua avoindata.fi
• Metatiedot Suomen valtionhallinnon avoimesta datasta• Tamperelainen IT-talo Gofore koodaa palvelua• Koodit ja muut tuotokset julkistetaan avoimesti• Tuotannossa 4/2014?
• Dataportaalialusta voidaan kopioida ja rakentaa kuntien avoimelle datalle vastaava palvelu avoindata.kunnat.fi
• Metatiedot kaikkien kuntien avoimesta datasta• Metatiedot myös toimialakohtaisista ja yritysten
avoimesta datasta• Lisäksi voidaan toteuttaa tallennus- ja
jakelupalvelu kuntien ja yritysten avoimelle datalle (datastore.kunnat.fi)
• Palvelua voi hallinnoida liiketoimintaedellytysten täytyttyä, kuntasektorin avoimen datan välittäjä
2014-03-17 © TAPI-projekti 13
Innovaatioalustan tuomat kaksivaiheiset hyödyt
IT-alustojen hallinta:• portaali• katalogi• hotelli
Kokonaisarkkitehtuurin hallinta:• standardit• yhteensopivat kilpailutukset• valmiit toteutusspeksit
Clearing house -toiminnot: • priorisointi• datan vastaanotto ja hyväksyminen• ohjeet ja avustaminen
Kunnat, kuntalaiset, yritykset• datan jatkokäsittely• Ennustaminen, analysointi• tiedolla johtaminen• uusien palvelujen kehitys
Palvelujen buustaus:• kilpailut• hackathonit
Avoin data
Muu, ei-avoin ja big data
Avoin data
Avoin data
Avoin data
Avoin data
Avoin data
Kuntasektorin avoimen datan innovaatioalusta
1
1 1
Hyötyjen saannin vaiheet: ① Datan avaus ja jakelu
2 2
② Datan yhdistely ja jalostus
Hyödyt• säästöt kunnille• uudet PK-yritykset• uusi liiketoiminta• paremmat palvelut
2014-03-17 © TAPI-projekti 14
Kuntasektorin avoimen datan välitysalusta ja ITI/INKA-ohjelmatKansallinen dataportaali
avoindata.fi
Valtion julkishallinnon käyttöliittymä
1
1 04/2014 Kansallinen valtion dataportaali, jota hallinnoi VM/VIP, avataan
Helsinki Vantaa Espoo Tampere Turku Oulu
6AIKA2
2 05/2014 6AIKA käynnistää ITI-projektin kuntasektorin avoimen datan välitysalustan perustamiseksi
avoindata.kunnat.fi datastore.kunnat.fi
Kuntasektorin avoimen datan innovaatiosalustaKuntien käyttöliittymät
Tampere Turku Juupajoki Jyväskylä …3
3 12/2014 Kuntasektorin dataportaali, datahotelli ja ensimmäiset kuntien käyttöliittymät avataan4 2015 Yrityksissä ja INKA-ohjelmissa tehtyjä alustaa hyödyntäviä palveluja avataan
Biotal.• Joensuu• Jyväs-
kylä• Seinä-
joki
Kestävät energia-ratkaisut• Vaasa• Lappeen-
ranta• Pori
Tulev. terveys• Oulu• Kuopio• Pääkaup.• Tampere• Turku
Älykäs kaup.• Tampere• Lahti• Oulu• Pääkaup.• Turku
Uudist. Teoll.• Tampere• Lahti• Oulu• Pääkaup.• Turku
Kyber-turval-lisuus• Jyväs-
kylä
4Yritykset, ei-kuntien hankkeet
2014-03-17 © TAPI-projekti 15
Sisällysluettelo
• Taustaa• Avoin data ja kunnat
sekä ITI- ja INKA-ohjelmat
• Avoimen datan välitysalustan toteutusteknologia
• Ehdotetut toimenpiteet• Liitteet
Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
Yritykset, yhteisöt
Avoin data
Kuntasektorin avoimen datan välittäjäToteutetaan jos/kun yrityksen perustamiselle on liiketaloudelliset perusteet
SLA = Service Level Agreement, DaaS = Data as a Service, API = Application Programming Interface, App = Application
Kaupunki 1
Avoin data
Kaupunki N
Avoin data…
Avoin data
Loppukäyttäjät, palvelukehittäjät ja -tarjoajat
Kuntasektori-API
App 1 App N Selain…Datan kopiointi (optio kunnille)
avoindata.kunnat.fi• Datakatalogi muulle kuin
kansalliselle avoimelle datalle• Portaali (data, APIt, appsit,
esimerkit, dokumentaatio,…)• Kehittäjäyhteisöpalvelut
Kuntasektorin avoimen datan välittäjäSLA-pohjainen DaaS-palvelu
datastore.kunnat.fi• Keskitetty tallennus- ja jakelupaikka
staattiselle (ja dynaamiselle) kuntasektorin avoimelle datalle
• Konversiopalvelu• Datan validointi ja
laaduntarkistus
Portaali
CKAN-pohjainen datakatalogi
CM S Käyt t ölit t ym äkat alogiin
I ndeksoij a
CSW/CKAN-kerääjä
Datakatalogi ja portaali
data.pirkanmaa.fi
Kehit t äj äyht eisö
Web-lomake
REST- r aj apint a
2014-03-17 © TAPI-projekti 16
datastore.kunnat.fi• Keskitetty tallennus- ja jakelu-
paikka eri kaupunkien staattiselle (ja dynaamiselle) datalle
• Tiedostojen hallinta riippumatonta julkaisijoista
• Linkit eri palveluihin pysyvät ehjinä• Staattisen datan toteutusalustana
pilvipalvelu (Cybercom, Forge, Amazon,…)
• Dynaaminen data tarvitsee omat jakelualustat
avoindata.kunnat.fi• Dataportaali ja -katalogi• CKAN-pohjainen alusta, joka perustuu
uuteen kansalliseen dataportaaliin• Avattujen datajoukkojen metatietokuvaus• Kehittäjäyhteisöpalvelut: API-kuvaukset,
dokumentaatio, esimerkit, sovellus-promootio avoindata.fi
• CKAN-pohjainen kansallinen dataportaali• Kerää metatiedot eri katalogeista• Ei sisällä ainakaan alkuvaiheessa varsinaista
tiedostojen tallennuspaikkaa• Metatietojen linkitys tulevaisuudessa EU-tason
katalogiin
HRI-katalogi• CKAN-pohjainen
pääkaupunkiseudun datakatalogi
• Sisältää myös tallennuspaikan (Amazonin pilvipalvelu)
EU-katalogi• Kokoaa EU-alueelta eri katalogien sisällön
yhteen katalogiin
MetatiedotMetatiedot
Metatiedot
avoindata.kunnat.fi -datakatalogin linkitys
Editoitu http://prezi.com/1vslepw9xhn-/avoimen-datan-katalogit/ (Joonas Dukpa, 2013-06-24) pohjalta.
Datan julkaisu web-lomakkeen tai APIn kautta
MuutCKAN-pohjaisetkatalogit SuomessaYritykset,
yhteisöt
Avoin data
Mikkeli
Avoin data
Oulu
Avoin data
Tampere
Avoin data
…
Kuntasektorin avoimen datan välitysalusta
2014-03-17 © TAPI-projekti 17
2014-03-17 © TAPI-projekti 18
Muut datakatalogit (kansallinen,
toimialakohtaiset, yritykset, jne.)
avoindata.kunnat.fi ja datastore.kunnat.fi -arkkitehtuuri
Selain
Loppukäyttäjät• Avointa dataa
hyödyntävien appsien ja selainpohjaisten palvelujen haku ja käyttö
Kehittäjät• Avoimen datan, API-
dokumenttien ja koodiesimerkkien selailu
• Appsien ja selainpohjais-ten palvelujen kehitys
• Kehittäjäyhteisön palvelut (GitHub, ym.)
Loppukäyttäjät japalvelukehittäjät
Meta-tietojen
haku
CMS = Content Management System (esim. Liferay, Wordpress, Drupal), API = Application Programming InterfaceCKAN = Comprehensive Knowledge Archive Network (Open Source –pohjaisen dataportaalin alusta, muita esim. Socrata, Junar ja OGPL)CSW = Catalog Services for Web (yleisesti käytetty rajapinta avoimessa datassa), GitHub = Sosiaalinen yhteisöpalvelu koodaukseenREST = REpresentational State Transfer (Web-palveluissa yleisesti käytetty rajapinta)
Portaali
CKAN-pohjainen datakatalogi
CMS Kunnittain räätälöidyt
käyttöliittymät
Indeksoija
CSW/CKAN-kerääjä
Datakatalogi ja -portaaliavoindata.kunnat.fi
Kehittäjä-yhteisö
Web-lomake
App
Yritykset, yhteisöt
Avoin data
Kaupunki 1
Avoinn data
Kaupunki N
Avoin data
Tallennuspalvelu datastore.kunnat.fi
Avoin data
…
REST-rajapinta
Tallennus
Konversio
Validointi- ja laadunvarmistus
Datan julkaisuweb-lomakkeentai APIn kautta
Datan kopiointi(optio)
Sovellus-markkinointi
Käyttäjähallinta
2014-03-17 © TAPI-projekti 19
Sisällysluettelo
• Taustaa• Avoin data ja kunnat
sekä ITI- ja INKA-ohjelmat
• Avoimen datan välitysalustan toteutusteknologia
• Ehdotetut toimenpiteet• Liitteet
Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
2014-03-17 © TAPI-projekti 20
Ehdotetut toimenpiteet• Tampereen alue on kansainvälisesti edellä avoimen datan
hyödyntämisessä. Jotta etumatka säilyy, tulee toiminnasta saada pysyvää.
• 6AIKA-konsortion kautta haetaan 2-vuotista 5/2014 alkavaa ITI-projektirahoitusta kuntasektorin avoimen datan innovaatioalustan toteuttamiseksi
• Kaksivaiheinen projekti, jossa fokus on ensin datan avaamisessa ja jakelussa ja sitten datan jalostamisessa mukaan lukien big data -menetelmät
• Jos projektin aikana liiketoimintaedellytykset kuntasektorin avoimen datan välittäjälle selkiytyvät, otetaan perustamisasia käsittelyyn
• Kuntasektorin jakelualustan toteuttamisessa hyödynnetään mahdollisimman paljon valtionhallinnon avoindata.fi-alustaratkaisua
• Projektille pitää valita koordinaattoriImage couttery of ddpavumba / freedigitalphotos.net.
2014-03-17 © TAPI-projekti 21
Sisällysluettelo
• Taustaa• Avoin data ja kunnat
sekä ITI- ja INKA-ohjelmat
• Avoimen datan välitysalustan toteutusteknologia
• Ehdotetut toimenpiteet• Liitteet
Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons
2014-03-17 © TAPI-projekti 22
Datakäsitteiden määritelmät• Avoin data: digitaalisessa, helposti koneluettavassa muodossa olevaa dataa,
jota voidaan käyttää, jalostaa ja jakaa uudelleen ilmaiseksi• Metadata: ”dataa itse datasta”; kuvaa yleensä datan rakenteen,
käyttöoikeudet ja sisällön• Staattinen data: dataa, joka ei muutu sen jälkeen kun se on talletettu• Dynaaminen data: dataa, joka muuttuu reaaliajassa• Datakatalogi: luettelo käytettävissä olevista datoista• Datakatalogialusta: datan hallintajärjestelmä, jossa on työkalut metadatan
tai datan tallettamiseksi ja löytämiseksi katalogista• Dataportaali: sisältää perusdatakatalogin lisäksi muuta sisältöä ja
portaalipalveluja, kuten mahdollisen uutisosion ja keskustelufoorumin• Dataportaalialusta: sisältää datakatalogialustaan verrattuna yleensä ainakin
paremman sisällön- ja käyttäjähallintajärjestelmän, tietokantatuen ja käyttöliittymän räätälöintityökalut
• Datahotelli: datan tallennusvarasto, joka voi toimia myös staattisen datan jakelualustana
• Datavälittäjä: ottaa avointa tai maksullista dataa eri lähteistä ja välittää sitä eteenpäin sellaisenaan tai jalostamalla ja yhdistämällä eri lähteistä uutta dataa
• Big Data: dataa, joka on liian kompleksista ja jota on liian paljon, jotta sitä voitaisiin käsitellä tavallisilla tietokantojen hallintamenetelmillä ja työkaluilla
• My Data: tieto, joka ko. henkilöstä on talletettu eri tietokantoihin
Liite 1
2014-03-17 © TAPI-projekti 23
Avoin vs. suljettu dataDatan ominaisuus Täysin avoin Täysin suljettuSaatavuus Kaikkien
saatavillaRajoitettu tietyille organisaatioille tai henkilöille
Muoto Koneluettavuushelppoa
Koneluettavuusvaikeaa
Hinta Ilmaista KallistaKäyttöoikeudet Vapaasti
käytettävissäUudelleen käyttö kielletty
Jakeluoikeudet Uudelleen jakelu sallittua
Uudelleen jakelukielletty
Datan luonne vaihtelee käytännössä täysin avoimesta täysin suljettuun.
Liite 2
2014-03-17 © TAPI-projekti 24
Avoin data vs. muut datatyypit
Data
Bigdata
Avoindata
Avoin valtion-hallinnon data
Avoin kunta-sektorin data
My Data
Liite 3
Kuvassa on yksi esitystapa avoimen datan suhteesta muihin datatyyppeihin. Muitakin tapoja on olemassa.*
* Joel Gurin: Open Data Now, 1st Edition. McGraw Hill, ISBN 978-0071829779, 272 pages. http://www.opendatanow.com/2013/11/new-big-data-vs-open-data-mapping-it-outMcKinsey Global Institute: Open data report, 101 pages. http://www.mckinsey.com/insights/business_technology/open_data_unlocking_innovation_and_performance_with_liquid_information