Ülevaade riigi andmehalduse tegevuskavast 2019-2021
Veiko Berendsen, andmehalduse ekspert
11.09.2019
Ettekanne mäluasutuste suveseminaril
Poliitilised sõnad seoses andmehaldusega
datafication | data ecosystem | data lake | Big Data / Smart Data
avaandmed > open data
once-only principlemaster data > põhiandmed
Kratt > artificial intelligence (AI)
TERE projekt -- tegevuspõhine riigieelarve
NullbürokraatiaAruandlus 3.0 -- XBRL ja ontoloogia
EuroopastInteroperability framework
õigus
RAAMISTIK
ANDMEHALDUS
andmehaldur
koordineerimine
elukäiguhaldus
(alus)standardid
andmekvaliteet
andmekirjeldus
IT võimete mudelipõhine arendus
andmearhitektuurIT VAADE
AN
DM
ED
analüüs / BI / AI
andmejagamisteenus
andmeturve
ülevaatlikkusleitavus
rakendused
andmeait / andmejärv
infrastruktuur
avaandmed
koostalitusvõime
Andmesoo kuivendamine
Ülevaade riigi andmehalduse tegevuskavast 2019-2021ANDMEHALDUSE TEGEVUSKAVA
1. Üleriigiline ülevaade andmestikest asutuste kaupa
2. Metaandmed / andmekirjeldus
3. Andmekvaliteet
4. Andmete elukäigu haldus
5. Andmete avaldamine / avalikustamine (MKM)
6. Andmehaldur (data steward)
STATISTIKAAMETI ARENGUKAVA Meede 3. Riigi andmehalduse juhtimine1. Luua andmehalduse juhtrühm ja edendada andmehalduse eest vastutust ja tegevusi asutustes.
2. Koordineerida riigi infosüsteemi andmekogude jt statistikas kasutatavate infosüsteemide andmekirjeldusi, edendada semantilist koostalitusvõimet ning juhtida klassifikaatorite süsteemi.
3. Arendada välja riiklik metainfosüsteem.
4. Luua riiklik andmete arhitektuurilise ülevaate keskkond.
5. Arendada välja andmekvaliteedi kindlaks tegemise ja parendamise raamistik.
6. Mõõta halduskoormust ja rakendada kooskõlastamise kaudu andmekogudes ühekordse põhiandmete kogumise põhimõte (once-only printsiip).
7. Luua valmisolek riikliku andmearhiivi loomiseks.
Data Governance Council Maturity Model
Outcomes – väljundidEnablers – võimaldajadCore Disciplines – põhivaldkonnadSupporting Discipl – tugivaldkonnad
Riikliku statistika seadus (RStS) I
§ 3 Andmed
Andmed käesoleva seaduse tähenduses on riikliku statistika tegija poolt talle seadusega antud ülesannete täitmiseks
andmeesitajatelt elektrooniliselt või paberil kogutud või töödeldud üksik- ja koondandmed, sealhulgas riigi ja teiste andmekogude,
riigi- ja kohaliku omavalitsuse asutuste ning juriidiliste isikute tegevuse käigus loodud või nende kogutud andmed, mida
kasutatakse riikliku statistika tegemisel.
Jäi ära „mida kasutatakse
riikliku statistika tegemisel“
Seega andmeid saab kasutada kõigi Statistikaameti avalikust huvist lähtuvate ülesannete
täitmisel
Riikliku statistika seadus (RStS) II
§ 3 Andmed
Täiendati lõikega 4 -andmestik
Andmestik käesoleva seaduse tähenduses on
identifitseeritav ja hallatav andmete kogum
Andmestiku mõistet kasutatakse nii
andmehalduses kui ka statistikas
Riikliku statistika seadus (RStS) III
§ 4. Riikliku statistika programm ja statistikatöö
(1) Riikliku statistika programm on igal aastal järgmiseks viieks aastaks koostatav
rahvastiku-, sotsiaal-, majandus- ja keskkonnaalaste statistikatööde loetelu,
mille koostamisel lähtutakse riigisisestest strateegilistest arengudokumentidest ja rahvusvahelisest statistikavajadusest.
§ 4 täiendati lõikega 2
Statistikatöö on andmete kogumine, töötlemine, säilitamine ja analüüs
statistika tegemise eesmärgil riikliku
statistika programmi raames või
programmiväliselt.
§ 4 täiendati lõikega 3
Programmiväline statistikatöö on füüsiliste ja juriidiliste isikute, riigi- ja kohaliku omavalitsuse asutuste ning rahvusvaheliste ja eksterritoriaalsete
organisatsioonide tellimisel ja rahastamisel väljaspool riikliku
statistika programmi tehtav statistikatöö.
PROGRAMMILINE STATISTIKATÖÖ
PROGRAMMIVÄLINE STATISTIKATÖÖ
Riikliku statistika seadus (RStS) IV
OLI
§ 9. Statistikaamet
(1) Statistikaamet on Rahandusministeeriumi valitsemisalas tegutsev
valitsusasutus, mis teeb riiklikku statistikat ning teostab riiklikku
järelevalvet käesolevas seaduses ettenähtud alustel ja ulatuses.
ON
§ 9. Statistikaamet
(1) Statistikaamet on Rahandusministeeriumi valitsemisalas tegutsev valitsusasutus, mis teeb
riiklikku statistikat, osutab andmejagamisteenustning teostab riiklikku ja haldusjärelevalvet
käesolevas seaduses ettenähtud alustel ja ulatuses.
4) koordineerida andmehaldus
Säte täienes andmejagamisteenuse osutamise, haldusjärelevalve ja
andmehalduse koordineerimisega.
RStS § 201 Andmejagamisteenus
(1) Andmejagamisteenus RStS tähenduses on andmete töötlemine teaduslikul või statistilisel eesmärgil,
mille käigus riigi- ja kohaliku omavalitsuse asutus või avalik-õiguslik juriidiline isik edastab tema valduses
olevad andmed Statistikaametile või Statistikaamet töötleb statistikatöö käigus saadud andmeid ning
edastab anonüümitud andmed riigi- või kohaliku omavalitsuse asutusele, avalik-õiguslikule juriidilisele
isikule või teadusasutusele või avaldab andmed kokkuvõtliku ja üldistatud teabena
(2) Andmejagamisteenuse osutamisel järgitakse isikuandmete kaitse ning äri-, maksu- ja pangasaladuse
kaitse reegleid ja põhimõtteid.
(3) Andmejagamisteenuse osutamisel võib edastada riigi julgeolekut ja riigikaitset puudutavat teavet üksnes
selle asutuse nõusolekul, keda teave puudutab, ning tingimusel, et see ei kahjusta riigi julgeolekut ega
riigikaitset. Riigi julgeolekut ja riigikaitset puudutava teabe edastamisest teavitatakse
julgeolekuasutust.
(4) Andmejagamisteenuse osutamisel levitatavaid andmeid ei ole lubatud kasutada muul kui statistilisel ja
teaduslikul eesmärgil.
Andmesoo ja andmejärv
Census & survey data Private sector data Administrative data Private sector data
Statistics production Research Access Operational uses
Statisticaldata lake
Operational datalake or virtualisation
Commonarchitecture & standards & content (metadata)
Scope of data governance?
Open Data
Rahvusvaheline statistikaasutuste juhtide vaade andmehalduse ulatusele
Siin ta on see Andmejärv!
Statistikaamet andmearhitektuur (üldmudel)
Juhtimislaudhttps://juhtimislauad.stat.ee/
Pearuga kahasse
KOOSTÖÖ
SA ettepanek keskne andmekataloog avaandmed
asutuseandmed
asutuseandmekataloog
Asutuse x-teeandmeteenused
riigiandmekataloog
META-
ANDMED
METAANDMED
ANDMEKIRJELDUS
klassifikaatoridandmekataloog
metaandmete süsteem
ASUTUS
STATISTIKAAMET
asutusemetaandmete süsteem
RIHA 8.0 funktsioonid• andmevahetus asutuse
metasüsteemiga• hierarhiline andmekataloog –
sirvitav• põhiandmete määratlemine• otsing andmekirjeldustest• otsing mõistete sõnastikud• (ametlike) klassifikaatorite kasutuse
tuvastamine ja liidestamine• IS sisese klassifikaatorite (loendite)
väärtuste tuvastamine• teavituste tellimine ja saatmine
• andmestruktuuride automaatne tuvastamine (RIHAKE)
X-tee iseteeninduskeskkond
RIA / RIHA 8.0
andme-kirjeldus
JUHENDID
kvaliteet, andmehaldus
API
Hierarhiline andmekataloog:1. andmekogu – andmetabel – andmeelement2. andmeobjekt <> kategooria <> tag <> mõiste
asutuseandmesõnastik
mõistedandmesõnastikud
muutusteautomaatnetuvastamine
Koostöö uue RIHA loomisel
• Ülevaatamisel riigi infosüsteemi arhitektuur laiemalt!
• RIHA selle osa (MKM lähtekoht)• 1. muuta kasutatavaks IS arendajale
• 2. tagada andmekirjelduste vastavus tegelikele andmemudelitele
• Statistikaameti ettepanek• Luua asutuste andmekataloogid
• RIA teeb• PoC – sept-nov
• SF taotlus 2020 arendusteks, hange 2020 algus
• Uue RIHA arendus ja juurutamine 2020 teine pool
andmehaldus ja andmeteadusandmekataloog ja andmekirjeldus
Andmekirjelduse standard
• Standardi töörühm ja kavand• Töörühma seisukoht – pigem juhend kui standard s.o selgitava teksti lisamine
• SISU• Andmeelemendi kirjeldus
• Klassifikaatori kirjeldus
• Tehnilised metaandmed – viide andmevälja kohale
• Andmestiku kirjeldus• Data Catalog Vocabulary (DCAT) - revised edition (W3C Working Draft 16 October 2018)
• Mõiste (concept) käsitlus• Kust ja kuidas mõisted ‘võtta’?
• Valdkondlike sõnastike vajadus
• Rahvusvaheline standard – SKOS (Simple Knowledge Organization System) ei ole tuntud; see on tehniline semantilise veebi lahendus
ANDME-ELEMENT
ANDME-KATALOOG
ANDMESTIK
MÕISTE
MÕISTE-SKEEM
KLASSIFIKAATORI ELEMENT
KLASSIFIKAATORTEHNILISED METAANDMED
ANDMEOBJEKT
* tabel* kirje (loogiliselt seotud elemendid)* mall (Raspel)* andmestruktuur
ANDMEKOGUM
üldkogum ehk populatsioon mille kohta andmed on
* skeem* andmekogu* andmestruktuur* fail (analüütikas)* muu andmevara
schema.tabel.element
sõnastik
termin | määratlus
FUNKTSIOON
DOMEEN* teenused
Andmekataloogi funktsionaalsus
• Gartner on andmekataloogi rakenduse funktsionaalsust kirjeldanud järgmiselt:
1. Infovarade inventuuri pidamine.2. Koostöö andmetest ülevaate omamiseks ja andmehalduse osas.3. Semantiliselt kirjeldatud andmete tähenduse jagamine.
(Infovara (information asset) ja andmevara (data asset) on sünonüümid)
Andmekataloog – kolm funktsionaalset ulatust
Inventory
Dictionary
Catalog
1. INVENTUUR – mis on, kus on
2. SÕNASTIK – lisaks veel kirjeldus: pealkiri, tüüp
3. KATALOOG – lisaks veel kuidas kasutada
(meie mõttes kasutuskontekst)
Esiteks kirjelda, teiseks agregeeri !!!
Mis on Ameerika Ühendriigid?
See ‘filosoofia’ on eriti oluline riigi andmepõhisel strateegilisel juhtimisel precriptive analysis(TERE projekt)
Enne kui otsustad, kirjelda!Enne kui sead mõõdiku, analüüsi!
Denodo - virtualiseerimisplatvorm
• Virtual DataPort• Erinevad andmeallikad
• data discovery v. data description
• Data Catalog• The Data Catalog is a solution that allows
business users to query, search and browse information and metainformation stored in a Virtual DataPort server. With this information, they can generate new knowledge and pave the way to take better decisions.
AndmehaldurVASTUTUS JA TÖÖ
Andmehaldus ja andmeteadus > CRISP-DM
• Andmeteaduse elutsükli ülevaade ja selle komponentide baaskursused vastavalt CRISP-DM klassifikatsioonile
• *ärivaldkonna vajaduste teadmine ja hindamine;
• *andmete ettevalmistus, puhastamine, andmelaod;
• *masinõpe ja hindamine, lahenduste juurutamine, visualiseerimine ja tõlgendamine; ning
• *privaatsususe ja legaalsed aspektid.CRISP-DM
CRISP - cross-industry standard process for data mining
Andmehalduse sisu ja ulatus
Andm
ehald
use
raam
istik
riigi IT jms
raamistikud
EIF – Euroopa
koostalitusvõime
raamistik
RIIK
koordinaatorid
ANDMEKIRJELDUS
ANDMEKVALITEET
ELUKÄIGUHALDUS
ANDMEKASUTUS
ANDMEHALDURANDMEHALDUSE ja ANDMEHALDURI
PÕHILISED TEGEVUSED
TEEB
KORRALDAB
JÄLGIB
KORRALDAB
KORRALDAB
JÄLGIB
TEEB
KORRALDAB
KORJA
KAITSE
KASVATA
JAGA
roll, teadmised, oskused
Oskused
Teadmised
ROLL
ASUTUSES
täiendkoolitus töötamine asutuses
• Juhtimistegevus ja koostöö
• Arendustegevused
• Rutiinsed tegevused
• töövahendid
• andmekataloog
• töö sisu
• kirjeldamine
• juurdepääsud
• elukäiguhaldus
• avaldamine
• kvaliteet