praktilised avaandmed

Praktilised avaandmed

Andres Kütt Riigi Infosüsteemi arhitekt !18.09.2014

Praktiline mõtlemine, mitte retseptid !

!

Parimad tehnilised lahendused muutuvad

kiiresti ja sõltuvad palju konkreetsest probleemist

Täna kavas

" Miks avaandmed ja miks mitte? " Kuidas mõelda avaandmetest organisatsiooni

kontekstis? " Avaandmete ärilised probleemid " Avaandmete riskid " Tehnilised küsimused

Sissejuhatus !

!

Avaandmed on avalikult, ilma finantskohustusi võtmata, kätte saadavad

andmed !

!

Päris avatud andmeid ei ole, finantsbarjääri

valik definitsiooniks on kunstlik

Miks avaandmed?

" Innovatsioon " Platvormistrateegia

" Andmete ja taristuga tegelemine on ärimudel " Juriidilised põhjused

" Seadusandlus kuid ka litsentsitingimused ja lepingud " Organisatsioonikultuur

" Nii selle manifestatsioon kui muutmise vahend " Lõppkasutaja soov " Avalikussuhted, korporatiivne vastutus

Miks mitte avaandmed?

" Kõrge alternatiivkulu " Võrreldes muude omaniku hüve suurendamise viisidega

" Organisatsioonikultuur " Juriidilised põhjused

" Seadusandlus kuid ka litsentsitingimused ja lepingud " Organisatsiooniline inerts

" Suured organisatsioonid muutuvad aeglaselt " Riskid ja kohustused ei kaalu üles hüve

Avaandmed ja organisatsioon !

!

Avaandmed ei ole vaid tehniline probleem, nad puudutavad organisatsiooni eri tahke

Kõigepealt sõnasta eesmärk !

!

Miks te üldse avaandmetega tegelete?

Organisatsiooni struktuur

Äri ja juriidika

Organisatsioon ja protsessid

Funktsionaalsed komponendid

Tehnilised lahendused

Avaandmeid ümbritsevad jõud

Organisats

iooni

soovid

Turu vajadus

Org

an

isa

tsio

on

i

võ

ime

ku

s j

a

pii

ran

gu

d

Ava-andmed

Organisatsiooni kui terviku võimekus

" Kolm kirjeldatud jõudu toimivad kõigil tasandeil " Organisatsioonil võib olla äriline soov andmeid avada

kuid seda soovi võib piirata tehniline võimekus " Organisatsiooni võimekus on summa tema

võimekusest igal tasandil " On oluline hinnata, kas eesmärgi saavutamine

on reaalne " Kui ei, tuleb leida viisid võimekuse kasvatamiseks või

muuta eesmärki

Avaandmed kui äriline probleem !

!

Avaandmed on vitamiin, mitte valuvaigisti !

!

Tehnilises mõttes on tegu

madala signaali-müra suhtega

Võimekus ja vajadus on nagu kana ja muna !

!

Me ei tea, mida me vajame, kuni me ei tea, mis teil on. Me ei saa teile kõike näidata,

öelge, mida teil vaja on

Kolm avaandmete probleemi

" Avaandmed on ettevõttele pikaajaline kohustus " Eriti linkandmete korral

" Uued sõltuvused arenduses " Me ei saa muuta andmestruktuure ja äriloogikat

arvestamata avaandmete kasutajatega " Iga muutus meie süsteemis võib tähendada muutust

andmete kasutajate süsteemides " Uued sõltuvused halduses

" Tehes andmed kättesaadavaks lubame, et need on kättesaadavad ka tulevikus

Kolm viisi andmeid avada

" Varjatud " Iga internetis olev andmeühik on sisult avalikult

kasutatavad andmed " Tavalised avaandmed

" Avalikud, dokumenteeritud ja stabiilse struktuuri ning semantikaga andmed

" Rohelise Raamatu subjekt " Piiratud avaandmed

" Andmed on avalikud ja tasuta, kuid kasutamiseks eeldatakse teatud barjääride ületamist (Google mudel)

Varjatud avaandmed

" Kogu avalik info on masinloetav " Ja seda ka kasutatakse " Nii teie kahjuks kui kasuks

" Kasutusega ei ole mõistlik tehniliselt võidelda " Teise poole ressursid on liiga suured " Tuleb toetuda millelegi muule (näiteks juriidika)

" Vähegi tõsise huvi korral liikuge klassikalistele avaandmetele

Tavapärased avaandmed

" Info on selgesõnaliselt kättesaadavaks tehtud " Koos põhjaliku dokumentatsiooniga " Oluline on stabiilne struktuur

" Semantika on oluline " Mida tähendab tühi väli? " Mida kirjutatakse välismaalase isikukoodi väljale?

" Kasu saamine eeldab suhtlust " Soovitavalt kahepoolset " “Meie server ei ole pühapäeval kättesaadav” " “Mida tähendab tühi isikukoodiväli?”

Piiratud avaandmed

" Andmed on avalikud, kuid juurdepääsul on kunstlikud barjäärid " Näiteks vajadus registreeruda

" Juurdepääsul on alati piirangud " Kasvõi kasutatav tehnoloogia aga ka info teenuse

olemasolust " Kasulik andmete pakkujale

" Saab kehtestada ja jõustada kasutustingimusi " Tekib konkreetne kasutajate kogukond

Avaandmed kui riskiprobleem !

!

Isikuandmete kaitse

" Isikuandmeid ei saa päriselt puhastada " Täielikult isikuandmetest puhastatud info on ka

täielikult kasutu (matemaatika!) " Alati on küsimus mõistlikus riskis

" Eesti väiksuse probleem " Kui keskmistatakse ühte inimest, siis ei ole privaatsus

tagatud " Triangulatsiooni probleem

" Andmeid võib teiste allikate abil uuesti isikustada

Operatiivsed riskid

" Piiranguteta avalikke andmeid ka kasutatakse piiranguteta " Kui tihti ja kui palju andmeid küsitakse, ei ole teada " Eriti ebameeldivad on järsk kasv koormuses

" Oluline on monitooring " Eesmärgiks teiste klientide kaitsmine üksiku valesti

käituva kliendi eest " Kuidas eristada pahatahtlikkust rumalusest?

" Kuidas seejärel pahatahtlik agent andmetest eemal hoida?

Andmeriskid

" Allika mürgitamine " Ründaja muudab pakutavaid andmeid talle sobival viisil " Tuvastamine keeruline, mõju potentsiaalselt suur " Konkurendi telefoninumbri asendamine enda omaga

avalikus andmestikus, näiteks " Semantika riskid

" Pakutav andmestik on tollides ja kasutaja eeldab millimeetreid

Null-kasutuse risk

" Kuup on n-mõõtmeline agregatsioon andmetelt " Oluline andmete puhastamise ning analüütika vahend " Exceli pivot table ainult et suur " Lihtne määratleda, kallis arvutada

" Kuup on lõplik " Kuubist saab ainult need koondid, mis on sinna sisse

kirjutatud " Isegi väike eksimus kuubi definitsioonis võib

andmed lõppkasutajale kasutuks muuta

Avaandmed kui tehniline probleem !

!

Kuidas andmetele ligi saab? !

!

Väga olulise mõjuga valik nii lahenduse kulu kui võimaliku kasutatavuse osas

Andmetõmmis

" Andmed eraldatakse operatiivsüsteemist ja tehakse kättesaadavaks " Tõmmis on staatiline ning saadaval vaid tervikuna " Rohelises Raamatus soovitatud meetod

" Eeldatakse andmete vananemiskindlust " Tõmmise ei muutu uuendamiste vahel

" Kasulik ja lihtne pakkujale " Madal riskitase " Andmete eraldamise/puhastamise loogika võib olla kui

tahes keeruline

Ligipääs andmetele

" Juurdepääs andmetele läbi selge liidese " Sisuliselt avalik juurdepääs operatiivsüsteemile

" Rohkem liikuvaid osi " Lisaks andmete struktuurile ja semantikale tuleb hallata

ka liidese struktuuri ja semantikat " Liides on programm ja sellisena vajab hoolt

" Potentsiaalselt lihtne kasutajale " Andmeid võib kasutada otse, ilma vahepealse

töötlemiseta " Kas avatakse andmed või info?

Ligipääs teenustele

" Juurdepääs andmetele läbi äriloogika " Eelmisele sarnane, kuid lisaks andmetele pakutakse ka

äriloogikat " Näiteks aadressi kontrollimine korrektsete aadresside

andmestiku asemel " Veel rohkem liikuvaid osi

" Lisaks muule tuleb hallata ka äriloogikat " Potentsiaalselt lihtne kasutajale

" Juhul, kui andmete kasutamiseks vajalik äriloogika on kas keeruline või tundlik

Ligipääs dokumentidele

" Andmete asemel juurdepääs dokumentidele " Dokumendi moodustab komplekt omavahel seotud

andmeid " Võlgnevuse puudumise tõend vs. võlgnevuste tabel vs.

teenus “kas võib osaleda hankes” " Tavaliselt kasutusel, kui tulemust peab lugema

inimene " Kasulik, keerulise andmestruktuuri puhul

" Ning selle üksikuid osi ei kasutata tavaliselt eraldi

Milline on tehniline lahendus? !

!

Puudutame vaid peamisi standardeid

RDF/XML

" RDF - Resource Description Framework " Standardne vahend andmete struktuuri kirjeldamiseks " Võimaldab esitada väiteid asjade kohta " Võib olla väljendatud mitmel eri viisil, sealhulgas XML

" XML " Küllalt raskepärane viis struktureeritud viisil andmeid

edastada " Võib olla range struktuuriga kuid ei pruugi

" Kasuta neid keerulistel juhtudel: palju keerulise struktuuriga andmeid

REST/JSON

" REST " Teenused ja andmeelemendid on viidatud

veebiaadressidega " Andmeelementidega saab manipuleerida veebi tuumaks

olevate protokollidega " JSON

" Veebis levinud viis andmeid esitada, kasutatav otse brauserist

" Ei oma jäika struktuuri " Kasuta lihtsate kiirete lahenduste tarbeks

Aitäh!

Andres Kütt andres.kutt@ria.ee