praktilised avaandmed
TRANSCRIPT
Praktilised avaandmed
Andres Kütt Riigi Infosüsteemi arhitekt !18.09.2014
Praktiline mõtlemine, mitte retseptid !
!
Parimad tehnilised lahendused muutuvad
kiiresti ja sõltuvad palju konkreetsest probleemist
Täna kavas
" Miks avaandmed ja miks mitte? " Kuidas mõelda avaandmetest organisatsiooni
kontekstis? " Avaandmete ärilised probleemid " Avaandmete riskid " Tehnilised küsimused
Sissejuhatus !
!
Avaandmed on avalikult, ilma finantskohustusi võtmata, kätte saadavad
andmed !
!
Päris avatud andmeid ei ole, finantsbarjääri
valik definitsiooniks on kunstlik
Miks avaandmed?
" Innovatsioon " Platvormistrateegia
" Andmete ja taristuga tegelemine on ärimudel " Juriidilised põhjused
" Seadusandlus kuid ka litsentsitingimused ja lepingud " Organisatsioonikultuur
" Nii selle manifestatsioon kui muutmise vahend " Lõppkasutaja soov " Avalikussuhted, korporatiivne vastutus
Miks mitte avaandmed?
" Kõrge alternatiivkulu " Võrreldes muude omaniku hüve suurendamise viisidega
" Organisatsioonikultuur " Juriidilised põhjused
" Seadusandlus kuid ka litsentsitingimused ja lepingud " Organisatsiooniline inerts
" Suured organisatsioonid muutuvad aeglaselt " Riskid ja kohustused ei kaalu üles hüve
Avaandmed ja organisatsioon !
!
Avaandmed ei ole vaid tehniline probleem, nad puudutavad organisatsiooni eri tahke
Kõigepealt sõnasta eesmärk !
!
Miks te üldse avaandmetega tegelete?
Organisatsiooni struktuur
Äri ja juriidika
Organisatsioon ja protsessid
Funktsionaalsed komponendid
Tehnilised lahendused
Avaandmeid ümbritsevad jõud
Organisats
iooni
soovid
Turu vajadus
Org
an
isa
tsio
on
i
võ
ime
ku
s j
a
pii
ran
gu
d
Ava-andmed
Organisatsiooni kui terviku võimekus
" Kolm kirjeldatud jõudu toimivad kõigil tasandeil " Organisatsioonil võib olla äriline soov andmeid avada
kuid seda soovi võib piirata tehniline võimekus " Organisatsiooni võimekus on summa tema
võimekusest igal tasandil " On oluline hinnata, kas eesmärgi saavutamine
on reaalne " Kui ei, tuleb leida viisid võimekuse kasvatamiseks või
muuta eesmärki
Avaandmed kui äriline probleem !
!
Avaandmed on vitamiin, mitte valuvaigisti !
!
Tehnilises mõttes on tegu
madala signaali-müra suhtega
Võimekus ja vajadus on nagu kana ja muna !
!
Me ei tea, mida me vajame, kuni me ei tea, mis teil on. Me ei saa teile kõike näidata,
öelge, mida teil vaja on
Kolm avaandmete probleemi
" Avaandmed on ettevõttele pikaajaline kohustus " Eriti linkandmete korral
" Uued sõltuvused arenduses " Me ei saa muuta andmestruktuure ja äriloogikat
arvestamata avaandmete kasutajatega " Iga muutus meie süsteemis võib tähendada muutust
andmete kasutajate süsteemides " Uued sõltuvused halduses
" Tehes andmed kättesaadavaks lubame, et need on kättesaadavad ka tulevikus
Kolm viisi andmeid avada
" Varjatud " Iga internetis olev andmeühik on sisult avalikult
kasutatavad andmed " Tavalised avaandmed
" Avalikud, dokumenteeritud ja stabiilse struktuuri ning semantikaga andmed
" Rohelise Raamatu subjekt " Piiratud avaandmed
" Andmed on avalikud ja tasuta, kuid kasutamiseks eeldatakse teatud barjääride ületamist (Google mudel)
Varjatud avaandmed
" Kogu avalik info on masinloetav " Ja seda ka kasutatakse " Nii teie kahjuks kui kasuks
" Kasutusega ei ole mõistlik tehniliselt võidelda " Teise poole ressursid on liiga suured " Tuleb toetuda millelegi muule (näiteks juriidika)
" Vähegi tõsise huvi korral liikuge klassikalistele avaandmetele
Tavapärased avaandmed
" Info on selgesõnaliselt kättesaadavaks tehtud " Koos põhjaliku dokumentatsiooniga " Oluline on stabiilne struktuur
" Semantika on oluline " Mida tähendab tühi väli? " Mida kirjutatakse välismaalase isikukoodi väljale?
" Kasu saamine eeldab suhtlust " Soovitavalt kahepoolset " “Meie server ei ole pühapäeval kättesaadav” " “Mida tähendab tühi isikukoodiväli?”
Piiratud avaandmed
" Andmed on avalikud, kuid juurdepääsul on kunstlikud barjäärid " Näiteks vajadus registreeruda
" Juurdepääsul on alati piirangud " Kasvõi kasutatav tehnoloogia aga ka info teenuse
olemasolust " Kasulik andmete pakkujale
" Saab kehtestada ja jõustada kasutustingimusi " Tekib konkreetne kasutajate kogukond
Avaandmed kui riskiprobleem !
!
Isikuandmete kaitse
" Isikuandmeid ei saa päriselt puhastada " Täielikult isikuandmetest puhastatud info on ka
täielikult kasutu (matemaatika!) " Alati on küsimus mõistlikus riskis
" Eesti väiksuse probleem " Kui keskmistatakse ühte inimest, siis ei ole privaatsus
tagatud " Triangulatsiooni probleem
" Andmeid võib teiste allikate abil uuesti isikustada
Operatiivsed riskid
" Piiranguteta avalikke andmeid ka kasutatakse piiranguteta " Kui tihti ja kui palju andmeid küsitakse, ei ole teada " Eriti ebameeldivad on järsk kasv koormuses
" Oluline on monitooring " Eesmärgiks teiste klientide kaitsmine üksiku valesti
käituva kliendi eest " Kuidas eristada pahatahtlikkust rumalusest?
" Kuidas seejärel pahatahtlik agent andmetest eemal hoida?
Andmeriskid
" Allika mürgitamine " Ründaja muudab pakutavaid andmeid talle sobival viisil " Tuvastamine keeruline, mõju potentsiaalselt suur " Konkurendi telefoninumbri asendamine enda omaga
avalikus andmestikus, näiteks " Semantika riskid
" Pakutav andmestik on tollides ja kasutaja eeldab millimeetreid
Null-kasutuse risk
" Kuup on n-mõõtmeline agregatsioon andmetelt " Oluline andmete puhastamise ning analüütika vahend " Exceli pivot table ainult et suur " Lihtne määratleda, kallis arvutada
" Kuup on lõplik " Kuubist saab ainult need koondid, mis on sinna sisse
kirjutatud " Isegi väike eksimus kuubi definitsioonis võib
andmed lõppkasutajale kasutuks muuta
Avaandmed kui tehniline probleem !
!
Kuidas andmetele ligi saab? !
!
Väga olulise mõjuga valik nii lahenduse kulu kui võimaliku kasutatavuse osas
Andmetõmmis
" Andmed eraldatakse operatiivsüsteemist ja tehakse kättesaadavaks " Tõmmis on staatiline ning saadaval vaid tervikuna " Rohelises Raamatus soovitatud meetod
" Eeldatakse andmete vananemiskindlust " Tõmmise ei muutu uuendamiste vahel
" Kasulik ja lihtne pakkujale " Madal riskitase " Andmete eraldamise/puhastamise loogika võib olla kui
tahes keeruline
Ligipääs andmetele
" Juurdepääs andmetele läbi selge liidese " Sisuliselt avalik juurdepääs operatiivsüsteemile
" Rohkem liikuvaid osi " Lisaks andmete struktuurile ja semantikale tuleb hallata
ka liidese struktuuri ja semantikat " Liides on programm ja sellisena vajab hoolt
" Potentsiaalselt lihtne kasutajale " Andmeid võib kasutada otse, ilma vahepealse
töötlemiseta " Kas avatakse andmed või info?
Ligipääs teenustele
" Juurdepääs andmetele läbi äriloogika " Eelmisele sarnane, kuid lisaks andmetele pakutakse ka
äriloogikat " Näiteks aadressi kontrollimine korrektsete aadresside
andmestiku asemel " Veel rohkem liikuvaid osi
" Lisaks muule tuleb hallata ka äriloogikat " Potentsiaalselt lihtne kasutajale
" Juhul, kui andmete kasutamiseks vajalik äriloogika on kas keeruline või tundlik
Ligipääs dokumentidele
" Andmete asemel juurdepääs dokumentidele " Dokumendi moodustab komplekt omavahel seotud
andmeid " Võlgnevuse puudumise tõend vs. võlgnevuste tabel vs.
teenus “kas võib osaleda hankes” " Tavaliselt kasutusel, kui tulemust peab lugema
inimene " Kasulik, keerulise andmestruktuuri puhul
" Ning selle üksikuid osi ei kasutata tavaliselt eraldi
Milline on tehniline lahendus? !
!
Puudutame vaid peamisi standardeid
RDF/XML
" RDF - Resource Description Framework " Standardne vahend andmete struktuuri kirjeldamiseks " Võimaldab esitada väiteid asjade kohta " Võib olla väljendatud mitmel eri viisil, sealhulgas XML
" XML " Küllalt raskepärane viis struktureeritud viisil andmeid
edastada " Võib olla range struktuuriga kuid ei pruugi
" Kasuta neid keerulistel juhtudel: palju keerulise struktuuriga andmeid
REST/JSON
" REST " Teenused ja andmeelemendid on viidatud
veebiaadressidega " Andmeelementidega saab manipuleerida veebi tuumaks
olevate protokollidega " JSON
" Veebis levinud viis andmeid esitada, kasutatav otse brauserist
" Ei oma jäika struktuuri " Kasuta lihtsate kiirete lahenduste tarbeks
