mag. bernarda kozelj, ministrstvo za javno upravo dr ... · posebnosti gradnika za strojno učenje...
TRANSCRIPT
![Page 1: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/1.jpg)
GRADNIK ZA STROJNO UČENJE V DRŽAVNEM RAČUNALNIŠKEM OBLAKU NA PRIMERU DUŠENJA ZAHTEVKOV
dr. Tadej Justin, Medius d.o.o.mag. Bernarda Kozelj, Ministrstvo za javno upravo
![Page 2: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/2.jpg)
DRO – državni računalniški oblak
Predstavlja računalniško infrastrukturo, ki je v lasti države in jo upravlja država. Na tej infrastrukturi se izvajajo storitve, ki uporabljajo občutljive, osebne in druge podatke in informacije, ki jih država ne želi shranjevati izven svojega okolja. DRO je logična celota podporne infrastrukture ter strojne in računalniške programske opreme.
Obsega sisteme UPS, strežniške rezine, različne diskovne sisteme, lastniško in odprtokodno programsko opremo, nadzorne sisteme, upravljavske sisteme, strojno in programsko opredeljene mrežne komponente itd
Vir: Zasnova DRO in zagotavljanje oblačnih mehanizmov
![Page 3: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/3.jpg)
DRO – državni računalniški oblak
![Page 4: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/4.jpg)
Gradniki
![Page 5: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/5.jpg)
Gradniki (Building blocks)
![Page 6: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/6.jpg)
Gradniki
![Page 7: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/7.jpg)
Pladenj
Zmogljivost
● Asinhrono ali sinhrono
● Posamično ali paketno
● Zagotovljen prenos --> autoresume
● Vzporedno poizvedovanje --> hitrost in velika prepustnost
● Abstrakcija je na nivoju postopka● --> transparentnost
![Page 8: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/8.jpg)
Pladenj
Prednosti uporabe
• Skupni repozitorij certifikatov• Poenostavitev integracije, logika
združena na enem mest• Vzpostavljeni komunikacijski kanali• Spremljanje metrik integriranih
sistemov• Obveščanje skrbnika• Translacija storitev iz REST v SOAP• Dušenje klicev na vire
![Page 9: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/9.jpg)
Načrtovanje gradnika za strojno učenje v produkcijskem okolju
● Upravljanje preko REST API-ja● Strojno učenje v realnem času● Ne obremenjujemo core aplikacije, pač pa je ML komponenta kot
zunanji servis● Podatkovni tok zasnovan tako, da čim manj obremenjuje vse
odvisne ali dodatne komponente core aplikacije● Sposobnost procesiranja velike količine podatkov (Big Data)● Validacija izračunanih modelov, avtomatični izklop prediktivnega
dela, možnost enostavnih nadgradenj
![Page 10: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/10.jpg)
Arhitektura gradnika za strojno učenje
![Page 11: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/11.jpg)
Posebnosti gradnika za strojno učenje
● Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot celote v obliki sodobne CAAS (ang. Container As A Service) arhitekture.
● Gradnik za strojno učenje je možno uporabiti na podlagi dobro opisanih odprtih spletnih servisov, ki so zgrajeni na podlagi REST arhitekturnega stila.
● Glede na problem, ki ga skušamo rešiti s pomočjo strojnega učenja, lahko uporabimo optimizirano namestitev hranjenja podatkov.
● Lahko dodajamo algoritme za predobdelavo podatkov ali izračun značilk.
![Page 12: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/12.jpg)
Podprta programska ogrodja
● Uporaba Java ogrodji za tradicionalni pristop k strojnemu učenju - WEKA (GLP3)
● Uporaba inkrementalnega strojnega učenja na podlagi podatkovnega toka podatkov - MOA (GPL3)
● Uporaba globokega učenja na osnovi programskega ogrodja DL4J (Apache)
![Page 13: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/13.jpg)
Elastic stack: Nadzor gradnika za strojno učenje in validacija
![Page 14: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/14.jpg)
Vizualizacija in alarmni sistem
● Detekcija in analiza obnašanja na podlagi grafičnih vizualizacij● Enostavna kreacija alarmov in detekcija anomalij ● Možnost enostavnega izklopa predikcij preko klica pooblaščenega
alarma na REST api
![Page 15: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/15.jpg)
Pladenj in strojno učenje
● Napoved obremenjenosti zunanjih podatkovnih virov● Monitoring izvajanja delovanja sistema preko ELK● Zmanjšan povprečni čas obdelave zahtevkov● Robustnejše delovanje
![Page 16: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/16.jpg)
Arhitektura gradnika za strojno učenje na primeru IS Pladenj
![Page 17: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/17.jpg)
Zaključek in diskusijaAvtorja sva s tem prispevkom želela:
● predstaviti širši javnosti novosti, ki jih omogoča DRO in možnost ponovne uporaba že razvitih programov ali dobrih praks, ki so že testirane v produkcijskih okoljih,
● izpostaviti dobre prakse pri implementaciji strojnega učenja v produkcijskih okoljih
● predstaviti gradnik z vsemi potrebnimi elementi, ki so za produkcijska okolja bistveni:○ obvladovanje velike količine podatkov○ velik nabor algoritmov za strojno učenje○ nadzor in enostavna manipulacija sistema, ki omogoča tudi
neveščim uporabnimo enostavno krmiljenje strojnega učenja in tudi uporabe naučenih prediktivnih modelov.
![Page 18: mag. Bernarda Kozelj, Ministrstvo za javno upravo dr ... · Posebnosti gradnika za strojno učenje Arhitektura omogoča mikrostoritven stil dodajanja posameznih modulov gradnika kot](https://reader036.vdocuments.pub/reader036/viewer/2022062306/5f01b4727e708231d400a499/html5/thumbnails/18.jpg)