strojnega učenja · komponenta za strojno učenje podpora za strojno učenje razširjenih...

OPTIMIZACIJA DELOVANJA IS PLADENJ Z UPORABO STROJNEGA UčENJA

dr. Tadej Justin, Medius d.o.o.

mag. Bernarda Kozelj, Ministrstvo za javno upravo 10.12.2018

2

Interoperabilnost

● Silosi

(so v glavah zaposlenih, Miran Varga, Finance)

● Interoperabilnost

● Gradniki

3 3

Gradniki

JEP logo?

Tadej Justin

2:19 PM Dec 3

A to imamo mi?

33Gradniki

4

Pladenj

Zmogljivost

● Asinhrono ali sinhrono ● Posamečno ali paketno ● Zagotovljen prenos --> autoresume ● Vzporedno poizvedovanje --> hitrost in velika prepustnost ● Abstrakcija je na nivoju postopka --> transparentnost

Prednosti uporabe

● certifikati ● odjemalski sistem kliče le en servis ● vir komunicira le s Pladnjem ● komunikacijski kanali so vzpostavljeni

● 11 odjemalskih sistemov

● 23 institucij / 37 podatkovnih virov

● Banke, DZU

5

Problematika interoperabilnih sistemov

IS Pladenj je tipičen interoperabilni

sistemi:

“Močna odvisnosti od zanesljivega

delovanja zunanjih informacijskih

virov.”

Na kaj moramo paziti pri razvoju

inteoprabilnih sistemov:

● možnost preobremenitev virov,

● odzivnost podatkovnih virov

predstavlja kritično točko

uspeha (SPOF),

● oglaševanje sistema,

● ...

Preverjanje podatkov za 200 000 vlagateljev paketno, kar prinesi 700.000 zahtevkov na 25 virov.

6

Zahtevek, postopek in poizvedba

7

Metrika

● Metrika odraža stanje sistema IS Pladenj in zunanjih informacijskih virov, na katere se

povezuje trenutni postopek.

● Metrika je odraz realnih poizvedb na zunanje informacijske vire in realnega delovanja sistema,

kjer se predvsem merijo latence med posameznimi podsklopi IS Pladenj.

8 *Justin, T. et all. (2018): ZASNOVA DINAMIČNEGA DUŠILNIKA PREPUSTNOSTI INTEROPERABILNIH INFORMACIJSKIH SISTEMOV Z UPORABO ALGORITMOV STROJNEGA UČENJA. V Digitalizacija in mi, zbornik 25. konference Dnevi slovenske inforamtike 2018, Ljubljana : Slovensko društvo Informatika

Zgoščen zapis stanja sistema - značilke

● Na podlagi metrike lahko izpeljemo značilne vrednosti sistema, ki odražajo zdravo (polno) ali

delovanje z zmanjšano zmogljivostjo, torej posameznim (metričnim) vzorcem pripišemo

razrede delovanje, ali pa kar aproksimacijo prepustnosti posameznega vira.

● Razrede opišemo z značilnimi vrednostmi z vnaprej določenem časovnem intervalu na

podlagi statističnih operacij nad metričnimi podatki, ki jih pogosto obravnavamo na področju

obdelave signalov.

● Za problem dušilnika IS Pladenj* smo izluščili 29 značilk sistema in 4 značilke, ki odražajo

stanje vsakega informacijskega vira.

Algoritem za

izračun značilk

9

* ŠENICA, D. (2018): Zasnova dinamičnega dušilnika v interoperabilnem sistemu : diplomsko delo

Komponenta za strojno učenje

● Podpora za strojno učenje razširjenih algoritmov strojnega učenja

● MOA - Massive Online Analysis - Inkrementalno učenje

● REST API

V okviru raziskovalnega dela smo opravili analizo, ki je pokazala da je optimalen razvrščevalnik za

problem razvrščanja v enega izmed treh razredov (semafor) HoeffdingTree. Še boljše rezultate smo

pridobili z algoritmov Random Forest, vendar pa ima precej večjo zahtevnosti izvajanja.*

10

Implementacija komponente dušilnik

Zaključek

● Dušenje zahtevkov zunanjih informacijskih sistemov in njihovih virov je optimizirano glede na

pretekle podatke, kar tudi določa maksimalno prepustnost sistema pri optimalnem delovanju

zunanjih informacijskih sistemov in virov.

● Avtomatična detekcija in prilagoditev prepustnosti zahtevkov, v kolikor se zunanjim informacijskih

sistemom spremeni odzivnost (povečanje ali zmanjšanje prepustnosti).

● Komponenta dušilnik je ločena od IS Pladenj in predstavlja samostojno komponento, ki omogoča

predikcijo prepustnosti za vsak informacijski vir posebej.

● Z strežnikom REDIS omogočamo hiter in robusten prenos podatkov med dvema sistemoma

● Open API (REST)

● Enostavna prilagoditev za poljuben interoperabilni sistem.

12

Hvala za pozornost!

Vprašanja?

Pripombe?

Predlogi?