testiautomaation nopeat palautekanavat ja turvaverkko. jani haapala 02-2016

© Qentinel Group 2016

Nopeat palautekanavat ja turvaverkko

Jani Haapala 18.2.2016

© Qentinel Group 2016 PUBLIC

Mittaus vai palaute?


Mittaus vai palaute?

Mittaus:

• Paino, nopeus tai lämpötila eivät itsessään kerro mitään

Palaute:

• Paino + vuorokauden aika + ruokavalio = kevyempi elämä

• Nopeus + reittivalinta + ruuhkatiedot = ajoissa perillä

• Lämpötila + vuodenaika + sääennuste = hyvät yö-unet


Mittaus

• Vain datapiste / datapisteitä (”Measurement”)

• Yhden suureen määrä

• Yleensä merkityksetön yksin

• Syöte jollekin merkitykselliselle

• Vaikea tulkita yksin

• Altis virhetulkinnoille


Palaute

• Jalostettu merkityksellinen tieto (”Feedback loop”)

• Yleensä monen mittauksen summa

• Säätää tekemistä

• On merkityksellistä juuri palautteen seuraajalle

• Säätää systeemiä mittausten perusteella


Miten valita palaute

• Pohjalla on aina jokin paradigma (Kuinka maailma toimii?

Mitä meidän pitäisi olla? Miten maailmasta tulee parempi

paikka)

• Paradigmaan päästäkseen pitää asettaa tavoitteita

(Kuinka pääsen tavoitteeseeni?)

• Tavoitteita tulisi mitata palautteella (Missä olen matkalla

tavoitteeseeni?)


Automaatio ja vauhti

”Measure what you use,

use what you measure”


Miksi vauhtia ja automaatiota?

• Ihminen kykenee evoluution seurauksena ajattelemaan

vain lineaarisesti.

• Digitalisaatio tuo kuitenkin exponentialisen vauhdin.

• Automaatio mahdollistaa vauhdissa pysymisen.

• Tänään 2 virhettä, huomenna 4, viikon päästä 128!


Automaation mahdollisuudet

• Luoda sensoreita

• Kerätä kolossaaliset määrät dataa

• Prosessoida kolossaalinen määrä dataa

• Reaaliaikainen palaute


Automaation sudenkuopat

• Informaatioähky / mittariähky

• Liikaa mittausdataa

• Mitataan sitä mikä on helppo mitata, eikä sitä mitä

tarvitaan

• Virheitä ei korjata heti kun varoitusmerkit tulevat näkyviin

(Katso virheiden exponentiaalisen kasvun esimerkki.)


Huomioita

• Mittaa vain mitä käytät ja käytä kaikkea mitä mittaat

• Kun teet saman asian kolmannen kerran, automatisoi se!

• Huomio, että aina ei tarvitse mitata vain asioiden

lisäämistä, myös turhuuden vähentäminen on tehokasta

• Vähentäminen usein halvempaa kuin lisääminen


Palautteen elinkaari

• Ennen laajasti käytetty raportointi on aina vanhentunutta

tietoa

• Nykypäivän reaaliaikaiset dashboardit tarjoavat

ajantasaisen kuvan tilanteesta

• Tulevaisuuden trendit ennustavat asioiden suuntaa


Heartbeat, heartbeat, heartbeat, …


Heartbeat?

• Kaikilla systeemeillä on oma ominaisrytminsä, ”Heartbeat”

• Heartbeatit:

–Kolibri: n/s,

–Kaupunki: 1/vuorokausi

–Scrum: 1/päivä + 1/sprint

– Maapallo: 1 / vuosi


Palaute ja heartbeat

• Palaute on merkityksellistä vain kun se on tasapainossa

systeemin rytmin kanssa

• Jos palaute on liian nopeaa tai hidasta lähtee systeemi

oskilloimaan kunnes se hajoaa

• Jos systeemin sykli on esim. 1 / vuosineljännes niin

palaute jonka rytmi on 1 / päivä on merkityksetöntä tässä

syklissä


Palautetyypit

• Kahta tyyppiä, voimistavaa ja tasapainottavaa

• Lämpötilan säädössä termostaatti on tasapainottava

• Populaation kasvussa syntyvyys on exponentiaalisesti

kasvattava


Huom!

• Dominanssi saattaa vaihtua systeemissä itsestään

• Dominanssin vaihto on erittäin hämmentävä hetki

• Esimerkki:

–Huumekuriiri myy huumeita ja saa lisää rahaa. Kun

kuriiri myy lisää huumeita niin saa lisää rahaa

(voimistava). Jossain vaiheessa tarjonta laskee hintaa

(tasapainottava) ja tuotot laskevat


Turvaverkot

Unit tests

Smoke Test Set

Full Test Set

Release Tests

Release Actions

Build product

Static checks

Every commit

0 min

+ 5 min

+ 2 h

+ 1 h

+ 10 min

+ 5 min

+ 1 min

Kehitys Ympäristöt


Miksi turvaverkkoja?

• Kukaan ei tee koskaan huonoja päätöksiä

• Huonoksi tulkittu päätös on vain merkityksellisen tiedon

puutetta

• Kun kehittäjien vastuita ylikuormitetaan julkaisulla

(Devops) johtaa se usein tahattomiin virheisiin (Devooops)


Devops?

• Trendisana Continuous integrationille /deliverylle

• Liukuhihnan tekemistä jossa kaikki kehityksen vaiheet

nivotaan järjestelmällisesti yhdeksi kokonaisuudeksi

• Käyttäen automaatiota

• Luoden turvallisen ja luotettavan jakelusysteemin


Kehityksen turvaverkko

• Luo sarjan nopeita palautekanavia kehittäjille

• Tuo näkyvyyttä kaikille tahoille

• Hyödyntää hidastuvien palautesyklien mallia

• Estää virheet ajoissa

• Harmonisoi tekemistä ja lisää kommunikointia

• Esittää testeissä tehdyt kontrahdit (kehittäjän tulkinnat

asioista joita ei ole vaatimuksissa kuvattu)


Ympäristöjen turvaverkko

• Ottaa osan tiimien taakasta pois

• Avustaa SecOps puolella (tietoturvan huomiointi)

• Tutkii ja kokeilee teknologioita jonka jälkeen ottaa ne

turvallisesti ja skaalattavasti käyttöön

• Kehittää ja ylläpitää työkaluja kehittäjien toiveisiin

• Tarjoaa ympäristöjä


CAQFL

• .


CAQFL?

• Qentinelin Laatuautomaatio-palvelun ydinajatus

• Jatkuvasti toiminnassa oleva automaattinen systeemi

• Keskittyy laatuun

• Tarjoaa oikea-aikaista palautetta

• Säätää systeemiä myös automaattisesti


Laatuautomaatiopalvelu?

• Ei sitouduta työkaluihin vaan käytetään kulloinkin hyväksi

todettuja avoimen lähdekoodin ratkaisuja

• keskitytään arvon esiin tuomiseen, tuottamiseen ja

kasvattamiseen

• Kerätään asiakkailta hyviä toiminta-malleja ja levitetään

ne takaisin kaikille asiakkaille

• Kysy lisää [email protected] tai

[email protected]

mailto:[email protected]

mailto:[email protected]


[email protected] Qentinel Oy

testiautomaation nopeat palautekanavat ja turvaverkko. jani haapala 02-2016

Presentations & Public Speaking