test automation: panacea or placebo (cz)

GAJAH ANNUAL REPORT 2015 | 1

AUTOMATIZACE TESTOVÁNÍ

VŠELÉK NEBO PLACEBO?PETR NEUGEBAUER, MARCEL VESELKA

itSMF 2017NÁVRAT DO

BUDOUCNOSTI

19. leden 2017

#proTest

itSMF CZECH REPUBLIC 2017 | 2

[pro]TEST! Heroes

MARCELVESELKA

ZKUŠENOSTI(2000) VÝVOJÁŘ(2004) TESTER

(2007) TEST MANAGER(2013) VÝKONNÝ ŘEDITEL

ZÁLIBYNOVÉ NÁPADY

STOPAR.SK[pro]TEST!

řada ONLINE PROJEKTŮ

tesena | SMART TESTING

PETRNEUGEBAUER

ZKUŠENOSTI(1999) VÝVOJÁŘ(2002) TESTER

(2006) TEST MANAGER(2015) KONZULTANT

ZÁLIBYVZDĚLÁVÁNÍ

CZECH AND SLOVAK TESTING BOARD

[pro]TEST! MORAVA

YES4Q | PASSION FOR QUALITY

AGENDA

02(DE)MOTIVACE PRO

MANAGERY, AJŤÁKY A ZÁKAZNÍKA

01ÚVOD

DO AUTOMATIZACE TESTOVÁNÍ

03JAK USPĚT PŘI AUTOMATIZACI



TESTOVÁNÍVÝZVY

1DOBA DODÁVKY

SE ZKRACUJE

5

ZÁKAZNÍKOČEKÁVÁ VYSOKOU KVALITU

3

INTERAKCE MEZI SYSTÉMYROSTE

6

VARIABILITA ZAŘÍZENÍA PLATFOREM ROSTE

2

SLOŽITOST SYSTÉMŮSE ZVYŠUJE

4

ZMĚNOVÁ ŘÍZENÍJSOU BĚŽNÁ


PERSPEKTIVYKVALITY

PRODUKT

UŽIVATELSKÉ POTŘEBY

PROCESY

POCIT

HODNOTAZÁKAZNÍK

VÝVOJÁŘ

TESTER

TECHNIK

MANAGER


CÍLE SPOLEČNOSTI

STRATEGIE ZVÝŠENÍ PRODUKTIVITY O 10%

SNÍŽENÍ NÁKLADŮ O 5%

DODÁNÍ 2 NOVÝCH PRODUKTŮ NA TRH KAŽDÉ 3 ROKY

ZVÝŠENÍ PODÍLU NA TRHU O 3%

SNÍŽENÍ DEFEKTŮ Z PRODUKCE

O 10%

SPOUŠTĚNÍ TESTŮ EXTERNÍ FIRMOU


VYSOKÉ PROCENTO AUTOMATIZAČNÍCH PROCESŮ SELŽE NEBO NESPLNÍ

OČEKÁVÁNÍ OHLEDNĚ ROI.

ÚROVEŇ AUTOMATIZACE

TESTŮ

AUTOMATIZACEAKTUÁLNÍ STAV A TRENDY

Top priorita 2016:ZLEPŠIT AUTOMATIZACE TESTŮ

(pro 58% společností)

2014 2015 2016

28% 45% 29%

Quality Report 2015-2016 / 2016-2017


VÝHODYVĚTŠÍ MNOŽSTVÍ TESTŮ

ČASTĚJŠÍ BĚH TESTŮ

PŘESNOST A BEZCHYBNOST

RYCHLOST


NEVÝHODYCENA (POČÁTEČNÍ INVESTICE)

ZNALOSTI A DOVEDNOSTI

TECHNOLOGIE (NÁSTROJE)

ÚDRŽBA (AKTUÁLNOST)



VÝHODY vs NEVÝHODY

MOŽNOST ČASTĚJŠÍHO BĚHU TESTŮ

MENŠÍ NÁCHYLNOST NA CHYBY (LIDSKÉ)

MOŽNOST SLOŽITĚJŠÍCH A TĚŽCE SPUSTITELNÝCH MANUÁLNÍCH TESTŮ

RYCHLOST TESTŮ A VČASNÁ ZPĚTNÁ VAZBA

EFEKTIVNOST A EFEKTIVITA VYUŽITÍ LIDSKÝCH ZDROJŮ

KONZISTENTNOST A STABILITA

POČÁTEČNÍ NÁKLADY

VYŽADUJE TECHNOLOGIE

VYŽADUJE DALŠÍ SCHOPNOSTI A DOVEDNOSTI TESTERŮ

NÁKLADY NA ÚDRŽBU

VÝVOJ AUTOMATICKÝCH TESTŮ NAÚKOR TESTOVÁNÍ

NÁCHYLNOST NA ZMĚNY

LIMITACE AUTOMATIZACE TESTŮVŠECHNY TESTY NELZE AUTOMATIZOVAT

AUTOMATIZOVANÉ TESTY NETESTUJÍ, POUZE KONTROLUJÍ OČEKÁVANÉ VÝSLEDKY

NENAHRAZUJE MANUÁLNÍ TESTY (ET)


MÝTUS #1Automatizace řeší VŠECHNO

MÝTUS #3Automatizace snižuje nároky na MNOŽSTVÍ TESTERŮ

MÝTUS #5Automatizace je o simulaci webového rozhraní

AUTOMATIZACE MÝTY A POVĚRY

AUTOMATIZACE NENACHÁZÍ CHYBY,

CHYBY NACHÁZÍ TESTY.

AUTOMATIZACE SE NETÝKÁ VÝHRADNĚ FUNKCIONALITY

MÝTUS #2Automatizovat může KAŽDÝ

MÝTUS #4Automatizací vždy ušetříme, aneb automatizace je LEVNÁ

MÝTUS #6Automatizace je record-and-play aktivita


NÁVRATNOST INVESTICE DO AUTOMATIZACE TESTOVÁNÍ

ROZHODUJE SKUTEČNĚ POUZE ROI?

ROI



MOTIVACE


MANAGER AJŤÁK ZÁKAZNÍK

AUTOMATIZACE(DE)MOTIVACE


MOTIVACECENARYCHLOSTKVALITATRANSPARENTNOST

DEMOTIVACETLAK ZHORANESPRÁVNÉ OČEKÁVÁNÍPROČ TO DĚLAT KDY TO DĚLAT

(DE)MOTIVACEMANAGER

SPRÁVNÁ OČEKÁVÁNÍMOTIVACE


MOTIVACENOVÉ “HRAČKY”RYCHLÁ ZPĚTNÁ VAZBAUŽ NEJSEM “KLIKAČ”NIŽŠÍ PRACNOST

DEMOTIVACEÚDRŽBATESTOVÁNÍ TESTŮTESTOVACÍ DATAKVALITA PRODUKTU

(DE)MOTIVACEAJŤÁK

NOVÝ VÝVOJ VS ÚDRŽBAKARIÉRA


MOTIVACEPROFITABILITA / ÚSPĚCH PRODUKTUČAS DODÁNÍ NA TRH (Time to market)RYCHLEJŠÍ REAKCE NA KONKURENCIKVALITA

DEMOTIVACEPOČÁTEČNÍ INVESTICEŠPATNÉ POROZUMĚNÍ (KDO - schopnosti týmu)POROZUMĚNÍ TECHNICKÝM DETAILŮM

(DE)MOTIVACEZÁKAZNÍK

HODNOTAMOŽNOST ZPĚTNÉ VAZBY


• METRIKY A KPI

• POKRYTÍ

• PRIORITY

• ZMĚNY

• ZDROJE

• ROLE

SPOLUPRÁCE


Zdroj: The Unexpected Truth About UI Test Automation Pilot Projects, telerik

Na průzkum odpovědelo 239 testerů a 604 vývojářů

JAK USPĚT PŘI AUTOMATIZACI


Zapojení DEV týmu do automatizace

Realistická očekávání

managementu

Efektivní komunikace mezi managementem a

lídrem automatizace

JAK USPĚT


Zapojení DEV týmu do automatizace

Zvolené testovací nástroje jsou neefektivní

anebo se težko s nimi pracuje

Tým nemá zkušenosti

v automatizaci testů

ČEMU SE VYVAROVAT


AUTOMATIZACEJAK USPĚT • Automatizace je vývoj SW

• Testy ladíme s vývojem• Open source vs komerční nástroje? (svoboda)

Technologie (nástroje, prostředí,

data, . . .)

• Myslete na automatizaci už při startu = automatizovatelnost jako součást business zádání

• Smoke > Regresní testy• Testovací data• Nefunkční požadavky (výkon, kompatibilita, stabilita)

Testovaná aplikace

• Skvělý tester z bankovní pobočky není vývojář, rozumí business problematice, ale ne programování

• Ideální automatizér je vývojář, tester, architekt a business specialista

Tým Kdo?


MANUÁLNÍPYRAMIDAAUTOMATIZACE TESTŮ

10% GUI

30% ROZHRANÍ / API

60% KOMPONENTY / MODULY


JASNÁ KOMUNIKACE

ŠKOLENÍ

AKTUALIZACE TESTŮ

BUDGET

JAK USPĚTSTRATEGIE

PŘÍSTUPYNÁSTROJE

DEFINICEVIZECÍLŮ

PRIORIT

POCHOPENÍSPOLEČNOSTIZÁKAZNÍKAOČEKÁVÁNÍ

VYHODNOCENÍ

PILOTZLEPŠOVÁNÍ


AUTOMATIZACE: ANO ČI NE?

VŠELÉK NEBO PLACEBO?

JAK AUTOMATIZOVAT?

SHRNUTÍ


VŠELÉK NEBO PLACEBO?


AUTOMATIZACE TESTOVÁNÍVŠELÉK NEBO PLACEBO?

MARCELVESELKA

tesena | SMART TESTING

PETRNEUGEBAUERYES4Q | PASSION FOR

[email protected]

m

https://www.linked.com/in/petrneugebauer https://www.linked.com/in/marcelveselka

[email protected]

test automation: panacea or placebo (cz)

Presentations & Public Speaking