test av mobila applikationer

Test av mobila applikationer

David Nyman och Patrik Lindström

Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår specialistkompetens i block med parallella seminarier som hör till dagens tema.

Om oss

David Nyman– david.nyman@sigma.se– Jobbar på Sigma i Göteborg.– Jobbat 5 år med test, kvalitet och krav i spelbranschen.

Patrik Lindström– patrik.lindstrom@sigma.se– Jobbar på Sigma i Göteborg.– Snart 7 år testerfarenhet från bl a TeliaSonera och Wireless Car.

Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår specialistkompetens i block med parallella seminarier som hör till dagens tema.

Mobil testning vs desktop testning?

Ingenting!

Allting!

Vanliga problem

Tid.Testplan/Stratergi.Processer/arbetssätt/verktyg.Avsaknad av testautomatisering.Input data/verifiering.Avsaknad av fysiska devices.

Grundläggande vägval…

Web Native(Hybrid, Mix)

Web

Fördelar En “app” . En plattform. Uppdateringar.

Nackdelar Mindre kontroll över användarmiljön. Långsammare. Mängder med med webbläsare/avsaknad av standard. Ingen central uppdaterings/fördelningsmiljö.

Native

Fördelar Ökad funktionalitet och snabbhet. Större kontroll över användarbeteende. Central uppdaterings/fördelningsmiljö.

Nackdelar Olika plattformar. Flera appar.

Crossbrowser Testing

Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår specialistkompetens i block med parallella seminarier som hör till dagens tema.

Valfrihetens två sidor

Valfrihetens två sidor

Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.

Valfrihetens två sidor

Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.Som konsument och användare är det oerhört positivt och ger möjlighet att personifiera sitt digitala användande.

Valfrihetens två sidor

Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.Som konsument och användare är det oerhört positivt och ger möjlighet att personifiera sitt digitala användande.Men för testare eller utvecklare kan valfriheten skapa stora utmaningar.

Hur ser det ut idag?

Hur ser det ut idag?

De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.

Hur ser det ut idag?

De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.

Hur ser det ut idag?

De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.

Hur ser det ut idag?

De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.De mobila browsrarna glöms oftast bort helt.

Hur ser det ut idag?

De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.De mobila browsrarna glöms oftast bort helt.”Men vi har ju en app!”

Möjliga lösningar

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.Stoppa huvudet i sanden.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.Stoppa huvudet i sanden.

Men det finns enklare och smidigare sätt…

Ett enkelt sätt att få bra täckning

Ett enkelt sätt att få bra täckning

Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.

Ett enkelt sätt att få bra täckning

Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av de javascript-funtionella aspekterna har vi kommit en god bit.

Ett enkelt sätt att få bra täckning

Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av de javascript-funtionella aspekterna har vi kommit en god bit.

CrossBrowserTesting.com är ett exempel som kan hjälpa dig med båda de delarna.

Ett exempel på ett fel 1 (2)Win 7 + Firefox 3.5

Ett exempel på ett fel 2 (2)Safari 4.0 + Iphone 4

Kort om CrossBrowserTesting.com

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowser

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningar

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleri

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskar

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskarGår även att testa lokala adresser (beta)

Kort om CrossBrowserTesting.com

CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskarGår även att testa lokala adresser (beta)Kostar mellan 30-50$ per månad beroende på antalet användare

CBT – Automated Screenshots 1 (3)

CBT – Automated Screenshots 2 (3)

CBT – Automated Screenshots 3 (3)

CBT – Live Test 1 (4)

CBT – Live Test 2 (4)

CBT – Live Test 3 (4)

CBT – Live Test 4 (4)

Input till test

Device?

Nätverk?

Länder?

Användare?

OS Prioritering OS1 OS2 OS3 OS4

Device          

Prioritering   1 2 3 4

Device1 1 High Low Low Medium 

Device2 2 Medium Medium High  Low

Device3 3 Low High Medium High 

Device4 4 Low Low Low  Low 

OS Prioritering Feature1 Feature2 Feature3 Feature4

Device          

Prioritering   1 2 3 4

Decice1 1 X O X   X

Device2 2 O O X   O

Device3 3 X O  X  O

Device4 4 X O  X X 

Testning (tid/kostnad)

Category 1 Category 2 Category 3 Category 40

0.5

1

1.5

2

2.5

3

3.5Series 1

Antal Features

Antal Devices

Grundläggande testtyper

Usability test

Device test(Externa faktorer)

Prestandatester

Säkerhetstester

Funktionstester

Tips

Börja testningen så tidigt som möjligt.- Nedladdning, installation, avinstallation osv.- Grundläggande funktionalitet.

Fokusera på prioriterade devicer.- Grundläggande funktionalitet.

Extern testning.Beta.Crowed based testing.

Verktyg

Simulator/Emulator.

Remote device partner.- DeviceAnywhere.- Nokia RDA.

Riktig device.

Open source

Roboticum- Android

FoneMonkey- iOs

Automatiseringsverktyg med kostnad

EggPlant.- Android, iPhone, Blackberry, Windows mobile och Symbian.

SeeTest. - Android, iphone, Blackberry, Windows mobile och Symbian.

Automatiseringsverktyg utan kostnad(Open source)

Roboticum.- Android.

FoneMonkey.- iOS.

Sikuli.

Sammanfattningsvis…

Förstå och besluta om vad som är viktgast: - Olika OS. - Olika webbläsare. - Olika prestanda och upplösning. - Olika Operatörer och nätverk.Testa i okontrollerad verklig miljö.Hitta och använd lämpligt automatiseringsverktyg som passar din miljö och applikation/er.Utför så mycket som möjligt testningen på verkliga devices, även om simulering finns.Mät prestandan i riktigt nätverk och med användare, inte bara genom simuleringen.

Frågor?

Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår specialistkompetens i block med parallella seminarier som hör till dagens tema.