testprozess-assessment mit testspice 2 › wp-content › uploads › 2016 › 06 › 120918... ·...

30
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012 TestSPICE © DI. Andreas Nehfort - [email protected] - www.nehfort.at 1 ASQF-FG-SW-Test-2012-TestSPICE.pptx ASQF-Fachgruppe Österreich 12. Fachgruppenabend – 18. September 2012 Testprozess-Assessment mit TestSPICE 2.0 TestSPICE - 1 DI. Andreas Nehfort [email protected] www.nehfort.at DI. Andreas Nehfort ASQF 18.09.2012 Agenda - Vorstellung - Der Umgang mit Fehlern & Risiken P if ? - Prozessreife warum? - Prozessreife im Test? … Den letzten beißen die Hunde … - SPICE – eine kurze Einführung - Prozessrefegradmodell & Referenz-Prozessmodelle - Verfügbare SPICE Assessmentmodelle TestSPICE - 2 - TestSPICE - Aufbau und Fokus - Mapping der Testaktivitäten auf TestSPICE DI. Andreas Nehfort ASQF 18.09.2012

Upload: others

Post on 06-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 1ASQF-FG-SW-Test-2012-TestSPICE.pptx

ASQF-Fachgruppe Österreich12. Fachgruppenabend – 18. September 2012

Testprozess-Assessment mit TestSPICE 2.0

TestSPICE - 1

DI. Andreas Nehfort

[email protected] www.nehfort.at

DI. Andreas Nehfort ASQF 18.09.2012

Agenda

- Vorstellung

- Der Umgang mit Fehlern & Risiken

P if ?- Prozessreife warum?

- Prozessreife im Test? … Den letzten beißen die Hunde …

- SPICE – eine kurze Einführung

- Prozessrefegradmodell & Referenz-Prozessmodelle

- Verfügbare SPICE Assessmentmodelle

TestSPICE - 2

- TestSPICE

- Aufbau und Fokus

- Mapping der Testaktivitäten auf TestSPICE

DI. Andreas Nehfort ASQF 18.09.2012

Page 2: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 2ASQF-FG-SW-Test-2012-TestSPICE.pptx

Vorstellung Andreas Nehfort

IT-Consultant, Unternehmensberater, Trainer - seit 1986 selbständig:

- Berater für Software Prozesse & Qualität

- Prozessreife CMMI & SPiCE

- Projektmanagement, Qualitätsmanagement, Requirements Engineering

Erfolg = Qualität x Akzeptanz

Qualifikation & Funktionen:

- SPICE Principal Assessor & GPard Lead Assessor

- Vorstand der Österreichischen Vereinigung für Software Qualitäts-t STEV Ö t i h ft lit t t

TestSPICE - 3 DI. Andreas Nehfort ASQF 18.09.2012

management - STEV-Österreich www.softwarequalitaet.at

Background:

- TU-Wien – Studium der Technischen Mathematik: 1975 - 1979

- Software Entwicklung seit 1978 und Projektleitung seit 1982

Die Nehfort IT-Consulting

Beratungsunternehmen mit folgenden Schwerpunkten:

- Software Prozesse & Software Prozessverbesserung

- Vor dem Hintergrund anerkannter Referenzmodelle:o de te g u d a e a te e e e ode e- SPiCE - ISO15504 / Automotive SPiCE / CMMI - ITIL / ISO 20000 bzw. ISO 27000ff- Agile Prozesse (SCRUM, …)

- Prozess- & Qualitätsmanagement

- GP-Partner & GPard-Assessor

TestSPICE - 4 DI. Andreas Nehfort ASQF 18.09.2012

- Network selbständiger Berater, Trainer, Assessoren:- Software Engineering & Projektmanagement- IT Service Management & Information Security Management- Prozessmanagement & Qualitätsmanagement

Page 3: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 3ASQF-FG-SW-Test-2012-TestSPICE.pptx

Wenn ein Programm falsche Ergebnisse liefert ...

ProgrammProgrammxy

Ergebnis

3+5 = 83+7 = 11 2-1 = 2 2+9 =11

... dann korrigieren wir nicht (nur) das Ergebnis, Wir beheben den Programmfehler!

ChangeChange

Manuelle Korrektur:3+7 = 10 2-1 = 1

TestSPICE - 5

ProgrammProgrammV2V2

xy

RichtigesErgebnis

3+5=83+7=102-1=12+9=11

DI. Andreas Nehfort ASQF 18.09.2012

ProgramProgram

Input

ChangeChange

Wenn ein Prozess falsche Ergebnisse liefert ...

ProgramProgram

FehlerhafteErgebnisse

ChangeChange

korrigierteskorrigiertesProgrammProgramm V2V2

warum?

ProzessProzess--bb

Input

TestSPICE - 6

verbesserungverbesserung

RichtigeErgebnisse

... dann sollte der Prozess verbessert werden, nicht(nur) das Produkt.

DI. Andreas Nehfort ASQF 18.09.2012

Page 4: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 4ASQF-FG-SW-Test-2012-TestSPICE.pptx

Heathrow Terminal 5

Nach der Eröffnung des rund fünf Milliarden Euro teuren Terminal 5 Ende März 2008 war dort eine tagelanges Reisechaos ausgebrochen;

- Etwa 30.000 Koffer blieben liegen, Hunderte Flüge fielen aus!

Die Ursache:Die Ursache:

- Die automatische Gepäckabfertigungsanlage hat nicht funktioniert.

- Dazu kamen Problem mit dem Zugangskontroll-System für das Personal …

Das Debakel kostete die Fluggesellschaft British Airways (BA) rund 20 Mio. €

- British Airways feuerte daraufhin im April ihren Betriebsmanager Gareth Kirkwood und den Leiter des Kundenservices David Noyes.

TestSPICE - 7

Auch der Flughafendirektor geht …

- Das Debakel nach der Eröffnung des als hochmodern gepriesenen Terminals 5 in London-Heathrow hat den Airport-Direktor jetzt seinen Job gekostet.

- Mark Bullock habe "sich entschlossen zu gehen“ teilte der Flughafenbetreiber BAA heute mit. www.orf.at – Mai 2008

DI. Andreas Nehfort ASQF 18.09.2012

Die Tiefere UrsacheRisiken … ein Akzeptanzproblem!

Warum tun wir uns mit Risikomanagement so schwer?

- Weil wir Ziel- / ergebnisorientiert denken!Weil wir Ziel / ergebnisorientiert denken!

- Weil ein Risiko die Interessen eines Stakeholders gefährdet!

„Weil nicht sein kann, was nicht sein darf!“

- Weil wir uns mit Wahrscheinlichkeiten schwer tun!

Wi kö d it i t iti i ht h !

TestSPICE - 8 DI. Andreas Nehfort ASQF 18.09.2012

- Wir können damit intuitiv nicht umgehen!

- Weil wir am Ende das Problem nicht ein Bisschen haben, sondern ganz oder gar nicht!

Page 5: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 5ASQF-FG-SW-Test-2012-TestSPICE.pptx

Prozessreife – Warum? If you don‘t attack a risk actively ...

TestSPICE - 9 DI. Andreas Nehfort ASQF 18.09.2012

... the risk will attack you!

TestSPICE - 10 DI. Andreas Nehfort ASQF 18.09.2012

Tom Gilb

Page 6: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 6ASQF-FG-SW-Test-2012-TestSPICE.pptx

Unser Ziel - die Dinge im Griff haben

Das nennt man heute

G “„Governance“ …

Wie erreichen wir das?

Durch

TestSPICE - 11

„Zuverlässigkeit“

Hebel der Macht - Dieter Zehentmayr – Kurier 1990

DI. Andreas Nehfort ASQF 18.09.2012

Zuverlässige Prozesse …

… klare Vorgaben erleichtern die Umsetzung …

TestSPICE - 12 DI. Andreas Nehfort ASQF 18.09.2012

Page 7: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 7ASQF-FG-SW-Test-2012-TestSPICE.pptx

Zuverlässige Prozesse …

... aber nicht immer ist eine fehlerfreie Spezifikation ausreichend, damit ein ANDERER ein brauchbares Ergebnis liefert …

TestSPICE - 13 DI. Andreas Nehfort ASQF 18.09.2012

Zuverlässige Prozesse

Referenzmodelle definieren typischerweise inhaltlicheAnforderungen an unsere Prozesse Was ist zu tun?

Die offene Frage:Die offene Frage:

- Wie müssen sichere/zuverlässige Prozesse beschaffen sein?

Prozessreifegradmodelle geben eine Antwort:

- Die Kriterien der Prozessreife bieten eine methodische Grundlage für Prozess-Sicherheit!

TestSPICE - 14

- CMMI und SPICE / ISO 15504 sind Werkzeuge

- für sichere/zuverlässige Prozesse und

- für die Wirksamkeit eines IKS

DI. Andreas Nehfort ASQF 18.09.2012

Page 8: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 8ASQF-FG-SW-Test-2012-TestSPICE.pptx

Level 4 PredictablePA.4.1 Measurement

PredictableProcess measurement make process

f d lt t ll bl

Level 5 OptimizingPA.5.1 Process InnovationPA.5.2 Process Optimization

OptimizingQuantitative measures used for Process Innovation and Optimisation

SPICE – Capability Levels

Level 3 EstablishedPA.3.1 Process DefinitionPA.3.2 Process Deployment

EstablishedPredefined processes are deployed and tailored for specific use

PA.4.2 Process Controlperformance and results controllable

Level 2 ManagedPA.2.1 Performance ManagementPA.2.2 Work Product Management

ManagedProcess and work products aremanaged, responsibilities identified

TestSPICE - 15

Level 0 Incomplete IncompletePerformance and results are incomplete, chaotic processes

Level 1 PerformedPA.1.1 Process Performance

PerformedProcesses are intuitively performed, input and output work products are available

DI. Andreas Nehfort ASQF 18.09.2012

Messen was messbar ist,

b h

Die Idee dahinter

messbar machen,

was noch nicht messbar ist.

Galileo Galilei

(lang vor Watts Humphrey & CMM/CMMI & SPICE)

TestSPICE - 16

( g p y )

Prozessqualität messbar machen!Fortschritte messbar machen!

DI. Andreas Nehfort ASQF 18.09.2012

Page 9: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 9ASQF-FG-SW-Test-2012-TestSPICE.pptx

C

Management Visibilityby Capability Level

Complyor

explain

TestSPICE - 17 DI. Andreas Nehfort ASQF 18.09.2012

SPICE als Best Practice für Prozessmanagement

Das SPICE Prozessreifegradmodell liefert einen generischen Baukasten für reife Prozesse:

- Geeignete Basispraktiken, damit der Prozess seinen Zweck erfüllen kann Capability Level1.

- Kriterien für Planung & Lenkung der Prozessdurchführung CL2

- Kriterien für Planung & Lenkung der Prozessergebnisse CL2

- Kriterien für die Definition von Standardprozessen CL3

I kl i Üb h f Ei & A h it

TestSPICE - 18

- Inklusive Überwachung auf Eignung & Angemessenheit

- Kriterien für den Einsatz von Standardprozessen CL3

- Inklusive Analyse des Prozessverhaltens

- Kriterien für quantitative Prozess-Steuerung CL4DI. Andreas Nehfort

ASQF 18.09.2012

Page 10: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 10ASQF-FG-SW-Test-2012-TestSPICE.pptx

Prozessreife eliminiert UnsicherheitMit zunehmender Prozessreife wird der Prozess für Außenstehende

- besser steuerbar

- besser nachvollziehbar

- besser kontrollierbar

Mit zunehmender Prozess-reife wird der Prozess zuverlässiger!

TestSPICE - 19 DI. Andreas Nehfort ASQF 18.09.2012

SPICE – die 2 Dimensionen

Process Dimension:

- Referenzprozess-Modelle Domain-spezifisch

- Referenzprozesse repräsentieren „best practice“

Capability Dimension:

- Das SPICE Prozessreifegradmodell

- 6 Reifegradstufen: CL 0 – CL5

- Generisch

CL5CL4CL3CL2CL1

TestSPICE - 20

- Generisch

- Mit jedem Referenzmodell kombinierbar

- Auf jeden Prozess anwendbar!

Jeder Prozess erhält eine Bewertung seines Capability LevelsDI. Andreas Nehfort

ASQF 18.09.2012

CL1CL0

P1 P2 … Pn

Page 11: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 11ASQF-FG-SW-Test-2012-TestSPICE.pptx

Das SPICE Process Reference

Modelaus

ISO 12207 bzw.

ISO 15504-5:2006

TestSPICE - 21 DI. Andreas Nehfort ASQF 18.09.2012

SPICE for Systems Engineering

TestSPICE - 22 DI. Andreas Nehfort ASQF 18.09.2012

Page 12: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 12ASQF-FG-SW-Test-2012-TestSPICE.pptx

ISO 15504 / SPICE Verfügbare Assessmentmodelle

ISO/IEC 15504-5:2006: An exemplar process assessment model

- Assessment Modell für Software EngineeringAssessment Modell für Software Engineering

ISO/IEC TR 15504-6:2008 Exemplar Systems Life Cycle Processes Assessment Model

- Assessment Modell für Systems Engineering

ISO/IEC TS 15504-10:2011 Safety Extensions

E it fü di E t i kl i h h itk iti h S t

TestSPICE - 23

- Erweiterungen für die Entwicklung sicherheitkritischer Systeme Functional Safety IEC 61508 …

- Für Systems- & Software Engineering

DI. Andreas Nehfort ASQF 18.09.2012

ISO 15504 / SPICE Branchen spezifische Modelle

SPICE for SPACE:

- Ein Modell der ESA - European Space Agency

Automotive SPICE www.automotivespice.com

- Ein Modell zur Assessierung der Lieferanten der (europäischen) Automobilindustrie

- Herausgeber: HIS Herstellerinitiative Software & VDA

Weitere Initiativen:

TestSPICE - 24

Weitere Initiativen:

- MEDI SPICE (UK) Medical Device Software IEC 62304

- Under development

DI. Andreas Nehfort ASQF 18.09.2012

Page 13: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 13ASQF-FG-SW-Test-2012-TestSPICE.pptx

ISO 15504 / SPICE Domain spezifische Modelle

TestSPICE:

- TestSPICE wurde durch intacs validiert (V2.0 - 2012)

SPICE for ISO 20000:

- ISO 20000-4:2010 (PRM ) und ISO 15504-8 (PAM – ist in Arbeit)

ISO 20000 – PAM (V1.0 2006 / V2.0 2011 – Nehfort IT-Consulting):

- Vorstufe der ISO-Standards – bereits heute verfügbar!

- Assessment Tool: SPICE 1-2-1 for ISO 20000

TestSPICE - 25

ISO 27000 – PAM (2008 – Nehfort IT-Consulting):

- SPICE konformes Process Assessment Model für Information Security Management nach ISO 27001 & ISO 27002

- Assessment Tool: SPICE 1-2-1 for ISO 27000DI. Andreas Nehfort

ASQF 18.09.2012

Neu: Cobit 5 nutzt SPICE als Assessment Modell

TestSPICE - 26 DI. Andreas Nehfort ASQF 18.09.2012

Page 14: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 14ASQF-FG-SW-Test-2012-TestSPICE.pptx

Software Entwicklung … not state of the art …

TestSPICE - 27 DI. Andreas Nehfort ASQF 18.09.2012

Der Testprozess …

Solution

Analyse Design Build Test

Planned

Real World

Solution

TTM

TestSPICE - 28 DI. Andreas Nehfort ASQF 18.09.2012

Nach dem Motto: Den letzten beißen die Hunde ...

Die Abhilfe: ein Entwicklungs-begleitender Testprozess!

Page 15: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 15ASQF-FG-SW-Test-2012-TestSPICE.pptx

Voraussetzungen für einen erfolgreichen Test

- Ein vernünftiger Entwicklungsprozess:

- Anforderungen g

- Design

- Implementierung

- Integration

- Ein vernünftiger Testprozess:

Verifikationskriterien

TestSPICE - 29

- Verifikationskriterien

- Teststufen: Unit-Test / Integrationstest / Systemtest, …

- Testziele / Testarten, Testinfrastruktur, …

- Eine sinnvolle Integration von Entwicklung & TestDI. Andreas Nehfort

ASQF 18.09.2012

Praxiserfahrungen: Prozessreife im Test

Die zehn größten Fehler im Software-Testmanagement (1) *

- Kein Test-Management

- Getestet wird zum Projektende

- Test-Zeiträume dienen als „Pufferzonen“ für das Projekt

- Komplexität und Vorbereitungsdauer werden unterschätzt

- Verzicht auf systematische Testfallermittlung

- Fehlende Verknüpfung von Entwicklungs- und Teststufen

- Fehlendes und unzureichendes Testdatenmanagement

- Testdaten sind unvollständig nicht aktuell werden nicht aktualisiert

TestSPICE - 30

- Testdaten sind unvollständig, nicht aktuell, werden nicht aktualisiert bzw. gewartet

* Quelle: Computerwoche vom 23.11.2010

DI. Andreas Nehfort ASQF 18.09.2012

Page 16: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 16ASQF-FG-SW-Test-2012-TestSPICE.pptx

Praxiserfahrungen: Prozessreife im Test

Die zehn größten Fehler im Software-Testmanagement (2)

- Fehlende Testautomatisierung

- Häufig fehlen Vorgaben

Testautomatisierung funktioniert unzureichend wg fehlendem- Testautomatisierung funktioniert unzureichend wg. fehlendem Testdatenmanagement

- Das benötigte Know-how wird unterschätzt

- Die Entwickler testen bereits alles Wichtige, denn sie kennen ja die Software am besten!

- Testen kann jeder!

f

TestSPICE - 31

- Verzicht auf methodisches Vorgehen

- Jeder Tester testet und dokumentiert nach eigenem Ermessen –fehlende Methodenkenntnisse

- Testfälle werden immer wieder neu erstellt

DI. Andreas Nehfort ASQF 18.09.2012

Praxiserfahrungen: Prozessreife im Test

Die zehn größten Fehler im Software-Testmanagement (3)- Kein Tool-Einsatz oder die falschen Tools

- Tools werden nicht sinnvoll eingesetzt

Ohne geeignete Prozesse helfen Tools nur wenig- Ohne geeignete Prozesse helfen Tools nur wenig

- „wir brauchen keine Tools, wir haben alle Excel“

- Falsche Testfälle oder falsche Anzahl von Testfällen

- Keine systematische Testfallermittlung … „wir wissen was zu testen ist ..“

- Last und Performance-Test erst am Projektende

- Fehlende Vorgaben für den Test

Last und Performance Test erfolgen häufig zum Projektende ggf

TestSPICE - 32

- Last- und Performance Test erfolgen häufig zum Projektende – ggf. notwendige Änderungen an der Architektur werden spät erkannt und sind aufwändig

- Die Folgen eines falschen Test-Managements werden unterschätzt

- siehe Beispiel: Heathrow Terminal 5…

DI. Andreas Nehfort ASQF 18.09.2012

Page 17: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 17ASQF-FG-SW-Test-2012-TestSPICE.pptx

Wir brauchen mehr Kompetenz im Testen!

TestSPICE - 33 DI. Andreas Nehfort ASQF 18.09.2012

Standards im Bereich QS / Testen

Es existieren zahlreiche Standards, die den Testprozess unterstützen

- IEEE 829 - Test Documentation StandardIEEE 829 Test Documentation Standard

- IEEE 1008 – Unit Testing

- BS 7925-1/2 – British Testing Standard

- ISTQB Certified Tester – Ausbildung zum Tester

- TPI – Test Process Improvement

TestSPICE - 34

- TMMI – Test Maturity Model Integrated

- ISO 29119 – Software Testing (under development)

- CAT Certified Agile Tester - Ausbildung zum Agile Tester

DI. Andreas Nehfort ASQF 18.09.2012

Page 18: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 18ASQF-FG-SW-Test-2012-TestSPICE.pptx

Standards im Testen

Die meisten dieser Standards sind Inseln in der Prozesslandschaft:Inseln in der Prozesslandschaft:

- Sind nicht in den SW-Entwicklungsprozess integriert

- Schnittstellen zu den Entwicklungsprozessen sind nur indirekt darstellbar

- Test-Prozessmodelle definieren ihre eigenen Strukturen und „Reifegrade“

TestSPICE - 35

und „Reifegrade

- Geringe Vergleichbarkeit untereinander

- Keine Vergleichbarkeit zu Entwicklungsprozessen

DI. Andreas Nehfort ASQF 18.09.2012

Ein integrierter AnsatzTestSPICE

Eine vernünftige Referenz für die Entwicklungsprozesse:

- SPICE: ISO 15504-5 / ISO 15504-6

Eine vernünftige Referenz für die Testprozesse:

- TestSPICE

Eine sinnvolle Integration von Entwicklung & Test:

D h K bi ti di M d ll h B d f

TestSPICE - 36

- Durch Kombination dieser Modelle nach Bedarf

- Referenzprozesse, die einander ergänzen

- Ein gemeinsames Reifegradmodell

DI. Andreas Nehfort ASQF 18.09.2012

Page 19: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 19ASQF-FG-SW-Test-2012-TestSPICE.pptx

TestSPICE

TestSPICE - 37

Der strukturierte Ansatz für Testprozesse

DI. Andreas Nehfort ASQF 18.09.2012

TestSPICE: Aufbau und Fokus

- Das Test SPICE Process Reference Model (PRM) wurde auf Basis der Erfahrungen von Software und System Test Consultants entwickelt (Ursprung: SQS). Co su ta ts e t c e t (U sp u g SQS)

- Das Test SPICE PRM deckt die Anforderungen und Best Practices aus ISTQB sowie den am Markt bekannten Modelle wie TPI und TMMI ab.

- Die Struktur von Test SPICE wurde analog der Struktur des ISO/IEC 15504 Process Reference Models (PRM) entwickelt.

TestSPICE - 38

( )

- Das Vorgehen im Test SPICE-Assessment ist analog zu den Abläufen und Ergebnistypen im Rahmen eines ISO/IEC 15504 SPICE-Assessments.

DI. Andreas Nehfort ASQF 18.09.2012

Page 20: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 20ASQF-FG-SW-Test-2012-TestSPICE.pptx

TestSPICE entspricht den Vorgaben der ISO 15504-2

Die Prozesse sind wie in ISO 15504 beschrieben und dokumentiert

- Das Prozess-Assessment ist wie in ISO 15504 organisiert

- Die Definition der Leistungsfähigkeit entspricht der ISO 15504

- Die Prozess-Bewertung entspricht ISO 15504

- Die vorhandenen Assessment-Tools können verwendet werden

TestSPICE - 39 DI. Andreas Nehfort ASQF 18.09.2012

Test SPICE ist “compliant” mit internationalen Standards

- Test SPICE deckt die Anforderungen der ISO/IEC 15504 vollständig ab

- Prozesse sind beschrieben mittels “Purpose” und “Outcome”

- Das Test SPICE Prozess-Referenzmodell (PRM) und das ProzessDas Test SPICE Prozess Referenzmodell (PRM) und das Prozess Assessment Modell (PAM) sind konform zu ISO/IEC 15504-2

- Diese Konformität ist durch intacs™ verifiziert (www.intacs.info )

- Test SPICE ist “compliant” zu IEEE 829 sowie zur ISO/IEC 29119

- Test SPICE ist konform zum ISTQB Syllabus

- Test SPICE ist unabhängig von Software Entwicklungsmodellen wie RuP V Modell oder agilen Modellen

TestSPICE - 40

wie RuP, V-Modell oder agilen Modellen

- Test SPICE ist Branchen-neutral (es gibt kein Banking oder Automotive TestSPICE)

- Test SPICE ist sowohl für große als auch kleinere Testorganisationen geeignet

DI. Andreas Nehfort ASQF 18.09.2012

Page 21: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 21ASQF-FG-SW-Test-2012-TestSPICE.pptx

TestSPICE – Process Dimension

Orientiert sich strikt an ISO 15504-5 (SW-Engineering)

TEST SPICE

Primary Life Cycle Processes

Test Service Acquisition

Primary Life Cycle Processes

Testing

Supporting Life Cycle Processes

Process Category

Process Group

Test Service Supply

Test Environment Management

Organizational Life Cycle Processes

TestSPICE - 41 DI. Andreas Nehfort ASQF 18.09.2012

Support

Resource & Infrastructure

IntegratedManagement Test Regression;

Reuse & Maintenance

Process Improvement

Test ProcessManagement

TestSPICE V2.0Primary Life Cycle Processes

Primary Life Cycle Processes

Test Service Acquisition TestingTest Service SupplyTest Environment O ti

TSA.1 Acquisition preparation

TSA.2 Supplier selection

TSA.3 Contract agreement

TSA.4 Test service monitoring

TSA.5 Test service acceptance

TST.1 Test requirements analysis

TST.2 Test analysis & design (Specification)

TST.3 Test realization and execution

TST.4 Test results analysis and reporting

TST.5 Test automation

TSS.1 Test supplier tendering

TSS.2 Test service delivery

TSS.3 Test service acceptance support

TEN.1 Test Environment Requirements Analysis

TEN.2 Test Environment Design (and Configuration Planning)

TEN.3 Test Environment Assembly

TEN.4 Test Environment Testing

Test Service Acquisition TestingTest Service SupplyOperation

TestSPICE - 42 DI. Andreas Nehfort ASQF 18.09.2012

design

TST.6 Test automation implementation

TEN.5 Test Environment Operation

TEN.6 Test Environment User Support

TEN.7 Test Environment Disassembly

Page 22: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 22ASQF-FG-SW-Test-2012-TestSPICE.pptx

TestSPICE V2.0Supporting & Organisational Life Cycle Processes

Organizational Life Cycle ProcessesSupporting Life Cycle Processes

SupportIntegrated Project- Process Resource &

Support

SUP.1 Quality assurance

SUP.2 Verification

SUP.3 Validation

SUP.4 Joint review

SUP.5 Audit

SUP.6 Product and service evaluation for test

SUP.7 Documentation

SUP 8 Configuration

IPM.1 Organizational alignment

IPM.2 Organization management

IPM.3 Project management

IPM.4 Quality management

IPM.5 Risk management

IPM.6 Measurement

ManagementPIM.1 Process

establishment

PIM.2 Process assessment

PIM.3 Process improvement

Improvement

TRM 1 Test asset

Test Regression Reuse & Maintenance

RIN.1 Human resource management

RIN.2 Training

RIN.3 Knowledge management

RIN.4 Test infrastructure

Infrastructure

TestSPICE - 43 DI. Andreas Nehfort ASQF 18.09.2012

SUP.8 Configuration management

SUP.9 Problem resolution management

SUP.10 Change request management

TRM.1 Test asset management

TRM.2 Test reuse prgramme management

TRM.3 Regression test management

TRM.4 Testware maintenance

TPM.1 Test strategy

TPM.2 Test planning

TPM.3 Test monitoring and controll

TPM.4 Test closing and reporting

Test Process Management

Master & Level Test Planning

TestSPICE - 44

Mapping to TestSPICE

DI. Andreas Nehfort ASQF 18.09.2012

Page 23: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 23ASQF-FG-SW-Test-2012-TestSPICE.pptx

Test Planning Hirarchy

Systematisches Teste folgt einen strukturierten Ansatz:

- Ausführung verschiedener Teststufen:

- Unit test , integration test, system test,

- acceptance test

- Ausführung verschiedener Testarten:

- Functional testing, performance testing, load testing , …

TestSPICE - 45 DI. Andreas Nehfort ASQF 18.09.2012

Test Planning Hirarchy

Test Plannung ist in der Regel ein 2-stufiger Prozess

- Master Test Planning

L l T Pl i- Level Test Planning

Master Test Planning:

- Gesamtplan über alle Testaktivitäten und Ergebnisse

- Über alle Teststufen und Testarten

TestSPICE - 46

- Über alle Teststufen und Testarten

Level Test Planning:

- Planung einer einzelnen Teststufe oder Testart

DI. Andreas Nehfort ASQF 18.09.2012

Page 24: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 24ASQF-FG-SW-Test-2012-TestSPICE.pptx

The Test Processaccording to IEEE 829:2008

Master Test Planning

For eachTest_Level

or Test Type

Level Test Planning

Level Test Design

Level Test Execution

Level Test Planning

Level Test Design

Level Test Execution

Level Test Planning

Level Test Design

Level Test Execution

TestSPICE - 47

Master Test Reporting

Level Test Reporting Level Test Reporting Level Test Reporting

DI. Andreas Nehfort ASQF 18.09.2012

Test Planning Hirarchy

Master Test Planning:

- Wie implementieren wir die Teststrategie in diesem Projekt?

- Welche Teststufen & Testarten brauchen wir um die Testziele und Testanforderungen abzudecken?

- Welche Testziele erreichen wir mit welcher Teststufe / Testart?

- Gesamtplanung: Wer? / Was? / Wann? … Aufwand und Termine

Level Test Planning (& Design):

- Wie implementieren wir die entsprechenden Teststufen/Arten, um die zugehörigen Testziele zu erfüllen?

TestSPICE - 48

zugehörigen Testziele zu erfüllen?

- Welche Tests benötigen wir dafür?

- Detailplanung …

DI. Andreas Nehfort ASQF 18.09.2012

Page 25: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 25ASQF-FG-SW-Test-2012-TestSPICE.pptx

Mapping to Test SPICE

Master Test Planning TPM.2 Test Planning

- Requirements Analysis TST.1 Test Requirements Analysisfor Master Test Planning TEN.1 TE Requirements Analysis

- Level Test Planning TPM.2 Test Planning

- Level Test Design TST.2 Test Design TEN.2 TE Design TST.5. Test Automation Design

TestSPICE - 49

- Level Test Execution TST.3 Test Realization & Execution TST.6 Test automation implementation

- Level Test Reporting TST.4 Test results analysis & reporting

Master Test Reporting TPM.4 Test Closing & Reporting

DI. Andreas Nehfort ASQF 18.09.2012

Der Assessment Prozess

Der Assessment Prozess nach ISO 15504-2

- Planning

- Data Collection

- Data Validation

- Process Attribute Rating

- Reporting

Ein ISO 15504 - konformer Assessment Prozess in der Praxis:

TestSPICE - 50 DI. Andreas Nehfort ASQF 18.09.2012

Page 26: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 26ASQF-FG-SW-Test-2012-TestSPICE.pptx

Rollen im Assessment Prozess

- Assessment Sponsor

- Auftraggeber des Assessments

- Ist für die Auswahl des Lead Assessors verantwortlich

- Lead Assessor oder Assessment Team Leiter

- Ist für das Gesamtergebnis verantwortlich

- und für die richtige Anwendung der Assessment Methode

- Assessoren – unterstützen den Lead Assessor beim Rating

Lokaler Assessment Koordinator (LAK)

TestSPICE - 51 DI. Andreas Nehfort ASQF 18.09.2012

- Lokaler Assessment Koordinator (LAK)

- Ansprechpartner für den Lead Assessor hinsichtlich Planung & Organisation

- Assessment-Teilnehmer der Organisationseinheit

Das Assessment Ergebnis Capability Levels

TestSPICE - 52 DI. Andreas Nehfort ASQF 18.09.2012

Page 27: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 27ASQF-FG-SW-Test-2012-TestSPICE.pptx

Das Assessment Ergebnis Process Attribute Rating

TestSPICE - 53 DI. Andreas Nehfort ASQF 18.09.2012

TestSPICE - Assessorenausbildung

Folgt dem intacs-Ausbildungsschema für SPICE-Assessoren:

- TestSPICE Provisional Assessor Training

5 T it P üf- 5 Tage mit Prüfung

- Erstes Training im Mai 2012 in Wien!

- Antrag auf Zertifizierung: Provisional Assessor

- Assessment Praxis als Co-Assessor (200 Stunden)

- TestSPICE Competent Assessor Training

TestSPICE - 54

- 5 Tage mit Prüfung

- Assessment als Lead Assessor – under observation

- Antrag auf Zertifizierung: Competent Assessor

DI. Andreas Nehfort ASQF 18.09.2012

Page 28: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 28ASQF-FG-SW-Test-2012-TestSPICE.pptx

TestSPICE - Assessor Certification(Entwurf)

TestSPICE - 55 DI. Andreas Nehfort ASQF 18.09.2012

Resümee:Fehlerkosten steigen exponentiell mit der Dauer,

die der Fehler unentdeckt mitgeschleppt wird

TestSPICE - 56 DI. Andreas Nehfort ASQF 18.09.2012

Page 29: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 29ASQF-FG-SW-Test-2012-TestSPICE.pptx

Prozessreife reduziert die Fehlerkosten!

Zunehmende Test-Reife bewirkt:Zunehmende Test Reife bewirkt:

- Systematischer Testen

- Fehler früher finden

- Fehler rascher/billiger beheben

- Das Produkt ist früher stabil.

Das rechtfertigt die Investition in

TestSPICE - 57 DI. Andreas Nehfort ASQF 18.09.2012

gSPICE basiertes Test-Management

Die Automobilindustrie:

- Und ihre Lieferanten

Wer nutzt SPICE?

Finanzdienstleister:

Die Elektronik-Industrie:- http://www.nehfort.at/downloads/vswqd2010spiceforsystemsv10.pdf

TestSPICE - 58

Die öffentliche Verwaltung:

Software-Hersteller:DI. Andreas Nehfort

ASQF 18.09.2012

Page 30: Testprozess-Assessment mit TestSPICE 2 › wp-content › uploads › 2016 › 06 › 120918... · 2020-03-20 · - Dazu kamen Problem mit dem Zugangskontroll-System für das Personal

ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE

© DI. Andreas Nehfort - [email protected] - www.nehfort.at 30ASQF-FG-SW-Test-2012-TestSPICE.pptx

(Test)SPICE gibt Ihnen die Werkzeuge um reife Prozesse

t ti h i l ti !systematisch zu implementieren! Sie reduzieren damit Ihr Risiko!

Wir unterstützen Sie dabei mit unserer Expertise!

SPICE - Trainings

TestSPICE - 59 DI. Andreas Nehfort ASQF 18.09.2012

Entwicklung von Assessment Modellen & Assessment Tools

Durchführen von Assessments

Beratung & Unterstützung bei der Prozessverbesserung

Assessment Network: Leistungen aus einer Hand

Danke für Ihre Aufmerksamkeit!

Fragen & Anmerkungen

Diskussion ...

TestSPICE - 60

Diskussion ...

DI. Andreas Nehfort ASQF 18.09.2012