testprozess-assessment mit testspice 2 › wp-content › uploads › 2016 › 06 › 120918... ·...
Post on 06-Jul-2020
1 Views
Preview:
TRANSCRIPT
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 1ASQF-FG-SW-Test-2012-TestSPICE.pptx
ASQF-Fachgruppe Österreich12. Fachgruppenabend – 18. September 2012
Testprozess-Assessment mit TestSPICE 2.0
TestSPICE - 1
DI. Andreas Nehfort
andreas@nehfort.at www.nehfort.at
DI. Andreas Nehfort ASQF 18.09.2012
Agenda
- Vorstellung
- Der Umgang mit Fehlern & Risiken
P if ?- Prozessreife warum?
- Prozessreife im Test? … Den letzten beißen die Hunde …
- SPICE – eine kurze Einführung
- Prozessrefegradmodell & Referenz-Prozessmodelle
- Verfügbare SPICE Assessmentmodelle
TestSPICE - 2
- TestSPICE
- Aufbau und Fokus
- Mapping der Testaktivitäten auf TestSPICE
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 2ASQF-FG-SW-Test-2012-TestSPICE.pptx
Vorstellung Andreas Nehfort
IT-Consultant, Unternehmensberater, Trainer - seit 1986 selbständig:
- Berater für Software Prozesse & Qualität
- Prozessreife CMMI & SPiCE
- Projektmanagement, Qualitätsmanagement, Requirements Engineering
Erfolg = Qualität x Akzeptanz
Qualifikation & Funktionen:
- SPICE Principal Assessor & GPard Lead Assessor
- Vorstand der Österreichischen Vereinigung für Software Qualitäts-t STEV Ö t i h ft lit t t
TestSPICE - 3 DI. Andreas Nehfort ASQF 18.09.2012
management - STEV-Österreich www.softwarequalitaet.at
Background:
- TU-Wien – Studium der Technischen Mathematik: 1975 - 1979
- Software Entwicklung seit 1978 und Projektleitung seit 1982
Die Nehfort IT-Consulting
Beratungsunternehmen mit folgenden Schwerpunkten:
- Software Prozesse & Software Prozessverbesserung
- Vor dem Hintergrund anerkannter Referenzmodelle:o de te g u d a e a te e e e ode e- SPiCE - ISO15504 / Automotive SPiCE / CMMI - ITIL / ISO 20000 bzw. ISO 27000ff- Agile Prozesse (SCRUM, …)
- Prozess- & Qualitätsmanagement
- GP-Partner & GPard-Assessor
TestSPICE - 4 DI. Andreas Nehfort ASQF 18.09.2012
- Network selbständiger Berater, Trainer, Assessoren:- Software Engineering & Projektmanagement- IT Service Management & Information Security Management- Prozessmanagement & Qualitätsmanagement
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 3ASQF-FG-SW-Test-2012-TestSPICE.pptx
Wenn ein Programm falsche Ergebnisse liefert ...
ProgrammProgrammxy
Ergebnis
3+5 = 83+7 = 11 2-1 = 2 2+9 =11
... dann korrigieren wir nicht (nur) das Ergebnis, Wir beheben den Programmfehler!
ChangeChange
Manuelle Korrektur:3+7 = 10 2-1 = 1
TestSPICE - 5
ProgrammProgrammV2V2
xy
RichtigesErgebnis
3+5=83+7=102-1=12+9=11
DI. Andreas Nehfort ASQF 18.09.2012
ProgramProgram
Input
ChangeChange
Wenn ein Prozess falsche Ergebnisse liefert ...
ProgramProgram
FehlerhafteErgebnisse
ChangeChange
korrigierteskorrigiertesProgrammProgramm V2V2
warum?
ProzessProzess--bb
Input
TestSPICE - 6
verbesserungverbesserung
RichtigeErgebnisse
... dann sollte der Prozess verbessert werden, nicht(nur) das Produkt.
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 4ASQF-FG-SW-Test-2012-TestSPICE.pptx
Heathrow Terminal 5
Nach der Eröffnung des rund fünf Milliarden Euro teuren Terminal 5 Ende März 2008 war dort eine tagelanges Reisechaos ausgebrochen;
- Etwa 30.000 Koffer blieben liegen, Hunderte Flüge fielen aus!
Die Ursache:Die Ursache:
- Die automatische Gepäckabfertigungsanlage hat nicht funktioniert.
- Dazu kamen Problem mit dem Zugangskontroll-System für das Personal …
Das Debakel kostete die Fluggesellschaft British Airways (BA) rund 20 Mio. €
- British Airways feuerte daraufhin im April ihren Betriebsmanager Gareth Kirkwood und den Leiter des Kundenservices David Noyes.
TestSPICE - 7
Auch der Flughafendirektor geht …
- Das Debakel nach der Eröffnung des als hochmodern gepriesenen Terminals 5 in London-Heathrow hat den Airport-Direktor jetzt seinen Job gekostet.
- Mark Bullock habe "sich entschlossen zu gehen“ teilte der Flughafenbetreiber BAA heute mit. www.orf.at – Mai 2008
DI. Andreas Nehfort ASQF 18.09.2012
Die Tiefere UrsacheRisiken … ein Akzeptanzproblem!
Warum tun wir uns mit Risikomanagement so schwer?
- Weil wir Ziel- / ergebnisorientiert denken!Weil wir Ziel / ergebnisorientiert denken!
- Weil ein Risiko die Interessen eines Stakeholders gefährdet!
„Weil nicht sein kann, was nicht sein darf!“
- Weil wir uns mit Wahrscheinlichkeiten schwer tun!
Wi kö d it i t iti i ht h !
TestSPICE - 8 DI. Andreas Nehfort ASQF 18.09.2012
- Wir können damit intuitiv nicht umgehen!
- Weil wir am Ende das Problem nicht ein Bisschen haben, sondern ganz oder gar nicht!
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 5ASQF-FG-SW-Test-2012-TestSPICE.pptx
Prozessreife – Warum? If you don‘t attack a risk actively ...
TestSPICE - 9 DI. Andreas Nehfort ASQF 18.09.2012
... the risk will attack you!
TestSPICE - 10 DI. Andreas Nehfort ASQF 18.09.2012
Tom Gilb
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 6ASQF-FG-SW-Test-2012-TestSPICE.pptx
Unser Ziel - die Dinge im Griff haben
Das nennt man heute
G “„Governance“ …
Wie erreichen wir das?
Durch
TestSPICE - 11
„Zuverlässigkeit“
Hebel der Macht - Dieter Zehentmayr – Kurier 1990
DI. Andreas Nehfort ASQF 18.09.2012
Zuverlässige Prozesse …
… klare Vorgaben erleichtern die Umsetzung …
TestSPICE - 12 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 7ASQF-FG-SW-Test-2012-TestSPICE.pptx
Zuverlässige Prozesse …
... aber nicht immer ist eine fehlerfreie Spezifikation ausreichend, damit ein ANDERER ein brauchbares Ergebnis liefert …
TestSPICE - 13 DI. Andreas Nehfort ASQF 18.09.2012
Zuverlässige Prozesse
Referenzmodelle definieren typischerweise inhaltlicheAnforderungen an unsere Prozesse Was ist zu tun?
Die offene Frage:Die offene Frage:
- Wie müssen sichere/zuverlässige Prozesse beschaffen sein?
Prozessreifegradmodelle geben eine Antwort:
- Die Kriterien der Prozessreife bieten eine methodische Grundlage für Prozess-Sicherheit!
TestSPICE - 14
- CMMI und SPICE / ISO 15504 sind Werkzeuge
- für sichere/zuverlässige Prozesse und
- für die Wirksamkeit eines IKS
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 8ASQF-FG-SW-Test-2012-TestSPICE.pptx
Level 4 PredictablePA.4.1 Measurement
PredictableProcess measurement make process
f d lt t ll bl
Level 5 OptimizingPA.5.1 Process InnovationPA.5.2 Process Optimization
OptimizingQuantitative measures used for Process Innovation and Optimisation
SPICE – Capability Levels
Level 3 EstablishedPA.3.1 Process DefinitionPA.3.2 Process Deployment
EstablishedPredefined processes are deployed and tailored for specific use
PA.4.2 Process Controlperformance and results controllable
Level 2 ManagedPA.2.1 Performance ManagementPA.2.2 Work Product Management
ManagedProcess and work products aremanaged, responsibilities identified
TestSPICE - 15
Level 0 Incomplete IncompletePerformance and results are incomplete, chaotic processes
Level 1 PerformedPA.1.1 Process Performance
PerformedProcesses are intuitively performed, input and output work products are available
DI. Andreas Nehfort ASQF 18.09.2012
Messen was messbar ist,
b h
Die Idee dahinter
messbar machen,
was noch nicht messbar ist.
Galileo Galilei
(lang vor Watts Humphrey & CMM/CMMI & SPICE)
TestSPICE - 16
( g p y )
Prozessqualität messbar machen!Fortschritte messbar machen!
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 9ASQF-FG-SW-Test-2012-TestSPICE.pptx
C
Management Visibilityby Capability Level
Complyor
explain
TestSPICE - 17 DI. Andreas Nehfort ASQF 18.09.2012
SPICE als Best Practice für Prozessmanagement
Das SPICE Prozessreifegradmodell liefert einen generischen Baukasten für reife Prozesse:
- Geeignete Basispraktiken, damit der Prozess seinen Zweck erfüllen kann Capability Level1.
- Kriterien für Planung & Lenkung der Prozessdurchführung CL2
- Kriterien für Planung & Lenkung der Prozessergebnisse CL2
- Kriterien für die Definition von Standardprozessen CL3
I kl i Üb h f Ei & A h it
TestSPICE - 18
- Inklusive Überwachung auf Eignung & Angemessenheit
- Kriterien für den Einsatz von Standardprozessen CL3
- Inklusive Analyse des Prozessverhaltens
- Kriterien für quantitative Prozess-Steuerung CL4DI. Andreas Nehfort
ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 10ASQF-FG-SW-Test-2012-TestSPICE.pptx
Prozessreife eliminiert UnsicherheitMit zunehmender Prozessreife wird der Prozess für Außenstehende
- besser steuerbar
- besser nachvollziehbar
- besser kontrollierbar
Mit zunehmender Prozess-reife wird der Prozess zuverlässiger!
TestSPICE - 19 DI. Andreas Nehfort ASQF 18.09.2012
SPICE – die 2 Dimensionen
Process Dimension:
- Referenzprozess-Modelle Domain-spezifisch
- Referenzprozesse repräsentieren „best practice“
Capability Dimension:
- Das SPICE Prozessreifegradmodell
- 6 Reifegradstufen: CL 0 – CL5
- Generisch
CL5CL4CL3CL2CL1
TestSPICE - 20
- Generisch
- Mit jedem Referenzmodell kombinierbar
- Auf jeden Prozess anwendbar!
Jeder Prozess erhält eine Bewertung seines Capability LevelsDI. Andreas Nehfort
ASQF 18.09.2012
CL1CL0
P1 P2 … Pn
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 11ASQF-FG-SW-Test-2012-TestSPICE.pptx
Das SPICE Process Reference
Modelaus
ISO 12207 bzw.
ISO 15504-5:2006
TestSPICE - 21 DI. Andreas Nehfort ASQF 18.09.2012
SPICE for Systems Engineering
TestSPICE - 22 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 12ASQF-FG-SW-Test-2012-TestSPICE.pptx
ISO 15504 / SPICE Verfügbare Assessmentmodelle
ISO/IEC 15504-5:2006: An exemplar process assessment model
- Assessment Modell für Software EngineeringAssessment Modell für Software Engineering
ISO/IEC TR 15504-6:2008 Exemplar Systems Life Cycle Processes Assessment Model
- Assessment Modell für Systems Engineering
ISO/IEC TS 15504-10:2011 Safety Extensions
E it fü di E t i kl i h h itk iti h S t
TestSPICE - 23
- Erweiterungen für die Entwicklung sicherheitkritischer Systeme Functional Safety IEC 61508 …
- Für Systems- & Software Engineering
DI. Andreas Nehfort ASQF 18.09.2012
ISO 15504 / SPICE Branchen spezifische Modelle
SPICE for SPACE:
- Ein Modell der ESA - European Space Agency
Automotive SPICE www.automotivespice.com
- Ein Modell zur Assessierung der Lieferanten der (europäischen) Automobilindustrie
- Herausgeber: HIS Herstellerinitiative Software & VDA
Weitere Initiativen:
TestSPICE - 24
Weitere Initiativen:
- MEDI SPICE (UK) Medical Device Software IEC 62304
- Under development
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 13ASQF-FG-SW-Test-2012-TestSPICE.pptx
ISO 15504 / SPICE Domain spezifische Modelle
TestSPICE:
- TestSPICE wurde durch intacs validiert (V2.0 - 2012)
SPICE for ISO 20000:
- ISO 20000-4:2010 (PRM ) und ISO 15504-8 (PAM – ist in Arbeit)
ISO 20000 – PAM (V1.0 2006 / V2.0 2011 – Nehfort IT-Consulting):
- Vorstufe der ISO-Standards – bereits heute verfügbar!
- Assessment Tool: SPICE 1-2-1 for ISO 20000
TestSPICE - 25
ISO 27000 – PAM (2008 – Nehfort IT-Consulting):
- SPICE konformes Process Assessment Model für Information Security Management nach ISO 27001 & ISO 27002
- Assessment Tool: SPICE 1-2-1 for ISO 27000DI. Andreas Nehfort
ASQF 18.09.2012
Neu: Cobit 5 nutzt SPICE als Assessment Modell
TestSPICE - 26 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 14ASQF-FG-SW-Test-2012-TestSPICE.pptx
Software Entwicklung … not state of the art …
TestSPICE - 27 DI. Andreas Nehfort ASQF 18.09.2012
Der Testprozess …
Solution
Analyse Design Build Test
Planned
Real World
Solution
TTM
TestSPICE - 28 DI. Andreas Nehfort ASQF 18.09.2012
Nach dem Motto: Den letzten beißen die Hunde ...
Die Abhilfe: ein Entwicklungs-begleitender Testprozess!
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 15ASQF-FG-SW-Test-2012-TestSPICE.pptx
Voraussetzungen für einen erfolgreichen Test
- Ein vernünftiger Entwicklungsprozess:
- Anforderungen g
- Design
- Implementierung
- Integration
- Ein vernünftiger Testprozess:
Verifikationskriterien
TestSPICE - 29
- Verifikationskriterien
- Teststufen: Unit-Test / Integrationstest / Systemtest, …
- Testziele / Testarten, Testinfrastruktur, …
- Eine sinnvolle Integration von Entwicklung & TestDI. Andreas Nehfort
ASQF 18.09.2012
Praxiserfahrungen: Prozessreife im Test
Die zehn größten Fehler im Software-Testmanagement (1) *
- Kein Test-Management
- Getestet wird zum Projektende
- Test-Zeiträume dienen als „Pufferzonen“ für das Projekt
- Komplexität und Vorbereitungsdauer werden unterschätzt
- Verzicht auf systematische Testfallermittlung
- Fehlende Verknüpfung von Entwicklungs- und Teststufen
- Fehlendes und unzureichendes Testdatenmanagement
- Testdaten sind unvollständig nicht aktuell werden nicht aktualisiert
TestSPICE - 30
- Testdaten sind unvollständig, nicht aktuell, werden nicht aktualisiert bzw. gewartet
* Quelle: Computerwoche vom 23.11.2010
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 16ASQF-FG-SW-Test-2012-TestSPICE.pptx
Praxiserfahrungen: Prozessreife im Test
Die zehn größten Fehler im Software-Testmanagement (2)
- Fehlende Testautomatisierung
- Häufig fehlen Vorgaben
Testautomatisierung funktioniert unzureichend wg fehlendem- Testautomatisierung funktioniert unzureichend wg. fehlendem Testdatenmanagement
- Das benötigte Know-how wird unterschätzt
- Die Entwickler testen bereits alles Wichtige, denn sie kennen ja die Software am besten!
- Testen kann jeder!
f
TestSPICE - 31
- Verzicht auf methodisches Vorgehen
- Jeder Tester testet und dokumentiert nach eigenem Ermessen –fehlende Methodenkenntnisse
- Testfälle werden immer wieder neu erstellt
DI. Andreas Nehfort ASQF 18.09.2012
Praxiserfahrungen: Prozessreife im Test
Die zehn größten Fehler im Software-Testmanagement (3)- Kein Tool-Einsatz oder die falschen Tools
- Tools werden nicht sinnvoll eingesetzt
Ohne geeignete Prozesse helfen Tools nur wenig- Ohne geeignete Prozesse helfen Tools nur wenig
- „wir brauchen keine Tools, wir haben alle Excel“
- Falsche Testfälle oder falsche Anzahl von Testfällen
- Keine systematische Testfallermittlung … „wir wissen was zu testen ist ..“
- Last und Performance-Test erst am Projektende
- Fehlende Vorgaben für den Test
Last und Performance Test erfolgen häufig zum Projektende ggf
TestSPICE - 32
- Last- und Performance Test erfolgen häufig zum Projektende – ggf. notwendige Änderungen an der Architektur werden spät erkannt und sind aufwändig
- Die Folgen eines falschen Test-Managements werden unterschätzt
- siehe Beispiel: Heathrow Terminal 5…
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 17ASQF-FG-SW-Test-2012-TestSPICE.pptx
Wir brauchen mehr Kompetenz im Testen!
TestSPICE - 33 DI. Andreas Nehfort ASQF 18.09.2012
Standards im Bereich QS / Testen
Es existieren zahlreiche Standards, die den Testprozess unterstützen
- IEEE 829 - Test Documentation StandardIEEE 829 Test Documentation Standard
- IEEE 1008 – Unit Testing
- BS 7925-1/2 – British Testing Standard
- ISTQB Certified Tester – Ausbildung zum Tester
- TPI – Test Process Improvement
TestSPICE - 34
- TMMI – Test Maturity Model Integrated
- ISO 29119 – Software Testing (under development)
- CAT Certified Agile Tester - Ausbildung zum Agile Tester
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 18ASQF-FG-SW-Test-2012-TestSPICE.pptx
Standards im Testen
Die meisten dieser Standards sind Inseln in der Prozesslandschaft:Inseln in der Prozesslandschaft:
- Sind nicht in den SW-Entwicklungsprozess integriert
- Schnittstellen zu den Entwicklungsprozessen sind nur indirekt darstellbar
- Test-Prozessmodelle definieren ihre eigenen Strukturen und „Reifegrade“
TestSPICE - 35
und „Reifegrade
- Geringe Vergleichbarkeit untereinander
- Keine Vergleichbarkeit zu Entwicklungsprozessen
DI. Andreas Nehfort ASQF 18.09.2012
Ein integrierter AnsatzTestSPICE
Eine vernünftige Referenz für die Entwicklungsprozesse:
- SPICE: ISO 15504-5 / ISO 15504-6
Eine vernünftige Referenz für die Testprozesse:
- TestSPICE
Eine sinnvolle Integration von Entwicklung & Test:
D h K bi ti di M d ll h B d f
TestSPICE - 36
- Durch Kombination dieser Modelle nach Bedarf
- Referenzprozesse, die einander ergänzen
- Ein gemeinsames Reifegradmodell
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 19ASQF-FG-SW-Test-2012-TestSPICE.pptx
TestSPICE
TestSPICE - 37
Der strukturierte Ansatz für Testprozesse
DI. Andreas Nehfort ASQF 18.09.2012
TestSPICE: Aufbau und Fokus
- Das Test SPICE Process Reference Model (PRM) wurde auf Basis der Erfahrungen von Software und System Test Consultants entwickelt (Ursprung: SQS). Co su ta ts e t c e t (U sp u g SQS)
- Das Test SPICE PRM deckt die Anforderungen und Best Practices aus ISTQB sowie den am Markt bekannten Modelle wie TPI und TMMI ab.
- Die Struktur von Test SPICE wurde analog der Struktur des ISO/IEC 15504 Process Reference Models (PRM) entwickelt.
TestSPICE - 38
( )
- Das Vorgehen im Test SPICE-Assessment ist analog zu den Abläufen und Ergebnistypen im Rahmen eines ISO/IEC 15504 SPICE-Assessments.
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 20ASQF-FG-SW-Test-2012-TestSPICE.pptx
TestSPICE entspricht den Vorgaben der ISO 15504-2
Die Prozesse sind wie in ISO 15504 beschrieben und dokumentiert
- Das Prozess-Assessment ist wie in ISO 15504 organisiert
- Die Definition der Leistungsfähigkeit entspricht der ISO 15504
- Die Prozess-Bewertung entspricht ISO 15504
- Die vorhandenen Assessment-Tools können verwendet werden
TestSPICE - 39 DI. Andreas Nehfort ASQF 18.09.2012
Test SPICE ist “compliant” mit internationalen Standards
- Test SPICE deckt die Anforderungen der ISO/IEC 15504 vollständig ab
- Prozesse sind beschrieben mittels “Purpose” und “Outcome”
- Das Test SPICE Prozess-Referenzmodell (PRM) und das ProzessDas Test SPICE Prozess Referenzmodell (PRM) und das Prozess Assessment Modell (PAM) sind konform zu ISO/IEC 15504-2
- Diese Konformität ist durch intacs™ verifiziert (www.intacs.info )
- Test SPICE ist “compliant” zu IEEE 829 sowie zur ISO/IEC 29119
- Test SPICE ist konform zum ISTQB Syllabus
- Test SPICE ist unabhängig von Software Entwicklungsmodellen wie RuP V Modell oder agilen Modellen
TestSPICE - 40
wie RuP, V-Modell oder agilen Modellen
- Test SPICE ist Branchen-neutral (es gibt kein Banking oder Automotive TestSPICE)
- Test SPICE ist sowohl für große als auch kleinere Testorganisationen geeignet
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 21ASQF-FG-SW-Test-2012-TestSPICE.pptx
TestSPICE – Process Dimension
Orientiert sich strikt an ISO 15504-5 (SW-Engineering)
TEST SPICE
Primary Life Cycle Processes
Test Service Acquisition
Primary Life Cycle Processes
Testing
Supporting Life Cycle Processes
Process Category
Process Group
Test Service Supply
Test Environment Management
Organizational Life Cycle Processes
TestSPICE - 41 DI. Andreas Nehfort ASQF 18.09.2012
Support
Resource & Infrastructure
IntegratedManagement Test Regression;
Reuse & Maintenance
Process Improvement
Test ProcessManagement
TestSPICE V2.0Primary Life Cycle Processes
Primary Life Cycle Processes
Test Service Acquisition TestingTest Service SupplyTest Environment O ti
TSA.1 Acquisition preparation
TSA.2 Supplier selection
TSA.3 Contract agreement
TSA.4 Test service monitoring
TSA.5 Test service acceptance
TST.1 Test requirements analysis
TST.2 Test analysis & design (Specification)
TST.3 Test realization and execution
TST.4 Test results analysis and reporting
TST.5 Test automation
TSS.1 Test supplier tendering
TSS.2 Test service delivery
TSS.3 Test service acceptance support
TEN.1 Test Environment Requirements Analysis
TEN.2 Test Environment Design (and Configuration Planning)
TEN.3 Test Environment Assembly
TEN.4 Test Environment Testing
Test Service Acquisition TestingTest Service SupplyOperation
TestSPICE - 42 DI. Andreas Nehfort ASQF 18.09.2012
design
TST.6 Test automation implementation
TEN.5 Test Environment Operation
TEN.6 Test Environment User Support
TEN.7 Test Environment Disassembly
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 22ASQF-FG-SW-Test-2012-TestSPICE.pptx
TestSPICE V2.0Supporting & Organisational Life Cycle Processes
Organizational Life Cycle ProcessesSupporting Life Cycle Processes
SupportIntegrated Project- Process Resource &
Support
SUP.1 Quality assurance
SUP.2 Verification
SUP.3 Validation
SUP.4 Joint review
SUP.5 Audit
SUP.6 Product and service evaluation for test
SUP.7 Documentation
SUP 8 Configuration
IPM.1 Organizational alignment
IPM.2 Organization management
IPM.3 Project management
IPM.4 Quality management
IPM.5 Risk management
IPM.6 Measurement
ManagementPIM.1 Process
establishment
PIM.2 Process assessment
PIM.3 Process improvement
Improvement
TRM 1 Test asset
Test Regression Reuse & Maintenance
RIN.1 Human resource management
RIN.2 Training
RIN.3 Knowledge management
RIN.4 Test infrastructure
Infrastructure
TestSPICE - 43 DI. Andreas Nehfort ASQF 18.09.2012
SUP.8 Configuration management
SUP.9 Problem resolution management
SUP.10 Change request management
TRM.1 Test asset management
TRM.2 Test reuse prgramme management
TRM.3 Regression test management
TRM.4 Testware maintenance
TPM.1 Test strategy
TPM.2 Test planning
TPM.3 Test monitoring and controll
TPM.4 Test closing and reporting
Test Process Management
Master & Level Test Planning
TestSPICE - 44
Mapping to TestSPICE
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 23ASQF-FG-SW-Test-2012-TestSPICE.pptx
Test Planning Hirarchy
Systematisches Teste folgt einen strukturierten Ansatz:
- Ausführung verschiedener Teststufen:
- Unit test , integration test, system test,
- acceptance test
- Ausführung verschiedener Testarten:
- Functional testing, performance testing, load testing , …
TestSPICE - 45 DI. Andreas Nehfort ASQF 18.09.2012
Test Planning Hirarchy
Test Plannung ist in der Regel ein 2-stufiger Prozess
- Master Test Planning
L l T Pl i- Level Test Planning
Master Test Planning:
- Gesamtplan über alle Testaktivitäten und Ergebnisse
- Über alle Teststufen und Testarten
TestSPICE - 46
- Über alle Teststufen und Testarten
Level Test Planning:
- Planung einer einzelnen Teststufe oder Testart
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 24ASQF-FG-SW-Test-2012-TestSPICE.pptx
The Test Processaccording to IEEE 829:2008
Master Test Planning
For eachTest_Level
or Test Type
Level Test Planning
Level Test Design
Level Test Execution
Level Test Planning
Level Test Design
Level Test Execution
Level Test Planning
Level Test Design
Level Test Execution
TestSPICE - 47
Master Test Reporting
Level Test Reporting Level Test Reporting Level Test Reporting
DI. Andreas Nehfort ASQF 18.09.2012
Test Planning Hirarchy
Master Test Planning:
- Wie implementieren wir die Teststrategie in diesem Projekt?
- Welche Teststufen & Testarten brauchen wir um die Testziele und Testanforderungen abzudecken?
- Welche Testziele erreichen wir mit welcher Teststufe / Testart?
- Gesamtplanung: Wer? / Was? / Wann? … Aufwand und Termine
Level Test Planning (& Design):
- Wie implementieren wir die entsprechenden Teststufen/Arten, um die zugehörigen Testziele zu erfüllen?
TestSPICE - 48
zugehörigen Testziele zu erfüllen?
- Welche Tests benötigen wir dafür?
- Detailplanung …
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 25ASQF-FG-SW-Test-2012-TestSPICE.pptx
Mapping to Test SPICE
Master Test Planning TPM.2 Test Planning
- Requirements Analysis TST.1 Test Requirements Analysisfor Master Test Planning TEN.1 TE Requirements Analysis
- Level Test Planning TPM.2 Test Planning
- Level Test Design TST.2 Test Design TEN.2 TE Design TST.5. Test Automation Design
TestSPICE - 49
- Level Test Execution TST.3 Test Realization & Execution TST.6 Test automation implementation
- Level Test Reporting TST.4 Test results analysis & reporting
Master Test Reporting TPM.4 Test Closing & Reporting
DI. Andreas Nehfort ASQF 18.09.2012
Der Assessment Prozess
Der Assessment Prozess nach ISO 15504-2
- Planning
- Data Collection
- Data Validation
- Process Attribute Rating
- Reporting
Ein ISO 15504 - konformer Assessment Prozess in der Praxis:
TestSPICE - 50 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 26ASQF-FG-SW-Test-2012-TestSPICE.pptx
Rollen im Assessment Prozess
- Assessment Sponsor
- Auftraggeber des Assessments
- Ist für die Auswahl des Lead Assessors verantwortlich
- Lead Assessor oder Assessment Team Leiter
- Ist für das Gesamtergebnis verantwortlich
- und für die richtige Anwendung der Assessment Methode
- Assessoren – unterstützen den Lead Assessor beim Rating
Lokaler Assessment Koordinator (LAK)
TestSPICE - 51 DI. Andreas Nehfort ASQF 18.09.2012
- Lokaler Assessment Koordinator (LAK)
- Ansprechpartner für den Lead Assessor hinsichtlich Planung & Organisation
- Assessment-Teilnehmer der Organisationseinheit
Das Assessment Ergebnis Capability Levels
TestSPICE - 52 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 27ASQF-FG-SW-Test-2012-TestSPICE.pptx
Das Assessment Ergebnis Process Attribute Rating
TestSPICE - 53 DI. Andreas Nehfort ASQF 18.09.2012
TestSPICE - Assessorenausbildung
Folgt dem intacs-Ausbildungsschema für SPICE-Assessoren:
- TestSPICE Provisional Assessor Training
5 T it P üf- 5 Tage mit Prüfung
- Erstes Training im Mai 2012 in Wien!
- Antrag auf Zertifizierung: Provisional Assessor
- Assessment Praxis als Co-Assessor (200 Stunden)
- TestSPICE Competent Assessor Training
TestSPICE - 54
- 5 Tage mit Prüfung
- Assessment als Lead Assessor – under observation
- Antrag auf Zertifizierung: Competent Assessor
DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 28ASQF-FG-SW-Test-2012-TestSPICE.pptx
TestSPICE - Assessor Certification(Entwurf)
TestSPICE - 55 DI. Andreas Nehfort ASQF 18.09.2012
Resümee:Fehlerkosten steigen exponentiell mit der Dauer,
die der Fehler unentdeckt mitgeschleppt wird
TestSPICE - 56 DI. Andreas Nehfort ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 29ASQF-FG-SW-Test-2012-TestSPICE.pptx
Prozessreife reduziert die Fehlerkosten!
Zunehmende Test-Reife bewirkt:Zunehmende Test Reife bewirkt:
- Systematischer Testen
- Fehler früher finden
- Fehler rascher/billiger beheben
- Das Produkt ist früher stabil.
Das rechtfertigt die Investition in
TestSPICE - 57 DI. Andreas Nehfort ASQF 18.09.2012
gSPICE basiertes Test-Management
Die Automobilindustrie:
- Und ihre Lieferanten
Wer nutzt SPICE?
Finanzdienstleister:
Die Elektronik-Industrie:- http://www.nehfort.at/downloads/vswqd2010spiceforsystemsv10.pdf
TestSPICE - 58
Die öffentliche Verwaltung:
Software-Hersteller:DI. Andreas Nehfort
ASQF 18.09.2012
ASQF-Fachgruppe Österreich - 12. Fachgruppenabend – 18. September 2012TestSPICE
© DI. Andreas Nehfort - andreas@nehfort.at - www.nehfort.at 30ASQF-FG-SW-Test-2012-TestSPICE.pptx
(Test)SPICE gibt Ihnen die Werkzeuge um reife Prozesse
t ti h i l ti !systematisch zu implementieren! Sie reduzieren damit Ihr Risiko!
Wir unterstützen Sie dabei mit unserer Expertise!
SPICE - Trainings
TestSPICE - 59 DI. Andreas Nehfort ASQF 18.09.2012
Entwicklung von Assessment Modellen & Assessment Tools
Durchführen von Assessments
Beratung & Unterstützung bei der Prozessverbesserung
Assessment Network: Leistungen aus einer Hand
Danke für Ihre Aufmerksamkeit!
Fragen & Anmerkungen
Diskussion ...
TestSPICE - 60
Diskussion ...
DI. Andreas Nehfort ASQF 18.09.2012
top related