sprint3 r swtesting-qualit-yinre-01302013-pdf

Software Quality in Requirement Analysis &

Engineering Faculty of Information Technology

King Mongkut’s University of Technology North BangkokWednesday, January 30, 2013

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

DisclaimerAll information in this presentation is based on

speaker’s personal knowledge + experience + reality (drama) that he lives in ...

!SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Session RulesEverybody should SPEAK

Ask QUESTION, Don’t Shy

Write QUESTION in Post-it

Set your mobile to SILENT

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Who am I?

Scrum Master + ITIL Coach @ Opendream

Outsource Project Manager @ TARAD Dot Com

IT Development Manager @ TARAD Dot Com

Assistance Services & Operation Manager @ Sanook.com

QA Specialist @ Sanook.com

Tester @ Sanook.com

System Administrator @ POPidols.net

Freelance Programmer

Prathan (Noom) DansakulcharoenkitCo-Founder/Practitioner/Coach/Transformer of Agile/ITIL/Software Testing @ SPRINT3R

IT Development Consultant @ TARAD Dot Com

Founder and Web Master @ WeLoveBug.com

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Who are you?

Your name and nickname?

Company you are working for?

Please introduce yourself following this questions

What your company does?

What you do at company?

How your company build products?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

What is your PAIN POINT of current development?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 1

Friday, February 1, 13

Software QUALITY

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Quality Triangle

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

SpecificationRequirements

Software

Gap

Friday, February 1, 13

Quality Triangle

Requirements Specification

Software

It’s an IDEAL!!!

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

How many figure of triangle can TRANSFORM?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 2

SpecificationRequirements

Software

Friday, February 1, 13

Quality Triangle

In the real WORLDSPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Software

Requirements Specification

Friday, February 1, 13

Quality Triangle

In the real WORLDSPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Software

Requirements Specification

Friday, February 1, 13

Quality Triangle

In the real WORLDSPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Requirements

Software

Specification

Friday, February 1, 13

Quality Triangle

In the real WORLDSPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Software

Requirements Specification

Friday, February 1, 13

Where Do Bug Come?

Requirements definition

System design

Implementation

Support systems

Lack of software testing skills

Evolution

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

What is mainly CAUSE of bugs and why?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 3

Friday, February 1, 13

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Example

Friday, February 1, 13

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Introduction of Bugs

Majority of bugs are introduced during Requirements and Design phase.

Source: NIST 2002 RTI Project 7007.011

Friday, February 1, 13

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Detection of Bugs

Majority of bugs are actually detected during user acceptance testing and in production

Source: NIST 2002 RTI Project 7007.011

Friday, February 1, 13

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Assessing Cost of Bugs

The cost of correcting defects increase dramaticallyThis industry average in used as a baseline for arriving at cost savings

Source: B. Boehm and V. Basili, ‘Software Defect Reduction Top 10 List”, IEEE Computer

Friday, February 1, 13

Why Requirements are so important?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 6

Friday, February 1, 13

Take a break 15 minutesFriday, February 1, 13

Verificationand

Validation

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Verification

Are we building the software RIGHT?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

The software should conform to its specification

Peer Review and Inspection

Friday, February 1, 13

Validation

Are we building the RIGHT software?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

The software should do what the user really requires

Software Testing

Friday, February 1, 13

SpecificationRequirements

Software

Verification

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Validation

Requirement Definition

Question 4

Friday, February 1, 13

V&V in Software Develop

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

User SoftwareRequirement

Requirement Specification

High LevelDesign

DetailDesign

Coding

Unit Testing

IntegrationTesting

SystemTesting

AcceptanceTesting

Question 5Validation

Verification

Friday, February 1, 13

Verification

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Peer Review and Inspections

Friday, February 1, 13

Software TESTING

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Validation

Friday, February 1, 13

Some Facts of TestingALWAYS be a chance that software will have bugs

CANNOT prove software works by testing it

DOES NOT prove that software is bug-free

Testing after software has been created DOES NOT improve its quality

Cost of removing bugs rises DRAMATICALLY in the later phases of the software development process

QUALITY depends on 3 factors; People, Process and Tool

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Some Goals of TestingDetermine a product MEET business expectation

MINIMIZE the risk of error occurs

IS NOT the process to verify software work correct

Testing must be to DEMONSTRATE that software does have bug

Tester must find bug as EARLY as possible and make sure that they are fixed

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Some Testing TypesUnit testing

Integration testing

System testingUser Acceptance testing

Regression testing

Performance testing

Security testingUsability testing

Compatibility testing

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Testing Types

A

B C

DE

F G

Module

Integrate

System SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Test Case

inputs to test system and verify with expected outputs

Test Case = Test Rule + Test Data

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Test IterationsTest to Pass

Test to FailSPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Team Organization

Biz

Tester

Dev

Traditional Organization

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

SOMEONE

Who feel responsible for QUALITY in traditional development (Waterfall)?

Question 7

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Team OrganizationAlternative Organization

Biz Dev

Tester

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

WHOLE TEAM

Who feel responsible for QUALITY in alternative development (Agile)?

Question 8

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

How to validate requirements?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 9

Friday, February 1, 13

ถึงแม้ประเทศไทยจะยังไม่นิยมทํา Quality Assurance (QA) เท่าไรนัก ถ้าจะเสริม QA เข้าไปใน V&V มันจะอยู่ตรงไหน?

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 10User

Software

Requirement

High LevelDesign

DetailDesign

Coding

Unit Testing

IntegrationTesting

SystemTesting

AcceptanceTesting

Validation

Verification

Friday, February 1, 13

มี Case มากน้อยแค่ไหน ที่ตอนทํา V&V ในช่วงเอกสาร URD and SRS แล้วเห็นพ้องต้องกันทุกฝ่ายแล้วว่าใช่อย่างที่ต้องการ พอได้ Product ออกมาแล้ว V&V ของฝั่ง Development Team แล้วผ่านทุกประการ แต่ฝั่ง User กลับไม่เห็นด้วย โดยต้องมีการแก้ไขเยอะ กรณีแบบนี้มีหรือไม่ มากน้อยแค่ไหน แล้วจะสามารถแก้ไขสถานการณ์ หรือป้องกันสถานการณ์เหล่านี้ได้อย่างไร

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Question 11

Friday, February 1, 13

Conclusion

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Quality in every phase, Not afterthought

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Quality Improvement by found defect EARLY

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Inspect & Adapt

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Questions & Answers

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Keep in touchemail: prathan@sprint3r.com

twitter: @zyracuze

facebook: https://www.facebook/WeLoveBug

training: http://bit.ly/SPRINT3REVENT

blog: www.welovebug.com

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13

Thanks Youกราบ (-/\-)

SPRINT3R by สยามชํานาญกิจ พุทธศักราช ๒๕๕๖

Friday, February 1, 13