roi and testing metrics tact testing

14
שרון היימן, מנהל בדיקות טאקט בדיקות מערכת בע" מ מקבוצת מטריקס24.11.2009

Upload: ram-yonish

Post on 19-May-2015

690 views

Category:

Documents


0 download

DESCRIPTION

ROI and testing metrics for testing and QA managers. including real examples

TRANSCRIPT

Page 1: Roi And Testing Metrics   Tact Testing

מנהל בדיקות, שרון היימן

מ"טאקט בדיקות מערכת בע

מקבוצת מטריקס

24.11.2009

Page 2: Roi And Testing Metrics   Tact Testing

מעקב ניהולי

אפשרות מעקב ומדידת ביצועים

שימור מידע לצורכי הערכות בעתיד

....)מעבדות, אנשים(ניהול יעיל של משאבים

•2

....)מעבדות, אנשים(ניהול יעיל של משאבים

שקיפות למנהלים בכירים

Page 3: Roi And Testing Metrics   Tact Testing

מדדים כמותיים

מבט על התקדמות הפרויקט

מבט על אחוזי גילוי תקלות

מעקב על סגירת תקלות

•3

מדדי איכותיים

הערכת רמת מוכנות התוכנה

מאפשר הערכה איכותית

מבט על איכות התוכנה והמערכת

Page 4: Roi And Testing Metrics   Tact Testing

מטריקות תקופתיות לבדיקות

בדיקות שנכתבו

כ בדיקות"סה

בדיקות שהורצו

•4

בדיקות שנכשלו

תקלות שנפתחו' מס

)אפיון, דרישות, קידוד(סוג , חומרה, מקור

Page 5: Roi And Testing Metrics   Tact Testing

מטריקות תקופתיות לכיסוי הדרישות

דרישות שכוסו' מס

דרישות לכיסוי' מס

•5

דרישות שכוסו' מס

דרישות שבדיקתן נכשלה

דרישות שנבדקו' מס

דרישות שלא ניתנות לבדיקה

Page 6: Roi And Testing Metrics   Tact Testing

•6

Page 7: Roi And Testing Metrics   Tact Testing

כמות תקלות שנפתחו לכל גרסה

מרכיב במדד על איכות הגרסה

נותן צפי לסיום פיתוח– – – – לאורך זמן

•7

Page 8: Roi And Testing Metrics   Tact Testing

לכל גרסה ReopenReopenReopenReopenכמות תקלות

מרכיב במדד על איכות התוכנה

בתוכנה Unit TestUnit TestUnit TestUnit Testשיפור - מסקנה : תקלות רבות

•8

Page 9: Roi And Testing Metrics   Tact Testing

שדה בדיקות -בדיקות מערכתיות

תקלות מהשטח

)שלב מקדים לשדה הבדיקות(מצביע על איכות הבדיקות במעבדה

•9

)שלב מקדים לשדה הבדיקות(מצביע על איכות הבדיקות במעבדה

נדרשת הפקת לקחים מכל מקרה לצורך צמצום המקרים בגרסאות עתידיות

:תקלות רבות מצריכות בחינה מחדש של שיטת הבדיקות

הוספת בדיקות

אמצעים אחרים, הוספת סימולטורים

Page 10: Roi And Testing Metrics   Tact Testing

סגירת תקלות מול פתיחת תקלות

מדד על בגרות הגרסה

•10

Page 11: Roi And Testing Metrics   Tact Testing

כ תקלות"יחס תקלות סגורות מול סה

מצביע על ניפוי ותיקון יעילים 1 - יחס שמתקרב ל

מרכיב במדד על בגרות הגרסה

•11

Page 12: Roi And Testing Metrics   Tact Testing

השוואה לפרויקטים דומים, ניתוח פרויקט

ביחס לשאר הפרויקטים בחברה, סך תקלות הפרויקט

מדד יחסי על מצב הגרסה

מתאים לארגונים המנהלים מספר פעילויות דומות

•12

מתאים לארגונים המנהלים מספר פעילויות דומות

אחוד לכלל החברה DBDBDBDBנדרש

מעודד תחרות בין צוותים

Page 13: Roi And Testing Metrics   Tact Testing

סוגיות במדדים

קשה ומייגע: תהליך איסוף המידע

על מובילי הבדיקות: אחריות הניתוח

:מסקנות בעקבות ניתוח המדדים

)שחרור גרסה(מאפשר קביעת קריטריון לעצור את הבדיקות

•13

) שלבי בדיקות(קריטריון מעבר מרמה אחת לאחרת

אין צורך בכלים מתוחכמים

נדרשים נחישות והתמדה

Page 14: Roi And Testing Metrics   Tact Testing

מאפשר שיפור תהליך פיתוח התוכנה

מאפשר הקטנת עלויות בבדיקות

הערכת זמנים נכונה של פעילות הבדיקות

מעבדות, אנשים: הערכת משאבים נכונה

צמצום עלויות שנגרמות מתיקון תקלות

•14

צמצום עלויות שנגרמות מתיקון תקלות

חושף עלויות של תקלות אצל משתמש סופי

המדדים" מנהרת"הדרך לשיפור עצמי עוברת דרך