roi and testing metrics tact testing

מנהל בדיקות, שרון היימן

מ"טאקט בדיקות מערכת בע

מקבוצת מטריקס

24.11.2009

מעקב ניהולי

אפשרות מעקב ומדידת ביצועים

שימור מידע לצורכי הערכות בעתיד

....)מעבדות, אנשים(ניהול יעיל של משאבים

•2

....)מעבדות, אנשים(ניהול יעיל של משאבים

שקיפות למנהלים בכירים

מדדים כמותיים

מבט על התקדמות הפרויקט

מבט על אחוזי גילוי תקלות

מעקב על סגירת תקלות

•3

מדדי איכותיים

הערכת רמת מוכנות התוכנה

מאפשר הערכה איכותית

מבט על איכות התוכנה והמערכת

מטריקות תקופתיות לבדיקות

בדיקות שנכתבו

כ בדיקות"סה

בדיקות שהורצו

•4

בדיקות שנכשלו

תקלות שנפתחו' מס

)אפיון, דרישות, קידוד(סוג , חומרה, מקור

מטריקות תקופתיות לכיסוי הדרישות

דרישות שכוסו' מס

דרישות לכיסוי' מס

•5

דרישות שכוסו' מס

דרישות שבדיקתן נכשלה

דרישות שנבדקו' מס

דרישות שלא ניתנות לבדיקה

•6

כמות תקלות שנפתחו לכל גרסה

מרכיב במדד על איכות הגרסה

נותן צפי לסיום פיתוח– – – – לאורך זמן

•7

לכל גרסה ReopenReopenReopenReopenכמות תקלות

מרכיב במדד על איכות התוכנה

בתוכנה Unit TestUnit TestUnit TestUnit Testשיפור - מסקנה : תקלות רבות

•8

שדה בדיקות -בדיקות מערכתיות

תקלות מהשטח

)שלב מקדים לשדה הבדיקות(מצביע על איכות הבדיקות במעבדה

•9

)שלב מקדים לשדה הבדיקות(מצביע על איכות הבדיקות במעבדה

נדרשת הפקת לקחים מכל מקרה לצורך צמצום המקרים בגרסאות עתידיות

:תקלות רבות מצריכות בחינה מחדש של שיטת הבדיקות

הוספת בדיקות

אמצעים אחרים, הוספת סימולטורים

סגירת תקלות מול פתיחת תקלות

מדד על בגרות הגרסה

•10

כ תקלות"יחס תקלות סגורות מול סה

מצביע על ניפוי ותיקון יעילים 1 - יחס שמתקרב ל

מרכיב במדד על בגרות הגרסה

•11

השוואה לפרויקטים דומים, ניתוח פרויקט

ביחס לשאר הפרויקטים בחברה, סך תקלות הפרויקט

מדד יחסי על מצב הגרסה

מתאים לארגונים המנהלים מספר פעילויות דומות

•12

מתאים לארגונים המנהלים מספר פעילויות דומות

אחוד לכלל החברה DBDBDBDBנדרש

מעודד תחרות בין צוותים

סוגיות במדדים

קשה ומייגע: תהליך איסוף המידע

על מובילי הבדיקות: אחריות הניתוח

:מסקנות בעקבות ניתוח המדדים

)שחרור גרסה(מאפשר קביעת קריטריון לעצור את הבדיקות

•13

) שלבי בדיקות(קריטריון מעבר מרמה אחת לאחרת

אין צורך בכלים מתוחכמים

נדרשים נחישות והתמדה

מאפשר שיפור תהליך פיתוח התוכנה

מאפשר הקטנת עלויות בבדיקות

הערכת זמנים נכונה של פעילות הבדיקות

מעבדות, אנשים: הערכת משאבים נכונה

צמצום עלויות שנגרמות מתיקון תקלות

•14

צמצום עלויות שנגרמות מתיקון תקלות

חושף עלויות של תקלות אצל משתמש סופי

המדדים" מנהרת"הדרך לשיפור עצמי עוברת דרך