Когда стоит закончить автоматизировать?

Когда стоит закончить автоматизировать?

Об авторе:

- Automation QA в SoftServe- 5 лет опыта- организатор QA Dnepr community

Skype: pashidlosEmail: pashidlos@gmail.com

• Проблемы• Декомпозиция проекта• Синхронизация автоматизированного и ручного тестирования• Расчеты (часы/$)• Заключение• Вопросы

План

• Раздельная работа QA

• Отсутствует стратегия автоматизации

• Приоритеты не определены

• Сроки не согласованы

Проблемы

• Провели декомпозицю проекта

• Определили критичность с точки зрения системы

• Определили лучшие части для автоматизации

Что мы сделали:

Декомпозиция

Критичность функционала

• Critical• Major• Normal

Лучший функционал для автоматизации

• Как быстро можно написать тест?• Сколько времени уходит на ручной

прогон?• Код будет использован повторно?• Тест будет стабилен?

Комбинируем...

Система Автоматизация

Critical P1 P1P2

Major P2 P1P2

P1 P3Normal P2 P3

P3 P1P2P3

АвтоматизацияСистема

Чек-лист

Оценка времени для тестов

• P1: 12ч• P2: 27ч• P3: 6ч

ИТОГО: 45ч

Оценка времени для ручной проверки

• P1: 2ч• P2: 1.5ч• P3: 0.5ч

ИТОГО: 4ч

Реальные затраты при ручной проверке

В среднем два прогона тестов за релиз:

ИТОГО: 8ч

Расчеты в часахИтого P1 P2 P3

Автоматизация (ч) 45 12 27 6

Ручная проверка (ч) 8 4 3 1

Реальные цифры по регрессии (в среднем два прогона за релиз)

Количество релизов 6 3 9 6

Окупаемость автоматизации

Расчеты в деньгахQA рейт: 10$/ч

• P1: 2ч = 20$• P2: 1.5ч = 15$• P3: 0.5ч = 5$

ИТОГО: 4ч= 40$

Automation QA рейт: 15$/ч

• P1: 12ч = 180$• P2: 27ч = 405$• P3: 6ч = 90$

TOTAL: 45ч = 675$

Расчеты в деньгахИтого P1 P2 P3

Автоматизация ($) 675 180 405 90

Ручная проверка ($) 80 40 30 10

Окупаемость автоматизации

Реальные цифры по регрессии (в среднем два прогона за релиз)

Количество релизов 9 5 14 9

График окупаемости

А как же поддержка тестов?

Поддержка

+10 - 20 % каждый релиз

Расчеты с учетом затрат на поддержку

Тесты Стоимость ($) 10% ($) 20% ($)

Total 675 67.5 135

P1 180 18 36

P2 405 40.5 90

P3 90 9 18

График окупаемости с учетом поддержки

Расчет автоматизации Р1 тестовИтого P1 P2 P3

Автоматизация ($) 675 180 405 90

Ручная проверка ($) 80 40 30 10

Реальные цифры по регрессии (в среднем два прогона за релиз)

Количество релизов 9 5 14 9

Окупаемость автоматизации

Расчет автоматизации Р1 тестов с учетом поддержки

Тесты Стоимость ($) 10% ($) 20% ($)

Total 675 67.5 135

P1 180 18 36

P2 405 40.5 90

P3 90 9 18

График окупаемости Р1 тестов с учетом поддержки

P2+P3 нужно проверить вручную!

Добавляем Р2+Р3 тестыИтого P1 P2 P3

Автоматизация ($) 675 180 405 90

Ручная проверка ($) 80 40 30 10

Реальные цифры по регрессии (в среднем два прогона за релиз)

Количество релизов 9 5 14 9

Окупаемость автоматизации

График окупаемости

Пример из жизни

ПокрытиеЗатраты на

автоматизацию (ч) Тесты (ч) Поддержка (ч)Ручное

тестирование (ч) Затраты на релиз (ч)0% 0 0 96 96

33% 552 526 26 48 74

66% 1104 1051 52 16 68

99% 1,656 1577 79 4 83

График окупаемости (ч)

Расчет окупаемости ($)

ПокрытиеЗатраты на

автоматизацию ($) Тесты ($) Поддержка ($)Ручное

тестирование ($) Затраты на релиз ($)0% 0 0 960 960

33% 8280 7890 390 480 870

66% 16560 15765 780 160 940

99% 24840 23655 1185 40 1225

QA рейт: 10$/ч Automation QA рейт: 15$/ч

График окупаемости ($)

• Автоматизировать сложные для ручной проверки тесты

• Уменьшать время на поддержку тестов

• Следить за изменением затрат на регрессию

Как ускорить окупаемость автоматизации?

• Текущие затраты на регрессию (ТЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)

• Ожидаемые затраты на регрессию (ОЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)

Что отслеживать:

ТЗР > ОЗР

ТЗР = ОЗР

ТЗР < ОЗР

Summary

Ручное тестирование

Автоматизация

http://qacommunity.com.ua/https://vk.com/qadnepr

Skype: pashidlosEmail: pashidlos@gmail.com