Оптимизация процесса тестирования с использованием...

Software quality assurance days20 Международная конференция по вопросам качества ПОsqadays.com

Минск. 24–26 ноября 2016

Мешков АлександрPerformance Lab. Москва, Россия

Оптимизация процесса тестирования с использованием аналитических подходов RCA и GQM


Мешков Александр Performance Lab

Skype: alekslynxEmail: [email protected]

Пишу статьи в блоге: http://www.performance-lab.ru/blog

Докладчик:SQA Days - 18SQA Days - 19SQA Days - 20

Краткая информация

mailto:[email protected]



http://www.performance-lab.ru/blog

http://www.performance-lab.ru/blog

Улучшение процесса тестирования

PDCA

IDEAL

EFQM

DMAIC Model

Модель оптимизации

процесса тестирования


Подходы к оптимизации процесса тестирования

Подход на основе моделей

Гибридный подход

Подход на основе аналитики Другие

IT\SW совершенствование

Совершенствование процесса

тестирования

CMMI, ISO 15504

Process models Content models

TMMi, TPI-Next

CTP, STEP

Анализ причин

GQM

Люди, навыки Стандарты

Инфраструктура и ПО Обучение


Отличие MBI и ABIАналитические подходы к оптимизации процесса тестирования используются для выявления проблем в рамках нашего процесса или продукта и установления дальнейших целей для его совершенствования.

Подход на основе моделей

Подход на основе аналитики

Детализация


Почему аналитический подход

• Подход на основе модели не решает точечных проблем

• Аудит и оценка зрелости это не одно и тоже

• Все хотят детальных рекомендаций, а не общих практик

• Аналитический подход позволяет целенаправленно решать конкретные проблемы


Root Cause Analysis– сбор информации


Cause Analysis (Root Cause Analysis Method) – подход для выявление скрытых (внутренних) причин, которые позволяют определить, почему произошел тот или иной инцидент (проблема).

Проблема

Первопричины (не может быть одна причина)

Работа с дефектами


Тестировщик Разработчик

Заказчик

Шаги анализа


1. Определить проблему и ее влияние на общие цели2. Поиск вероятных причин3. Сбор информации и анализ вероятных причин4. Причинно-следственный анализ5. Предотвращение или минимизация любых

негативных последствий для поставленных целей путем выбора наиболее эффективных решений

Способы определения проблем для анализа:• PDCA• Анализ статистики• Ретроспективы

Сбор информации и анализ


Причины сдвига сроков внедренияПотеря времени в ч/д на команду

Всего потеряно времени

Тестовый контур предоставили не своевременно 12; 0,5, 0,2 12,7Длительный процесс подбора тестовых данных 10; 4;3 17Большое количество открытых дефектов 1;1;0,5;3;5;3 12,5Не соблюдение стратегии тестирования 0,2;0,4 0,6Необходимость внесения изменений в тестовые сценарии 1,2;3;2 6,2

Причинно-следственный анализ


Проблема

Группа Группа Группа

Группа Группа Группа

Причина

Причина

Причина

Причина

Причина

Причина

Причина

Причина


Сдвиг сроков внедрения продукта

Специалисты Стандарты Оборудование

Менеджент

Отпуска

Взаимодействие

Координация подразделений

МощностиКонфигурацияИнтеграция с

эквайрингом

Требования ЦБ

Соблюдение SLA

Программное обеспечение

Конфигурация

Тестовое покрытие

Тестирование

Результат

Причинно-следственный анализ

Наличие дефектов

Низкоуровневый анализ


Сдвиг сроков

внедрения продукта



Тестовые среды

Стратегия Тестовое покрытие

Результаты

Пригодность

Тестовые данные

Обновление тестового контура

Доступность

СогласованиеСоблюдение стандартов

Критерии

Измерение

Инструменты

Подходы

Точность

Т4

Т1, Т2Т3

Высокое влияние

Низкое влияние

Наличие дефектов

Низкоуровневый анализ


Сдвиг сроков

внедрения продукта



Тестовые среды

Стратегия Тестовое покрытие

Результаты

Пригодность

Тестовые данные

Доступность

СогласованиеСоблюдение стандартов

Критерии

Измерение

Инструменты

Подходы

Точность

Т1, Т2Т3

Высокое влияние

Низкое влияние

Обновление тестового контура

Метод «Пять почему?»


Проблема

Выработка решения


1. Определить действия для решения первопричин:

• действие должно решать проблему, а не минимизировать или

иметь временных эффект

• действие должно быть выполнимо для команды

2. Оценить решение каждой первопричины

GQM -подход


GQM (Goals Question Metric) - системный подход, позволяющий на основе определения измеримых целей процесса, продукта повышать эффективность процессов в соответствии с потребностями проекта или организации.

Цель

Вопрос Вопрос Вопрос

Метрика Метрика Метрика

Метрика Метрика

Метрика Метрика Метрика

GQM -подход


Установить целиЦели

определены Выберите процесс

Определение структуры, вопросов

и метрик

Выполнение

Сбор метрик

Анализ

Получение обратной связи

Ретр

оспе

ктив

а

Выработка рекомендаций

Определение задач

организации или проекта

Инициация

Фазы GQM


Планирование

Формализация

Выполнение

Представление результатов

План

про

екта

Цели

Вопросы

Метрики Измерение

Ответы

Достижение целей

Сбор и обработка данных

GQM Планирование


GQM Определение


Объект Что исследуется?Цель Почему объект исследуется?Направление Какой атрибут исследуется?Выгода В чем перспектива исследования?Среда В каком окружение выполняется исследование?

Активности:Определение организации, процесса или

проекта, их проблем и целей

Определение измеримых целей

Создание GQM плана

Создание плана измерения

Создания плана анализа и начало работ

GQM Обработка информации


Система поддержки измерений обеспечивает поддержку всех активностей по измерению процесса:

• Сбор данных по измерениям• Хранение данных• Поддержание данных в актуальном состоянии• Обработка данных по измерениям• Презентация • Переиспользование данных по измерениям в последующих циклах

Формы сбора

данныхБаза метрик Результаты

анализа Формализация

GQM Интерпретация


Подготовка обратной связи

Обсуждение и ревью полученных результатов

Формализация и фиксация полученных результатов

Выработка решений по оптимизации

Подготовка отчета по результатам измерения

Презентация результатов руководству

Метрики и измерения


Цель Вопрос Метрика

Достаточность ресурсов

Сколько задач команда тестирования не берет в работу?

Кол-во задач, взятых в работу от общего скоупа задачПроцент трудозатрат взятых задач в работу от общего числа задач

Насколько планируемое время соответствует фактическому?

Соотношение фактических и планируемых трудозатрат на тестирование релиза

На сколько увеличивается/уменьшаются объемы тестирования?

Объем задач по тестированию

Насколько часто закладываемое время на риски срабатывает?

Соотношение фактических и планируемых трудозатрат на тестирование релизаКол-во выявленных дефектов

Какова загрузка специалистов текущими задачами по тестированию?

Загрузка специалистов по тестированиюЭффективность работы команды тестированияВремя на работу с дефектами

Получение данных


Перфоманс ЛабПлан. Оценка Номер

заявкиНаправлени

еТС Корр ТС ∑ ТС ФТ ретест ∑ ФТ

Сотрудник 1 1,5 0 1,54,5

0 0 0

5

50448 Кредиты

Сотрудник 1 2 1 3 2,5 2 4,5 51054 Счета, вклады, РКО

Сотрудник 1 0,5 0,5 0,5 0,5 51762 ИБ

Сотрудник 2 3 2 59,5

4 2 614,5

50810 Счета, вклады, РКО

Сотрудник 2 1,5 1 2,5 3 2 5 51422 КартыСотрудник 2 1 1 2 2 1,5 3,5 51424 КартыСотрудник 3 0 0 0

6

1 1 2

9

50416 iBankingСотрудник 3 2 1 3 2 1 3 50703 iBankingСотрудник 3 0 0 0 0 1 1 50589

Сотрудник 3 2 1 3 2 1 3 51580 Счета, вклады, РКО

Сотрудник 4 2 1 3

11

2 1 3

12

50030 КартыСотрудник 4 3 2 5 3 2 5 50303 Кредиты

Сотрудник 4 2 1 3 3 1 4 51337 Счета, вклады, РКО

Сотрудник 4 4 2 6 6 5 3 8 8 50002 Карты

итого требуется: 24,5 13 37,5 30 18,5 48,5доступно ресурсов при 1 срезе 05/05 55 11д-5чел 27,5 5д-5,5чел

AS IS: при 1 срезе 27/04 43 7д-5ч+4д-2ч 41,5 5д-5,5ч+4д-3,5ч4 "наших" заявки в 1 срезе 39 7д-5ч+4д-1ч 45,5 5д-5,5ч+4д-4,5чЕсли бы список был согласован 13/04 50 10д-5чел 49,5 9д-5,5чел

Получение данных


Март Апрель Май0

10

20

30

40

50

60

70

80

90

73 88.5 86

47.575.5 78

Соотношение трудозатрат

Труд

озат

раты

, ч.д

.

Март Апрель Май0

5

10

15

20

25

16

13 1315 16

23

Соотношение количества заявок

Коли

чест

во з

аяво

к, ш

т.

Март Апрель Май

73

88.5 86

47.5

75.5 78

16 13 13

15 16 23

Соотношениетрудозатрат и количества заявок

Команда тестирования - Трудозатраты

Технологи - Трудозатраты

Команда тестирования - Число заявок

Технология - Число заявок

Какой эффект?


GQM позволяет:• принимать наиболее

эффективные и точные решения на основе статистики

• учитывать все факторы, влияющие на принятие решения

• изменять процесс тестирования только для решения конкретных задач или проблем

Полезные ссылки для аналитических подходов


http://www-ivs.cs.uni-magdeburg.de/sw-eng/us/java/GQM/link4.shtml

Андерсон Бьерн — «Анализ основной причины. Упрощенные инструменты и

методы»

Improving the Test Process: Implementing Improvement and Change - A Study Guide for the ISTQB Expert Level Module

Итоги


• Применение аналитических подходов целесообразно при решении текущих проблем

• Аналитические подходы позволяют точечно решать проблемы в отличии от модельных подходов

• Любое ваше действие или решение будет исключительно для вашего проекта


Вопросы?

alekslynx

[email protected]