Подготовка стратегии тестирования под...

Software quality assurance days

18 Международная конференция

по вопросам качества ПО

sqadays.com

Москва. 27–28 ноября 2015

Сергей МартыненкоМосква, РФ

Подготовка стратегии тестирования под

высокорискованный, высокодоходный проект

План доклада

Введение

Понятие стратегии

Разработка стратегии тестирования

Общие принципы

Рисуем фон

Строим стратегии

Подготовка стратегии тестирования под высокорискованный, высокодоходный проект

ВВЕДЕНИЕ


О себе


Что вы получите


ПОНЯТИЕ СТРАТЕГИИ


Введение


Рисуем фон (описание проекта)



Рисуем фон


Обобщенный алгоритм создания


Варианты стратегий II-мировой


01.09.1939 02.09.1945



Реальность

01.09.1939 02.09.1945

План

весна- лето1944



Быстрое уничтожение значительной части армии Лишение противника трудоспособного населения Парализация транспортной системы Парализация производства …



Быстрое уничтожение значительной части армии Лишение противника трудоспособного населения Парализация транспортной системы Парализация производства

Операция Chastise


Операция Chastise


минус 45% на 3-4 месяца – реальность

минус 65% на год - возможность

РАЗРАБОТКА СТРАТЕГИИ ТЕСТИРОВАНИЯ


Введение




Рисуем фон


ОБЩИЕ ПРИНЦИПЫ


Шаги, предшествующие

стратегии тестирования


Порядок разработки стратегии

тестирования


Связь стратегий


Базовые принципы стратегии создания продукта:1. 2.

Стратегия системного анализа

Стратегия проектирования

Стратегия программирования

Стратегия тестирования

РИСУЕМ ФОН


Введение




Рисуем фон


Рисуем фон. Приоритеты.

1. Более половины таких проектов не взлетает.

2. Те, которые взлетают, приносят миллионы в неделю. Не рублей. Каждая лишняя неделя разработки - это многомиллионные потери. Приоритет – скорость.

3. Ошибка в системе, подобная описанной в "данетке для разработчика» или в «Дефект ценой в 440 миллионов долларов», может сделать фирму банкротом в течении часа.

4. Окно возможностей быстро захлопывается.


Пример. Встраиваемый софт.


Жизненный цикл продукта ранее

Жизненный цикл продукта сейчас

Продажи

t

Встраиваемый софт


Продажи

t

Окно возможностей

Рисуем фон. Архитектура системы.


Ядро

API

Наша разработка прикладных модулей

Сторонняя разработка прикладных модулей

Платформа А

Платформа B

Рисуем фон. Вехи.

• Выход в промышленную эксплуатацию

• Приемо-сдаточные испытания

• Начало разработки прикладных модулей

• Начало разработки ядра


Рисуем фон. Ограничения системы


Архитекторы ядра

Поток

Рисуем фон. Расчет бюджета

• Окно возможностей 100-300 рабочих дней

• Продажи в один рабочий день порядка $1 000 000

• Архитектор ядра обходится фирме в $1 000 / день

• Тестировщик ядра обходится фирме в $500 / день


СТРОИМ СТРАТЕГИИ


Введение




Рисуем фон


Фасеты стратегии тестирования



Негатив vsПозитив

Исходя из ограничения системы

Автоматизация vs вручную

ГОСТ 9126

Знание кода

Кем проводится

…

Исследовательское или сценарное?

Фасет стратегии тестирования «Позитив-Негатив»



Негатив vsПозитив

При сдаче ядра -позитив

На ПСИ согласно ПМИ

В конце негатив

Приоритеты на разных вехах

В продакшене не должно быть возможности потерь

На ранней стадии нужно увидеть соответствие Идее

Как можно раньше передать API разработчикам прикладных модулей



Полная утилизация рабочего времени

t, дней

Работа

Легенда

Простои

0 дефектов

10095




t, дней

Работа

Легенда

Простои

0 дефектов

10095 120

Заморозканового функционала





t, дней

Работа

Легенда

Простои

0 дефектов

10095 120

Проект В

150


Склад

В производство

Делается

На проверку

Тестируется

В релиз

Если 5 программистов, то не более 7 задач в желтой зоне



t, дней

Работа

Легенда

Простои

0 дефектов

10095 120


150

+ $ 5 000 000

+ $ 35 000 000

Фасет из ограничения системы



Исходя из ограничения системы

Планируемая норма простоя тестировщиков ядра 20-30%

Ограничение системы

Программисты ядра – уникальный ресурс


Роль Кол-во Стоимость

в день, $

Дней Итого

Сбалансиро-

ванная

цепочка

Архитектор 3 1000 130 585 000

Тестировщик 3 500 130

По теории

ограничений

Архитектор 3 1000 115 575 000



Роль Кол-во Стоимость

в день, $

Дней Итого

Сбалансиро-

ванная

цепочка

Архитектор 3 1000 130 585 000


По теории

ограничений

Архитектор 3 1000 115 575 000


Заб [и|ы] ть

+ 15 дней = - $ 15 000 000

Фасет «вручную или автоматизировать»?




t, дней115 345

0 дефектов

- $ 230 000 000

Тестировние



Работа

Легенда

ПростоиПрограммирование

10095 120 150

+ $ 5 000 000

Программирование



t, дней

Работа

Легенда

Простои

0 дефектов

10095 120



Фасет Автоматизации



Автоматизировать

Количество тестировщиков кардинально возрастает

Приоритет - скорость

Программисты ядра –уникальный ресурс

Уберите простои программистовядра

Увеличьте производительность программистовядра

Фасет «Кто тестирует»?


Фасет «Кто гоняет тесты?»



Автоматизировать

Тесты гоняют программисты

Приоритет - скорость

Программисты ядра –уникальный ресурс

Уберите простои программистовядра

Увеличьте производительность программистовядра

Фасет по атрибутам качества ПО


ГОСТ 9126Надежность (Reliability)

Функциональные возможности (Functionality)

Практичность (Usability)

Эффективность (Efficiency)

Мобильность (Portability)

Сопровождаемость(Maintainability)

Функциональные возможности (Functionality)


Важность

Пригодность (Suitability) ++

Правильность (Accuracy) ++

Способность к

взаимодействию

(Interoperability)

+++

Согласованность (Compliance) +

Защищенность (Security ++++

А есть еще фасеты?


Вопросы?


Подготовка стратегии тестирования под...

Education