Планирование развития автотестов, Кирилл Раткин, СКБ...

Планированиеразвития автотестов

Раткин Кирилл

?

О нас

• Тестируем веб-приложение

• Группа тестирования 9 человек

• Команда разработки 10+15

• Нагрузка 30+ релизов в месяц

• Автотесты на C#

• Непрерывная интеграция TeamCity

Планирование

• База сценариев

Планирование

• База сценариев

• Поддержка

Планирование

• База сценариев

• Поддержка

• Техническая часть

Планирование

• База сценариев

• Поддержка

• Техническая часть

• Структура проекта

Планирование

• База сценариев

• Поддержка

• Техническая часть

• Структура проекта

Планирование

• База сценариев

• Поддержка

• Техническая часть

• Структура проекта

Метрики?

Факторы, оказывающие влияние:

• Навыки сотрудников

• Риски тестирования

• Определение критичного функционала

• Покрытие

• Генерация тестовых данных

Факторы, оказывающие влияние:• Навыки сотрудников

• Риски тестирования

• Определение критичного функционала

• Покрытие

• Генерация тестовых данных

Атрибуты планирования

1. Разработка документации

2. Стандарты проектирования2.1 Когда

2.2 Что

2.3 Как

1. Документация

• гайд для новичков

• обеспечение согласованности

• унификация

• облегчение поддержки

2. Стандарты проектирования. Когда?Проектирование параллельно с разработкой ПО?

Плюсы: • оценка трудозатрат на автоматизацию• понимание полноты покрытия, сложности• оценка тестопригодности кода (возможность

повлиять)

Минусы:• могут измениться критерии

2. Стандарты проектирования. Что?Хороший тест должен покрывать:

• требования (ТЗ)

• ожидаемые входные и выходные данные

2. Стандарты проектирования. Как?

• Шаблоны

• Соглашения по именованию, структуре проекта

• Обеспечение повторного использования

• Независимость тестов

• Контекстная независимость

• Атомарность проверок

2. Стандарты проектирования. Как?

• Шаблоны

• Соглашения по именованию, структуре проекта

• Обеспечение повторного использования

• Независимость тестов

• Контекстная независимость

• Атомарность проверок

2. Стандарты проектирования. Как?

• Шаблоны

• Соглашения по именованию, структуре проекта

• Обеспечение повторного использования

• Независимость тестов

• Контекстная независимость

• Атомарность проверок

Уровни зрелости TMMГруппа тестирования Автотесты

I Хаотичый характерНет специальных людей

Экспериментальная автоматизацияЗатруднено повторное использованиеНет сопровождения

II Выполнение тестов после кодированияОсновная цель: соответствие спецификации

Сопутствующая автоматизацияТесты модифицируютсяНет стандартов, документации

III Интеграция в жизненный цикл разработкиСуществует подразделение тестирования

Стандарты проектированияПланирование

IV Контроль качестваБаза тестовых сценариевФиксация и приоритизация дефектов

Отслеживание дефектов после релизовРабота совместно с разработчикамиContinuous Integration

V Предотвращение дефектовПолностью поддерживаемые автотестыСбор и анализ метрик

Сбор и анализ метрик

Спасибо за внимание!

Вопросы?

ratkin@skbkontur.ru