Валерий Сафронов Новый уровень автоматизации...

Новый уровень автоматизации

тестирования ПО

Руководитель отдела

автоматизации тестирования ПО

Сафронов Валерий

ООО «Прикладные системы»

Минск, Беларусь

Ручное

Автоматическое

Ручное тестирование +

автоматические тесты

Ручное тестирование +

автоматические тесты

+ автоматизация

процесса...

Автоматизация

через интеграцию...О

бъ

ем

тес

ти

ро

вн

ия

Этапы становления автоматизации тестирования

t

t

t

Интеграция тестового

инструментария

Структурная схема тестирования

сборок продукта или задача для

автоматизации...

Начинка системы...

Запуск автоматических тестов

Автоматический

по событию выхода билда

по расписанию

Ручной

повторное тестирование продукта;

отладка автоматических тестов;

воспроизведение дефектов продукта;

запуск “свежих” тестов на протестированной версии;

настройка окружения.

Подготовка окружения

Установка продукта по умолчанию.

Копирование необходимых конфигурационных файлов.

Подготовка хранилища для результатов выполненных

тестов и лог-файлов.

Запуск\остановка виртуальной машины.

Генерация унифицированных отчетов

Просмотр результатов автоматических тестов разного

типа одним инструментом.

Алгоритм генерации в HTML из native format

(!) Обеспечивайте кумулятивность

результатов тестирования в режиме

реального времени

Публикация результатов тестов.

Отладочный режим

Публикация результатов.

Сохранение результатов на сервере без публикации

(отладочный режим).

Организация очереди

тестирования

Место сборки в очереди:

время попадания в очередь;

приоритет сборки.

(!) Как правило, приоритет задается

для каждой ветки сборки.

Отмена выполняющихся тестов

Прерывание выполнения тестов в любой момент

времени.

Дополнительная возможность управления очередью

тестов.

(!) Учитывайте очистку «следов»

выполнения тестов.

Подробный лог

Двухступенчатая система ведения лога:

логирование основной системы;

логирование конкретной виртуальной или

физической машины.

(!) Обеспечивайте доступ к логам

в режиме реального времени.

Защита от зависания

машины

Функция Kill by timeoutЦель:

Обеспечение бесперебойного процесса тестирования.

Гарантирование прогона всех тестов в очереди.

Алгоритм:

Настройка “timeout” параметра работы машины.

Настройка времени работы самих тестов.

Сбор данных с “зависшей” машины.

Остановка виртуальной машины.

Объединение тестов в

тестовые группы, или

«пакеты»

Использование тестов разных типов в рамках одной

тестовой итерации.

Создание различных тестовых групп для полного или

“Smoke” тестирования.

Создание тестовых групп внутри групп тестов.

Регулирование времени выполнения тестов

(подгонка групп по времени на исполнение тестов).

Автоматическая регистрация и

закрытие дефектов

Создание бага в системе контроля:

назначение ответственного лица;

параметризация необходимых свойств бага;

авто-заполнение назначенных полей.

Закрытие исправленного бага в системе контроля (по

желанию пользователя).

Алгоритм защиты от дупликации багов.

Контроль распределения физ. ресурсов

тестовой лаборатории

Ограничение кол-ва одновременно запущенных

виртуальных машин.

Создание тестов определенного веса (виртуальная

машина * N).

Расширение архитектуры и

масштабируемость

новые типы запускаемых тестов;

дополнительные системы виртуализации;

поддержка n-го числа серверов;

формирование дополнительных отчетных форматов;

расширение агента запуска тестов

…

Пример работы сервиса управления

автоматическим тестированием

Билд машина Виртуализация

(гипервизор)

Аганет запуска

тестов

Виртуальные машины

Файловый

сервер

Сервис

управления

BTS

Пример работы агента запуска

тестов

Виртуальная

машины

.xml (готово)

.xml (задача)

Агент

запуска

тестовТесты, уст. пакет...Сервис

управления

Результаты, лог файлы...

MS Team Foundation ServerFile Server

Hyper-V Server

VMWare Server

Как это работает у нас ?

Агент

запуска

тестов

Клиентская

часть

Клиентский инструмент

управления системой

Интерфейс

Опыт интеграции

Спасибо за внимание!

Ваши вопросы…

Пример работы реальной системы

автоматизации тестирования

ПО можно посмотреть здесь:

www.appsys.net/Octopus/Rus