solit 2014, Централизованное управление тестами с помощью...

Система управления тестами

Что такое

TestLink – система управления тестами (Test Management System) на базе веб-интерфейса.

Существующие решения:

Наши требования

• Поддержка Continuous integration

• Простота освоения и внедрения

• Интеграция с готовым решением

• Поддержка автоматизированных тестов

• Минимальная стоимость лицензии

Возможности

• Легкая интеграция с проектами на разных языках программирования посредством TestLink API (C#, Java, Python)

• Возможна реализация Continuous integration с помощью совместимых сторонних инструментов (Jenkins, Nant)

• Поддержка Requirement-based testing с последующим формированием отчетов

• Поддержка автоматизированных тестов (Regression test-plans + Automated test-case attribute)

Структура TestLink

Пользовательские роли• Guest (guest) – только просмотр тест-кейсов, отчетов и параметров.

Ничего не может редактировать.• Test Executor (tester) – имеет возможность просматривать и

выполнять тесты, назначенные ему.• Test Designer (test designer) – может просматривать и редактировать

спецификации и требования.• Test Analyst (senior tester) – просматривает, создает, редактирует и удаляет

тест-кейсы, выполняет их. Не может управлять тест-планами и проектами или распоряжаться правами.

• Test Leader (leader) – те же права, что и у аналитика, кроме того может управлять тест-планами и назначать права.

• Administrator (admin) – полный набор прав (как у лидера, плюс возможность управлять проектами и пользователями).

* Права пользователей можно редактировать и создавать своисобственные роли, предоставляя им любой набор прав.

Сущности TestLink• Test Case – описание тест-кейса в виде шагов и ожидаемых

результатов.• Test Suite (Test Case Suite) – набор тест-кейсов, позволяющий

структурировать все тесты в логичной форме.Например: “LoginTests”, “ValidationErrorTests”, “MainMenuTests” и т.п.

• Test Plan – создается при переходе к выполнению тестов. Тест-планы состоят из какого-либо набора тест-кейсов и/или TestSuite текущего проекта.Например: “Regression”, “Manual”, “Automation”, “Daily” и т.п.

• Test Project – ключевая единица в TestLink. Проект существует на протяжении всего цикла тестирования и соответствует тестируемому приложению. Тестовый проект в течение жизненного цикла может сменить несколько версий и развиваться вместе с приложением.Например: “OurWebPortal”, “Calculator” и т.п. Как правило носит имя приложения, или включает его имя в название.

Вспомогательные сущности TestLink• Build – Соответствует билду, или серьезной модификации

тестируемого приложения.

• Platform – платформа, на которой производится тестирование. В качестве платформы может выступать операционная система (Windows, Linux etc.), браузер для веб-приложений (Chrome, Firefox etc.), различные варианты серверов (Apache, Tomcat etc.) и баз данных (MySql, MSSQL etc.)

• Keyword – ключевое слово, служащее для группировки тест-кейсов по какому-либо признаку.Например “UI-Tests”

• Requirements – требования к приложению, которые необходимо покрыть тестами (для requirement-based testing). К ним осуществляется привязка тест-кейсов, на основании которой производится формирование отчета о покрытии требований.

Типовой сценарий (обзор)

Типовой сценарий

• Администратор создает тестовый проект “Fast Food” и двух пользователей: Adam, с правами “leader” и Bela, с правами “senior tester”.


• Лид Adam импортирует требования к приложению и для части этих требований генерирует пустые тест-кейсы. Разделяет их на два Test Suite: “Fish” и “Chips”.


• Тестировщик Bela описывает тестовый сценарий (наполняет содержимым пустые тест-кейсы), используя спецификацию, которая разбита на два тест-сюита.


• Adam создает ключевое слово “Regression testing” и назначает это слово 10-ти из этих тест-кейсов.


• Адам создает тестовый план “Fish & Chips 1”, билд “Fish 0.1” и привязывает все тест-кейсы из сюита “Fish” к этому тест-плану. Также он относит себя и Bela к ресурсам этого плана.


• Разработчики выпустили первый билд. Adam и Bela выполнили тесты со следующим результатом: 5 passed, 1 failed, 4 blocked.


• Разработчики выпустили новый билд “Fish 0.2” и Bela выполняет только зафейленные и заблокированные тесты. На этот раз все тест кейсы завершены успешно. Дополнительно выполняется прогон всех тест-кейсов с ключевым словом “Regression testing”.

Типовой сценарий• Менеджер проекта хочет посмотреть на

результаты. Админ объясняет ему, как создать свой гостевой аккаунт прямо со стартовой страницы. После создания аккаунта у менеджера есть гостевой доступ, позволяющий просматривать все тест-кейсы и результаты. Он видит, что все тесты пройдены успешно в общем отчете, и что были проблемы в первом билде “Fish 0.1” в отчете по нему.


• Позднее, когда разработчики добавили функционал “Chips”, Adam создает тест-план “Fish & Chips 2”. В качестве шаблона он может использовать первый тест-план. Все тест-кейсы и роли при этом будут автоматически добавлены. Он создает новый билд “Fish 1.1” и привязывает все тест-кейсы “Chips” к нему.


• Далее тестирование идет по этой же схеме.

Отчеты

• TestLink позволяет генерировать разнообразные отчеты о проведении тестов

TestLink-API для .Net

• Подключить сборку TestLinkAPI для .Net

+


• Вариант конструктора:


• Получение билда по имени:


• Получение последнего билда:


• Получение проекта:


• Получение тест-плана:


• Обновление результатов тестов:

Практический пример интеграцииGUI Test-Runner

Спасибо за внимание

Вадим Зубович

ISSoftCoherent Solutions Inc.

solit 2014, Централизованное управление тестами с помощью...

Technology