Средства автоматизации тестирования десктопных

приложений. Сравнительный анализ.

Вадим Зубович ISSoft / Coherent Solutions

О себе

Вадим Зубович Automation Tech Lead ISsoft / Coherent Solutions www.coherentsolutions.com www.comaqa.by www.dpi.solutions

Проблема Для автоматизации тестирования веба есть безусловный лидер:

Проблема С десктопными приложениями все не так просто

Сравниваемые инструменты

Критерии сравнения • Поддерживаемые платформы • Поддерживаемые технологии • Лицензионность • Наличие системыRecord-Play • Поддержка языков программирования • Наличие инструментов для маппинга • Поддержка создания собственной архитектуры • Поддержка Data-Driven Testing • Поддержка Test-Driven Development • Поддержка систем непрерывной интеграции

Record-Play

Скриптовые тесты

Инспектор

Набор стандартных действий

Поддерживаемые платформы Инструмент Платформы Оценка

Windows Windows Windows Windows

Windows, Unix-like

Windows Windows

Windows, Unix-like Windows, Unix-like

Windows

Поддерживаемые технологии Инструмент Технологии Оценка

C/C++, WinForms, WPF, Java, Qt WinForms, WPF, Java, SAP

WinForms, WPF, Java, Qt, SAP WPF

Использует AutoIT и др.

Работает на уровне ОС Win Forms, WPF, Java

WinForms, WPF, Java Распознавание образов

WinForms, WPF

Лицензия Инструмент Технологии Оценка

Платная Платная Платная Платная

Открытая

Бесплатная Платная

Открытая Открытая

Открытая

Record-Play Инструмент Поддержка Record-Play Оценка

Да Да Да Да

Нет

Нет Нет

Нет

Нет

Нет

Языки программирования Инструмент Языки Оценка

Python, C#Script, JScript, C++Script, VBScript, DelphiScript

VBScript C#, VB.Net C#, VB.Net

Own DSL Own Basic-like language

Own DSL

-

Jython, Java

Java, Javascript, PHP, Python, Ruby, C#

Маппинг Инструмент Встроенный инспектор Оценка

Да Да Да Да

Нет Нет

Да / Нет

Да Нет

Нет

Архитектура Инструмент Кастомная архитектура Оценка

Нет Нет Нет Нет

Да Нет Нет

Нет Да / Нет

Да

Data-Driven Testing Инструмент Поддержка DDT Оценка

Да Да Да Да

Да Нет Да

Да Да / Нет

Да

Test-Driven Development Инструмент Поддержка TDD Оценка

Да / Нет Да / Нет Да / Нет Да (в VS)

Да Нет Нет

Да Да / Нет

Да

Непрерывная интеграция Инструмент Инструменты CI Оценка

Automated Build Studio Jenkins plugin

Jenkins Bamboo

Jenkins plugin -

Test Execution Management

- - / Любой Java-совместимый

Любой

Общая оценка Инструмент Баллы

8 х 6 х 7 х 6 х

11 х

4 х 4 х

7 х 11 х

8 х

Спасибо за внимание

Вадим Зубович ISSoft / Coherent Solutions

www.comaqa.by www.dpi.solutions

Плюсы: • Низкий порог вхождения • Высокая гибкость скриптовых тестов

• Очень дорогая лицензия Минусы:

• Огромная база знаний (На уровне MSDN)

• Свои специфичные скриптовые языки

• Выбор скриптовых языков, похожих на языки общего назначения

Плюсы: • Низкий порог вхождения • Высокая гибкость скриптовых тестов

• Строгая привязка к другим решениям HP Минусы:

• Хорошая техподдержка

• Свой специфичный DSL

Плюсы: • Низкий порог вхождения • Скриптовые тесты на языке общего назначения (C#, VB.Net)

• Платная лицензия Минусы:

• Хорошая техподдержка

Плюсы: • Низкий порог вхождения • Отличная параметризация Keyword-тестов

• Только WPF-приложения Минусы:

• Поддержка DDT с использованием стандартных форматов (CSV, XLS, DB) • Конвертация тестов в язык общего назначения (C#, VB.Net)

Плюсы: • Поддержка сложной логики • Отличная организация DDT

• Требует изучения Минусы:

• Поддержка подключения стандартных .Net библиотек

• Свой специфичный DSL

Плюсы: • Простота

• Отсутствие встроенных инструментов верификации Минусы:

• Тест = exe-файл • Отсутствие репортов

• Бесплатный • Универсальность

Плюсы: • Свой несложный читабельный Keyword-based язык • Плагины для разных сред разработки

• Высокий порог вхождения Минусы:

• Работа с разными операционными системами • Поддержка разных языков программирования • Инструментарий для создания своих Robot Framework библиотек • Бесплатный

Плюсы: • IDE проста в освоении • Возможность писать тесты на языках общего назначения (Java, Python)

• Низкая надежность тестов Минусы:

• Возможность работы на любых платформах и с любыми приложениями

• Медленная работа тестов

• Бесплатный

• Отсутствие работы с текстом • Трудоемкая поддержка тестов

Плюсы: • IDE проста в освоении • Возможность работы на базе требований

• Отсутствие гибкости, присущей скриптовым тестам Минусы:

• Встроенная БД для хранения тестовых данных и результатов

• Отсутствие CI

• Бесплатный

Плюсы: • Знакомый синтаксис и API • Поддержка всех языков, поддерживаемых Selenium WebDriver

• «Незрелый» инструмент Минусы:

• Бесплатный

• Несовершенный способ локации элементов • Мало документации