Инструменты автоматизации тестирования - дефективные
DESCRIPTION
Презентация Дмитрия Химиона на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.comTRANSCRIPT
Инструменты автоматизации тестирования – дефективные
Дмитрий Химион. Performance Lab
Дмитрий Химион руководитель направления
автоматизации тестированияPerformance Lab
Skype: Picasso-Key Email: [email protected]
Докладчик на конференциях:– SQA Days 13– ITSM Forum– SQA Days 14– SQA Days 1524 проекта по автоматизации тестирования
+4 проекта - прототипы инструментария АТ
План доклада
• «Горе от ума» - flash back SQA Days 14• Из чего состоят инструменты• Аспекты и критерии оценки инструментов• Разложим инструменты по критериям• А что нам надо от инструментов?• «Интеграционный стандарт»• Итоги• Вопросы и ответы
«Горе от ума» - flash back SQA Days 14
Единая системаавторизации
«Горе от ума» - flash back SQA Days 14
«Горе от ума» - flash back SQA Days 14
«Горе от ума» - flash back SQA Days 14
Мониторинг качества
разработки
Из чего состоят инструменты?
• Язык разработки тестов• Удобство разработки• Инструментарий отладки
IDE
• Интеграция с «внешним миром»• ОбработчикиAPI• «Object spy» – захват объектов• Взаимодействие с технологиями• Работы с процессами
Platform
• Управление записью• Автоматическое определение элементов• Форматирование тестов
Record&Play
• Параметризация• Управление тестами• Запуск/прерывание
Test management
• Файловые расширения• Настройка и дополнение логовLogs/Reports
Модули оценки инструментов
IDE API
Platform Record&Play
Test management Logs/Reports
TO
Привет!
Размерность оценки критериев
КритерийОценка
-1 0 1
Рефакторинг
Работает только после серьёзных доработок
Пользоваться можно, но надо явно доработать
Приемлемое качество работы
Вроде норм
КритерийОценка
-2 -1 0 1
Рефакторинг
КритерийОценка
-1 0 1
Рефакторинг
Функционал в инструменте существует номинально
А ведь факт
Размерность оценки критериев
Рассмотрим критерии
IDE
Критерий ОценкаНавигация по коду Рефакторинг кода Подсветка синтаксиса Интеграция с Bug tracker/VCS/CI Кастомизация Инструментарий отладки Язык описания теста
-5 из +7
Блокнот!
API
Критерий Оценка
DDT/KDT/ODT
Надёжность работы API
Скорость работы API
Расширение API
-1 из +4
Рассмотрим критерии
Platform
Критерий ОценкаВзаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами
-1 из +5
Рассмотрим критерии
Platform
Критерий ОценкаВзаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами
-1 из +5
Рассмотрим критерии
Record&Play
Критерий ОценкаЗапись тестаКачество записанного кодаВоспроизведение тестаАвтоматическое определение элементовФорматирование записанного теста
-3 из +5
Рассмотрим критерии
Test management
Критерий ОценкаПараметризация тестов Комбинирование/предицирование тестов Механизм управления запуском тестов Прогон тестов по расписанию/триггеру Механизмы прерывания теста
-2 из +5
Рассмотрим критерии
Logs/Reports
Критерий Оценка
Глубина по разделению ошибок Доступные расширения Оптимизация объёма лога Расширение информативности лога
-3 из +4
Рассмотрим критерии
Сводка по результатам оценки
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3
«Интеграционный стандарт»
• Универсализация «непригодных» модулей инструментов:– Test development (record&play)– Test management– Logs/Reports– Handlers for API
AT tool
Test management
LogsReports
Handlersfor API
System Under Test
Итоги
• Интеграция инструментов в среды разработки• Эволюция инструментов автоматизации в составной конструктор• Составляющие инструментов – отдельные решения• Развитие механизмов тестирования в сторону генерации тестов• Ориентация градации ошибок на стандарты типа ISO
Большое спасибо!
• Контакты: Skype: Picasso-Key Email: [email protected]
The dark side of automation tools hides very much job