getting maximum from testing automation
Post on 06-Aug-2015
212 Views
Preview:
TRANSCRIPT
Обо мне
Тимлид группы автоматизации
Активный спикер QA Talk в Херсоне, Одессе и Львове
Докладчик QA School в Херсоне
Создатель менторских программ, а также ментор
QA Automation в компании
Основатель и куратор внутреннего курса Thucydides
С#
Когда автоматизация считается успешной?
Автотесты не пропускают баги
Не более 5% рандомно падающих тестов
Все тесты успевают пробежать за ночь (до 10ч.)
Имеем чистую и доступную для всех отчетность
Автотесты покрывают большую часть тестовых
сценариев
Как все начиналось
Был Selenium RC который все действия делал через JS
Были “какие-то” автотесты
Автотесты гонялись, но мы все-равно проходили все
тест кейсы руками
Не было никакой отчетности
Стабильно 20% тестов падало по непонятным на то
причинам
QA мешали тестам, тесты мешали QA
Вскоре тесты стали бежать более 12ти часов
Нужно понимать причины падений быстро
Нужны логиСделали 2 уровня логирования и информативные логи при падении
Нужно понимать причины падений быстро
Давайте делать скриншотыДобавили взятие скриншота на падении и доступ к нему прямо из CI
Нужно понимать причины падений быстро
Будем сохранять всю страницуНачали сохранять всю html страницу при падении теста
Что делаем для получения качественного кода и стабильных результатов
Code Review Review board
Прогон в персональных
группах перед тем как тесты уйдут в основную группу
Нужно улучшить сам процесс
Каждый тест прикреплять к тест
кейсу
Отмечать в Test Manager все
автоматизированные тест кейсы
Автоматизировать нужные тест кейсы
Добавить ежедневную отчетность
Завести тикет
Выключить тест
Оставить тесту комментарий с номером тикета
Оставить комментарий в
тикете
Ждать когда баг устранят и
вернется тикет
Включить тест и закрыть тикет
Что делать когда тест словил баг?
Изменения в требованиях
Апдейт тест кейса
Тикет на QA Automation
команду
Апдейт автотеста
Закрыть тикет
Что делать если поменялись требования?
А посмотрим-ка на общую статистику
Dashboard View - https://wiki.jenkins-ci.org/display/JENKINS/Dashboard+View
Долой QA “мешающих” нашим автотестам!
А может объединим усилия?
Dev1 Dev2 QA Prod
Dev1 Dev2 QA Prod
Auto1 Auto2 QA Prod
Manual QA
Automation
Что имеем сейчас в результате
Автоматизация стала быстрой и налаженной
Более 60% санити и регрессии проходится автотестами
Покрыли 2700 сценариев, 300 из которых мобильные
2700 х 2 сервера = 5400 результатов тестов за ночь
От 2х то 5-ит процентов тестов валятся ночью если нет
блокеров.
Каждую итерацию имеем автоматически проставленные
результаты в тест сьютах
Чистая и подробная ежедневная отчетность
Перешли на Continuous Delivery
Continuous Delivery
Auto Manual AutoAutoAuto
Puppet Module Unit
Tests
Platform Tests
Deliver To Staging
Application Acceptance
Tests
Deploy To Production
Post Deploy Tests
top related