codefest 2012. Быстрых С. — Карантинная зона для автотестов:...
TRANSCRIPT
![Page 1: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/1.jpg)
Быстрых Сергей
руководитель группы автоматизации
повышение стабильности и уменьшение трудозатрат
Карантинная зона для автотестов
Карантинная зона для автотестов
![Page 2: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/2.jpg)
2
Семейство продуктов Plesk
Parallels Plesk Panel
Web Presence Builder
Customer & Business Manager
Поддержка более 15 операционных систем
более 60 конфигураций
![Page 3: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/3.jpg)
3
Регрессионное тестирование (требования)
1. Запускать каждый день.
2. Запускать все автоматизированные тесты.
3. Покрывать все доступные конфигурации.
4. Заводить все найденные баги.
5. Получать полное представление о качестве продукта.
![Page 4: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/4.jpg)
4
Регрессионное тестирование (ежедневный цикл)
Система хранения тестов
• 1500 тест кейсов
Система автоматического
выполнения тестов
Бол
ее 5
0000
резу
льт
ато
в
Бол
ее 3
0
запуско
в п
ланов Около 1000
VEs
Более 100 тестовых
серверов
Более 7500 падений
15% не прошедших тестов
![Page 5: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/5.jpg)
5
Автоматический тест кейс
Скрипт
Подготовительные
действия
Проверка
функциональности
PASSED
BLOCKED
FAILED
![Page 6: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/6.jpg)
6
Причины падений тест кейсов
новые баги
баги в тестах
ошибки сети
перегрузка тестовых серверов
рейс-кондишины
нестабильность приложений
известные, но еще неисправленные баги
![Page 7: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/7.jpg)
7
Причины падений тест кейсов
Новые баги
15-20%
Известные баги
30-35%
Ложные падения
50%
![Page 8: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/8.jpg)
8
Карантин – идем в обход
Запуск тест плана
Подготовка VE (s)
Установка продукта
Исполнение тестов
Обычная схема выполнения тестов
Проверка условий
карантина
Подготовка нового VE
Установка продукта
Исполнение упавших тестов
Карантин
![Page 9: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/9.jpg)
9
Карантин – пропускаем лишнее
TMS
Тест план
Тест 1
Тест 2
Тест 3
Тест N
Bug Tracker
Bug
Bug
Bug
Bug
Bug
Bug
Bug
Bug
Запуск тестов
Подготовка VE
Пропуск теста
Выполнение теста
Bug
![Page 10: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/10.jpg)
10
Старый друг лучше новых двух?
BLOCKED SKIPPED FAILED
? BLOCKED
SKIPPED
![Page 11: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/11.jpg)
11
Что получили
100% PASSED
FAILED FAILED 50-60%
20 человека/часов в неделю
![Page 12: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/12.jpg)
12
Планы на будущее
TMS
Тест план
Тест 1
Тест 2
Тест 3
Тест N
Bug Tracker
Bug
Bug
Bug
Bug
Bug
Bug
Тест
Тест
Тест
• Для разработчика:
проверки при
исправлении бага
• Для тестировщика:
дополнительная
информация
для верификации бага
![Page 13: CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат](https://reader034.vdocuments.pub/reader034/viewer/2022042614/557ffa7fd8b42aa4628b510d/html5/thumbnails/13.jpg)
13
Вопросы
? Быстрых Сергей
руководитель группы автоматизации
|| Parallels
|| [email protected] || skype: sergey.bystrykh
|| tel: +7.952.942.51.15 || http://www.parallels.com