Роль testops: расширяем традиционные обязанности...
TRANSCRIPT
![Page 1: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/1.jpg)
Software quality assurance days17 Международная конференция по вопросам качества ПОsqadays.com
Минск. 29–30 мая 2015
Александр НеделяевItera. Киев, Украина
TestOps. Расширяем традиционные обязанности тестировщика
![Page 2: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/2.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Об авторе
5 лет в тестировании
2 года в тестировании
ИТ инфраструктуры
nedeliaev
Alexander Nedeliaev
![Page 3: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/3.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Что такое ИТ инфраструктура
![Page 4: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/4.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Что такое ИТ инфраструктура
• OS• CRM• ERP• Email
Application
• Database: Oracle, SQL Server, MySQL• Web servers: IIS, Apache• Application servers: WebSphere, Tomcat, JBoss,
MS .NetMiddleware
• Servers: Windows Server, Solaris, Linux• Virtualization: VMware, Hyper-V, Citrix XenServer• Storage: SAN, NAS, RAID, S.M.A.R.T• Network: LAN, WLAN, VPN
Hardware
![Page 5: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/5.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Продукт
![Page 6: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/6.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Пользователь
![Page 7: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/7.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Команда
![Page 8: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/8.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Test Engineer
![Page 9: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/9.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Test Engineer - Портрет
• Работает в тестовой среде
• Видит продукт в разобранном виде
• Получает однозначные результаты тестов
• Автоматизирует процесс тестирования
![Page 10: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/10.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Test Engineer - Процесс
Тесты Тестируемая система
Оценка результата
Оценка качества
Запускаем тесты Результаты тестов Pass / Fail
Фаза Традиционное тестирование
Вход Тесты
Выход Результаты тестов
Оценка Pass / Fail
![Page 11: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/11.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Operations Specialist
![Page 12: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/12.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Operations Specialist - Портрет
• Работает в продакшн среде
• Видит продукт в контексте инфраструктуры
• Получает разностороннюю информацию о системе
• Любимый инструмент: бубен мониторинг
![Page 13: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/13.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Operations Specialist - Подход
![Page 14: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/14.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Общая цель
![Page 15: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/15.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Testing + Operations = TestOps
Тестирование в продакшн среде
1. Подходы
2. Сбор и анализ телеметрии
3. Мониторинг и синтетические тесты
![Page 16: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/16.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Зачем тестировать в продакшн среде
![Page 17: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/17.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Подходы
Постепенное развертывание и А / Б тестирование Уменьшаем риски
Тестируем предположения
Кто использует: Samsung, Microsoft, Twitter, Facebook
Деструктивное тестирование Проверка непрерывности сервиса в случае проблем с
аппаратным обеспечением
Пример: Netflix Chaos Monkey
![Page 18: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/18.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Сбор и анализ телеметрии
![Page 19: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/19.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Сбор и анализ телеметрии
• Инструмент для отслеживания производительности Google Dapper собирает более 1 Тб данных; все данные хранятся 2 недели
• Сервис логирования Facebook Scribe собирает 25 Тб данных в день
• Twitter собирает 12 Тб данных в день
• eBay собирает 50 Тб данных в день
![Page 20: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/20.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Сбор и анализ телеметрии
![Page 21: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/21.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Мониторинг и синтетические тесты
Традиционный мониторинг ИТ инфраструктуры Состояние элементов инфраструктуры: ping, uptime
Использование ресурсов
Синтетические тесты Синтетические тесты симулируют поведение
пользователя
Ключевые показатели эфективности приложения:время отклика, частота и продолжительность транзакций
![Page 22: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/22.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Мониторинг и синтетические тесты
![Page 23: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/23.jpg)
• Dynatrace User Experience Management• Dynatrace Synthetic Monitoring
• AlertSite UXM• Lucierna
• Applications Manager• IT360• OpManager
• Orion APM
Мониторинг и синтетические тесты
![Page 24: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/24.jpg)
Реальные пользователи Тестируемая
системаАнализ данных
Система мониторинга
TestOps. Расширяем традиционные обязанности тестировщика
TestOps - Процесс
Работа с системой
Данные телеметрии
KPI и шаблоны
Тесты и мониторы
Активный мониторинг
Фаза Традиционное тестирование TestOps
Вход Тесты Работа с системой
Выход Результаты тестов Данные телеметрии
Оценка Pass / Fail KPI и шаблоны
![Page 25: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/25.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Выводы
TestOps подход позволяет:
получить ключевые показатели эффективности работы системы
понять топологию инфраструктуры в контексте работы приложения
спрогнозировать и предупредить появление ошибок, зависящих от ИТ инфраструктуры
![Page 26: Роль TestOps: расширяем традиционные обязанности тестировщика](https://reader035.vdocuments.pub/reader035/viewer/2022062300/55b3bf4fbb61ebdb088b4790/html5/thumbnails/26.jpg)
TestOps. Расширяем традиционные обязанности тестировщика
Спасибо!