Ловушки тестирования производительности
DESCRIPTION
Доклад Владимир Марченко на конференции SQA Days-12, 30 ноября-1 декабря, МинскTRANSCRIPT
Ловушки тестирования производительности
Владимир Марченко
EPAM Systems30-е ноября 2012
Минск, Беларусь
Кто такой
2 / 20
Владимир Марченко
Аналитик производительности[со стажем]в EPAM Systems
Ловлю светлый позитив
Не верю в agile, XaaS, центры совершенства, циклонные пылесосы, и прочие buzzwords
Содержание
• Оговорки
• Технические ловушки
• Организационные ловушки
• Ссылка
3 / 20
Оговорки
4 / 20
Истины нет / истина не познаваема
Цель мероприятия – насторожить
Полагаю, что полезно тестировщикам
Говорю про производительность веб-приложений
Технические ловушки
5 / 20Фото взято тут: http://www.archdaily.com/27245/
Магический бенчмарк
Среднее время отклика:
100 миллисекунд
6 / 20
Как оказалось:
быстро, но недолго
Цель тестирования
Измерить времена отклика
7 / 20
Найти узкие места системы
Проверить стабильность
Кое-что ещё
Протестируйте нам плейер
8 / 20
Какой-тоПлейер
Какие-тоСервера
Какой-тоИнтернет
Держите URL
Найдите причину проблем
Мы пошли спать, созвонимся
Окружение – критично!
• Сервера
• Топология
• Доступ
• Зависимости
• Данные
9 / 20Фото взято у автора фото
Нагрузите нам сервер
10 / 20
Клиент толстый
Пользователи ходят сложными путями
Мы сделали классный скрипт на QTP
Зовём вас, т.к. не получилось запустить тысячу браузеров
Взгляд на мир
11 / 20
Сервер
Клиент
Тут грузим
Тут проверяем эмоцию
Профиль нагрузки
Профиль нагрузки должен быть реалистичным
12 / 20
Есть разница, чем грузить!
Фото взято тут: http://aasf-de.com/catalog.html
ТерминологияСамая неочевидная ловушка…
• Время отклика
• Запросы, клики, транзакции, страницы, байты
• Пользователи!
• Нагрузочное тестирование / тестирование производительности
• и т.д.
13 / 20
Ловушки организации
14 / 20Фото взято тут: http://fotolenin.narod.ru/b/59.jpg
Проектный планОтсечки: 1-е января – начало проекта 1-е апреля – докурили бамбук … 1-е августа – конец интеграционного тестирования,
начало оценки производительности 5-е августа – performance sign off 6-е августа – релиз
15 / 20
20-го июля позвоним в группу производительности...
Когда же начинать?
Тестировать → Когда есть, что тестировать(это, кстати, спорно)
Готовиться → С самого начала
16 / 20
• Средство тестирования• Построение окружения• Получение статистики использования
Требуют времени и денег!
Не автоматизация
17 / 20
Итого
18 / 20
Цель тестирования – поиск узких мест
Правильное тестовое окружение – критично для валидности результатов
Для создания адекватной нагрузки
– смотрите на мир глазами сервера
Оговаривайте терминологию, т.к. изначально в ней бардак
Планировать в середине проекта – уже поздно
Основное время занимает анализ результатов
Ссылка
19 / 20
Web Load Testing for Dummies
(by Scott Barber and Colin Mason)
http://www.gomez.com/ebook-web-load-testing-for-dummies-generic/
Спасибо за внимание!
20 / 20
Владимир МарченкоАналитик производительности в EPAM Systems
Фото взято тут: http://www.zazzle.com/mouse_trap_mousepad-144827429888505359