101 способ провести нагрузочное тестирование...

101 способ провести нагрузочное тестирование неправильно

Екатерина Карасаева, Андрей Дмитриев, NetCracker

3© 2014 NetCracker Technology Corporation Confidential

Кто мы

Андрей Дмитриев

• разработчик, тимлид

• лидер Jug.ru и CodeFreeze.ru

Екатерина Карасаева

• инженер по нагрузочному тестированию

• опыт в нагрузочном тестировании 3,5 года


Цель

• Показать подводные камни• Поделиться best-practices


Цель



Повестка дня

• Что нужно проверять• Тесты: что меряем, что эмулируем• Инструменты под рукой• Процесс замера по шагам• Что можно сделать неправильно?• Вопросы и ответы


Термины

• NFR (Non-Functional Requirements)• SVT (Stress and Volume Testing)• Response Time• Throughput• Production vs Test Server vs QA Server/Dev Server• Integrations


Цель Stress and Volume Testing

• ???



• Соответствие решения NFR



• Соответствие решения NFR• Поиск регрессионных проблем



• Соответствие решения NFR• Поиск регрессионных проблем • Оценка пределов системы



• Соответствие решения NFR• Поиск регрессионных проблем • Оценка пределов системы• Красивая картинка для клиента




• Поиск регрессионных проблем

• Оценка пределов системы

• Красивая картинка для клиента

• ….






• Красивая картинка для клиента

• ….



• Предсказание поведения на Production-системе





Частые проблемы

• Разное железо и конфигурация• Разные OS, patches, versions• Разные данные• Разные профили нагрузки• Нужен быстрый результат


Проблема 5: Разные OS, patches, versions

• “А давайте накатим вам новый патч?”




Выход:• При смене патча, сборки, версии и подобного

нужен замер ДО и ПОСЛЕ (baseline-зАмЕр)• 1 фактор изменения – 1 пара замеров


Проблема 9: отличие Production от тестового стенда

• Дамп базы данных• Access logs (поведение пользователей)• Распределение нагрузки

Выход:• Регулярная синхронизация с production


Проблема 9: отличие Production от тестового стенда

• Дамп базы данных• Access logs (поведение пользователей)• Распределение нагрузки (

Выход:• Регулярная синхронизация с production


Схема решения



Integration



Integration

Integration

Integration


Проблема 28: входные данные отличаются от Production

Location House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

Location

Location

Location



Выход:

• данные как-на-продакшн

• автоматизированный генератор данных как-на-продакшн


House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

Location

Location

Location



Выход:




House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

Location

Location

Location



Выход:



House Record

House Record


House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

House Record

Location

Location

Location


Что эмулируют наши тесты?

• дневные бизнес-часы (пользователей в системе 400+);

• ночное время (пользователей в системе 80+, а также интеграции с 20+ системами);

• Тестирование масштабируемости решения (100%, 150%, 200%)


Процесс замера

• Регулярный план релизов и сборок

• SVT-план

• Подготовка стенда

• Новые проекты - новые тесты

• Смоук-тестирование

• Нагрузка (дневная, ночная)

• Восстановление базы

• Отчет, анализ проблемы


Что можно сделать неправильно?

• ???



• Больше, чем можно себе представить!



• Готовы? Поехали!


Проблема 45: Плотное расписание сборок



Выход:• автоматизация ручной работы• сокращение тестового покрытия


Проблема 56: Сборки сырые, хотфикс на хотфиксе



Выход:• не брать хотфиксов в работу (желательно);• брать сборку с грифом «QA-Passed»• иметь несколько серверов



Выход:• не брать хотфиксов в работу (желательно);• брать сборку с грифом «QA-Passed»• иметь несколько серверов

Маленький хотфикс тестировать столько же, сколько и большой.



Выход:• не брать хотфиксов в работу (желательно);• брать сборку с грифом «QA-Passed» Passed• иметь несколько серверов

Маленький хотфикс тестировать столько же, сколько и большой.


Проблема 61: Неправильный выбор нагрузочных сценариев



Выход:• SVT не должно покрывать все сценарии• Нет – однотипным сценариям!• Да – бизнес-критичным сценариям!• Да – самым тяжелым сценариям!


Инструменты под рукой

• Jmeter•sar•Oracle AWR•SVTF


Кто такой SVTF и что умеет

• Управление:• профилями тестов;• конфигурацией;• пререквизитами;• замером.

• Сбор логов и статистики с распределенных машин

• История хранения запусков

• Обработка данных и построение отчетов


Минутка планирования

DataGen Замер Анализ Flashback DataGen


Проблема 79: Невалидные входные данные?



Выход:• восстановление базы данных после каждого

замера• автоматизированный валидатор входных

данных


Проблема 82: Jmeter-скрипт часто валится



Выход:• Чем проще – тем лучше• Нет – пререквизитам в скрипте• Нет – лишней логике в нагрузочном скрипте• Пользоваться стандартными решениями


Проблема 95: В начале теста сервер тормозит



Выход:• прогревочный замер обязателен• отрезать первые 10-30 минут из основного

замера


Проблема 97: Закончилось место во время замера



Выход:• знать, сколько места занимает 1 прогон тестов• (авто) чек-лист

‒ tablespaces‒ hdd‒ archivelogs‒ RAM


Проблема 101: В фоне что-то работало, невалидный замер



Выход:• проверка перед замером, что система в

спокойном состоянии• проверка, что система не находится в swap• выключение соседних инстансов и баз, если

они находятся на одном оборудовании


Выводы

• 100% проблем с производительностью заранее не обнаружить

• Но можно двигаться в этом направлении!


Контакты

Андрей Дмитриев• [email protected]

Екатерина Карасаева• [email protected]

Q&A


Thank you!


101 способ провести нагрузочное тестирование...

Education