Тестируем производительность с помощью selenium

www.luxoft-training.com

Performance testing with Selenium

SQA Days 19


Обо мне

Александр Шиповалов Automation Engineer QA Expert in Luxoft Training

@[email protected]


Тестируем производительность с

помощью Selenium


Предисловие

Или гоните в шею этого “шарлатана”


Предисловие

“Один за всех и все на одного!”


Где еще…

Тестирование внешнего вида; Тестирование защищенности; Тестирование desktop приложений; Тестирование мобильных приложений; Мало?


Зачем все это надо

Есть же: Jmeter, Tsung, Locustio, Siege, YandexТанк…. Но хитрые требования: Время отклика экранной формы

Наличие автоматизированных функциональных тестов; Большое количество “guides, manuals, tutirials”… Обширное сообщество.


Зачем все это надо

Соблазн велик; Особенно при небольшой нагрузке. Менеджмент напирает?


“Автостопом по галактике”

“Я трачу на тебя время только по одной причине – мне его девать некуда”


Давайте разделять

Клиентская производительность; Серверная производительность;


Клиентская производительность


В лоб

Logs; Отчеты; e. g. Allure …


Logs and reports

Всегда доступно; Просто; Сложно агрегировать; Сложно трактовать результаты; Анти-паттерн.


По хитрее

Browser mob proxy


Browser mob proxy

Проблема с версиями; Что будет с Selenium 3; Совместимость?


По хитрее и не бесплатно

HttpWatch


HttpWatch

C# Ruby Javascript Internet Explorer and Mozilla Firefox HttpWatch Studio HAR


По хитрее и не бесплатно

DynaTrace


DynaTrace

dynaTrace AJAX Edition; Internet Explorer and Mozilla Firefox;


Вкратце

Больше деталей – меньше надежность; Сложность с CI и отчетами; Совместимость? Безопасность?


True way

Navigation timing API; https://www.w3.org/TR/navigation-timing/ IE, Firefox, Google Chrome, web-kit браузеры

https://www.w3.org/TR/navigation-timing/


Navigation timing API


Пример driver.get(SOME_URL);

JavascriptExecutor js = (JavascriptExecutor) driver;

// Получаем время Load Event End (окончание загрузки страницы)

long loadEventEnd = (Long) js.executeScript("return window.performance.timing.loadEventEnd;");

// Получаем Navigation Event Start (начало перехода)

long navigationStart = (Long) js.executeScript("return window.performance.timing.navigationStart;");

// Разница между Load Event End и Navigation Event Start - это время загрузки страницы

System.out.println("Page Load Time is " + (loadEventEnd - navigationStart)/1000 + " seconds.");


Navigation timing API

В формате UTC; Совесть? Стандарт?


Предварительные выводы

C клиентской производительностью все хорошо; По крайней мере неплохо; Есть из чего выбирать; Это неудивительно; Но будьте осторожны…


Серверная производительность



“Логика – замечательная вещь, но, как показал процесс эволюции, и у нее есть свои слабые места”


Очевидно

Selenium Grid; Многопоточность;


Selenium Grid

Hub не балансировщик; Многопоточность в тестах? Отчётность?


Хитро

Jmeter plugins Есть нюансы: httpclient-4.2.6.jar httpcore-4.2.5.jar httpmime-4.2.6.jar



“Он привык не замечать, что происходит вокруг, так ему было даже уютнее”


Еще хитрее

Можно так же замерять время загрузки; Groovy, JavaScript, Bean Shell… Все смешалось в доме Облонских…


Дорого

BlazeMeter; JavaScript или .jmx; Альтернативный рекордер для Jmeter; Настоящий браузер; Наглядно и быстро; Настоящие браузеры.


Пример

var pkg = JavaImporter(org.openqa.selenium);

var support_ui = JavaImporter(org.openqa.selenium.support.ui.WebDriverWait);

var wait = new support_ui.WebDriverWait(WDS.browser, 5000);

WDS.sampleResult.sampleStart();

WDS.browser.manage().window().maximize();

WDS.browser.get("http://localhost");

var searchField = WDS.browser.findElement(pkg.By.id("some_element_id"));

searchField.click();WDS.log.info(WDS.name, "has logged an entry");

WDS.sampleResult.sampleEnd();


Blazemeter

Blazemeter Loadosophia; Облачные сервисы…. Мульти-тесты; Географические генераторы.


True way

Blazemeter Taurus Только GET запросы В сценарном режиме Но зато никто не придерется


Taurus

browser: Firefox # available browsers are: ["Firefox", "Chrome", "Ie", "Opera"]

timeout: 10 # global scenario timeout for connecting, receiving results, 30 seconds by default

think-time: 1s500ms # global scenario delay between each request

requests:

- url: http://demo.blazemeter.com/ # url to open, only get method is supported

assert:

- contains:

- blazemeter # list of search patterns

- Trusted


Blazemeter Taurus

Python and Java; Nose and Junit; Только итерациями; Настоящая консоль.


Еще выводы

С серверной производительностью все похуже Можно, но тяжело и дорого



“Можешь не волноваться. Все выходит из - под контроля самым лучшим образом”


Заключение


Давайте жить дружно

Пусть каждый инструмент делает то, что умеет; А мы будем комбинировать; Не поддавайтесь соблазну.



“Я предпочитаю быть счастливым,чем делать все как надо”


Thank you


Questions?

Тестируем производительность с помощью selenium

Education