how to analyze non-functional test results: churosaurus and cholera

Анализ Результатов Нагрузочного Тестирования: Чурозавр и Холера

Своровано у John RauserVelocity 2011 и 2012 Web Performance & Operations ConferenceИспользованы результаты обработки данных ЦИК РФ несколькими авторамиИосиф Иткин, Exactpro Systems

Своровано у John Rauser

Виды обработки данных

• Агрегация

• Распределение

• Детали

Население Лондона

http://geopub.narod.ru/student/agapova/1/4.htm

Холера

Andrea Resmini, 5th Italian IA Summit, Milano 2011The Broad Street Pump Or Where The Frenzy of Orlando Met Pulp Fiction

John Snow / Ваня Снежок

15 March 1813 – 16 June 1858

Один из основателей

эпидемиологии

Агрегация

Вывод

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи

Примеры

Работа Ивана Снежного была принята со скепсисом в 1849 году

Корреляция не является доказательством причинно следственной связи:

Корреляция между результатом ЕР и наличием КОИБ-ов

Корреляция между результатом ЕР и явкой

Корреляция между результатом ЕР и присутствие наблюдателей на участке

Что это за цифры?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

Что это означает?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

10.6% vs. 19.0%

Какие Вам еще нужны доказательства?

Корреляция?

58 из 180 = 32%

11 из 24 = 46%

10.6% vs. 19.0%

Красивых – 100%

Рекомендация для Ивана

London Medical Gazette, 1849

«The experimentum crucis would be, that the water

conveyed to a distant locality produced the disease in

all who used it, while those who did not use it,

escaped»

Correlation is not causation

Эпидемия Холеры 1854 в Сохо

Pump handle removed

The majority of the deaths occurred during this period

Распределение

Распределение

Распределение

Кто такие Бины?

Кто такие Бины?

Кто такие Бины?

Гаусс?

Не совсем. А почему?

Что такое медиана?

Распределение по бинам

http://www.pnas.org/content/early/2012/12/19/1206770110.full.pdf

Turquoise MTF – Latency

Latency Distribution Average and Consistency

Metric uS

Average 100% 108

Average 99.9% 103

Max 99.9% 381

Max 99 191

Phil Penhaligan, EXTENT Trading Technology Trends & Quality Assurance 2012, Kostroma, Romanov Leshttp://extentconf.com

И снова Холера

И снова Холера

Pump handle removed

WorkhouseWorkhouse535 people 535 people Private borePrivate bore

BreweryBrewery70+ 70+

people people Private Private

boreboreFree beerFree beer

Street pattern an obstacle

People People evacuatedevacuated

earlyearly

Bad Bad waterwater

BROAD ST BROAD ST PUMPPUMP

А при чем тут HФТ?

Самый быстрый и самый медленный сайты

Самый быстрый и самый медленный сайты

Система под нагрузкой

Выборы, выборы…

Наш друг Чурозавр

http://oude-rus.livejournal.com/542295.html

Лекцию обещали про Менеджмент…

Always Look for the Outliers

А теперь с другой стороны шкалы

А теперь с другой стороны шкалы

Вывод: детально изучая отстоящие случаи можно легко

понять означает ли корреляция причинно

следственную связь или нет

Disclaimer: Exactpro Systems and group companies, including Innovative Trading

Systems and ITS-EXPERT are Equal Opportunity Employers

Спасибо