codefest 2010. Кузьмичев А. — Быстрее быстрого: о требованиях...

CodeFest 2010, Новосибирск,23 сентября 2010 года

Руководитель группы нагрузочного тестированияАндрей Кузьмичев

Быстрее быстрого: о требованиях к производительности

среда, 22 сентября 2010 г.

http://root.yandex.ru/ *


http://root.yandex.ru


* на правах рекламы :)

http://root.yandex.ru/ *




Что делать?


Мы сегодня не про это :)


Бесчеловечные эксперименты


Замедление поисковой выдачи на различных этапах


+100мс = отклонения в пределах шума




+500мс = -1,0% кликов, +1200мс до первого клика



-0.22%

-0.44%

-0.36%

-0.74%


- Сильное отрицательное воздействие


- Сильное отрицательное воздействие- Приблизительно линейное изменение показателей с ростом задерки


- Сильное отрицательное воздействие- Приблизительно линейное изменение показателей с ростом задерки- Время до первого клика растет почти вдвое быстрее задержки


Чего сегодня не будет?


- как правильно формулировать требования к производительности



- как правильно формулировать требования к производительности- не будет большей части требований к производительности



- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование



- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование- как сделать так, чтобы все работало быстро



- как правильно формулировать требования к производительности- не будет большей части требований к производительности- как и чем проводить нагрузочное тестирование- как сделать так, чтобы все работало быстро- сколько нужно программистов, чтобы вкрутить LAMP



План


План1. Восприятие времени


План1. Восприятие времени2. Что происходит в вебе


План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?


План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?


План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!


План1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!6. Profit!


1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!


Время


Время: восприятие


Время: восприятие100 - 200 мс мгновенная реакция

500 - 1000 мс незамедлительная реакция

2 - 5 секунд непрерывающаяся реакция

7 - 10 секунд вынуждающая реакция


Время: восприятие100 - 200 мс мгновенная реакция

500 - 1000 мс незамедлительная реакция

2 - 5 секунд непрерывающаяся реакция

7 - 10 секунд вынуждающая реакция

* XX век


XXI век



XXI век

5... Ну максимум 7 секунд!



XXI век

5... Ну максимум 7 секунд!

Дальше - быстрее!!!



Время: закон Вербера-Фехнера



а



аб



аб

а



аб

а б



аб

а б

Концепция о наименьшем заметном различии - jnd (Just Noticeable Difference)



аб

а б

Отношение Вербера для длительностей до 30 секунд - в диапазоне от 7 до 18%

Концепция о наименьшем заметном различии - jnd (Just Noticeable Difference)


20 сБыстрее Медленнее



20 сБыстрее Медленнее16 с

-20%




-20%

24 с

+20%



Правило 20% дает нижнюю и верхнюю границы заметности изменения


-20%

24 с

+20%



Время: критерий «ненамного»


Исследования чувственного оценивания



Исследования чувственного оценивания


Среднее между двумя длительностями совпадает со средним геометрическим


Выше порога среднего геометрического вероятность ассоциирования значения с большим числом увеличивается.



Выше порога среднего геометрического вероятность ассоциирования значения с большим числом увеличивается.


Нейтрализация дифференциации


Время: пример


Конкурент - 30 секунд



Конкурент - 30 секунд

60 секунд медленно

< 36 секунд неразличимо

< 42 секунд незначительно медленнее

< 24 секунд быстрее



Profit!


Profit!- Возможность незаметной деградации


Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации


Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации- Определение целевой производительности


Profit!- Возможность незаметной деградации- Целесообразность проводимой оптимизации- Определение целевой производительности- Сглаживание отставания от конкурента


Чего такой серьезный?


1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!


Поговорим о вебе


Время ответа



Запрос DNS



Запрос DNS

Установка TCP соединения



Запрос DNS


Генерация запроса от клиента



Запрос DNS



Передача запроса от клиента серверу



Запрос DNS




Генерация ответа сервером



Запрос DNS





Передача ответа от сервера клиенту



Запрос DNS





Передача ответа от сервера клиенту

Рендеринг страницы браузером



Мы сегодня не про это :)



А вот на этом немного остановимся ;)



В проектах со сложной версткой 60% времени легко приходится на отрисовку


Сделали загрузку скриптов асинхронной и перенесли ее в конец body


Субъективные ощущения



Субъективные ощущения

Сравните!



Рендеринг страницы браузером:пример оптимизации


1. Восприятие времени2. Что происходит в вебе3. Секунда - это много?4. Сколько рпсов?5. Приборы? 42!6. Profit!


3 это куча? 3 - это мало. А 7? 7 - это куча!Мало - это когда съел и еще хочется, а много - это когда уже больше не хочется


Так какое время ответа приемлемо?



Это очень сильно зависит от сервиса



В общем случае, если вы отвечаете дольше 300мс, то вы никому не нужны*

* скорее всего это выльется в 1 секунду на клиенте



Мы не должны тормозить



Мы не должны тормозить

Плохое требование



Мы должны отвечать не медленнее 300мс



Мы должны отвечать не медленнее 300мс

Плохое требование


Длинный хвост



95% < 300мс



95% < 300мс99% < 500мс



95% < 300мс99% < 500мс

Ок



95% < 300мс99% < 500мс

Ок

Но все зависит от сервиса!



И не забывайте о 20% различимости и нейтрализации различия



Да, и не забудьте поисследовать как быстро отвечают конкуренты ;)


Со временем немного разобрались


Этого не достаточно


В чем будем измерять?


В чем будем измерять?

RPS - requests per second


Какую нагрузку мы должны выдерживать?


Очень сложный вопрос


Как живет интернет


36,6°


Погода - вполне типичный сервис


Пробки - суточные особенности


21 февраля, 22:45. Биатлон.Масс-старт. 15 км. Мужчины.


21 февраля, 22:45. Биатлон.Масс-старт. 15 км. Мужчины.

22 февраля, 01:00. Биатлон.Масс-старт. 12,5 км. Женщины.


Олимпиада - типичный событийный проектсреда, 22 сентября 2010 г.

13/08

/08

15/08

/08

17/08

/08

19/08

/08

21/08

/08

23/08

/08

25/08

/08

/calendar/country/medals/photos/sport


13/08

/08

15/08

/08

17/08

/08

19/08

/08

21/08

/08

23/08

/08

25/08

/08

Выходные

/calendar/country/medals/photos/sport


13/08

/08

15/08

/08

17/08

/08

19/08

/08

21/08

/08

23/08

/08

25/08

/08

Выходные

Олимпиада кончилась/calendar/country/medals/photos/sport


29 марта 2010 годаВзрывы в московском метро


29 марта 2010 годаВзрывы в московском метро

Первый взрыв: 7:57Рост нагрузки: 8:10


Так и сколько должен держать мой сервис?

Думайте как ваш массовый пользователь


И сколько в итоге должен держать мой сервис?

Ищите суточные, недельные, сезонные колебания



Ищите суточные, недельные, сезонные колебания

Погода тоже очень сильно влияет на трафик, ага.


Событийный сервис? Готовьтесь к очень резким

скачкам трафика!



Событийный сервис? Готовьтесь к очень резким

скачкам трафика!

Можно сделать сильно упрощенную версию сайта и переключатся на нее в критические моменты. Так,

например, делает Газета.Ру



Если есть возможность - сделайте закрытое тестирование!



Если есть возможность - сделайте закрытое тестирование!

А в логах смотрите не только на работу системы, но и на профили нагрузки - там оооочень много интересного.



0

2 500 000

5 000 000

7 500 000

10 000 000

12 500 000

15 000 000

Май 2008 Окт 2008 Мар 2009 Авг 2009 Янв 2010 Июн 2010

А интернет-то растет!Аудитория портала Яндекс (по данным TNS)


Мониторинг



- Измеряйте все что можете



- Измеряйте все что можете- Возьмите разные счетчики



- Измеряйте все что можете- Возьмите разные счетчики- Смотрите в логи


У нас вот так :)


Что в итоге


Что в итогеПодумайте про время ответа сервиса



Не забудьте про длинный хвост




Прикиньте максимальную нагрузку





Максимально открытая закрытая бета





Максимально открытая закрытая бета

Нагрузочное тестирование


Вопросы?среда, 22 сентября 2010 г.

Немного цифр


Немного цифр- 7 датa-центров;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;~ 200 изменений программ;


Немного цифр- 7 датa-центров;- Несколько тысяч серверов;~ 20 миллионов уникальных пользователей;~1000 запросов к поиску в секунду;~ 50 миллионов писем;~ 200 изменений программ;- Больше 100 системных администраторов; сетевых инженеров, инженеров ДЦ и других ребят;


Компутеры


Компутеры

2x Intel PIII;128/256/512 MB RAM;SCSI 18/36 GB;100Mb Ethernet


Компутеры


13 лет


2 x Intel 53xx/54xx/55xx/56xx;16/32/48/96/128 GB RAM;

SAS 72–146Gb;SATA 120Gb – 2Tb;

15/16 SAS/SATA direct attached storage;1Gbit Ethernet.

Компутеры


13 лет


Датацентры


Датацентры- До 7 000 серверов;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;- Помещения для персонала;


Датацентры- До 7 000 серверов;- Подведенная мощность – 2-4 МВт;- Системы охлаждения - 18-22 градуса; - Источники бесперебойного питания;- Дизельные генераторы;- СКС и оптические каналы;- Склады;- Помещения для персонала;- Охрана, пропускная система.


Датацентры


Вопросы?среда, 22 сентября 2010 г.

Москва, 1 октября

http://company.yandex.ru/public/yac/

Yet another Conference 2010




Москва, 1 октября

http://company.yandex.ru/public/yac/

Yet another Conference 2010

* прямая трансляция конечно же будет




Руководитель группы нагрузочного тестирования

119021, Россия, Москва,ул. Льва Толстого, 16

+7 (495) 739-‐00-‐00+7 (495) 739-‐70-‐70 — факс

baabaka@yandex-‐team.ru

Андрей Кузьмичев


mailto:[email protected]

mailto:[email protected]

codefest 2010. Кузьмичев А. — Быстрее быстрого: о требованиях...

Documents