Потоковые алгоритмы в задачах обработки больших...

1

Потоковые алгоритмы

в задачах обработки

больших данных

Виктор Евстратов,

data scientist Segmento

3

RTB

• Ход аукциона

• Терминология

4

Нагрузка и железо

• 30k RPS (2.5 млрд запросов в день)

• > 250 млн профилей

• > 1 млн сайтов

• Несколько десятков серверов

• Hadoop-кластер

5

Что хотят заказчики

• Показы

• Посещения сайтов

• Хорошие поведенческие характеристики—

большое количество посещённых страниц,

долгие сессии, ...

• Конверсии — покупки, заполнения формы

обратной связи, тест-драйвы,…

6

Данные

• Базовая доступная информация: OS, браузер, ...

• Прочая информация

Всё, что научимся добывать сами

… или найдем, где купить

7

Потокововые алгоритмы — что?

Позволяют что-то посчитать

в условиях ограниченной памяти <<

объёма обрабатываемых данных

8

Потокововые алгоритмы — зачем?

Хотим отслеживать показатели

здоровья системы:

качество прогнозов

характеристики пользовательского трафика

… и другие

9

Потокововые алгоритмы — зачем?

Хотим отслеживать показатели

здоровья системы:

качество прогнозов

характеристики

пользовательского трафика

… и другие

Хотим прямо сейчас

10

Что будем оценивать?

Медианы и распределения

характеристик трафика

12

Распределение

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

150 155 160 165 165 175 180 185

(На самом деле плотность)

190

13

Среднее против медианы

Это среднее

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

150 155 160 165 170 175 180 185 190

14


А это — медиана

0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

150 155 160 165 170 175 180

Какая разница?!

185 190

15


Time Bandits (1981, Monty Python)

16


0.00

0.02

0.04

0.06

0.08

0.10

0.12

0.14

130 140 150 160 170 180 190

17

Мотивирующий пример —

интересы трафика

• Умеем определять интересы пользователей

• Хотим составить портрет ЦА

18

Мотивирующий пример —

интересы трафика

19

Мотивирующий пример —интересы трафика

20

Интересы

«Спортивные автомобили»: очень интересно

«Бары и рестораны»: интересно

«Детская одежда»: неинтересно

Пётр

21

Интересы

«Спортивные автомобили»: очень интересно, неинтересно

«Бары и рестораны»: интересно, интересно

«Детская одежда»: неинтересно, очень интересно

Василий

22

Интересы

«Спортивные автомобили»: очень интересно, неинтересно

«Бары и рестораны»: интересно, интересно

«Детская одежда»: неинтересно, очень интересно

1.0

0.7

0.0

0.0

0.7

0.9

23

Интересы трафика

• Удобно рассматривать распределение

• Должно выглядеть примерно так

Бары и рестораны

Неинтересно Интересно

24


Весь траффик

Бары и рестораныТовары для детей Спортивные авто

25


Оставим только хороший траффик —

пользователей, совершивших покупки

26


«Хороший» траффик

Бары и рестораныТовары для детей Спортивные авто

27

Что можно получить?

Эффективный тул для визуализации, сравнения,

и анализа предпочтений ЦА

28

Что ещё можно сделать?

• Автоматически подключать/отключать сегменты

• Исследовать трафик с различных площадок

• ...

29

Алгоритмы

оценки распределения

• С помощью сортировки

• Munro-Paterson

• Khanna-Greenwald

30

Сортировка

Все умеют

Работает точно

Затратна по памяти

+

-

31

Алгоритм

Манро-Патерсона

33

Алгоритм


Требует больше одного прохода

Требует знаний о размере выборки

За разрешённое количество

проходов даёт точное решение

+

-

34

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2

5 ячеек памяти

0 0

35

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


0 01

36

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


0 01 3

37

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


0 01 2 3

38

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


1 02 2 3

+1

39

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


1 12 2 3

+1

40

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


2 12 2 3

+1

41

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


2 31 2 2

+1

42

Алгоритм


1, 2, 3, 2, 3, 1, 1, 2, 2


2 31 2 2

+1

43

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


3 32 2 2

+1

44

Алгоритм


1, 3, 2, 2, 3, 1, 1, 2, 2


3 32 2 2

46

Алгоритм

Канна-Гринвальда

48

Алгоритм


• Использует более сложную структуру

данных, хранящую их в

агрегированной форме

• Отфильтровывает значения,

поддерживая заданную точность

49

Алгоритм


Неточный, но даёт ответ с заданной погрешностью

Работает за 1 проход

+

-

50

Статьи

Selection and sorting with limited storage, Манро Дж., Патерсон М. (1980) —

://polylogblog.files.wordpress.com/2009/08/80munro-median.pdf

Space-Efficient Online Computation of Quantile Summaries, Канна С.,

Гринвальд М. (2001)

http://infolab.stanford.edu/~datar/courses/cs361a/papers/quantiles.pdf

https://polylogblog.files.wordpress.com/2009/08/80munro-median.pdf


51

Реализация и железо

Python, Hadoop

HBase, Kafka, Spark



52

Спасибо !

Потоковые алгоритмы в задачах обработки больших...

Engineering