РИФ 2016, Все еще не верите в машинное обучение? Тогда мы...

Все еще не верите в машинное обучение?Тогда мы идем к Вам!

Рамблер / Модель

Что такое машинное обучение?

Отдел машинного обучения AdTech 1/36

+ Область знаний молодая, но уже оченьсильно развитая

+ Существуют state-of-the-art алгоритмы

+ Разработаны качественные библиотеки

+ Выработаны best practices

Отдел машинного обучения AdTech 2/36

Но... есть проблема

Отдел машинного обучения AdTech 3/36

Отдел машинного обучения AdTech 4/36

Big Data is a mindset

За словосочетанием Big Data скрывается:

+ хранение всех возможных данных вмаксимально сыром виде

+ извлечение знаний из этих данных помере возникновения вопросов

Отдел машинного обучения AdTech 5/36

No ML, no Big Data

CRIM ZN INDUS CHAS NOX RM AGE

0 0.00632 18.0 2.31 0.0 0.538 6.575 65.21 0.02731 0.0 7.07 0.0 0.469 6.421 78.92 0.02729 0.0 7.07 0.0 0.469 7.185 61.13 0.03237 0.0 2.18 0.0 0.458 6.998 45.84 0.06905 0.0 2.18 0.0 0.458 7.147 54.25 0.02985 0.0 2.18 0.0 0.458 6.430 58.76 0.08829 12.5 7.87 0.0 0.524 6.012 66.67 0.14455 12.5 7.87 0.0 0.524 6.172 96.18 0.21124 12.5 7.87 0.0 0.524 5.631 100.09 0.17004 12.5 7.87 0.0 0.524 6.004 85.9

Отдел машинного обучения AdTech 6/36

No ML, no Big Data. Одиночные признаки

x

0 -0.51 3.72 -1.83 1.54 -1.65 2.46 1.47 5.28 2.39 1.7

Отдел машинного обучения AdTech 7/36

No ML, no Big Data. Одиночные признаки

Отдел машинного обучения AdTech 8/36

No ML, no Big Data. Попарные взаимодействия

x x*x

0 -0.5 0.251 3.7 13.692 -1.8 3.243 1.5 2.254 -1.6 2.565 2.4 5.766 1.4 1.967 5.2 27.048 2.3 5.299 1.7 2.89

Отдел машинного обучения AdTech 9/36

No ML, no Big Data. Попарные взаимодействия

Отдел машинного обучения AdTech 10/36

No ML, no Big Data. Взаимодействия троек

x x*x x*x*x

0 -0.5 0.25 -0.1251 3.7 13.69 50.6532 -1.8 3.24 -5.8323 1.5 2.25 3.3754 -1.6 2.56 -4.0965 2.4 5.76 13.8246 1.4 1.96 2.7447 5.2 27.04 140.6088 2.3 5.29 12.1679 1.7 2.89 4.913

Отдел машинного обучения AdTech 11/36

No ML, no Big Data. Взаимодействия троек

Отдел машинного обучения AdTech 12/36

А теперь представьте, что будет...

0 1 2 3 4 … 100000

0 0 0 1 0 0 … 01 0 0 0 0 0 … 02 0 0 0 0 0 … 13 0 0 0 0 0 … 04 0 0 0 0 0 … 05 0 0 0 0 0 … 06 0 0 0 0 0 … 07 0 0 0 0 0 … 0… … … … … … … …1000000 0 0 0 0 1 … 0

Отдел машинного обучения AdTech 13/36

Что мы делаем?

+ Предикт базового соц-дема (пол, возраст,доход)

+ Построение аудиторных сегментов+ Построение lookalike-аудиторий+ Товарные рекомендации на Price.ru+ Медийные рекомендации+ И кое-что еще...

Отдел машинного обучения AdTech 14/36

Как мы это делаем?

+ Hadoop+ Spark+ Hive+ Tez

+ h2o.ai+ XGboost+ Vowpal Wabbit+ ElasticSearch

Отдел машинного обучения AdTech 15/36

Все занимаются Big Data,но есть пара деталей...

Отдел машинного обучения AdTech 16/36

Отдел машинного обучения AdTech 17/36

Алгоритмы машинного обучения работаютна основе некоторых базовыхпредположений о данных

Отдел машинного обучения AdTech 18/36

Отдел машинного обучения AdTech 19/36

Отдел машинного обучения AdTech 20/36

Мы инвестируем и стараемся нанимать лучших

Отдел машинного обучения AdTech 21/36

А теперь к делу!

Отдел машинного обучения AdTech 22/36

Отдел машинного обучения AdTech 23/36

Отдел машинного обучения AdTech 24/36

Отдел машинного обучения AdTech 25/36

Отдел машинного обучения AdTech 26/36

Отдел машинного обучения AdTech 27/36

Отдел машинного обучения AdTech 28/36

Отдел машинного обучения AdTech 29/36

Отдел машинного обучения AdTech 30/36

Отдел машинного обучения AdTech 31/36

Отдел машинного обучения AdTech 32/36

Отдел машинного обучения AdTech 33/36

Отдел машинного обучения AdTech 34/36

Отдел машинного обучения AdTech 35/36

Все еще не верите? Попробуйте сами!

http://model.rambler.ru

Отдел машинного обучения AdTech 36/36