Подход к решению data mining задач

Решении DM/ML задач

ЗадачаНам дали данные.

Нам поставили задачу.

Мы знаем какой должен быть результат.

ДанныеРезультат

Случайный лесСлучайный лес DM Labs2 Задача





Давайте решим влоб!

RF/SVM, вдруг сработает


Что произошло?

Мы что-то где-то упустили.


Случайный лесСлучайный лес DM Labs5 Что пошло не так?

Что произошло?

Мы поставили гипотезу: применим RF влоб, вдруг сработает.


Случайный лесСлучайный лес DM Labs6 Что пошло не так?

Модель.

Что если мы ошиблись с RF/SVM?

Тоесть, все заработало, но результат был плох?

ДанныеРезультатМодель

Случайный лесСлучайный лес DM Labs7 Модели

Модель.

Что если мы ошиблись с RF/SVM?

Мы же не накосячили с тренировочным, валидационным и тестовым множествами, а также CV?


Случайный лесСлучайный лес DM Labs8 Модели. Обучающие множества

Модель.


Есть:•Обученная модель•Результат ее работы на валидационном(тестовом) множестве (ошибка)

Случайный лесСлучайный лес DM Labs9 Что мы хотим от моделей?

Модель.


Есть:•Обученная модель•Результат ее работы на валидационном(тестовом) множестве (ошибка)

Хотим:•Улучшить (обобщающую) точность

Случайный лесСлучайный лес DM Labs10 Что мы хотим от моделей?

Модель.


Хотим:•Улучшить (обобщающую) точность

Случайный лесСлучайный лес DM Labs11 Что мы можем сделать с моделями?

Модель.


МодельСложность*

РегуляризацияГиперпараметры

Выбор гиперпараметров тратит много машинного времени.

• GBM: #base-learners, lambda, RI, *prune, Loss, • SVM: kernel, width, cost, nu-SVM, ...• GLMnet: a.ridge, AIC, response family• RF: … ?• Neural Net: … ?

Случайный лесСлучайный лес DM Labs12 Что мы можем сделать с моделями?

Модель.




Где мы еще могли накосячить?

Случайный лесСлучайный лес DM Labs13 Что еще могло пойти не так?

Модель.




Где мы еще могли накосячить?

Big Data

Machine Learning


Модель.


Оно вообще не посчиталось.

Иногда – феерично.

Big Data

Machine Learning


Обработка данных.

Тесно связана с моделью.



Регуляризация

Гиперпараметры

Обработкаданных

Случайный лесСлучайный лес DM Labs16 Обработка данных







Хотим:•Заставить что-то работать •Уменьшить количество переменных\данных•Увеличить скорость вычисления\обучения (!=)

Случайный лесСлучайный лес DM Labs17 Обработка данных







Хотим:•Заставить что-то работать •Уменьшить количество переменных\данных•Увеличить скорость вычисления\обучения (!=)

Случайный лесСлучайный лес DM Labs18 Возможности обработки данных


В подвыборки можно вкладывать смысл:5% юзеров, записей, уникальных юзеров, последних записей...

Feature learning – основа deep learning. Unsupervised, обычно отдельно:http://web.eecs.umich.edu/~honglak/nipsdlufl10-AnalysisSingleLayerUnsupervisedFeatureLearning.pdf





ОбработкаВыбросы

Подвыборка

Feature Learning

Случайный лесСлучайный лес DM Labs19 Обработка данных. Feature Learning

http://web.eecs.umich.edu/~honglak/nipsdlufl10-AnalysisSingleLayerUnsupervisedFeatureLearning.pdf


Что-то еще?







Feature Learning



Что если все еще не взлетает.







Feature Learning


Гипотеза о задаче.

Самое сложное.

Понять что вообще происходит. Неправильные фичи могут ни к чему не привести.


Модель

Сложность*



Обработка

Выбросы


Feature Learning

Гипотезы о задаче

Feature engineering

Случайный лесСлучайный лес DM Labs22 «Спросить у эксперта»



Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

Есть:•Мы перепробовали кучу моделей и кучу гипотез.

Случайный лесСлучайный лес DM Labs23 Гипотезы о задаче



Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

Пример:

•Изображения: сверточные признаки, Haar-признаки

•Временные ряды: fft разложения, моменты с лагом, MA

•Пользователи: признаки из графа(betweenness, degree, centrality, page rank), гео-специфика

•...

Случайный лесСлучайный лес DM Labs24 Гипотезы о задаче

Kaggle.

Как организовать команду?


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

Случайный лесСлучайный лес DM Labs25 Kaggle

Kaggle.

Как организовать команду?


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

Случайный лесСлучайный лес DM Labs26 Kaggle

Kaggle.

Техник: 1, 5данные должны быть всегда доступны, сабмит всегда делался

Шпион: 2, 3, идеи про 4изучает литературу, статьи, форумы. Генерирует идеи

Спецназ: 3, 4заняты основной работой, не парятся об 1, 2, 5 !!!

Капитан: 1, 2, 3, 4, 5координирует работу всех участников, следит за всем сразу


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

1 2 3 4 5Случайный лесСлучайный лес DM Labs27 Kaggle

Kaggle.

Техник: 1, 5 …

Шпион: 2, 3, идеи про 4 …

Спецназ: 3, 4 …

Капитан: 1, 2, 3, 4, 5 …


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

1 2 3 4 5Случайный лесСлучайный лес DM Labs28 Kaggle

Как вообще решаются задачи.

Где здесь результаты сообществ?

• Machine Learning

• Data Mining

• Специфичных областей (видео, биология, поиск, ... )


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

DM Labs29 Как вообще решают задачи?

Как вообще решаются задачи.

Где здесь результаты сообществ?

• Machine Learning

• Data Mining

• Специфичных областей (видео, биология, поиск, ... )


Модель

Сложность*



Обработка

Выбросы


Feature Learning


Feature engineering

MLDomain

Data Miner’ами себя зовут вообще все. Даже те кто выложил данные...

DM Labs30 Как вообще решают задачи?

Summary• ...

DM Labs31 Summary

Прочие штуки.Стэкинг моделей:Если вы вдруг сделали вообще все, можно похимичить

Модель1

Модель 2

Усреднение

Model 1Level 1

Model KLevel 1…

Модель K

Стэкинг, линейные модели

CPD-сшивание

Усреднение

Model 1Level 1

Model KLevel 1…

Стэкинг, линейные модели

CPD-сшивание

Уровень 0 Уровень1 Уровень 2

DM Labs32 Прочие штуки

Подход к решению data mining задач

Technology

feature learningdm labs

dm labs

rf svm

cpd

svm