Машинное обучение в гидрологии (Г.В. Айзель)

Георгий Айзель, к.т.н., м.н.с.

Машинное обучение в гидрологии

На самом деле нет!

1 АПРЕЛЯ -

Международный день вомбатов и котиков

(или День Дурака)

Поисковый запрос:

“вомбат... котяня”

Без машинного обучения мы бы никогда не нашли такую картинку

ВомбатиПутин

Котяняи

Путин

Машинное обучение в гидрологии

WTF?

Разумные компьютеры-убийцы

Технологии: нейронные сети, связь с внешним источником супер-интеллекта skynet, зрение, распознавание звуков, могут стрелять/резать и т.д.Цель: истребление человечестваГод: до 2029 (на самом деле нет)

Технологии: нейронные сети (convolutional, deep learning)Цель: распознавание образов объектов, ориентирование на местностиГод: 2013

Яндекс.Диктовка

Технологии: разнообразие методов машинного обучения

Цель: быстрая коммуникация компьютер - человек

Год: 2014

Стадии развития методов машинного обучения (Vapnik, 1995):

● первые алгоритмы машинного обучения

● основы теории

● нейронные сети

● альтернативы нейронным сетям

Идея машинного обучения

Обучающаяся программа

Примеры данных с закономерностями

Модель закономерности

Поиск закономерностей в

новых данных

?

признаковое описание

Об

учаю

щая

вы

бо

рка

Пр

ове

ро

чная

вы

бо

рка

Матрица объект-признак (X) Целевой вектор (y)

Цикл решения задачи

Предобработка данных

Выбор метода и параметров

Обучение

Оценка качества

Окончательная методика

X1

y WTF?

X1

y

Простейшая задача машинного обучения - Линейная регрессия

?

WTF?

X1

X2

Простейшая задача машинного обучения - Логистическая регрессия

X1

X2

?? ?

МАТАН - ДОБРО

Нейронные сети

Нейронные сети

● Могут подстроиться под любые данные

● Ассоциативная память

● Любят переобучаться (т.к. очень много параметров)

● На самом деле нет ничего общего с мозгом человека :)

● Огромное количество преимуществ и недостатков

● Made in

Обучение нейронных сетей

Самый простой (но долгий) - алгоритм обратного распространения ошибки

● сходимость процесса

обучения

● выпуклость

● общие функциональные

пространства и сжимающие

отображения

How to train your dragon ANN?

Кричите на неё!

МАТАН - ДОБРО

Пример использования искусственных

нейронных сетей в решении

гидрологической задачи

Гидрологическое моделирование

Физически обоснованная модель взаимодействия

поверхности суши с атмосферой (SWAP)

Параметры

Осадки, температура

Параметры подстилающей

поверхности

Тепловая энергия

...

Рассчитанный речной сток

Измеренный речной сток

Калибровка параметров

ДанныеКалибровка параметров

моделиДанные по стоку

Расчет речного стока

Данные

???

???

Расчет речного стока

Здоровый человек

Курильщик

WTF?

Выход есть !

323 MOPEX-водосбора

210 водосборов на которых будет происходить обучение ИНС

113 «неизученных» водосборов для проверки эффективности разрабатываемой методики

?

признаковое описание

Об

учаю

щая

вы

бо

рка

Пр

ове

ро

чная

вы

бо

рка

Матрица объект-признак (X) Целевая матрица (Y)

17 характеристик природных условий (GSWP – 2, MOPEX)

11 параметров модели SWAP

Неизученные водосборы

Архитектуры ИНС

Многослойный персептрон Радиальная базисная функция

Алгоритмы обучения ИНС

● Обратного распространения ошибки

● Левенберга-Марквардта

● Сопряженных градиентов

Результаты

Медианные оценки:

Eff = 0.484|Bias| = 13.7%

Краткая характеристика результатов

Альтернативы нейронным сетям

● SVM (Support Vector Machines)

● GEP (Gene Expression Programming)

● Boosting (combine ‘em all, weak decision trees, Yandex Matrix Net)

2010 2011 2012 2013 2014 2015

Это стильно, модно, молодежно?

Самые распространенные проблемы

● Размытая постановка задачи

● Большое количество степеней свободы

● Большое количество разных источников данных

● Качество данных и пропуски в них

● «Сырое» ПО для работы с данными

● Неудобство работы с большими данными

● Наличие обучающей выборки

@akrot (habr)

С чего начать?

● Linux-way

● Python с библиотекой SciKit (или R, Matlab/Octave)

● Coursera (Machine Learning от Andrew Ng)

● Kaggle competition (kaggle.com)

● Yandex events (tech.yandex.ru, events.yandex.ru)

● Habrahabr.ru

Александр Фонарев

Максим Мусин tech.yandex.ru

Andrew Ng

Александр Крот (@akrot)

Спасибо!

hydrogo@yandex.ru