Погружение в deep learning

Погружение в Deep Learning

образовательные траектории в области глубокого нейросетевого обучения

deephacklab.com | [email protected]

Почему интересен Deep Learning?

Это наукоемкое и интересное направление, которое позволяет создавать невероятные

инновационные системы и решать классические задачи по-новому

Это направление, в котором можно долго развиваться: создавать компании, системы,

заниматься исследованиями

Абитуриенты/Студенты Профессионалы Интересующиеся

Аудитория

Стратегия изученияЗнания и навыки должны быть связаны с

решаемыми задачами или долгосрочными целями

Программист/Data Scientist

Менеджер/Бизнесмен

Исследователь


Почему интересен Deep Learning?


Официальное образованиеВ России (в Москве)

За рубежом

Прикладные программы от профильных компаний:Yandex – Школа Анализа Данных, https://yandexdataschool.ru/aboutMail.ru – Техносфера, https://sphere.mail.ru/pages/index/

Магистерские программыНИУ ВШЭ – Науки о данных - http://www.hse.ru/ma/datasci/МФТИ - Анализ данных («Яндекс») - https://mipt.ru/education/chairs/da/education/masters/

Аспирантура (PhD) – единственная программа, которая прямо говорит о Deep LearningComputer Vision Group at Skolkovo Institute of Science and Technology (Skoltech) -http://sites.skoltech.ru/compvision/

University of Oxford University of TorontoUniversity of Cambridge Université de MontréalStanford University New York UniversityCarnegie Mellon University UC Berkeley

Все ведущие эксперты в DL работают за рубежом. Правильный выбор программы должен идти отинтересующей вас профильной области исследований и выбора руководителя, который работает в даннойобласти (бренд университета вторичен)


Потенциально необходимые части

ТеорияМашинное обучение

https://www.coursera.org/learn/machine-learningНейронные сети

https://www.coursera.org/course/neuralnetsDeep Learning courses

http://eclass.cc/courselists/117_deep_learningМашинное обучение от ШАД Яндекса

https://yandexdataschool.ru/edu-process/courses/machine-learning

Видео от Техносферыhttps://sphere.mail.ru/materials/video/

ЖелезоРуководство по сборке компьютера

для DLhttps://timdettmers.wordpress.com/2015/03/09/deep-learning-hardware-guide/

СофтMicrosoft Azure ML (.NET)

http://azure.microsoft.com/ru-ru/services/machine-learning/R

http://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-

data/learning-path-r-data-science/Python

http://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-

data/learning-path-data-science-python/Deep Learning Libraries by Language

http://www.teglor.com/b/deep-learning-libraries-language-cm569/

Machine and Deep Learning with Pythonhttps://github.com/szwed/awesome-machine-learning-

pythonLinux and BASH

https://www.edx.org/course/introduction-linux-linuxfoundationx-lfs101x-2

http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html

ПрактикаКонкурсы Kaggle

https://www.kaggle.com/Как начать участвовать в Kaggle?

http://www.analyticsvidhya.com/blog/2015/06/start-journey-kaggle/

Прочие соревнованияhttps://herox.com/CognitiveComputi

nghttp://www.kdnuggets.com/competit

ions/http://opendatacontest.ru/

Интересное Вам направлениеРаспознавание образов

Распознавание звукаОбучение с подкреплением и робототехника

Обработка текста (Q&A, NLP и т.п.)и др. или область Вашей деятельности

http://arxiv.org/

Academic writingКак написать отличную исследовательскую статью

http://research.microsoft.com/en-us/um/people/simonpj/papers/giving-a-talk/writing-a-paper-slides.pdf

Writing in the Scienceshttps://www.coursera.org/course/sciwrite

ЯзыкЗнание английского языка и

профессиональной терминологии на уровне, как минимум, достаточном

для чтения и восприятия информации с видео/в разговоре


Источники информации

Подписки новостейDeep Learning News

http://news.startup.ml/Machine Learning Newsletter

http://www.mln.io/MIT Technology Review

(соответствующая тематика)http://www.technologyreview.co

m/Kurzweil AI

http://www.kurzweilai.net/

Социальные сетиМеждународное сообщество

https://plus.google.com/u/0/communities/112866381580457264725

Русскоязычное сообществаhttps://vk.com/deeplearninghttps://vk.com/datascience

https://vk.com/datamininglabsFacebook

https://www.facebook.com/andrew.ng.96https://www.facebook.com/yann.lecun

Twitterhttps://twitter.com/mlnio

https://twitter.com/AndrewYNghttps://twitter.com/ylecun

https://twitter.com/rsalakhuhttps://twitter.com/karpathy

https://twitter.com/stanfordnlphttps://twitter.com/googleresearch

Блогиhttp://ailev.livejournal.com/

http://igorsubbotin.blogspot.ru/

https://timdettmers.wordpress.com/http://colah.github.io/

http://karpathy.github.io/

Книги, статьи, тьюториалыNeural Networks and Deep Learning

http://neuralnetworksanddeeplearning.com/Deep Learning

http://www.iro.umontreal.ca/~bengioy/dlbook/Free Data Science Books

http://www.learndatasci.com/free-books/?mailchimp_signup=1

McKinsey Quarterly - An executive’s guide to machine learning

http://www.mckinsey.com/Insights/High_Tech_Telecoms_Internet/An_executives_guide_to_machine_learning

Panel Discussion at DL Workshop @ICML 2015https://sites.google.com/site/deepernn/home/blog/briefs

ummaryofthepaneldiscussionatdlworkshopicml2015

Tutorial from Ruslan Salakhutdinovhttp://videolectures.net/kdd2014_salakhutdinov_deep_le

arning/Deep Learning Tutorial

http://deeplearning.net/tutorial/Лучшие релевантные видео с YouTube по ML, NN, DL

http://www.analyticsvidhya.com/blog/2015/07/top-youtube-videos-machine-learning-neural-network-deep-

learning/

Обзорные спискиReading lists for new MILA students

https://docs.google.com/document/d/1IXF3h0RU5zz4ukmTrVKVotPQypChscNG

f5k6E25HGvA/edit?usp=sharingLearning Deep Learning

http://rt.dgyblog.com/ref/ref-learning-deep-learning.html

Deep Learning Resourceshttp://www.jeremydjacksonphd.com/?p

=28Neural networks papers

https://github.com/robertsdionne/neural-network-papers#distributed-

computingОсновной тематический сайт

http://deeplearning.net/


Road to Data

Scientist

Проблема:

ОЧЕНЬ МНОГО ИНФОРМАЦИИ!


Образовательная траектория абитуриента/студента

Уровень Действия

Базовый

1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей4. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях

одного из простых конкурсов Kaggle5. Выбрать интересующее вас направление в Deep Learning

Продвинутый

1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения3. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на

нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов5. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,

Deep Learning6. Приобрести необходимое железо для Deep Learning/найти подходящие для студентов, открытые, доступные

программы доступа к облачным вычислительным мощностям

Эксперт

1. Поступить на профильную магистратуру/прикладную программу, закончить её2. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science3. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе4. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению


Образовательная траектория профессионала - исследователя


Базовый

1. Достичь уровня английского языка не ниже Advanced2. Выбрать интересующее вас направление в Deep Learning3. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения4. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на

нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов5. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio, Ruslan

Salakhutdinov, Volodymyr Mnih, David Silver, Alex Graves6. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки7. Познакомиться с профессионалами/учеными из профильной области/принимать участие во встречах,

конференциях по Data Science, Deep Learning8. Приобрести необходимое железо для Deep Learning/найти подходящие для исследователей, открытые,

доступные программы доступа к облачным вычислительным мощностям


1. Освоить навыки академического письма на английском языке2. Поступить на профильную магистратуру/аспирантуру (PhD)/прикладную программу, закончить её3. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению4. Присоединиться к существующим профильным лабораториям/научным группам по Deep Learning/Анализу

данных5. Написать и опубликовать 1-2 тематические статьи

Эксперт

1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM, Microsoft и т.п.)

2. Устроиться в качестве постдока к одному из ведущих зарубежных исследователей в области Deep Learning3. Выступить с докладом на одной из международных конференций по машинному обучению/Deep Learning4. Регулярно посещать международные конференции по Deep Learning


Образовательная траектория профессионала –программиста/Data Scientist-а


Базовый

1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera3. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей4. Выбрать интересующее вас направление в Deep Learning5. Освоить на хорошем уровне выбранный язык программирования, повторить победившие решения на

нейронных сетях 3-5 прошедших конкурсов Kaggle, принять участие в одном из текущих конкурсов6. Прочитать самые важные/цитируемые статьи от Geoffry Hinton, Yann LeCun, Andrew Ng, Yoshua Bengio7. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки8. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,

Deep Learning9. Приобрести необходимое железо для Deep Learning/найти открытые, доступные программы доступа к

облачным вычислительным мощностям


1. Поступить на профильную прикладную программу, закончить её2. Пройти все курсы, охватывающие интересующее вас направление, на платформах дистанционного обучения3. Занять топ 10-20% в 2-3 текущих конкурсах Kaggle, других возникающих конкурсах по Data Science4. Устроиться на работу, чтобы использовать технологии Deep Learning на регулярной основе

Эксперт1. Пройти стажировку в исследовательском подразделении ведущей мировой компании (Facebook, Google, IBM,

Microsoft и т.п.)2. Мониторить и читать на arxiv.org все последние научные статьи по выбранному направлению


Образовательная траектория профессионала –менеджера/бизнесмена


Базовый

1. Достичь уровня английского языка не ниже Upper-Intermediate по reading, listening2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей3. Понять как можно было бы использовать технологии Deep Learning на текущем месте работы, в бизнесе

Полезно, но опционально1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях

одного из простых конкурсов Kaggle


1. Реализовать 1-2 проекта по анализу данных в своей организации с использованием технологий Deep Learning2. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки3. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,

Deep Learning4. Мониторить прикладные решения на основании технологий искусственного интеллекта в собственной бизнес

области5. Узнать траекторию развития технологий на 5-10 летнем горизонте в собственной бизнес области/области

искусственного интеллекта (например, ознакомившись с результатами аналитических агенств, таких как Gartner, или с результатами тематических форсайтов)

Эксперт

1. Основать стартап, чтобы использовать технологии Deep Learning на регулярной основе2. Организовать/спонсировать мероприятие по Deep Learning, чтобы познакомиться со всеми ведущими

учеными/профессионалами в этой области в стране3. Вступить в членство одного из сообществ в рамках направления Нейронет Национальной Технологической

Инициативы РФ4. Регулярно посещать международные конференции по Deep Learning


Образовательная траектория интересующегося


Базовый1. Достичь уровня английского языка не ниже Intermediate по reading, listening2. Разобраться с базовыми понятиями Deep Learning с помощью тьюториалов и ознакомительных статей

Продвинутый1. Мониторить новости профильных групп/ученых в социальных сетях, подписаться на новостные рассылки2. Познакомиться с профессионалами из профильной области/принимать участие во встречах по Data Science,

Deep Learning

Эксперт1. Пройти рекомендованные курсы по машинному обучению и нейронным сетям на Coursera2. Освоить азы одного из языков программирования и повторить победившее решение на нейронных сетях

одного из простых конкурсов Kaggle


Мысли про будущее

Искусственный интеллект

Machine Intelligence Research Institute

https://intelligence.org/

Future of Life Institutehttp://futureoflife.org/

Безопасность ИИ

Часть 1: Путь к сверхинтеллекту - http://hi-news.ru/research-development/iskusstvennyj-intellekt-chast-pervaya-put-k-sverxintellektu.htmlЧасть 2: Вымирание или бессмертие - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-vtoraya-vymiranie-ili-bessmertie.htmlЧасть 3: Почему он может стать нашим последним изобретением - http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-tretya-pochemu-on-mozhet-stat-nashim-poslednim-izobreteniem.html

По оценкам различных экспертов в ближайшие 10-20 лет 80-90% существующих работ будут выполняться

роботами/программамиThe wonderful and terrifying implications of computers that can learn

http://www.ted.com/talks/jeremy_howard_the_wonderful_and_terrifying_implications_of_computers_that_can_learnWho Will Own the Robots?

http://www.technologyreview.com/featuredstory/538401/who-will-own-the-robots/

Последствия для рынка труда

Список проектов, получивших финансирование от Илона Маска

http://futureoflife.org/AI/2015awardees

Погружение в deep learning

Education