deep learning (+ úvod do strojového učení)
DESCRIPTION
Strojové učení - Kdo ho používá? - Základní princip Deep learning - Běžné neuronové sítě - Co je podstatou „deep“? - Proč a kde je skvělý?TRANSCRIPT
Deep learning(a strojové učení obecně)
Czech Internet Forum 2014
Michal Illich
Michal Illich
Obsah
● Strojové učení– Kdo ho používá?
– Základní princip
● Deep learning– Běžné neuronové sítě
– Co je podstatou „deep“?
– Proč a kde je skvělý?
Produkty strojového učení používáte každý den.
Kde se používá na webu - I
Kde se používá na webu - II
Kde se používá na webu - III
Mimo web
Siri
OCR
Self-driving cars
Kde si s ním hrajeme my
Magictable
Brandiozo
Golem
a jeden neveřejný projekt
… a Brandiozo
a 2 další, zatím neveřejné projekty
Označkovanádata
Naučíte model:
Známá data → Model → Známý výsledek
Používáte model:
Nová data → Model → Nový výsledek
II. Deep learning
1970s
1970s
1975 - backpropagation
Co chceme, aby uměly?
Co je od tehdy nového?Čím je učení „deep“?
1. Hloubka
Umožněná vyšším výkonem CPU/GPU a pár triky.
2. Využití neoznačených dat
3. Triky
● odolnost proti přeučení DropOut, DropConnect
● jiné aktivační funkce ReLu místo sigmoidy
● učení po vrstvách● konvoluční sítě
Výsledky
Kategorizace obrázků (22000 kategorií)● 9,5% (nejlepší v 2011)
● 18,3% (deep learning ze Stanfordu)
Výsledky
Rozpoznávání řeči (Switchboard, 300 hodin)● chybovost 27,4 % (tradiční metody)
● chybovost 18,5 % (deep learning)
Výsledky
Rozpoznávání číslic (MNIST)● chybovost 0,39 % (2006)
● chybovost 0,21 % (deep learning)
Open source knihovny
Neuronové sítě:
theano, cuda-convnet, fann
Další algoritmy:
gbm, libsvm, vowpal wabbit, sofia-ml, sofia-kmeans
word2vec, gensim, NLP knihovny
Nástroje s GUI:
weka, orange, rapid miner
Závěr
1/3
Mít data nestačí. Používejte je.kreslit barevné grafy je základ, nikoliv plné využití dat
Strojové učení.nechte stroje samotné najít si vztahy v datech
2/3
3/3
Na obrázky a zvuk hlavně deep learning.(ale vyzkoušet jej můžete i na jiná data)
Apendix: Výsledky podrobněji
Kategorizace obrázků (22000 kategorií)● 9,5% (nejlepší v 2011, Weston+Bengio)● 18,3% (deep learning ze Stanfordu)
Rozpoznávání řeči (Switchboard, 300h)● chybovost 27,4 % (GMM-HMM)● chybovost 18,5 % (deep learning: DNN-HMM)
Rozpoznávání číslic (MNIST)● chybovost 0,39 % (energy based model, 2006)● chybovost 0,21 % (deep learning s DropConnectem)
Zdroje ilustračních obrázků:
http://www.cs.toronto.edu/~kriz/cifar.htmlhttp://cl.naist.jp/~kevinduh/notes/duh12deeplearn.pdfhttp://www.positscience.com/media-gallery/detail/161/94http://commons.wikimedia.org/wiki/File:Haystack_-_geograph.org.uk_-_462934.jpghttp://www.retrowaste.com/1970s/http://www.moderni-dejiny.cz/clanek/exteriery-z-obdobi-normalizace-soubor-fotografii-bohdana-holomicka/http://zlin.cz/503516n-zlinske-jaro-odstartovalo-vystavu-ritualy-normalizacehttp://www.cs.stanford.edu/people/ang//slides/DeepLearning-Mar2013.pptx
+ pozadí koupené ve fotobance