Mesterséges Neurális HálózatokTematika

Póczos Barnabás

NIPG

ELTE-IK

Tematika

Bevezetés– Óra célja– NIPG csoport– MI helyzete– ANN definíció– ANN felhasználási lehetőségei– ANN története– Hilbert 13. problémája– Univerzális approximátorok– reprezentációs tételek

Az első neurális hálókŐskori algoritmusok

Perceptron– perceptron

– Adaline

– LMS

– Hebb szabály

– Widrow

Többrétegű perceptron– backpropagation

Alkalmazás– osztályozási feladatok

– univerzális függvény-approximátor

Mintavételezések, és alkalmazásaik

Mintavételezés– Hasting– Gibbs

• nagy dimenziós terek mintavételezése

Szimulált kihűtés (SA)– Globális optimalizálás

Monte Carló Trajektória Mintavételezés (MCTS), ConDensation– Objektum követés– Hepatitis B elleni oltások vizsgálata

MCTS alkalmazások

Expectation-Maximisation (EM)MoG hálózat paraméter becslésHMM paraméter becslésLDS paraméterbecslés

Alkalmazás:– Positron Emission Tomography (PET)

képfeldolgozás– AIDS fertőzöttek számának becslése

Kalman Filter (KF)Kiterjesztett Kalman Filter (EKF)KF, EKF alkalmazások

– Tengerészeti navigáció– Rakéta elhárítás– Arckövetés– Robot irányítás– Látókéreg modellezés

Változatok:– Unscented KF– Sigma point KF

Neurális megvalósítás:– Rekurzív Predikciós Hibamódszer (RPE)

„Matematikus kalandorok paradicsoma” (Ljung)

Tematika, Szabó Zoltán

Kernel módszerekSVM Alkalmazás

– osztályozási feladatok

Főkomponens Analízis (PCA)Független komponens Analízis (ICA) PCA, ICA, MICA Ritka kódolás ICA, SVM, Sparse coding kapcsolata Kernel módszerek

– PCA

– ICA

– MICA Alkalmazás

– Koktélparti probléma

– EEG adatok feldolgozása

– Látókérgi sejtek modellezése

Bayes hálók

Vélekedés propagálás (BP)– Várható érték propagálás (EP)

Alkalmazás– Orvosi diagnózis– Szakértő rendszerek– Hibajavító kódolás

Markov dinamika

Markov modellekRejtett Markov modellek (HMM)

– Folytonos – diszkrét

Viterbi algoritmusBaum Welch algoritmus

HMM alkalmazások

Alkalmazás– Dasher szövegbevitel– Hang feldolgozás– DNA elemzés– Arckifejezés felismerés– Országúti forgalom modellezés– Viselkedési formák elemzése

• Dasher adatok• Irodai tevékenység• Otthoni tevékenység

Topológiát tanuló neurális hálók

Lokálisan Lineáris Beágyazás (LLE)Általános Topografikus Leképezés (GTM)Önszervező hálózatok (SOM)Kohonen hálózatok

Topológiát tanuló neurális hálók

Arcképek feldolgozása

NMF– Arcrészletek keresése

ADABOOST– Arc detektálás, követés– Szem detektálás, követés

Arc detektálás

Szemdetektálás

Statisztikus fizikán alapuló hálózatok

Hopfield hálózatBoltzmann hálózatMeanfield hálózatAlkalmazás

– globális minimalizálás– NP nehéz kombinatorikus problémák

• utazó ügynök• 8 királynő

Rekurrens Neurális Hálózatok(Szita István)

Rekurrens Neurális Hálózatok (RNN)Echo State Network (ESN)PIRANHA algoritmusAlkalmazás

– Kaotikus sorozatok megtanulása

EC-HC modellezés (Lőrincz András)

Biológiai relevanciaAz értelmezés kérdése és a homunculus

paradoxon feloldása mesterséges neuronhálókkal

Az architektúra származtatásaAz architektúra jóslatai, kísérleti

eredmények

Felhasznált irodalomHorváth Gábor: Neurális hálók és műszaki

alkalmazásaik, Műegyetemi Kiadó 1995Simon Haykin: Neural Networks: A Comprehensive

Foundation (2nd Edition)Howard Demuth, Mark Beale: Neural Network

ToolboxL. Ljung, T. Soderstrom: Theory and Practice of

Recursive Identification, MIT Press, 1983N. Cristianini and J. Shawe-Taylor: An

introduction to support vector machines (and other kernel-based learning methods) Cambridge University Press

Felhasznált irodalomMichael I. Jordan: Learning in graphical models

2000 ISBN: 0 521 78019 5A. Hyvarinen, J. Karhunen, E. Oja: Independent

Component Analysis G. J. McLachlan and T. Krishnan: The EM

Algorithm and ExtensionsT.M. Cover and J.A. Thomas: Elements of

Information TheoryBrendan Frey: Graphical Models for Machine

Learning and Digital CommunicationDavid J.C. MacKay: Information Theory, Inference,

and Learning Algorithms

Felhasznált irodalom

Jegyzetek: Jaakkola, Tommi:

http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-867Machine-LearningFall2002/LectureNotes/index.htm

Levendowszky János: http://www.hit.bme.hu/people/levendov/Neuralis/

Lőrincz András: http://people.inf.elte.hu/lorincz/scripts/Eloadas/ANN_Word_v_0.9.zip

Peng, Yun: http://www.csee.umbc.edu/~ypeng/#PTR0

Welling, Max: http://www.vision.caltech.edu/welling/class/LearningSystems156B.html