ein neuronales netz könnte lernen indem es … neuronale netze … neue verbindungen entwickelt …...
TRANSCRIPT
![Page 1: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/1.jpg)
Ein Neuronales Netz könnte lernen indem es …
Neuronale Netze
… neue Verbindungen entwickelt
… vorhandene Verbindungen löscht
… Verbindungsgewichte verändert
… Schwellenwerte von Neuronen ändert
… eine oder mehrere der Neuronenfunktionen abwandelt
… neue Neuronen entwickelt
… vorhandene Neuronen löscht
Lernverfahren / LernregelnLernverfahren / Lernregeln
![Page 2: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/2.jpg)
Neuronale Netze
Lernverfahren / LernregelnLernverfahren / Lernregeln
1. Trainingsphase: Lernen anhand des Lernmaterials
supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs
unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen
2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs
Trainings- und Testphase
![Page 3: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/3.jpg)
Lernregeln
Hebb-Regel
Delta-Regel
Backpropagation
Competetive Learning
Neuronale Netze
![Page 4: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/4.jpg)
Hebb-Regel
Neuronale Netze
"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949)
Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind.
Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte:
dem Aktivitätslevel (bzw. Output) der sendenden Unit aj
dem Aktivitätslevel (bzw. Output) der empfangenden Unit ai
einem vorher festgelegten, positiven Lernparameter ε
Formel: Δwij=ε·ai·aj
Neuronale Netze
LernregelnLernregeln
![Page 5: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/5.jpg)
Delta-Regel
δ = ai(gewünscht) - ai(beobachtet)
Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i
Als Formel:
Neuronale Netze
LernregelnLernregeln
![Page 6: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/6.jpg)
Δwij = ε · δi · aj
Gewichtsver-änderung
zwischen den Einheiten i und j
Konstanter Term:
gibt die Stärke der Gewichts-veränderung pro Lerndurchgang an
δ = ai(gewünscht) - ai(beobachtet)
• Größe der Gewichtsveränderung
proportional zur Größe des Fehlers
• 3 Möglichkeiten:
• beobachtete Aktivität zu niedrig
• beobachtete Aktivität zu groß
• beobachtete und gewünschte
Aktivität gleich groß
diejenigen Gewichte zu den sendenden Units
werden stärker verändert, die einen größeren
Einfluss auf den Fehlerterm ausüben
Neuronale Netze
LernregelnLernregeln
![Page 7: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/7.jpg)
Backpropagation
supervised learning
Hidden-Units
Training durchläuft alternierend 3 Phasen:
1. Forward-Pass
2. Fehlerbestimmung
3. Backward-Pass
Neuronale Netze
LernregelnLernregeln
![Page 8: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/8.jpg)
Backpropagation
Gewichtsanpassung:
Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt
Gradientenabstiegsverfahren
Neuronale Netze
LernregelnLernregeln
i
i falls i=Output-Unitfalls i=Hidden-Unit= ),()(´ ,lil
LiAkt wnetzinputf
Δwij = ε · δi · aj
= Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit iL = Nachfolgeschicht nach der empfangenden Schicht (i)l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet
)(´ iAkt netzinputf
,´ beobachtetagewünschtanetzinputf iiiAkt
![Page 9: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/9.jpg)
Probleme des Gradientenabstiegsverfahrens:
Lokale Minima
Flache Plateaus
Oszillation (direkt oder indirekt)
Verlassen guter Minima
Neuronale Netze
Backpropagation
LernregelnLernregeln
![Page 10: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/10.jpg)
Competitive Learning
1. Erregung
2. Wettbewerb
3. Adjustierung der Gewichte
Neuronale Netze
LernregelnLernregeln
unsupervised learning
3 Phasen:
)( ijjj
i wanetzinput
ijjij waw
![Page 11: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/11.jpg)
Beurteilung der Regeln
Neuronale Netze
LernregelnLernregeln
Qualität
Komplexität
Verständlichkeit
Anwendbarkeit
![Page 12: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/12.jpg)
Neuronale Netze
Netztypen
Pattern Associator
Rekurrente Netze
Kompetitive Netze
Kohonennetze
![Page 13: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/13.jpg)
Pattern Associator
Eigenschaften:Eigenschaften:
Generalisierung
Toleranz gegenüber internen Schäden
Toleranz gegenüber externen Schäden
Output der zentralen Tendenz bzw. des
Prototypen der Kategorie
NetztypenNetztypen
Neuronale Netze
![Page 14: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/14.jpg)
Rekurrente Netze
Unterteilung:Unterteilung:
Direkte Rückkopplungen
Indirekte Rückkopplungen
Seitliche Rückkopplungen
Vollständige Rückkopplungen
Neuronale Netze
NetztypenNetztypen
![Page 15: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/15.jpg)
Rekurrente Netze
Simple
Recurrent
Networks
Simple
Recurrent
Networks
Kontext-Units
Hidden-Units
Neuronale Netze
NetztypenNetztypen
![Page 16: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/16.jpg)
Rekurrente Netze
Anwendungen:Anwendungen:
Prognosen über die Zukunft treffen
Simulation von menschlichen Verhaltenssequenzen
Attraktornetze
Neuronale Netze
NetztypenNetztypen
![Page 17: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/17.jpg)
Kompetitive Netze
Keine Hidden-Units
Trainingsphase in 3 Schritten
1. Erregung
2. Wettbewerb
3. Adjustierung der Gewichte
unsupervised Learning
Begrenzung der Gewichtssektoren
Neuronale Netze
NetztypenNetztypen
![Page 18: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/18.jpg)
Kompetitive Netze
Anwendungen:Anwendungen:
Filtern von Redundanzen und Alternative zur Faktorenanalyse
vorgeschaltetes Netz für andere Netztypen
Musterklassifikation
Neuronale Netze
NetztypenNetztypen
![Page 19: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/19.jpg)
Kohonennetze
Erweiterung Kompetitiver Netze
unsupervised Learning
Keine Hidden-Units
Häufig Output-Schicht 2-dimensional aufgebaut
Neuronale Netze
NetztypenNetztypen
![Page 20: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/20.jpg)
Kohonennetze
Berechnung:Berechnung:
1. Startwerte festlegen
2. Auswahl eines Inputvektors
3. Aktivitätsberechnung und Auswahl
4. Gewichtsmodifikation
5. Abbruch
Neuronale Netze
NetztypenNetztypen
![Page 21: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/21.jpg)
Kohonennetze
Anwendungen:Anwendungen:
Approximation von Funktionen
Inverse Kinematik
kürzesten Weg zwischen 2 Punkten finden
n-dimensionale Figuren transformieren
Problem des Handlungsreisenden
Spracherkennung, Unterschriftenerkennung, Gesichtererkennung
Neuronale Netze
NetztypenNetztypen
![Page 22: Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert](https://reader034.vdocuments.pub/reader034/viewer/2022052522/55204d6249795902118b66df/html5/thumbnails/22.jpg)
Literatur
Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden;
Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg;
http://cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/startseite.html;
http://filestorage.dkriesel.com/neuronalenetze-de-delta-dkrieselcom.pdf;
http://www.andreas-mielke.de/nn.html;
http://www.i4.psychologie.uni-wuerzburg.de/fileadmin/06020400/user_upload/Rey/3_Lernregeln.pdf;
http://www.neuronalesnetz.de;
Neuronale Netze
NetztypenNetztypen