elman-netzwerke wintersemester 2004/05 seminar kindlicher spracherwerb c. friedrich & r....
TRANSCRIPT
![Page 1: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/1.jpg)
Elman-Netzwerke
Wintersemester 2004/05
Seminar Kindlicher Spracherwerb
C. Friedrich & R. Assadollahi
vorgestellt von
Christian Scharinger & Guido Heinecke
![Page 2: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/2.jpg)
...bisher kennengelernt
• Supervised learning durch backpropagation• Implementierung eines Langzeitgedächtnisses• Problem: Verarbeitung von Phänomenen, die eine zeitlichen Charakter haben (bei denen der unmittelbare Kontext eine Rolle spielt)
![Page 3: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/3.jpg)
Das Problem mit der Zeit
Bei vielen kognitiven Prozessen spielt der Faktor Zeit eine wesentliche Rolle. Beispiel: Sprache – kontinuierliches sich über die Zeit veränderndes Schallsignal Extraktion diskreter Segmente? Lernen der Einheit Wort? Lernen grammatikalischer Kategorien? Richtiger Satzbau? usw.
![Page 4: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/4.jpg)
Das Problem mit der Zeit
Zeit kann in feed-forward-Netzen nur explizit über die Eingabe vermittelt werden Unbefriedigend, da:
Input muss zwischengespeichert werden, um dem Netz „in einem Rutsch“ präsentiert (und von diesem parallel verarbeitet) werden zu können
Problem der Abgrenzung (Wo beginnt/endet mein Input) Inputs unterschiedlicher Länge (d.h. verschiedener zeitlicher
Ausdehnung) vgl. Sätze Vektoren [011100000] & [000111000] gleiches Muster,
zeitlich verschoben oder unterschiedliche Vektoren?
Kurz: in vielen Fällen wäre eine „implizite“ Darstellung von Zeit durch ein „Kurzzeitgedächtnis“ wünschenswert
![Page 5: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/5.jpg)
Das Problem mit der Zeit - Lösung
Rekurrente Netzwerke „Sonderfall“: einfache rekurrente Netzwerke (Elman-Netze)
![Page 6: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/6.jpg)
Elman-Netzwerke
Partially recurrent networks Status der hidden units zum Zeitpunkt t wird unverändert in den context
units gespeichert Zum Zeitpunkt t+1 des folgenden Inputs wirkt der Status der context units
zusätzlich auf die hidden units ein Implizite Darstellung von Zeit durch die Auswirkungen auf die Verarbeitung
des Inputs „Kurzzeitgedächtnis“
![Page 7: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/7.jpg)
Elman-Netzwerke: Self-supervised learning
Elman-Netzwerke lernen durch Autoassoziation Dem Netz wird eine Folge von Inputs gegeben & dabei die Aufgabe gestellt, den nächstfolgenden Input korrekt vorherzusagen nach vielen Trainingsdurchgänge mit vielen Trainingsdaten „lernt“ das Netz bestimmte Regularitäten im Input zu erkennen bzw. abstrakte Kategorien zu bildenFehlerrate & Aktivität der hidden unit als Nachweis des Lernerfolges
![Page 8: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/8.jpg)
Leistungsfähigkeit von Elman-Netzwerken (1)
Das XOR-Problem in temporaler Variante
![Page 9: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/9.jpg)
Erkennen komplexer Regularitäten im Intput Dem Netz wird eine Sequenz von Buchstaben präsentiert Die Reihenfolge der Konsonanten darin ist zufällig; die Vokale durch die Konsonanten bedingt Ersetzungsregeln: b => ba; d => dii; g => guu Buchstaben werden dem Netz als 6-Bit Vektoren präsentiert Aufgabe: Vorhersage des nächstfolgenden Buchstabens
Leistungsfähigkeit von Elman-Netzwerken (2)
![Page 10: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/10.jpg)
Leistungsfähigkeit von Elman-Netzwerken (2)
![Page 11: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/11.jpg)
Leistungsfähigkeit von Elman-Netzwerken (2)
![Page 12: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/12.jpg)
Leistungsfähigkeit von Elman-Netzwerken (3)
Erkennen von Wortgrenzen Lernen des Konzeptes „Wort“
aus einem Lexikon mit 15 Wörtern wurden 200 Sätze generiert
Die Buchstaben dieser Sätze wurden dem Netz (als 5-BitVektor codiert) in unmittelbarer Abfolge in mehreren Durchgängen präsentiert
![Page 13: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/13.jpg)
Leistungsfähigkeit von Elman-Netzwerken
![Page 14: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/14.jpg)
Leistungsfähigkeit von Elman-Netzwerken (3)
![Page 15: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/15.jpg)
Lexikalische Klassen
![Page 16: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/16.jpg)
Lexikalische Klassen
![Page 17: Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke](https://reader036.vdocuments.pub/reader036/viewer/2022070310/55204d7f49795902118d155a/html5/thumbnails/17.jpg)
Lexikalische Klassen