KünstlicheNeuronale Netzwerke in derfernerkundungsbezogenen
BildklassifikationBildklassifikation
vonAndré Armstroff
Abb. 1: Hypocampus
Gliederung1 Einleitung1 Einleitung
2 Grundlagen Künstlicher Neuronaler Netze2 Grundlagen Künstlicher Neuronaler Netze2.1 Definition und Zielsetzungen künstlicher neuronaler Netze2.2 Historischer Abriss2.3 Aufbau künstlicher neuronaler Netze2.3 Aufbau künstlicher neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze2.5 Eigenschaften künstlicher neuronaler Netze2.5 Eigenschaften künstlicher neuronaler Netze
3 Anwendungsbeispiel:3 Anwendungsbeispiel:Fernerkundung von WaldveränderungenFernerkundung von Waldveränderungen
4 Anwendungsbeispiel:4 Anwendungsbeispiel:PraxisteilPraxisteil
2 Grundlagen Künstlicher Neuronaler Netze2.1 Definition und Zielsetzungen künstlicher neuronaler Netze
Definition:„Künstliche neuronale Netzwerke (KNNs) sind umfangreiche Netzwerke
extrem einfacher Berechnungseinheiten, die sehr stark untereinander
verbunden sind und parallel ablaufen.“
(GOPAL et al. 1996: 399) (eigene Übers.)
- Teilgebiet der Neurobiologie
- Nachahmung biologischer Netzwerke(Gehirn)
- Hohe Flexibilität
� Anwendung in verschiedenste Wissenschaftsdisziplinen
Abb. 2: Geflecht von Neuronen der Großhirnrinde (verändert)
Unterscheidung zwei großer Anwendungsbereiche neuronaler Netze
KNNs zum Verständnis-gewinn über die Funktionsweise des
KNNs zum Lösen konkreter Anwendungsprobleme verschiedenster Bereiche
2 Grundlagen Künstlicher Neuronaler Netze2.1 Definition und Zielsetzungen künstlicher neuronaler Netze
Funktionsweise des menschlichen Gehirns.
verschiedenster Bereiche
Industrie
QualitätskontrolleSortierungRobotersteuerung
Finanzwesen
KursprognosenUnterschriften-erkennung
Medizin
GewebeanalyseKlinikmanagement
Telekommunikation
NetzoptimierungDatenkompression
Anwendungen in der Fernerkundung
- Bildvorverarbeitung (Bildrekonstruktion, Bildrestauration, Bild-Enhancement)
2 Grundlagen Künstlicher Neuronaler Netze2.1 Definition und Zielsetzungen künstlicher neuronaler Netze
- Datenreduzierung (Bildkomprimierung, Feature-Extraktion)
- Bildsegmentierung
- Objekterkennung
2 Grundlagen Künstlicher Neuronaler Netze2.2 Historischer Abriss
- 1943: Entwicklung des McCulloch-Pitts-Neuron
Abb. 3: Walter Pitts (1924 - 1969)
- Nur Verarbeitung und Ausgabe von binären Signalen möglich
Abb. 4: Warren McCulloch (1898 - 1972)
Signalen möglich
- Netzwerkstruktur und Lernvorgang blieben imverborgenen
- Realisierung logischer Verknüpfungen(und; oder; nicht)
2 Grundlagen Künstlicher Neuronaler Netze2.2 Historischer Abriss
- 1949: Hebbsche Lernregel
“When an axon of cell A is near enough to excite
cell B and repeatedly or persistently takes part in
firing it, some growth process or metabolic
change takes place in one or both cells such that
A's efficiency, as one of the cells firing B, is
increased”
(HEBB 1949: 62)
Abb. 5: Donald O. Hebb (1904 – 1985)
- 1958: Veröffentlichung des erstenPerzeptron-Modells
2 Grundlagen Künstlicher Neuronaler Netze2.2 Historischer Abriss
Abb. 6: Frank Rosenblatt(1928 - 1969)
Lernregel:Anpassung des Netzwerks durch Berechnung der Differenz zwischen Soll- und Ist-Output
- 1974: Formulierung des Backpropagation-Ansatzes(Paul Werbos)
- 1986: Wiederentdeckung des Backpropagation-
2 Grundlagen Künstlicher Neuronaler Netze2.2 Historischer Abriss
- 1986: Wiederentdeckung des Backpropagation-Verfahrens von Rumelhart, Hinton und Williams
Abb. 7: Paul Werbos
Abb. 8: David Rumelhart(1948- )
Abb. 9: Geoffrey Hinton(1947- )
Abb. 10: Ronald Williams
2 Grundlagen Künstlicher Neuronaler Netze
2.3 Aufbau künstlicher neuronaler Netze2.3 Aufbau künstlicher neuronaler Netze
Input-Units: empfangen Signale (Reize,
2 Grundlagen Künstlicher Neuronaler Netze2.3 Aufbau künstlicher neuronaler Netze
KNNs bestehen aus Neuronen (Units, Knoten), die untereinander oder mit der Außenwelt kommunizieren. …
Abb. 12: Schematische Darstellung eines neuronalen Netzes
Muster) von der Außenwelt
Hidden-Units: empfangen Signale von Input-/ Hidden-Units und senden sie an Output- / Hidden-Units weiter
Output-Units: geben Signale an Außenwelt weiter
2 Grundlagen Künstlicher Neuronaler Netze2.3 Aufbau künstlicher neuronaler Netze
…Diese Kommunikation findet über Verbindungen (Connections, Kanten) statt.
- Gewichte drücken die Verbindungsstärke aus:
Abb. 12: Schematische Darstellung eines neuronalen Netzes
+ erregendender (exzitatorischer) Einfluss eines Neurons auf ein anderes
- hemmender (inhibitorischer) Einfluss einesNeurons auf ein anderes
±0 aktuell kein Einfluss eines Neurons auf einanderes
Die Bias-Unit
2 Grundlagen Künstlicher Neuronaler Netze2.3 Aufbau künstlicher neuronaler Netze
- Neuron ohne Input (Aktivitätslevel ist immer +1)
- Gewicht der Connection bestimmt den Einfluss der Bias-Unit
Abb. 13: Schematische Darstellung eines neuronalen Netzes mit Bias-Unit (rot)
Beispiele in Abbildung:
- Fall 1: - markierte Unit erhält nur geringen Input- Bias-Gewicht ist positiv
�Markierte Unit bleibt aktiv
- Fall 2: - markierte Unit erhält großen Input- Bias-Gewicht ist negativ
� Markierte Unit bleibt inaktiv
Input einer Unit hängt von 2 Faktoren ab:
- Aktivitätslevel der sendenden Einheit(en)- Gewichte zwischen den Units
aj = Aktivitätslevel der sendenden Unit j
- Input, den Unit i aus Unit j erhält = aj * wij
ij
J
j wa∑ ∗ ij
J
j wa∑ ∗
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Unit j wij = Gewicht zwischen der sendenden
(j) und der empfangenden (i) Unit - Netto-Input i der Unit
ijj
j wa∑=
∗1
ijj
j wa∑=
∗1
2
-1
3
-7
-3
1
0
Netto-Input = (2 * (-3)) + ((-1) * 1) + (3 * 0) = (-7)
Beispiel:
Abb. 14: Berechnung des Netto-Inputs (eigene Darstellung)
ij
J
jj wai ∗=∑
=1
Aktivitätsfunktion
Unterscheidet folgender Aktivitätsfunktionen:Linear, Linear mit Schwelle, Binär, Sigmoidal
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Aktivitätsfunktion: Zusammenhang zwischen Netto-Input und dem Output (Aktivitätslevel) einer Unit
Linear, Linear mit Schwelle, Binär, Sigmoidal
Abb 15: Zweidimensionales Liniendiagramm mit sigmoider
Aktivitätsfunktion
Beispiel:
2
-1
3
-7 0,001
-3
1
0
Sigmoidal-
Funktion
Abb. 16: Berechnung des Aktivitätslevels (eigene Darstellung)
Vorteile der Sigmoidalen Aktivitätsfunktion:
- Begrenzung des Aktivitätslevels
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
- Differenzierbarkeit
- Bearbeitung nicht-linearer ProblemeAbb 15: Zweidimensionales
Liniendiagramm mit sigmoider Aktivitätsfunktion
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Abb. 19: Types of Decision Regions
- Optimale Komplexität ist zu finden:
- Zu einfache Modelle geben Datenstrukturnicht richtig wieder
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
nicht richtig wieder
- zu komplexe Modelle sind zurechenaufwändig, können alles darstellen
Abb. 20: Beschreibung eines nicht-linearen Problems mittels unterschiedlich komplexer neuronaler Netze / Polynominalgrade
Unterscheidung zwischen Trainings- und Ausbreitungs- / Testphase
Trainingsphase:
- Präsentation der Trainingsdaten
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
- Veränderung der Gewichte nach bestimmten Regeln (Lernregeln)
Man unterscheidet grundsätzlich zwischen:
- supervised learning: - korrekter Output vorgegeben- daran Optimierung der Gewichte
- unsupervised learning: - kein Output vorgegeben- Kategorisierung anhand der Struktur des Inputs
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Unterscheidung zwischen Trainings- und Ausbreitungs- / Testphase
Ausbreitungs- / Testphase:
- Keine Gewichtsveränderung
- Untersuchung, ob Trainingsphase erfolgreich war, durch…
- Trainingsdaten: - Überprüfung ob Trainingsphase fehlerhaft war
- neue Daten: - Überprüfung der Anwendbarkeit des neuronalen Netzes auf neue Aufgaben (Übertragbarkeit)
Lernregeln:
- Beschreibung des Vorgehens beim Verändern der Gewichte
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Definition:
Beipiele für Lernregeln: - Hebbsche Lernregel- Delta-Regel (Widrow-Hoff-Lernregel)- Backpropagation- Kompetitives Lernen (unüberwacht)
Die Lernregel ist ein Algorithmus, der das Neuronale
Netz verändert und ihm so beibringt,
für eine vorgegebene Eingabe eine
gewünschte Ausgabe zu produzieren.
(KRIESEL 2007: 35)
Hebbsche Lernregel:
Gewichtsänderung bei gleichzeitiger Aktivität beider Units:
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Mit ai = Aktivitätslevel der empfangenden Unit∆wij = ε * ai * aj
Delta-Regel (Widrow-Hoff-Lernregel):
∆wij = ε * δi * aj
Mit δi = ai (Soll) – ai (Ist)
Mit ai = Aktivitätslevel der empfangenden Unitaj = Aktivitätslevel der sendenden Unitε = vordefinierter Lern-Parameter∆wij = Änderung des Gewichts zwischen
Unit j und i
Backpropagation
Voraussetzungen:- Vollständig verbundenes, vorwärtsgerichtetes (feedforward) Netz- differenzierbare Aktivierungsfunktion
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
2 Netzdurchläufe:
1. Input läuft (von vorn nach hinten) durch das Netzwerk und produziert Output
2. Fehlersignal (Differenz zwischen Soll- und Ist-Output) läuft in die entgegengesetzte Richtung (ebenfalls über die gewichteten Connections) Abb. 21: Schematischer Aufbau
eines feedforward Backpropagation-Netzwerks
- Schrittweise Anpassung der Gewichte, bisGesamtfehler unter vordefinierten Schwellenwert fällt
- Wiederholung des Vorgangs bis mit einem
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
Gewichtssatz für alle Trainings-Inputs ein hinreichend kleiner Fehler erreicht wird
Aktivierungsfunktion muss differenzierbar sein, da:
Ursprung des Gesamtfehlers ermittelt werden kann (dieser setzt sich anteilig aus den Fehlern der Input-/Hidden-Unit in Abhängigkeit von deren Gewichten, zusammen)
Abb. 21: Schematischer Aufbau eines feedforward
Backpropagation-Netzwerks
Ziel des Lernen (der Gewichtsanpassung): Finden eines globalen Fehlerminimums auf einer Hyperebene in einem durch Gewichte und Fehlerdimension aufgespannten Raum
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
2 Möglichkeiten:
Abb. 22: Fehler-Hyperebene im 3-D-Raum (verändert)
2 Möglichkeiten:
1. Berechnen aller möglicher Gewichtskombinationen
D = Gesamtheit aller Trainingspixel
[ ] ∑∈
−≡Dd
dd otwE 2)(2
1r
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
2. Gradientenabstiegsverfahren:
- Beginn mit zufälligen Gewichten
Abb. 22: Fehler-Hyperebene im 3-D-Raum
- Beginn mit zufälligen Gewichten- Berechnung der Gradienten in alle
Richtungen- Verschiebung der Gewichte in Richtung
des größten Gradienten um vorbestimmten Wert (Lernrate)
- Neuberechnung der Gradienten für den neuen Gewichtssatz
…bis lokales Minimum gefunden ist
Probleme des Gradientenabstiegsverfahrens
- Lokales Minimum statt globalem
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
- Stagnation der Fehlerminimierung auf flachen Plateaus
- Überspringen von Minima
- Direkte Oszillation
- Indirekte OszillationAbb. 23: Fehler-Hyperebene im 3-D-Raum (2)
Mögliche Lösung der Probleme
1. Änderung der initialen Gewichte
2. Änderung der Lernrate- Erhöhung
2 Grundlagen Künstlicher Neuronaler Netze2.4 Funktionsweise künstlicher neuronaler Netze
- Erhöhung- Vorteile: - schnellere Überwindung von Plateaus, schnelles erreichen
weit entfernter Minima- Nachteile: - Minima werden häufiger übersprungen, Gefahr der
Oszillation wächst- Senkung
- Vorteile: - Minima werden seltener übersprungen, Gefahr der Oszillation sinkt
- Nachteile: - höherer Zeitaufwand, verlangsamtes / verhindertes Durchlaufen von Plateaus
3. Einführung einer Momentum-Rate
2 Grundlagen Künstlicher Neuronaler Netze
- Verteilte Speicherung:
2.5 Eigenschaften künstlicher neuronaler Netze
Informationen sind über das gesamte Netz oder zumindest über einen Teil davon verteilt
- Parallelverarbeitung
- Toleranz gegenüber internen Schäden
- Toleranz gegenüber externen Fehlern
- hohe Flexibilität (hohe Lernfähigkeit, hohe Freiheitsgrade)
Nachteile von KNN-Verfahren
- sehr langsames Trainingsverfahren (großer Rechenaufwand)
- sehr viele Trainingsdaten nötig
2 Grundlagen Künstlicher Neuronaler Netze2.5 Eigenschaften künstlicher neuronaler Netze
- keine garantierte Identifizierung eines globalen Fehlerminimums
- Black-Box System – fehlende Kenntnis darüber, wie und mit welcher Sicherheit der Input den Output erzeugt
- Unkenntnis über optimale Netzwerkarchitektur
- Gefahr des Netz-Übertrainierens
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
- Sucharita Gopal und Curtis Woodcock
- Journal „Transaction on Geoscience and Remote Sensing“ Vol. 34, No. 2, März 1996Vol. 34, No. 2, März 1996
- Titel: „Remote Sensing of Forest Change Using Artificial Neural Networks“
- Untersuchungsgebiet: Becken des Tahoe-Sees in Kalifornien
- erstmalige Anwendung neuronaler Netzwerke zur Change Detection in der FE
- Versuch durch ANNs den Grad der Koniferen-Mortalität abzuschätzen
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Abb. 25: Lake Tahoe (verändert)
Abb. 24: USA
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
- Verwendung eines Three-Layer-Feedforward-Networks mit Backpropagation-Algorithmus
- keine Feedback-Connections
- 10 Input-Units- 10 Input-Units
- 15 Hidden Units
- 1 Output-Unit
- zufällige Initialgewichtung[-0,1;0,1]
Abb.26: Zur Change Detection verwendete Netz-Architektur
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Input: Landsat: TM-Daten
Output: Änderung der untersuchten Gebiete zwischen 1988 und 1991(Daten über 61 bzw. 26 Bestände aus 2 Felduntersuchungen für die Trainings-und Testphase)
2 Möglichkeiten der Input-Vektor-2 Möglichkeiten der Input-Vektor-Darstellung:
- 10 Inputvektoren aus 10 TM-Kanälen
(5 von 1988 und 5 von 1991)� Output: absolute Änderung
- 5 Inputvektoren (TM11991-TM11988,TM21991-TM21988…)� Output: relative Änderung
Abb.26: Zur Change Detection verwendete Netz-Architektur
2 Mögliche Arten von Input-Daten: - individuelle Pixelwerte als Input
- Map Units (Bestandseinheiten) als Input
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
- Daten über 61 Bestände zum Training- Daten über 26 Bestände zum Testen des erzeugten Netzes
- Normalisierung der Input- (und der Output-) Daten auf [0;1]
Abb.26: Zur Change Detection verwendete Netz-Architektur
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Ablauf des KNNs:
- Einspeisung von jeweils immer 5 Input-Signalen- Änderung der Gewichte nach jedem Durchlauf um:
)()(
))(,|()()1( nw
nw
nwxzenwnw ∆+
∂∂+=+ γη
Mit: w(n) = Gewichtungsvektor während des 5 * n-ten Input-Signalsη = Lernrate = 0,3γ = Momentum-Rate = 0,6de/dw(n) = Fehleränderung in Abhängigkeit der Änderung der Gewichtungen w(n)z = Soll-Outputx, w(n) = vom Input x und den Gewichtungen w(n) abhängiger Ist-Output
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
- Durchführung von 5 Trainingsdurchläufen mit jeweils unterschiedlichen Initial-Gewichtungen
� Durch mehrere Trainingsdurchläufe ermittelte Optimalwerte:
- η = 0,3- γ = 0,6- 15 - 20 Hidden Units
3 Anwenungsbeispiel:
Fernerkundung von Waldveränderungen
Untersuchung der 26 Bestände in der Test-Phase:r² = 0,839 RMSE = 6,80
Früherer Nicht-KNN-Ansätze:r² = 0,48 – 0,7 RMSE = 9,91 – 7,86
Abb. 27: Vergleich zwischen beobachteter und vorhergesagter Änderung
r² = 0,48 – 0,7 RMSE = 9,91 – 7,86
4 Anwendungsbeispiel:
Praxisteil
- Landsat-Szene des Ruhr-Gebiets (Path: 196 Row: 24) vom 25.05.1989
Abb. 28: Deutschland Topographie (verändert)
4 Anwendungsbeispiel:
Praxisteil
Daten-Vorverarbeitung:
- Import der einzelnen Kanäle von tif in pix
- anhängen der Kanäle 2-5 und 7 an den ersten (mittels „Transfer Layers“ (Focus))
- Subsetting eines Teilgebietes (Sauerland) zur Weiterverarbeitung
Abb. 28: Deutschland Topographie (verändert)
4 Anwendungsbeispiel:
Praxisteil
Referenzdaten:Google Earth (20.02.2004)
+ leichte Unterscheidung + leichte Unterscheidung zwischen Laub- und Nadelwald
- 15 Jahre zwischen beiden Szenen
- Szenen aus verschiedenen Jahreszeiten
Abb. 29: Sauerland (verändert)
4 Anwendungsbeispiel:
Praxisteil
Implementierung Neuronaler Netze in Geomatica:
Drei Module in XPACE / Algorithm Librarian:
- NNCREAT
- NNTRAIN- NNTRAIN
- NNCLAS
-Unüberwachtes Training steht in Geomatica nicht zur Verfügung
- automatisch Anwendung von Backpropagation und Sigmoidale Aktivierungsfunktionen
4 Anwendungsbeispiel:
Praxisteil
- Erstellung von Bitmap-Segmenten in PCI Image Works für die Klassen:
- Wasser- Laubwald- Nadelwald- Urbane Gebiete- Ackerland- bloßer Boden
Abb. 30: Segmenterstellung in PCI Image Works(eigene Darstellung)
4 Anwendungsbeispiel:
Praxisteil
- Verwendung der Landsat-TM-Kanäle 1 - 5, 7- Hidden-Layer: 1 oder 2 (à 5 Units)
Bester Versuch: - 6-5-6 Netzwerk- 1 Hidden-Layer
Abb. 31: NNCREAT-Modul (eigene Darstellung)
4 Anwendungsbeispiel:
Praxisteil
- Momentum-Raten zwischen 0 und 1- Lern-Raten zwischen 0 und 1- 1000-2000 Iterationen
Bester Versuch: - 1000 Iterationen- Momentum-Rate: 0,4- Lern-Rate: 0,4 Abb. 32: NNTRAIN-Modul (eigene Darstellung)
4 Anwendungsbeispiel:
Praxisteil
Abb. 33: NNCLASS-Modul(eigene Darstellung)
Abb. 34: Klassifikationsergebnis (eigene Darstellung)
4 Anwendungsbeispiel:
Praxisteil
Abb. 35: SIEVE-Modul (eigene Darstellung)
Abb. 36: Gesiebtes Klassifikationsergebnis (eigene Darstellung)
Literatur
BISCHOF, H., SCHNEIDER, W. & A. PINZ (1992): Multispectral Classification of Landsat-Images Using Neural Networks. In: IEEE Transactions on Geoscience and Remote Sensing, 30, 3, 482-489.
BISHOP, C. (1995): Neural Networks for Pattern Recognition. Oxford University Press: New York.
BOCK, S. (1995): Ein Ansatz zur polygonbasierten Klassifikation von Luft- und Satellitenbildern mittels künstlicher neuronaler Netze. In: Kieler Geographische Schriften, Band 91. Selbstverlag des Geographischen Instituts der Universität Kiel.Schriften, Band 91. Selbstverlag des Geographischen Instituts der Universität Kiel.
CALLAN, R. (2003): Neuronale Netze im Klartext. Pearson Studium: München.CANTY, M. (1999): Fernerkundung mit neuronalen Netzen. Expert Verlag: Renningen-
Malmsheim.EGMONT-PETERSEN, M., DeRIDDER, D. & H. HANDELS (2002): Image
Processing with Neural Networks. A Review. In: Pattern Recognition, 35, 2279-2301.GOPAL, S. & C. WOODCOCK (1996): Remote Sensing of Forest Change Using
Artificial Neural Networks. In: IEEE Transactions on Geoscience and Remote Sensing, 34, 2, 398-404.
HEBB, D. (1949): The Organization of Behavior. A Neuropsychological Approach. New York: Wiley.
Literatur
KRIESEL, D. (2007): Ein kleiner Überblick über neuronale Netze. <http://www.dkriesel.com/ fileadmin/downloads/neuronalenetze-de-gamma2-dkrieselcom.pdf> (Stand: 2007-10-16) (Zugriff: 2007-11-14).
RITTER, H.; MARTINEZ, T. & K. SCHULTEN (1992²): Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke. Addison-Wesley Publishing Company: Bonn.
WEIPRECHT, J. (2004): Neuronen, Modell, künstliche neuronale Netze. WEIPRECHT, J. (2004): Neuronen, Modell, künstliche neuronale Netze. <http://www.weiprecht.de/ANN/jw_ann.html> (Stand: 2004.01.16)(Zugriff: 2007-11-05).
AbbildungenAbb. 1: TECHNISCHE UNIVERSITÄT WIEN (2007): Hypocampus. <http://www.tuwien.ac.at/
fileadmin/t/tuwien/fotos/pa/download/20_2007/hypocampus.jpg> (Stand: 2007-11-13) (Zugriff: 2007-11-13).
Abb. 2: NEUE ZÜRICHER ZEITUNG (o.J.): Geflecht von Neuronen der Großhirnrinde. <http://www.nzz.ch/images/Neuronen_1.544945.gif> (Stand: 2007-11-13)(Zugriff: 2007-11-13).
Abb. 3: BECK, F. & G. REY (o.J.): Warren McCulloch. <http://www.neuronalesnetz.de/ einleitung.html> (Stand: o.S.) (Zugriff: 2007-11-13).einleitung.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 4: BECK, F. & G. REY (o.J.): Walter Pitts. <http://www.neuronalesnetz.de/ einleitung.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 5: UNIVERSIDAD NACIONAL DE EDUCATIÓN A DISTANCIA(o.J.): Donald O. Hebb. <http://www.uned.es/psico-2-psicologia-general-II/links/photogallery/ 1pp/personajes/Donald_Hebb.jpg> (Stand: 2007-11-13) (Zugriff: 2007-11-13).
Abb. 6: DEPARTAMENTO DE MATEMÁTICA (o.J.): Frank Rosenblatt. <http://www.math.ist.utl.pt/cienciaviva/foto1.jpg> (Stand: 2000-07-21)(Zugriff: 2007-11-13).
Abb. 7: WORLD FEDERATION ON UNITED NATIONS ASSOCIATIONS (o.J.): Paul Werbos. <http://www.unfuture.org/unfforum/data/cheditor/0611/_.jpg> (Stand: o.S.) (Zugriff: 2007-11-13).
AbbildungenAbb. 8: UNIVERSITY ON CALIFORNIA, SAN DIEGO (2003): David Rumelhart.
<http://alumni.ucsd.edu/awards/photos/2006/glushko.jpg> (Stand: 2007-10-12)(Zugriff: 2007-11-13).
Abb. 9: UNIVERSITY OF TORONTO (2007): Geoffrey Hinton. <http://www.cs.toronto.edu/ ~hinton/Geoff4.jpg> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 10: NORTHEASTERN UNIVERSITY (2006): Ronald Williams. <http://www.ccs.neu.edu/ groups/faculty/images/rjw_05.jpg> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 11: UNIVERSITÉ DE FRANCHE-COMTÉ (2007): Complex Neural Network. Abb. 11: UNIVERSITÉ DE FRANCHE-COMTÉ (2007): Complex Neural Network. <http://info.iut-bm.univ-fcomte.fr/staff/abbas/ddn_simlab/images/ complex_neural_network.gif> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 12: BECK, F. & G. REY (o.J.): Schematische Darstellung eines neuronalen Netzes. <http://www.neuronalesnetz.de/units.html> (Stand: o.S.) (Zugriff: 2007-11-13).
Abb. 13: BECK, F. & G. REY (o.J.): Schematische Darstellung eines neuronalen Netzes mit Bias-Unit (rot). <http://www.neuronalesnetz.de/aktivitaet.html> (Stand: o.S.)
(Zugriff: 2007-11-13).Abb. 14: ARMSTROFF, A. (2007): Berechnung des Netto-Inputs.Abb. 15: BECK, F. & G. REY (o.J.): Zweidimensionales Liniendiagramm mit sigmoider
Aktivitätsfunktion. <http://www.neuronalesnetz.de/aktivitaet.html> (Stand: o.S.)(Zugriff: 2007-11-13).
Abb. 16: ARMSTROFF, A. (2007): Berechnung des Aktivitätslevels
Abbildungen
Abb. 17: ARMSTROFF, A. (2007): Grauwerte zweier Landbedeckungsklassen in 2 Kanälen.Abb. 18: ARMSTROFF, A. (2007): Schematische Darstellung eines neuronalen Netzes zur
Bearbeitung eines linearen Problems.Abb. 19: LIPPMANN, R. (1987): Types of decision regions. In: ASSP Magazin. Volume 4, Issue
2, Apr 1987 Page(s): 4 – 22.Abb. 20: BISHOP, C. (1995): Beschreibung eines nicht-linearen Problems mittels unterschiedlich
komplexer neuronaler Netze / Polynominalgrade. Oxford University Press: New York.komplexer neuronaler Netze / Polynominalgrade. Oxford University Press: New York.Abb. 21: KERBER, M. (2002): Schematischer Aufbau eines feedforward Backpropagation-
Netzwerks. <http://www.cs.bham.ac.uk/~mmk/Teaching/AI/figures/ backpropagation.jpg> (Stand: 2005-06-06) (Zugriff: 2007-11-14).
Abb.: 22: ANONYMOUS (2007): Continuous Descent. <http://www.20sim.com/webhelp4/ Toolboxes/time_domain/ContinuousDescent.gif> (Stand: o.S.) (Zugriff: 2007-11-15).
Abb. 23: GILLIS, J. (2006): Fehler-Hyperebene im 3-D-Raum (2). <http://upload.wikimedia.org/ wikipedia/commons/6/68/Gradient_ascent_%28surface%29.png> (Stand: 2006-01-18) (Zugriff: 2007-11-15).
Abb. 24: ANONYMOUS (2007): USA. http://www.welt-atlas.de/datenbank/karten/ karte-0-9013.gif (Stand: o.S.) (Zugriff: 2007-11-15).
Abb. 25: IRWIN, J. (2005): Lake Tahoe. <http://www.holoscenes.com/maps/tahoe.jpg> (Stand: o.S.) (Zugriff: 2007-11-15).
AbbildungenAbb. 26: GOPAL, S. & C. WOODCOCK (1996): Zur Change Detection verwendete Netz-
Architektur. In: IEEE Transactions on Geoscience and Remote Sensing, 34, 2, 400.Abb. 27: GOPAL, S. & C. WOODCOCK (1996): Vergleich zwischen beobachteter und
vorhergesagter Änderung. In: IEEE Transactions on Geoscience and Remote Sensing, 34, 2, 401.
Abb. 28: ANONYMOUS (2007): Deutschland Topographie. <http:// www.mygeo.info/landkarten/deutschland/Deutschland_Topographie.jpg> (Stand: 2007-11-16) (Zugriff: 2007-11-16).
Abb. 29: MINISTERIUM FÜR BAUEN UND VERKEHR DES LANDES NORDRHEIN-Abb. 29: MINISTERIUM FÜR BAUEN UND VERKEHR DES LANDES NORDRHEIN-WESTFAHLEN (2006): Sauerland. <http://www.lvp.nrw.de/igvp/download/str/str-xs-so.gif> (Stand: 2006-01-12) (Zugriff: 2007-11-16).
Abb. 30: ARMSTROFF, A. (2007): Segmenterstellung in PCI Image Works.Abb. 31: ARMSTROFF, A. (2007): NNCREAT-Modul.Abb. 32: ARMSTROFF, A. (2007): NNTRAIN-Modul.Abb. 33: ARMSTROFF, A. (2007): NNCLASS-Modul.Abb. 34: ARMSTROFF, A. (2007): Klassifikationsergebnis.Abb. 35: ARMSTROFF, A. (2007): SIEVE-Modul.Abb. 36: ARMSTROFF, A. (2007): Gesiebtes Klassifikationsergebnis.Abb. 37: FACHHOCHSCHULE KAISERSLAUTERN (2007): Multielektroden-Array mit
aufgewachsenen neuronalen Netzwerk. <http://www.fh-kl.de/fileadmin/mst.fh-kl.de/bilder/PMMEA2.png> (Stand: 2007-11-07) (Zugriff: 2007-11-16).
Vielen Dank
für die AufmerksamkeitAbb. 37: Multielektroden-Array mit aufgewachsenen neuronalen Netzwerk