Neurale netwerkenNeurale netwerkenOpdrachttaak kennissystemen:Opdrachttaak kennissystemen:
Door:Door:Jeroen Van den ElsenJeroen Van den ElsenPiet VermeirPiet VermeirKoen Van CampenhoutKoen Van Campenhout
InleidingInleiding
Geschiedenis Geschiedenis
Wat is een neuraal netwerk?Wat is een neuraal netwerk?
Biologisch NeuronBiologisch Neuron
Artificieel NeuronArtificieel Neuron
Artificieel Neuraal NetwerkArtificieel Neuraal Netwerk
Een eenvoudig voorbeeld van een artificieel neuraal netwerk met drie lagen.
Eigenschappen van Artificiële Eigenschappen van Artificiële Neurale NetwerkenNeurale Netwerken
Local processingLocal processing
Parallel processingParallel processing
LerenLeren
GeheugenGeheugen
Bestand tegen ruisBestand tegen ruis
Definitie van Artificiële Neurale Definitie van Artificiële Neurale NetwerkenNetwerken
Een ANN is een rekenmodel, gebaseerd op het Een ANN is een rekenmodel, gebaseerd op het dierlijk neuraal netwerk, waarbij een invoer verwerkt dierlijk neuraal netwerk, waarbij een invoer verwerkt wordt door een parallel netwerk van neuronen, de een wordt door een parallel netwerk van neuronen, de een al belangrijker dan de andere, en verbindingen om zo al belangrijker dan de andere, en verbindingen om zo tot een uitvoer te komen. Elk van die neuronen tot een uitvoer te komen. Elk van die neuronen verwerkt simpele functies en beschikken over een verwerkt simpele functies en beschikken over een geheugen waardoor ‘leren’ mogelijk wordt gemaakt. geheugen waardoor ‘leren’ mogelijk wordt gemaakt.
Mogelijkheden van een Artificiële Mogelijkheden van een Artificiële Neurale NetwerkenNeurale Netwerken
ClassificatieClassificatie
VoorspellenVoorspellen
Data associatieData associatie
Data conceptualisatieData conceptualisatie
Data filteringData filtering
Enkele toepassingenEnkele toepassingen
Muis en trackerballMuis en trackerball
Kunstmatige intelligentieKunstmatige intelligentie
Handschrift herkenningHandschrift herkenning
Eigenschappen van verschillende Eigenschappen van verschillende soorten ANNsoorten ANN
TypeType
NeuronlagenNeuronlagen
Soort invoerSoort invoer
Activatie functieActivatie functie
LeermethodeLeermethode
LeeralgoritmeLeeralgoritme
Eigenschap 1: het typeEigenschap 1: het type
Feedforward typeFeedforward type EenrichtingsinformatiestroomEenrichtingsinformatiestroom Alleen verbindingen met andere neuronlaagAlleen verbindingen met andere neuronlaag
Feedback typeFeedback type Ook verbindingen met eigenlaagOok verbindingen met eigenlaag
Eigenschap 2: de neuronlaagEigenschap 2: de neuronlaag
Input layerInput layer
Output layerOutput layer
Hidden layerHidden layer
Matrix layerMatrix layer
Map layerMap layer
Eigenschap 3: Soort invoerEigenschap 3: Soort invoer
Binaire waardeBinaire waarde
Reële waardeReële waarde
Eigenschap 4: activatie functieEigenschap 4: activatie functie
Verschillende types onderscheiden zich van Verschillende types onderscheiden zich van elkaar door het type output die ze gevenelkaar door het type output die ze geven
Eigenschap 5: LeermethodeEigenschap 5: Leermethode
Supervised learningSupervised learningMet antwoordboekjeMet antwoordboekjeGeneraliserend gedragGeneraliserend gedrag
Unsupervised learningUnsupervised learningZonder antwoordenZonder antwoordenGebruiken van patronenGebruiken van patronen
Reinforcement learningReinforcement learningMet een goed/fout signaalMet een goed/fout signaal
Eigenschap 6: leeralgoritmeEigenschap 6: leeralgoritme
Hebb learning ruleHebb learning ruleDelta learning ruleDelta learning ruleBackpropgationBackpropgationSimulated annealing: Simulated annealing: gebruikt bij feedback typesgebruikt bij feedback types
Self organization: Self organization: gebruikt bij kohonengebruikt bij kohonen
Maken gebruik van supervised learning
Enkele verschillende soorten:Enkele verschillende soorten:
PerceptronPerceptron
Multilayer perceptronMultilayer perceptron
Backpropagation netBackpropagation net
Hopfield netHopfield net
Kohonen KaartKohonen Kaart
Boltzmann MachineBoltzmann Machine
Het perceptronHet perceptron
Type Feedforward
Neuron Lagen 1 inputlaag 1 outputlaag
Input Waarde Types Binair
Activatie Functie Hard Limiter
Leermethode Supervised
Leeralgoritme Hebb Learnig Rule
Wordt vooral gebruikt bij
Simpele logische operaties patroon classificatie
Het multilayer perceptronHet multilayer perceptron
Type Feedforward
Neuron Lagen 1 inputlaag 1 of meer verborgen lagen 1 outputlaagInput Waarde Types Binair
Activatie Functie Hard Limiter / Sigmoid
Leermethode Supervised
Leeralgoritme Delta Learnig Rule Backpropagation (meest gebruikt)
Wordt vooral gebruikt bij
Complexe logische operaties patroon classificatie
BackpropagationBackpropagation
Topografische KaartenTopografische Kaarten
Een groep units heeft Een groep units heeft verbindingen naar elke unit in een verbindingen naar elke unit in een competitieve laag. competitieve laag.
De units zijn geordend De units zijn geordend
Dit wil zeggen de unit die het Dit wil zeggen de unit die het sterkst reageert op een invoer sterkst reageert op een invoer omringt wordt door de units die omringt wordt door de units die ook, maar minder sterk, reageren. ook, maar minder sterk, reageren. En hoe verder de units liggen hoe En hoe verder de units liggen hoe minder sterk deze reageren.minder sterk deze reageren.
Vervolg Vervolg
De topografische kaart ordent zichDe topografische kaart ordent zich
Leert reageren op een extern invoerLeert reageren op een extern invoer
Past zich aan de invoer aanPast zich aan de invoer aan Heeft geen hulp nodig van buiten afHeeft geen hulp nodig van buiten af
Wordt ook wel self organizing map Wordt ook wel self organizing map genoemdgenoemd
Leren in een competitieve mapLeren in een competitieve map
Definitie:Definitie: Wanneer een axon van cel A dicht genoeg staat om Wanneer een axon van cel A dicht genoeg staat om
een cel B te exciteren, en dit herhaaldelijk of een cel B te exciteren, en dit herhaaldelijk of continu activeert, dan ontstaat er een groeiproces continu activeert, dan ontstaat er een groeiproces of metabolische verandering in 1 of beide cellen. of metabolische verandering in 1 of beide cellen. Hierdoor stijgt A’s efficiëntie.Hierdoor stijgt A’s efficiëntie.
Minimale competitieve kaartMinimale competitieve kaart
Twee invoervectoren p1 en p2 en gewichten u1 voor Twee invoervectoren p1 en p2 en gewichten u1 voor unit 1 en u2 voor unit 2. unit 1 en u2 voor unit 2.
De bedoeling is dat tijdens het lerev de vectoren van De bedoeling is dat tijdens het lerev de vectoren van de gewichten zich verplaatsen naar de invoervectoren.de gewichten zich verplaatsen naar de invoervectoren.
Reactie van ongetrainde units Reactie van ongetrainde units
Training van minimale competitieve Training van minimale competitieve netwerkennetwerken
Reactie van getrainde unitsReactie van getrainde units
Vergelijking van reactie door Vergelijking van reactie door ongetrainde en getrainde unitsongetrainde en getrainde units
Analyse van complexe dataAnalyse van complexe data
Hoe kan data (items met een label en een reeks getallen Hoe kan data (items met een label en een reeks getallen die een statistische eigenschap van het item representeren) die een statistische eigenschap van het item representeren) in beeld gebracht worden zodat er verbanden kunnen in beeld gebracht worden zodat er verbanden kunnen gelegd worden tussen de items?gelegd worden tussen de items?
De meest simpele oplossing:De meest simpele oplossing:
Andere oplossingenAndere oplossingen
Een kohonen kaart met minimal spanning treeEen kohonen kaart met minimal spanning tree
Andere oplossingAndere oplossing
Merge clustering algoritmeMerge clustering algoritme
Enkele ToepassingenEnkele Toepassingen