apprentissage avec un réseau de neurones artificiels projet tutoré 2013/2014
TRANSCRIPT
Apprentissage avec un réseau
de neurones artificiels
Projet Tutoré 2013/2014
2
Présentation de l’équipe▪ Alaeddine HAJJEM
▪ Manon MAILLARD
▪ Baptiste MONTANGÉ
▪ Abdurahman ZULLU
▪ Tuteur : Sylvain CHEVALLIER
3
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
4
Présentation de l’application▪ Une application de reconnaissance de lettres
▪ Qu’est ce qu’une lettre?
▪ Repose sur l’apprentissage avec un réseau de neurone artificiel
01110 ### 10001 # #11111 #####10001 # #10001 # #
5
Fonctionnement de l’application▪ Fichier texte des lettres à apprendre
▪ Apprentissage des lettres
▪ Fichier texte des lettres à reconnaitre
▪ Reconnaissance des lettres
6
Patrons des lettres ### #### #### #### ##### ##### #### # # ### ### # # ## # # # # # # # # # # # # # # # ###### #### # # # ### ### # ##### # # ### ## # # # # # # # # # ## # # # # # # # ## # #### #### #### ##### # #### # # ### ## # # #####
# # # # ### #### ### #### #### ##### # # # # # # # ### ## ## # # # # # # # # # # # # # # # # # # ## # # # # # # # #### # # #### ### # # # # # # # # ## # # ## # # # # ## # # # # # # # # ### # ## # # # ### # #### # # #### # ### # # # # #
# # ##### # # # # # # ## #####
7
Objectif de ce projet
▪ Comprendre le fonctionnement des réseaux de neurones artificiels
▪ Apprendre un maximum de lettres
▪ Avoir un logiciel robuste
▪ Comprendre l’influence des paramètres du réseau
8
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
9
Réseau de neurone artificiel : Késako?▪ Une méthode d’apprentissage artificiel
▪ A quoi cela sert-il?
▪ Comment cela fonctionne?
10
Réseau de neurone Hopfield▪ Une solution pour les problèmes non linéaires
▪ Tous les neurones sont reliés entre eux
11
Et dans l’application?▪ Les lettres déterminent l’activation des neurones
### # ####### ## #
12
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
13
Et la solution?▪ Apprentissage d’une lettre
▪ Apprentissage de plusieurs lettres
▪ Au bout d’un moment, boucle infinie?
14
L’ordre des lettres?
▪ Apprentissage des lettres par ordre alphabétique
▪ Seulement 11 lettres apprises
▪ A la 12ème lettre : oubli catastrophique
▪ L’application ne reconnaît plus les lettres apprises.
15
L’ordre des lettres?▪ Apprentissage d’une séquence de lettres différentes
▪ Nombre de pixels différents significatif
▪ Apprentissage de 15 lettres
▪ A la 16ème lettre : oubli catastrophique.
16
L’ordre des lettres?▪ Apprentissage d’une séquence de lettres similaires
▪ Nombre de pixels similaire supérieur à 20
▪ Apprentissage de 16 lettres
▪ A la 17ème lettre : oubli catastrophique.
17
Changement des patrons▪ Changement des différents patrons de lettres différentes
▪ Au final apprentissage de 24 lettres
▪ Importance de la similitude des lettres
|# | | # | |#####| | ### | |# | | # | | # | | # ||# | | # | | # | | # ||# | | # | | # | | # ||#####| | ###| | # | | # |
18
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
19
Influence des paramètres▪ Plusieurs paramètres composent l’application :
▪ ALPHA
▪ Seuils initiaux
▪ Poids initiaux
▪ ALPHA détermine le recalcul des seuils et des poids:
▪ Si ALPHA=0.1 rapide mais seulement 16 lettres apprises
▪ Si ALPHA=0.05 plus de calculs mais encore 16 lettres apprises
▪ Si ALPHA=0.005 plus de calculs mais 24 lettres apprises
▪ Si ALPHA=0.00005 trop de calculs, et seulement 5 seule lettre apprise!
20
Influence des paramètres▪ Détermination poids initiaux
▪ Tester des poids initiaux de 0,00 à 0,20 avec un pas de 0,01
▪ Regarde la moyenne des poids de chaque neurone, puis moyenne générale
▪ Au final, moyenne des 21 valeurs précédentes poids initial à 0,06
▪ Remarque: si poids initiaux trop grand (>0,4), trop de calculs, pas de résultat
▪ Seuils initiaux:
▪ Tester des seuils initiaux de 1 à 10
▪ Différence entre seuil minimal et seuil maximal du réseau
▪ + seuil initial grand, + la différence est grande, + de calculs, pas plus de résultats
21
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
22
Qualité de la solution▪ Au final: 24 lettres apprises sur 26
▪ Peu robuste dans la reconnaissance de lettres bruitées
▪ Pourquoi cette priorité ?
23
Plan▪ Présentation de l’application et du projet
▪ Les réseaux de neurones artificiels
▪ Solution du projet
▪ Influence des paramètres
▪ Qualité de la solution
▪ Bilan du projet
24
Bilan du projet
▪ Les évolutions possibles
▪ Qui a fait quoi ?
▪ Les difficultés du projet
▪ Les acquis du projet
25
Merci de votre écoute
Présentation réalisée par :Alaeddine HAJJEMManon MAILLARDBaptiste MONTANGÉAbdurahman ZULLU