apprentissage (i) mirta b. gordon laboratoire leibniz-imag grenoble dynamique des systèmes...
TRANSCRIPT
Apprentissage (I)
Mirta B. GordonLaboratoire Leibniz-IMAG
Grenoble
Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
2
plan
•c’est quoi ?
•différents types d’apprentissage
•algorithmes d’apprentissage
•les réseaux de neurones – le perceptron– réseaux plus complexes
•théorie de l’apprentissage
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
3
c’est quoi ?
•apprendre est s’adapter à l’environnement à partir de l’expérience
•schéma :– on a des stimuli ou entrées– il faut donner une réponse adéquate, ou sortie
•entrées-sorties :– à partir de notre perception visuelle reconnaître un visage – à partir de descripteurs d’une situation prendre une décision – à partir de descripteurs de données les classer
•« apprendre » à partir de données empiriques
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
4
trois types d’apprentissage
•supervisé : – on a un ensemble d’exemples (couples entrée-sortie)– on doit apprendre à donner la sortie correcte à de nouvelles
entrées
•non-supervisé :– on a un ensemble de données (entrées sans la sortie
correspondante)– on doit trouver des régularités permettant de les classer
(clusters)
•par renforcement– on a des entrées décrivant une situation – on reçoit une punition si la sortie qu’on donne n’est pas
adéquate
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
5
algorithmes d’apprentissage
•heuristiques (recettes) pour chaque type d’apprentissage
•apprendre problème inverse, mal posé pas de solution unique
•différents algorithmes : chacun a sa performance
•critères :– vitesse de convergence
• temps d’apprentissage en fonction du nombre d’exemples
– capacité de généralisation• évolution de la qualité de la solution en fonction du nombre
d’exemples
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
6
apprentissage supervisé
•classification ou discrimination :
attribuer une classe à une donnée, à partir des traits décrivant cette donnée
•exemples de tâches de discrimination :• le diagnostic médical• la reconnaissance de caractères manuscrits• la décision d’acheter une action à partir des données du marché
financier
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
7
formalisation
•information contenue dans un ensemble d’apprentissage
LM = { (x) }1≤≤M
– M vecteurs de dimension N :
x=(x1, x
2, …, xN)
(=1,2,…,M) – et leurs classes :
•« apprendre » à donner de bonnes réponses (x) à de nouveaux vecteurs x
•deux phases :– apprendre
classe +1 classe -1
x1
x2
classe?
1,1 x
- généraliser
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
8
classifieur élémentaire : le perceptron
•d’inspiration biologique : « neurone » élémentaire
•surface discriminante linéaire :
• stabilité d’un exemple : – distance à la surface discriminante
avec signe – si mal classé
x1 x2xNxi
w1 wN
=sgn(w.x)
input :
output : hsgn
xwhN
1iii
xw
w
wwxw
h
0xwquetelsN
1iii
xwx
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
9
algorithme du perceptron
•on initialise les poids du perceptron
•on parcourt les exemples – si la sortie donnée par le perceptron est incorrecte, on modifie
les poids
– jusqu’à convergence
•convergence assurée seulement si les exemples sont linéairement séparables
•si les exemples sont linéairement séparables : infinité de solutions
xww
)M1(
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
10
apprendre les poids d’un perceptron
•par minimisation d’une fonction de coût– les poids qui classent al les exemples ont un coût élevé
•coûts « ad-hoc » – pénalisant les stabilités négatives
•rappel :
w
ww
xw
h
M
1M ,VLE x;ww;
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - Apprentissage I
11
exemples non séparables linéairement
•problème : – l’algorithme du perceptron ne converge pas– les autres algorithmes convergent mais souvent vers des
solutions « non intéressantes » (poids des exemples moins bien classés)
•deux solutions :
•classique : réseaux en couches
•« moderne » :Support Vector Machines
fin premier cours