discrimination de courbes par svm

82

Click here to load reader

Upload: tuxette

Post on 11-May-2015

99 views

Category:

Science


1 download

DESCRIPTION

Séminaire du GREMAQ, Université Toulouse I, France 7 avril 2006

TRANSCRIPT

Page 1: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination de courbes par SVM

Nathalie Villa-Vialaneix

Équipe GRIMM, Université Toulouse Le [email protected]

GREMAQ, 7 avril 2006

Page 2: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA

SVM pour FDA

(approche par régression inverse)

(approches proj., spline, FIR. . . )

Projets GEODE ENAC FRAMESPA

Page 3: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA SVM pour FDA(approche par régression inverse) (approches proj., spline, FIR. . . )

Projets GEODE ENAC FRAMESPA

Page 4: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA SVM pour FDA(approche par régression inverse) (approches proj., spline, FIR. . . )

Projets GEODE

ENAC FRAMESPA

Page 5: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA SVM pour FDA(approche par régression inverse) (approches proj., spline, FIR. . . )

Projets GEODE ENAC

FRAMESPA

Page 6: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA SVM pour FDA(approche par régression inverse) (approches proj., spline, FIR. . . )

Projets GEODE ENAC FRAMESPA

Page 7: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Thématiques de recherche développées

NN pour FDA SVM pour FDA(approche par régression inverse) (approches proj., spline, FIR. . . )

Projets GEODE ENAC FRAMESPA

Page 8: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 9: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 10: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

Page 11: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

Page 12: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemples

Représentation temporelle (reconnaissance vocale 1)

0 2000 4000 6000 8000

−1.0

−0.5

0.00.5

1.0

Temps (ms)

Freq

uenc

es

BoatGoat

But : Reconnaître le mot. . .1Données disponibles sur

http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz

Page 13: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemples

Courbe de réponse (chimiométrie 1)

0 20 40 60 80 100

23

45

Longueur d’onde

Abso

rbanc

e

But : Déterminer le taux de graisse. . .1Tecator database disponible sur

http ://lib.stat.cmu.edu/datasets/tecator

Page 14: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemple de problèmes en FDA (1)

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.

Page 15: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemple de problèmes en FDA (1)

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.

Page 16: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

D) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

Page 17: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

D) ;

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

Page 18: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemple de problèmes en FDA (2)

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

Page 19: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Exemple de problèmes en FDA (2)

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

Page 20: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 21: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les données

On dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

Page 22: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les données

On dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

Page 23: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge optimale

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes :yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

Page 24: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge optimale

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes :yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

Page 25: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge optimale

w

marge : 1‖w‖2

Vecteur Support

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes :yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

Page 26: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge optimale

w

marge : 1‖w‖2

Vecteur Support

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes :yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

Page 27: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge souple

On cherche w tel que :

minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 28: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge souple

On cherche w tel que :

minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 29: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge souple

w

marge : 1‖w‖2

Vecteur Support

On cherche w tel que :

minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 30: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Discrimination linéaire à marge souple

w

marge : 1‖w‖2

Vecteur Support

On cherche w tel que :

minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 31: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Envoyer les données dans un espace de grandedimension

Espace initialH

On cherche w tel que :

(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 32: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Envoyer les données dans un espace de grandedimension

Espace initialH Espace image X

Φ (non linéaire)

On cherche w tel que :

(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 33: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Envoyer les données dans un espace de grandedimension

Espace initialH Espace image X

Φ (non linéaire)

On cherche w tel que :

(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 34: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Envoyer les données dans un espace de grandedimension

Espace initialH Espace image X

Φ (non linéaire)

On cherche w tel que :

(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes :yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

Page 35: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Intérêt du non linéaire

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X

Page 36: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Intérêt du non linéaire

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X

Page 37: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Intérêt du non linéaire

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

1n

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X

Page 38: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 39: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Présentation des travaux

En collaboration avec Fabrice RossiSupport vector machine for functional dataclassification (2005), paru dans ESANN proceedings ;

Classification in Hilbert spaces with support vectormachines (2005), paru dans ASMDA proceedings ;

Support vector machine for functional dataclassification (2006), paru dans Neurocomputing ;

SVM fonctionnels par interpolation spline (2006), àparaître dans Actes du congrès de la SFdS (Journées deStatistique).

Page 40: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .

Page 41: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .

Page 42: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .

3 FIR. . .

Page 43: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

j=1

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .

Page 44: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 45: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;

2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 46: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 47: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;

construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 48: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;

choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 49: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 50: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Une approche consistante

Approche par projection

1 (ψj)j base Hilbertienne deH : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd ]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

Page 51: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Hypothèses

Hypothèses sur la distribution de X

(H1) X prend ses valeurs dans un borné deH .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation

(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞

l log(n−l)n−l = 0.

Page 52: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Hypothèses

Hypothèses sur la distribution de X

(H1) X prend ses valeurs dans un borné deH .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation

(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞

l log(n−l)n−l = 0.

Page 53: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Hypothèses

Hypothèses sur la distribution de X

(H1) X prend ses valeurs dans un borné deH .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation

(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞

l log(n−l)n−l = 0.

Page 54: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Convergence par procédure de validation

Théorème 1 Consistance universelleSous les hypothèses (H1)-(H8), fn est consistant :

Lfnn→+∞−−−−−→ L∗,

où Lfn = P(fn(X) , Y ) et L ∗ = P(f ∗(X) , Y ) avec

f ∗(x) =

{1 si P(Y = 1|X = x) > 1/2,−1 sinon.

Page 55: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;

Mise en œuvre de la procédure consistante :Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Page 56: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Page 57: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

Page 58: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : Tecator data Set

Description des données et méthodes

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.

Procédure :Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)

Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

Page 59: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : Tecator data Set

Description des données et méthodes

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)

Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

Page 60: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application : Tecator data Set

Description des données et méthodes

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)

Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

Page 61: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 62: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Approche directe pour SVM sur dérivées

Hypothèse de régularité

On suppose que X est régulière :X ∈ Hm = {x : [0; 1] → R : Dmx existe etDmx ∈ L2}.

Principe de l’interpolation L -spline

on interpole exactement les observations x1, . . . , xn auxpoints de discrétisation t1, . . . , td ;

on minimise une pénalité de régularisation définie par unopérateur différentiel :

L = Dm +

m−1∑j=1

ajD j .

Page 63: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Approche directe pour SVM sur dérivées

Hypothèse de régularité

On suppose que X est régulière :X ∈ Hm = {x : [0; 1] → R : Dmx existe etDmx ∈ L2}.

Principe de l’interpolation L -spline

on interpole exactement les observations x1, . . . , xn auxpoints de discrétisation t1, . . . , td ;

on minimise une pénalité de régularisation définie par unopérateur différentiel :

L = Dm +

m−1∑j=1

ajD j .

Page 64: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Décomposition de l’espace de Sobolev

Hm = H0 +H1 avec

H0 = KerL ;

H1 est défini par m contraintes aux bornes : RKHS deproduit scalaire 〈h1, h2〉 =

∫[0,1]

Lh1(t)Lh2(t)dt et de noyauK .

Exemples :

H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m ;

Page 65: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Décomposition de l’espace de Sobolev

Hm = H0 +H1 avec

H0 = KerL ;

H1 est défini par m contraintes aux bornes : RKHS deproduit scalaire 〈h1, h2〉 =

∫[0,1]

Lh1(t)Lh2(t)dt et de noyauK .

Exemples :

H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m ;

Page 66: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Détermination de la spline d’interpolation

On suppose Kd = (K (ti , tj))i,j=1,...,d inversible.

Spline d’interpolation

Soit x ∈ H1 alors h = PVect{K (tk ,.), k=1,...,d}(x).

Produit scalaire entre splines

Si x1, x2 ∈ H1,

〈h1, h2〉H1 = 〈x1, x2〉(Rd ,K−1/2).

où x i = (xi(t1), . . . , xi(td)).

Page 67: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Détermination de la spline d’interpolation

On suppose Kd = (K (ti , tj))i,j=1,...,d inversible.

Spline d’interpolation

Soit x ∈ H1 alors h = PVect{K (tk ,.), k=1,...,d}(x).

Produit scalaire entre splines

Si x1, x2 ∈ H1,

〈h1, h2〉H1 = 〈x1, x2〉(Rd ,K−1/2).

où x i = (xi(t1), . . . , xi(td)).

Page 68: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application aux SVM

On note

Gdγ (u, v) = e−γ‖u−v‖2

Rd et G∞γ (u, v) = e−γ‖u−v‖2L2 ;

Kd = (K (ti , tj))i,j=1,...,d , supposée inversible ;

∀ i = 1, . . . , n, hi est la spline d’interpolation de xi

(supposée à valeurs dansH1) ;

x i = (xi(t1), . . . , xi(td)).

Théorème 2 SVM sur dérivées

SVM sur (Lhi)i avec noyau G∞γ −→ φn,dh

SVM sur (x i)i avec noyau Gdγ ◦ K

−1/2 −→ φn,dx

Page 69: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Application aux SVM

On note

Gdγ (u, v) = e−γ‖u−v‖2

Rd et G∞γ (u, v) = e−γ‖u−v‖2L2 ;

Kd = (K (ti , tj))i,j=1,...,d , supposée inversible ;

∀ i = 1, . . . , n, hi est la spline d’interpolation de xi

(supposée à valeurs dansH1) ;

x i = (xi(t1), . . . , xi(td)).

Théorème 2 SVM sur dérivées

SVM sur (Lhi)i avec noyau G∞γ −→ φn,dh

SVM sur (x i)i avec noyau Gdγ ◦ K

−1/2 −→ φn,dx

Page 70: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Hypothèses pour la consistance

Hypothèses

(H1) : X est une variable aléatoire bornée à valeurs dansH1 ;

(H2) : (τd)d est une suite de points de discrétisation dans[0, 1] telle que, pour tout d ≥ 1, τd = {tk }k=1,...,d , la matriceKd est définie positive et Span{K (t , .), t ∈ ∪d≥1τd} estdense dans H1 ;

(H3) : (Cdn )n est une suite de régularisation telle que

Cdn = O(n1−βd ) pour 0 < βd < 1/d.

Page 71: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Consistance

Théorème 3 Consistance universelle

Sous les hypothèse (H1)-(H3), le SVM φn,dh , avec la suite de

régularisation (Cdn )n, est universellement consistant :

limn→+∞

limd→+∞

Lfn,d = L∗

où L∗ est l’erreur de Bayes et Lφ = P(φ(X) , Y ) est l’erreur deφ.

Page 72: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Limites et perspectives

Limites

Lorsque d est grand, interpolation = sur-adéquation auxobservations et Kd est mal conditionnée.

Perspectives

spline de lissage sans condition aux bornes (contrôler

l’erreur commise par E(Y |SLd(X)) au lieu de E(Y |X)) ;

application sur des données réelles :

0 200 400 600 800 1000

0.4

0.6

0.8

1.0

Temps

Fréq

uenc

e

0.6752.334.33

16.6727.6733.2511.25

274.330.33

17.3318

79.6785

17.335.3360.50.67

15.33

Page 73: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Limites et perspectives

Limites

Lorsque d est grand, interpolation = sur-adéquation auxobservations et Kd est mal conditionnée.

Perspectives

spline de lissage sans condition aux bornes (contrôler

l’erreur commise par E(Y |SLd(X)) au lieu de E(Y |X)) ;

application sur des données réelles :

0 200 400 600 800 1000

0.4

0.6

0.8

1.0

Temps

Fréq

uenc

e

0.6752.334.33

16.6727.6733.2511.25

274.330.33

17.3318

79.6785

17.335.3360.50.67

15.33

Page 74: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Limites et perspectives

Limites

Lorsque d est grand, interpolation = sur-adéquation auxobservations et Kd est mal conditionnée.

Perspectives

spline de lissage sans condition aux bornes (contrôler

l’erreur commise par E(Y |SLd(X)) au lieu de E(Y |X)) ;

application sur des données réelles :

0 200 400 600 800 1000

0.4

0.6

0.8

1.0

Temps

Fréq

uenc

e

0.6752.334.3316.6727.6733.2511.25

274.330.3317.33

1879.67

8517.335.3360.50.6715.33

Page 75: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

Page 76: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Régression inverse fonctionnelle

Modèle

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR= Vect{a1, . . . aq}

Caractérisation de l’espace EDR

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

Page 77: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Régression inverse fonctionnelle

Modèle

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR= Vect{a1, . . . aq}

Caractérisation de l’espace EDR

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

Page 78: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Régression inverse fonctionnelle

Modèle

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR= Vect{a1, . . . aq}

Caractérisation de l’espace EDR

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X |Y ) ∈ ΓX (EDR).⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

Page 79: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

SVM par FIR

Estimation de EDR, EDR;

Estimation de f par SVM : SVM sur PEDR(X) ;

Résultat de consistance universelle pour ce SVM : il fautcontrôler la différence entre E(Y |X) et E(Y |Tn,q(X)) oùTn,q(X) dépend des observations. . .

Page 80: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

SVM par FIR

Estimation de EDR, EDR;

Estimation de f par SVM : SVM sur PEDR(X) ;

Résultat de consistance universelle pour ce SVM : il fautcontrôler la différence entre E(Y |X) et E(Y |Tn,q(X)) oùTn,q(X) dépend des observations. . .

Page 81: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

SVM par FIR

Estimation de EDR, EDR;

Estimation de f par SVM : SVM sur PEDR(X) ;

Résultat de consistance universelle pour ce SVM : il fautcontrôler la différence entre E(Y |X) et E(Y |Tn,q(X)) oùTn,q(X) dépend des observations. . .

Page 82: Discrimination de courbes par SVM

SVM & FDA

Toulouse,7 avril 2006

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Simulations

Données simulées Waveform

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 1

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

10

Classe 2

2 4 6 8 10 12 14 16 18 20−4

−2

0

2

4

6

8

Classe 3

300 courbes (apprentissage) / 500 courbes (validation) ;

erreur calculée sur un échantillon de 500 courbes ;

10 répétitions.

Résultats

FIR-SVM SVM R-PDA FIR-NMoyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37