Discrimination de courbes par SVM

SVM & FDA

Toulouse,16 nov. 2005

Nathalie V

Analyse desdonnéesfonctionnelles

Principe desSVM

Noyaux pourFDAApproche parprojection

Approche par splinesd’interpolation

Approche parrégression inverse

Bibliographie

Discrimination de courbes par SVM

Nathalie Villa-Vialaneix

Équipe GRIMM, Université Toulouse Le Mirailvilla@univ-tlse2.fr

LSP, 16 novembre 2005

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

1 Analyse des données fonctionnelles

2 Principe des SVM

3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Les données fonctionnelles : Définition

Données classiques : chaque observation est un vecteurde RD ;

Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2

τ , parexemple ; espace de Hilbert, en général).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Exemples

Représentation temporelle (reconnaissance vocale 1)

0 2000 4000 6000 8000

−1.0

−0.5

0.00.5

Temps (ms)

BoatGoat

But : Reconnaître le mot. . .1Données disponibles sur

http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Exemples

Représentation fréquentielle (reconnaissance vocale 1)

0 50 100 150 200 250

Frequences

Log−

[aa][ao]

But : Reconnaître le son. . .1TIMIT database disponible sur

http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Exemples

Courbe de réponse (chimiométrie 1)

0 20 40 60 80 100

Longueur d’onde

But : Déterminer le taux de graisse. . .1Tecator database disponible sur

http ://lib.stat.cmu.edu/datasets/tecator

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Exemple de problèmes en FDA (1)

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Problèmes d’inversion d’opérateurs

ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est

non borné (ce n’est pas un opérateur continu de L2τ ) ! !

Conséquence au niveau de l’estimation

ΓnX =

1n∑n

i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Les données fonctionnelles en pratique

Soit X une variable aléatoire fonctionnelle,

on ne connaît jamais complètement les observations(xi)i=1,...,n de X !

on dispose de xi(t i1), . . . , xi(t i

dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

D’un point de vue pratique...

représenter les fonctions observées et les fonctionsparamètres ;

n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Apports de notre travail en FDA

Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;

Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;

Généralisation des SVM au traitement de donnéesfonctionnelles.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Rappel sur le principe SVM

Le problème

Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .

Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Discrimination linéaire à marge optimale

On cherche w tel que :

minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

marge : 1‖w‖2

Vecteur Support

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

marge : 1‖w‖2

Vecteur Support

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Discrimination linéaire à marge souple

minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

marge : 1‖w‖2

Vecteur Support

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

marge : 1‖w‖2

Vecteur Support

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Envoyer les données dans un espace de grandedimension

Espace initial H

(PC ,X) minw,b ,ξ〈w,w〉 + C∑n

i=1 ξi ,

sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Espace initial H Espace image X

Φ (non linéaire)

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Φ (non linéaire)

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Φ (non linéaire)

i=1 ξi ,

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Intérêt du non linéaire

Formulation régularisation : (PC ,X)⇔

(Rλ,X) minf∈X

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

Formulation duale : (PC ,X)⇔

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

(Rλ,X) minf∈X

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

(Rλ,X) minf∈X

n∑i=1

max(0, 1 − yi f (xi)) + λ〈f , f〉X.

(DC ,X) maxα∑n

i=1 αi −∑n

i=1∑n

∑Ni=1 αiyi = 0,

0 ≤ αi ≤ C , 1 ≤ i ≤ n.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Présentation des travaux

En collaboration avec Fabrice Rossi

Support vector machine for functional dataclassification (2005), paru dans ESANN proceedings.

Classification in Hilbert spaces with support vectormachines (2005), paru dans ASMDA proceedings

Support vector machine for functional dataclassification (2005), à paraître dans Neurocomputing.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Noyaux pour FDA

Forme générale

Prétraitement : P : H → D

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

1 Projections : pour VD = Vect{ψ1, . . . , ψD},

P(x) =D∑

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

P(x) =D∑

〈x, ψj〉ψj .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

P(x) =D∑

〈x, ψj〉ψj .

2 Transformations fonctionnelles : P(x) = Dqx,. . .

3 FIR. . .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Noyaux pour FDA

Forme générale

∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).

P(x) =D∑

〈x, ψj〉ψj .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Une approche consistante

Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;

2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

a∗ = argmina Ln−l fa +λd√

n − l

avec Ln−l fa = 1n−l

∑ni=l+1 I{fa (xi ),yi }.

⇒ On obtient un SVM fn.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]

n − l

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;

construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :

n − l

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;

choix du paramètre optimal sur B2 :

n − l

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

n − l

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

n − l

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Hypothèses

Hypothèses sur la distribution de X

(H1) X prend ses valeurs dans un borné de H .

Hypothèses sur les paramètres : ∀ d ≥ 1,

(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)

∑d≥1 |Jd |e−2λ2

d < +∞.

Hypothèses sur la validation

(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞

l log(n−l)n−l = 0.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Hypothèses

∑d≥1 |Jd |e−2λ2

d < +∞.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Hypothèses

∑d≥1 |Jd |e−2λ2

d < +∞.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Convergence par procédure de validation

Théorème 1 Consistance universelleSous les hypothèses (H1)-(H8), fn est consistant :

Lfnn→+∞−−−−−→ L∗,

où Lfn = P(fn(X) , Y ) et L ∗ = P(f ∗(X) , Y ) avec

f ∗(x) ={

1 si P(Y = 1|X = x) > 1/2,−1 sinon.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Application : reconnaissance vocale

Description des données et méthodes

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;

Mise en œuvre de la procédure consistante :Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :

Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.

Résultats

yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%

sh/ao 16% 19% 12% 25% 47%

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Application : Tecator data Set

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.

Procédure :Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

Résultats (Moyenne pour 250 répétitions)

Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :

Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Approche directe pour SVM sur dérivées

X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;

Produit scalaire : H est muni du produit scalaire

〈f , g〉H = 〈Lf , Lg〉L2 =

∫[0;1]

Lf (t)Lg(t)dt

où Lx =∑m

j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Approche directe pour SVM sur dérivées

X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;

Produit scalaire : H est muni du produit scalaire

〈f , g〉H = 〈Lf , Lg〉L2 =

∫[0;1]

Lf (t)Lg(t)dt

où Lx =∑m

j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Exemples d’espaces de Sobolev

H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m.

Pour d’autres exemples, voir [Besse & Ramsay, 1986] et[Berlinet & Thomas-Agnan, 2004].

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

H peut être un RKHS

Un RKHS est un espace de fonctions tel que ∃K : R ×R → H :

∀ x ∈ H , 〈x,K (t , .)〉H = x(t).

H1 avec L = I + D et x(0) = 0 est un RKHS de noyau

K (s, t) = e−max(s,t) sinh(min(s, t));

H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS denoyau

K (s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

∀ x ∈ H , 〈x,K (t , .)〉H = x(t).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

∀ x ∈ H , 〈x,K (t , .)〉H = x(t).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM fonctionnels par interpolation spline

[Besse & Ramsay, 1986]

Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).

Application aux SVM

SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]

SVM sur (xn)n avec noyau Gdγ ◦ K

−1/2 dans Rd .

où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM fonctionnels par interpolation spline

[Besse & Ramsay, 1986]

Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).

Application aux SVM

SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]

SVM sur (xn)n avec noyau Gdγ ◦ K

−1/2 dans Rd .

où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Consistance directe

Théorème 2 Consistance universelleSoit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels queK = (K (ti , tj))i,j=1,...,d soit inversible. Alors,

il existe une suite de points de discrétisation (τD)D≥1 telleque

τd = (tk )k=1,...,d ,∀D ≥ 1, τD ⊂ τD+1 et KD = (K (ti , tj))i,j=1,...,D est inversible,Vect{K (t , .), t ∈ ∪D≥1τD} est dense dans H ;

le SVM construit à partir de la spline d’interpolation avecune suite de régularisation (CD

n )n = O(n1−βD ),0 < βD < 1/D est universellement consistant :

limn→+∞

limD→+∞

Lfn,D = L∗

où L∗ est l’erreur de Bayes.

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Consistance directe

limn→+∞

limD→+∞

Lfn,D = L∗

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Consistance directe

limn→+∞

limD→+∞

Lfn,D = L∗

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Sommaire

2 Principe des SVM

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Régression inverse fonctionnelle

Modèle ([Ferré & Yao, 2003], [Ferré & Villa, 2005])

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}

Caractérisation de l’espace EDR

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,

alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

alors E(X |Y ) ∈ ΓX (EDR).

⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),

Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),

alors E(X |Y ) ∈ ΓX (EDR).⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1

X ΓE(X |Y ).

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM par FIR

Estimation de EDR : [Ferré & Yao, 2003],[Ferré & Villa, 2005] proposent des approchesconsistantes de l’estimation de l’espace EDR, EDR ;

Estimation de f par SVM : SVM sur PEDR(X) ;

Résultat de consistance universelle pour ce SVM : ? ? ?

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM par FIR

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

SVM par FIR

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Simulations

Données simulées Waveform

2 4 6 8 10 12 14 16 18 20−4

Classe 1

2 4 6 8 10 12 14 16 18 20−4

Classe 2

2 4 6 8 10 12 14 16 18 20−4

Classe 3

300 courbes (apprentissage) / 500 courbes (validation) ;

erreur calculée sur un échantillon de 500 courbes ;

10 répétitions.

RésultatsFIR-SVM SVM R-PDA FIR-N

Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Simulations

Données simulées Waveform

2 4 6 8 10 12 14 16 18 20−4

Classe 1

2 4 6 8 10 12 14 16 18 20−4

Classe 2

2 4 6 8 10 12 14 16 18 20−4

Classe 3

300 courbes (apprentissage) / 500 courbes (validation) ;

erreur calculée sur un échantillon de 500 courbes ;

10 répétitions.

RésultatsFIR-SVM SVM R-PDA FIR-N

Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37

SVM & FDA

Nathalie V

Principe desSVM

Bibliographie

Berlinet, A. & Thomas-Agnan, C. (2004).Reproducing kernel Hilbert spaces in probability and statistics.Kluwer Academic Publisher.

Besse, P. & Ramsay, J. (1986).Principal component analysis of sampled curves.Psychometrica, 51, 285–311.

Ferré, L. & Villa, N. (2005).Discrimination de courbes par régression inverse fonctionnelle.Revue de Statistique Appliquée, LIII(1), 39–57.

Ferré, L. & Yao, A. (2003).Functional sliced inverse regression analysis.Statistics, 37, 475–488.

Discrimination de courbes par SVM

Science

Transcript of Discrimination de courbes par SVM

A NOVEL NEUTROSOPHIC LOGIC SVM (N-SVM) AND ITS APPLICATION

TongK01 Svm

Courbes intensité-potentiel Applications `a l'électrolyse

SVM Reference

FORMES MODULAIRES p-ADIQUES SUR LES COURBES DE …bicmr.pku.edu.cn/~dingyiwen/fmplg.pdf · FORMES MODULAIRES p-ADIQUES SUR LES COURBES DE SHIMURA UNITAIRES ET COMPATIBILITÉ LOCAL-GLOBAL

Svm Finance

Application des courbes ROC à l’analyse des facteurs ...

Svm Tricia

SVM Practical

SVM classifier

Arithmétique des couplages sur les courbes algébriques pour la ...

Boosted Svm

Méthodes de construction des courbes de fragilité sismique ...

Courbes elliptiques - Université Sorbonne Paris Nord

Courbes de Wilson: évaluation d'une nouvelle méthode de ...

Svm Tutorial2

Géométrie algorithmique non linéaire et courbes ...

32hl67u Svm

Linear svm

Practical Selection of SVM Parameters and Noise Estimation for SVM …people.ece.umn.edu/users/cherkass/N2002-SI-SVM-13-whole.pdf · 2002. 9. 30. · 3 In SVM regression, the inputx