Appariement de deux images

Paire d’images (640 x 480 pixels)

Appariement de deux images

Points d’intérêt extraits avec Harris (approx. 500 points)

Appariement de deux images

Appariement initial (188 couples)

Appariement de deux images

Estimation robuste de la matrice fondamentale

99 inliers 89 outliers

Appariement de deux images

Appariement guidé (157 couples)il reste qq. faux appariements

Appariement de trois images

Triplet d’images (640 x 480 pixels)

Appariement de trois images

Points d’intérêt extraits avec Harris (approx. 500 points)

Appariement de trois images

106 app. initial 88 inliers 18 outliers

Appariement de trois images

Appariement guidé (95 couples)pas de faux appariements

Problèmes

• Transformations image– rotation image– changement affine d’illumination– changement d’échelle

• Invariants– géométrique : peu discriminant– photométrique : discriminant, mais l’invariance est plus difficile

• dérivées

• moments

• filtres de Gabors

Invariants photométriques

• Basés sur des dérivées calculées en un point (x,y)

)(*),(

)(*),(

)(*),(

)(*),(

)(),(

)(),(

),(

yy

xy

xx

y

x

GyxI

GyxI

GyxI

GyxI

GyxI

GyxI

yxv

Invariants photométriques

• Basés sur des dérivées calculées en un point (x,y)

• Invariance aux– translations

– changements de luminosité sous la forme

)(*),(

)(*),(

)(*),(

)(*),(

)(),(

)(),(

),(

yy

xy

xx

y

x

GyxI

GyxI

GyxI

GyxI

GyxI

GyxI

yxv

bII )()( 21 xx

Calcul des dérivées

• Calcul stable par convolution avec dérivées Gaussiennes

)2

exp(2

1),),(( 2

22

2 yx

yxG t

dudvvuIvyuxGGyxI xx ),(),()(),(

Interpretation

( )descripteur local

• Approximation locale d’une fonction par la série de Taylor

• Décrit le voisinage d’un point

détermine la taille du voisinage

Invariance à la rotation

Invariants différentiels [Koen87]

2

2

yyyyxyxyxxxx

yyxx

yyyyyxxyxxxx

yyxx

IIIIII

II

IIIIIIII

IIII

Invariance à l’illumination

Dans le cas d’une transformation affine

baII )()( 21 xx

yyxx

yyyyxyxyxxxx

yyxx

yyxx

yyxx

yyyyyxxyxxxx

IIII

IIIIII

IIII

II

IIII

IIIIIIIII

2

)(

)(

2

2/1

2/3

Invariance aux changements d’échelle

)()( 21 xx sII Dans le cas d’un changement d’échelle

Invariance aux changements d’échelle

)()( 21 xx sII Dans le cas d’un changement d’échelle

Les dérivées sont liées par )()()()(11 21 sGsIsGI

nn iin

ii xx

Points d’intérêt - détecteur de Harris

• Manque de robustesse des points d’intérêt en présence d’un changement d’échelle

Solution développée

• Points d’intérêt invariants aux changements d’échelle

– adaptation des points d’intérêt (Harris) aux changement d’échelle• localisation spatiale stable

• invariance aux rotations et aux changements affines de luminosité

– extraction multi-échelle des points d’intérêt

– sélection de l’échelle caractéristique dans l’espace multi-échelle• localisation invariante dans l’espace d’échelle

Points d’intérêt - adaptation à l’échelle

• Détecteur de Harris – deux valeurs propres importantes de la matrice d’auto-correlation

• Adaptation de la matrice au changement d’échelle

)()(

)()()~( 2

2

yyx

yxx

III

IIIG2s s

s

s

s

s

)~(G

yx II ,

fenêtre Gaussienne d’intégration

dérivées premières

Points d’intérêt - résultats de l’adaptation

Sélection de l’échelle - principe

Laplacien

échelle caractéristique : maximum dans l’espace d’échelle [Lindeberg 98]

Sélection de l’échelle - principe

Laplacien

invariance de l’échelle caractéristique

Points d’intérêt invariant à l’échelle

• Sélection de l’échelle caractéristique dans l’espace d’échelle – l’échelle caractéristique existe en général pour des points d’intérêt – le Laplacien permet de trouver le plus de maxima (résultat

experimental)

• Sélection des points à l’échelle caractéristique

points invariants + échelle associée

Résultat de l’appariement

213 / 190 points d’intérêt détectés

Résultat de l’appariement

58 points sont appariés initialement

Résultat de l’appariement

32 points sont appariés après vérification - tous corrects

Résultat de l’appariement

100% d’appariements corrects (33)

Mesure de similarité

( ) ( )=?

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

i

ii qpqpdist 2)(),(

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

• distance ponderée– ne tient pas compte des corrélations

i

ii qpqpdist 2)(),(

i

iii qpwqpdist 2)(),(

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

• distance ponderée– ne tient pas compte des corrélations

• distance de Mahalanobis

i

ii qpqpdist 2)(),(

i

iii qpwqpdist 2)(),(

)()(),( 1 qpqpqpdist T