G eom etrie epipolaire -...
Transcript of G eom etrie epipolaire -...
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Geometrie epipolaire
Vincent Nozick
Vincent Nozick Geometrie epipolaire 1 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Geometrie epipolaire
Introduction :La geometrie epipolaire permet d’etablir une relation geometriqueentre 2 images d’une meme scene.
Vincent Nozick Geometrie epipolaire 2 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Geometrie epipolaire
Vincent Nozick Geometrie epipolaire 3 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Geometrie epipolaire
Vincent Nozick Geometrie epipolaire 4 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
Matrice fondamentale :
F =
f11 f12 f13f21 f22 f23f31 f32 f33
Pour 2 points de correspondance x↔ x′, on a :
x′>Fx = 0
Vincent Nozick Geometrie epipolaire 5 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
F =
f11 f12 f13f21 f22 f23f31 f32 f33
x′>Fx = 0
Droites epipolaires :
x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′
x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l
↪→ l′> = x′>F ⇔ l′ = F>x′
↪→ l = Fx
Vincent Nozick Geometrie epipolaire 6 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
F =
f11 f12 f13f21 f22 f23f31 f32 f33
x′>Fx = 0
Droites epipolaires :
x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′
x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l
↪→ l′> = x′>F ⇔ l′ = F>x′
↪→ l = Fx
Vincent Nozick Geometrie epipolaire 6 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
F =
f11 f12 f13f21 f22 f23f31 f32 f33
x′>Fx = 0
Droites epipolaires :
x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′
x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l
↪→ l′> = x′>F ⇔ l′ = F>x′
↪→ l = Fx
Vincent Nozick Geometrie epipolaire 6 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
F =
f11 f12 f13f21 f22 f23f31 f32 f33
x′>Fx = 0
Droites epipolaires :
x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′
x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l
↪→ l′> = x′>F ⇔ l′ = F>x′
↪→ l = Fx
Vincent Nozick Geometrie epipolaire 6 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
F =
f11 f12 f13f21 f22 f23f31 f32 f33
x′>Fx = 0
Droites epipolaires :
x′>Fx = 0 ⇒ l′>x = 0 ⇒ x ∈ l′
x′>Fx = 0 ⇒ x′>l = 0 ⇒ x′ ∈ l
↪→ l′> = x′>F ⇔ l′ = F>x′
↪→ l = Fx
Vincent Nozick Geometrie epipolaire 6 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Relation epipolaire
l′ = F>x′ l = Fx
Si on connait F :la selection d’un point sur une image nous donne la droite epipolairesur l’autre image.
Vincent Nozick Geometrie epipolaire 7 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Contrainte epipolaire :pour chaque point de correspondance x↔ x′ entre les 2 images, larelation epipolaire doit etre satisfaite :
x′>Fx = 0
Calcul :Si l’on dispose de quelques points de correspondance x ↔ x′, onpeut calculer F
Vincent Nozick Geometrie epipolaire 8 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Contrainte epipolaire :pour chaque point de correspondance x↔ x′ entre les 2 images, larelation epipolaire doit etre satisfaite :
x′>Fx = 0
Calcul :A partir de quelques points de correspondance x↔ x′ (au moins 8),on peut calculer F.
Vincent Nozick Geometrie epipolaire 9 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Points de correspondance
Vincent Nozick Geometrie epipolaire 10 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Pour chaque xi ↔ x′i, on a :
x′>i Fxi = 0
soit (x′i y′i w′
i
) f11 f12 f13f21 f22 f23f31 f32 f33
xiyiwi
= 0
on developpe :
xix′if11+xiy
′if12+xiw
′if13+ yix
′if21+ yiy
′if22+ . . .+wiw
′if33 = 0
Vincent Nozick Geometrie epipolaire 11 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Renommage :
f11 f12 f13f21 f22 f23f31 f32 f33
→
f11f12f13f21f22f23f31f32f33
Vincent Nozick Geometrie epipolaire 12 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Pour chaque xi ↔ x′i, on a :
xix′if11+xiy
′if12+xiw
′if13+ yix
′if21+ yiy
′if22+ . . .+wiw
′if33 = 0
soit
(xix
′i xiy
′i xiw
′i yix
′i yiy
′i . . . wiw
′i
)
f11f12f13f21f22f23f31f32f33
= 0
Vincent Nozick Geometrie epipolaire 13 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Reformulation matricielle :
x1x
′1 x1y
′1 x1w
′1 y1x
′1 y1y
′1 . . . w1w
′1
x2x′2 x2y
′2 x2w
′2 y2x
′2 y2y
′2 . . . w2w
′2
......
......
......
...xnx
′n xny
′n xnw
′n ynx
′n yny
′n . . . wnw
′n
f11f12f13f21f22f23f31f32f33
=
00...0
on resoud au sens des moindres carres (SVD et right nullspace)
Vincent Nozick Geometrie epipolaire 14 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
f11f12f13f21f22f23f31f32f33
→
f11 f12 f13f21 f22 f23f31 f32 f33
Vincent Nozick Geometrie epipolaire 15 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Calcul
Vincent Nozick Geometrie epipolaire 16 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Epipoles
Vincent Nozick Geometrie epipolaire 17 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Epipoles
Epipoles :toutes les droites epipolaires passent par les epipoles e et e′.
Vincent Nozick Geometrie epipolaire 18 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Epipoles
Propriete :toutes les droites epipolaires passent par les epipoles e et e′.
Vincent Nozick Geometrie epipolaire 19 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Epipoles
Propriete :toutes les droites epipolaires passent par leur epipoles e ou e′.
Pour tout x, on a :
e′ ∈ l ⇔ e′>l = 0
avec l = Fx, on a :e′>Fx = 0
la seule facon d’avoir e′>Fx = 0 ∀x est d’avoir e′>F = 0
Vincent Nozick Geometrie epipolaire 20 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Epipoles
Finalement, on a :
F>e′ = 0 et Fe = 0
Calcul :Pour calculer les epipoles, il suffit de calculer le noyaux de F et F>.(SVD et right nullspace)
Vincent Nozick Geometrie epipolaire 21 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Rang de F
Propriete :
• la matrice F est une matrice de rang 2.
• mais le calcul de F (moindres carres) ne nous assure pas cettepropriete.
• si F n’est pas de rang 2, les droites epipolaires ne passent pasexactement par les eipoles.
• on peut forcer le rang de F en faisant une SVD : F = UDV>
↪→ F2 = UD′V> ou D′ correspond a D ayant sa derniere valeursinguliere annulee.
Vincent Nozick Geometrie epipolaire 22 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Rectification d’image
Principe :Il s’agit de transformer les 2 images de telles sorte que:
• leur droites epipolaire soient horizontales
• les points de correspondances aient les meme coordonneesverticales
Idee generale :trouver une homographie qui place les epipoles a l’infini.
Vincent Nozick Geometrie epipolaire 23 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Homographie
Vincent Nozick Geometrie epipolaire 24 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Rectification d’image
Images de depart :
Vincent Nozick Geometrie epipolaire 25 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Rectification d’image
Images rectifiee :
Vincent Nozick Geometrie epipolaire 26 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Rectification d’image
Attention : la solution n’est pas unique.
Vincent Nozick Geometrie epipolaire 27 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Applications
Calcul de cartes de disparite :
Vincent Nozick Geometrie epipolaire 28 / 29
Geometrie epipolaire Matrice fondamentale Calcul Epipoles Rectification d’images
Applications
Images stereoscopiques sans parallaxe verticale :
Vincent Nozick Geometrie epipolaire 29 / 29