Post on 21-Jul-2020
Segmentation d'images et détection de contours(Transparents grace à Yves Goussard)
Lecture: Jennifer Campbell
ELE8812
29-31 mars 2016
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 1 / 49
La segmentation
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 2 / 49
Plan
1 Introduction
2 Détection de contoursFormulation du problèmeMéthodes élémentaires : gradient et laplacienMéthode de CannyDétection de frontières
3 Segmentation de régionsPosition du problèmeTechniques de seuillage globalTechniques de seuillage local ou adaptatifAutres méthodes
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 3 / 49
Introduction
Introduction
Qu'est ce que la segmentation ? Segmentation en régions
Partitionnement d'une image en régions Ri connexes (en un sens àpréciser)
Chaque région doit satisfaire une propriété P(Ri )
Deux régions voisines ne doivent pas satisfaire la même propriété
Dualité contour région
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 4 / 49
Introduction
Contours ou régions ?
Formulations équivalentes ?
Réponse théorique : oui
Réponse pratique : non
Distinction des deux formulations
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 5 / 49
Détection de contours Formulation du problème
Détection de contoursPosition du problème
Contour et détection
Contour : discontinuité dans l'intensité de l'image
Contenu hautes fréquences
Détection de contour : �ltrage passe-haut
Cadre 1D
Filtrage passe haut en temps continu : dérivée première ou secondeFiltrage passe haut en temps discret : di�érences premières ousecondes
Di�érences premières : d1(x) = f (x)− f (x − 1) oud1(x) = f (x + 1)− f (x − 1)Di�érences secondes : d2(x) = f (x + 1)− 2f (x) + f (x − 1)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 6 / 49
Détection de contours Formulation du problème
Di�érences premières et secondes
Comportement fréquentiel
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 7 / 49
Détection de contours Formulation du problème
Types de contours et détection
Types de contours
c©1992-2008 R. C. Gonzalez & R. E. Woods
E�et des opérateurs de di�érences premières et secondes
c©1992-2008 R. C. Gonzalez & R. E. Woods
Di�érences premières : opérateurstandard non centré, contoursépais
Di�érences secondes : doubleréponse −→ détection despassages par zéro
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 8 / 49
Détection de contours Formulation du problème
Sensibilité au bruit
E�et de di�érents niveaux de bruit sur les détecteurs par di�érences
c©1992-2008 R. C. Gonzalez & R. E. Woods
Synthèse
Di�érences premières : opérateur standard non centré, contours épais
Di�érences secondes : double réponse −→ passages par zéro
Forte sensibilité au bruit
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 9 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Méthodes élémentaires de détection de contoursGradient de l'image
Dé�nition et propriétés élémentaires
Dé�nition : ∇f (x , y) =
(∂f /∂x∂f /∂y
)Magnitude : rapidité des variations de f
Direction : plus grande pente
Le gradient est orthogonal aux lignes de niveau et aux discontinuitésfortes (contours)
Approximations numériques
Opérateurs centrés exacts :∂f
∂x= (−1 0 1) ∗ f ; ∂f
∂y=
−101
∗ fLecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 10 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Détection par gradient
Approximations numériques
Exemple d'opérateur utilisé : Prewitt
∂f
∂x=
−1 0 1−1 0 1−1 0 1
∗ f ; ∂f
∂y=
(∂f
∂x
)t
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 11 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Détection par gradient
Approximations numériques
Exemple d'opérateur utilisé : Sobel
∂f
∂x=
−1 0 1−2 0 2−1 0 1
∗ f =
121
(−1 0 1) ∗ f ; ∂f
∂y=
(∂f
∂x
)t
Justi�cation : interprétation fréquentielle
Autres approximations possibles (Roberts, ...)
Détection directionnelle des contours
Magnitude : norme du gradient
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 12 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Opérateurs de gradientInterprétation fréquentielle
Operateur de Sobel
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 13 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Méthodes élémentaires de détection de contoursLaplacien de l'image
Dé�nition et propriétés élémentaires
Dé�nition : ∇2f (x , y) =∂2f
∂x2+∂2f
∂y2
Isotrope : pas d'indication de direction des variations
Magnitude : rapidité des variations de f
Approximations numériques
∇2 =
0 −1 0−1 4 −10 −1 0
Somme d'opérations 1D
∇2 =
−1 −1 −1−1 8 −1−1 −1 −1
Meilleure isotropie
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 14 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Méthodes élémentaires de détection de contoursSynthèse
Laplacien
Isotrope
Très sensible au bruit (di�érences secondes)
Possibilité limitée de mise en ÷uvre par opérateurs 1D
Double réponse aux discontinuités =⇒ détection des passages par zéro
Gradient
Directionnel
Moins sensible au bruit (di�érences premières)
Possibilité de mise en ÷uvre par opérateurs 1D
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 15 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Application pratique
Utilisation du gradient
Détection par la magnitude du gradient (norme L1 ou L2)
Opérateurs de Sobel : lissage partiel
Possibilité de lissage préalable supplémentaire
Possibilité de détection directionnelle
Mise en ÷uvre e�cace par opérateurs 1D
Exemple : voir demo_grad.m
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 16 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Application pratique
Exemple : Gradient - corpus callosum
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 17 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Application pratique
Utilisation du laplacien
Nécessité de
Faire un �ltrage préalable au moins aussi e�cace que pour le gradient
Détecter les passages par zéro
Méthode de Marr-Hildreth
laplacien de la gaussienne (LoG) (gaussienne 2D et laplacien)
Paramètre : écart-type σ (support : valeur impaire, 4 ou 6 σ)
assurer la nullité de la somme des coe�cients
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 18 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Application pratique
Méthode de Marr-Hildreth : mise en ÷uvre
Détection des passages par 0 : opération délicate
Filtrage gaussien : séparable ; laplacien : somme d'opérateurs 1D =⇒Mise en ÷uvre par opérateurs 1D
Approximation séparable du �ltre LoG par la di�érence de deuxgaussiennes 2D d'écart-type di�érent ; séparabilité préservée
c©1992-2008 R. C. Gonzalez & R. E. Woods
Exemple : voir demo_lap.m
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 19 / 49
Détection de contours Méthodes élémentaires : gradient et laplacien
Application pratique
Exemple : Sobel (centre) et Marr-Hildreth (droit)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 20 / 49
Détection de contours Méthode de Canny
Détection de contours : méthode de Canny
Démarche
ObjectifsFaible taux d'erreursLocalisation précise des contoursContours �ns (1 pixel)
Pour certains modèles de contours (1D) (step)
Détecteur optimal : dérivée première de la gaussienne
Extension 2D : gradient d'une gaussienne 2D
gx(x , y) = −x
σ2e− x
2+y2
2σ2 gy (x , y) = −y
σ2e− x
2+y2
2σ2
Approximation numérique : gradient numérique d'un masque gaussien(voir méthode de Marr-Hildreth)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 21 / 49
Détection de contours Méthode de Canny
Détection de contours : méthode de Canny
A�nage des contours
c©1992-2008 R. C. Gonzalez & R. E. Woods
Seuillage de la magnitudede la sortie du détecteur
Évaluation de la directiondu gradient (orthogonalaux contours)
Suppression du point s'iln'est pas un maximumlocal dans la direction dugradient
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 22 / 49
Détection de contours Méthode de Canny
Détection de contours : méthode de CannyRéduction des fausses détection et connexion des contours
Approche : seuillage avec hystérésis
Double seuil
Conservation des pixels faibles seulement s'ils véri�ent certainespropriétés (connexité) relativement à des pixels forts ou précédemmentconservés
Exemple : voir demo_canny.m
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 23 / 49
Détection de contours Détection de frontières
Détection de frontières
Position du problème
Contours détectés : représentation incomplète des frontières présentesdans l'image
Nécessité de joindre entre eux les éléments d'une même frontière
Approches
Approche localeSeuillage avec hystérésis (Canny)Méthodes empiriques : magnitude semblable et angle du gradientcorrect
Approche par régions (exemple : approximations polygonales) voirmanuel
Approche globale : transformée de Hough
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 24 / 49
Détection de contours Détection de frontières
Transformée de Hough (1)
Démarche
Détection de l'ensemble des points de contour appartenant à une
même courbe paramétrée
Cas typique : les points appartiennent à une même droite
Illustration : droite paramétrée selon y = ax + b
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 25 / 49
Détection de contours Détection de frontières
Transformée de Hough (2)
Mise en ÷uvre
Paramétrisation plus générale d'une droite : x cos θ + y sin θ = ρ
Extension possible à d'autres types de courbes paramétrées
En général, détection des échantillons de plus forte amplitude dans ledomaine transformé (contours les plus longs)
Nécessité de post-traitements (connexion des éléments de frontière)
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 26 / 49
Détection de contours Détection de frontières
Transformée de Hough (3)
Exemple
c©1992-2008 R. C. Gonzalez & R. E. Woods
Exemple : voir demo_Hough.m
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 27 / 49
Segmentation de régions Position du problème
Segmentation de régions (1)
Position du problème
Objectif : partitionnement de l'image Introduction
Cas courant : chaque région caractérisée parson intensité moyennecertaines variations
Importance de l'histogramme
Types de variations� bruit �variations lentes
Autres e�ets (exemple : taille des régions)
E�et signi�catif sur les propriétés de l'histogramme
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 28 / 49
Segmentation de régions Position du problème
Segmentation de régions (2)
Exemple : e�et du bruit
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 29 / 49
Segmentation de régions Position du problème
Segmentation de régions (3)
Exemple : e�et de variations lentes de l'intensité
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 30 / 49
Segmentation de régions Position du problème
Segmentation de régions (4)
Exemple : e�et de la taille des régions
c©1992-2008 R. C. Gonzalez & R. E. Woods
Limitation de l'approche par histogramme
Perte des caractéristiques propres aux images (2D, voisinage,...)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 31 / 49
Segmentation de régions Position du problème
Segmentation de régions (4)
Exemple : e�et de la taille des régions
c©1992-2008 R. C. Gonzalez & R. E. Woods
Limitation de l'approche par histogramme
Perte des caractéristiques propres aux images (2D, voisinage,...)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 31 / 49
Segmentation de régions Techniques de seuillage global
exemple : EM
Approche empirique
Choix des seuils par inspection de l'histogramme
Exemple : voir manuel, pages 742 et 743
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 32 / 49
Segmentation de régions Techniques de seuillage global
Techniques de seuillage global
Estimation du ou des seuils : méthode de Otsu
Deux régions
Critère de type � information � : maximisation de la dispersion entreclasses
Dispersion : η =σ2Bσ2G
σ2B = P1(m1 −mG )2 + P2(m2 −mG )
2
Pour un seuil k donné : η(k) =(m(k)− P1(k)mG )
2
P1(k)(1− P1(k))
Calcul facile, mais maximisation par calcul de η(k) pour tous les k
Possibilité d'extension pour plusieurs niveaux
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 33 / 49
Segmentation de régions Techniques de seuillage global
Méthode de Otsu
Exemple de résultat
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 34 / 49
Segmentation de régions Techniques de seuillage global
Méthode de OtsuE�et du bruit et de la taille des régions
Approche
Calcul de l'histogramme dans une partie de l'image rétablissantl'équilibre entre taille des régions
Voisinage de la frontière
Étapes du traitementDétection des contours et seuillage par une méthode vue précédemmentCalcul de l'histogramme sur les pixels des contours ou un voisinage deceux-ciMéthode de Otsu sur l'histogramme ainsi obtenu
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 35 / 49
Segmentation de régions Techniques de seuillage global
Méthode de Otsu
Exemple : histogramme sur les pixels des contours
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 36 / 49
Segmentation de régions Techniques de seuillage local ou adaptatif
Techniques de seuillage local ou adaptatif
Seuillage global
Simple
Caractéristiques propres aux images non prises en compte
Seuillage local
Division en sous-images (vignettes)
Traitement indépendant des vignettes avec les techniques précédentes
E�cace pour des variations lentes de l'intensité
Taille des vignettes ?
Notion de voisinage ?
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 37 / 49
Segmentation de régions Techniques de seuillage local ou adaptatif
Seuillage adaptatif
Segmentation de texte manuscrit
c©1992-2008 R. C. Gonzalez & R. E. Woods
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 38 / 49
Segmentation de régions Autres méthodes
Autres méthodes (1)
Approches précédentes
Simplicité
Forte composante empirique
Prise en compte très partielle des caractéristiques propres aux images
Approches par régions
Croissance de région, division et agrégation, morphologiemathématique (voir manuel, pages 763 à 778)
Meilleure prise en compte des caractéristiques propres aux images
Composante empirique signi�cative
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 39 / 49
Segmentation de régions Autres méthodes
Autres méthodes (2)
Autres algorithmes :
modèles déformables (snakes contours actifs)
modèle markovien
modèle non-locale
segmentation supervisé ; entrainement manuel
segmentation avec information a priori : atlas
� Level Sets �
� extended minima �
k-means
autres méthodes spéci�ques...
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 40 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation par modèle markovien
Modèles utilisés
Modèle de régions : champ de Markov à valeurs discrètes
Estimation du modèle non observé (MAP)
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 41 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation du cerveau avec information a priori
et modèle non-locale
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 42 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation du cerveau avec information a priori
et modèle non-locale
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 43 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation des vaisseaux sanguins avecgradient et � Level Sets �
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 44 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation du corpus callosum avec gradient et� Watershed �
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 45 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation avec tractography
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 46 / 49
Segmentation de régions Autres méthodes
La segmentation
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 47 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation avec tractography
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 48 / 49
Segmentation de régions Autres méthodes
Exemple : segmentation avec tractography
Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 49 / 49