Vision Gestalt et connaissances Une approche générique à l’interprétation d’images
description
Transcript of Vision Gestalt et connaissances Une approche générique à l’interprétation d’images
![Page 1: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/1.jpg)
CORESA, 25 mai 2004 - Lille
Laboratoire d'InfoRmatique en Image et Systèmes d'informationFRE 2672 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon,
Université Claude Bernard Lyon1 - Bâtiment Nautibus43, boulevard du 11 Novembre 1918 – F- 69622 Villeurbanne Cedex
http://liris.cnrs.fr
FRE 2672
[email protected] – http://liris.cnrs.fr/~nzlatoff
Vision Gestalt et connaissancesUne approche générique à l’interprétation d’images
N. Zlatoff B. Tellez A. Baskurt
![Page 2: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/2.jpg)
CORESA, 25 mai 2004 – Lille
Contexte & problématiqueAugmentation du volume d’images numériques
Nécessité d’outil d’indexation Sémantique Automatique
Des outils content-based limités au bas-niveau QBIC [Niblack-93], VisualSEEk [Smith-96]
[Niblack-93] W. Niblack, R. Barber, W. Equitz, et al. « The QBIC Project : Querying Images by Content Using Color, Texture and Shape », in Proceedings of Storage and Retrieval for Image and Video Databases, Bellingham, WA, 1993, Vol. 1908, pp. 173-187.
[Smith-96] J. Smith, S. Chang, « Tools and Techniques for Color Image Retrieval », in Proceedings of The Symposium on Electronic Imaging : Science and Technology Storage and Retrieval for Image and Video Databases IV , San Jose, CA, 1996, pp. 426-437,
![Page 3: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/3.jpg)
CORESA, 25 mai 2004 – Lille
État de l’artSystèmes knowledge-based Schema [Draper-89], SIGMA [Matsuyama-90] Dépendants des connaissances du domaine (procédurales) Limités à un domaine
Outils de groupements perceptuels Génériques, déconnectés des connaissances [Vasseur-99] Extraient des objets non sémantiques (intermédiaires)
[Draper-89] B.A. Draper, R. Colins, J. Brolio et al. « The Schema System », International Journal of Computer Vision, Vol. 2, 3, 1989, pp 209-250. [Matsuyama-90] T. Matsuyama, V. Hwang, «SIGMA: A Knowledge-Based Aerial Image Understanding System», Plenum, New-York, 1990.[Vasseur-99] P. Vasseur, C. Pégard, M. Mouaddib et al, “Perceptual Organization Approach by Dempster-Schafer Theory”, Pattern Recognition, Vol. 32, 1999, pp. 1449-1462.
Perception ConnaissancesMécanismes
innésConnaissances
Mécanismesinnés
![Page 4: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/4.jpg)
CORESA, 25 mai 2004 – Lille
Description intermédiaire
PositionnementExternaliser les connaissances du domaine et y accéder « au besoin » Ontologies
Ontologie du domaine
contrôle
Image segmentée
Description topologique
Groupementperceptuel
Description sémantique
![Page 5: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/5.jpg)
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (1/2)Aboutir à des objets intermédiaires
Vision Gestalt (approche nativiste) [Wertheimer-58] « Le tout est plus que la somme des parties » Mécanismes de groupements successifs selon 5 propriétés
Proximité (a et b), similarité (c), fermeture (d), continuité (e), symétrie
[Wertheimer-58] M. Wertheimer, Principles of Perceptual Organization, Readings in Perception, pp. 115-135, 1958
.
(a) (b) (c) (d) (e)
![Page 6: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/6.jpg)
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (2/2)A partir du RAG, calcul d’une distance perceptuelle entre les régions i et j: DPij = Dij x Fij x Cij
Dij différence entre les descripteurs bas-niveaux
Fij mesure de l’imbrication mutuelle (fermeture)
Cij favorise la fusion de petites régions (vers une continuité)
Basé sur [Idrissi-03]
n
kkikjij ddD
0
2,, )(
[Idrissi-03] K. Idrissi, G. Lavoué, J. Ricard, et al. « An Object of Interest based Visual Navigation, Retrieval and Semantic Content Identification System», Computer Vision and Image Understanding: Special Issue on Colour for Image Indexing and Retrieval, to appear, 2003.
ij
jiij P
PPF
4
),min(
1
)( MinPixNouMinPixNsiC jiij
![Page 7: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/7.jpg)
CORESA, 25 mai 2004 – Lille
Groupement perceptuel (2/2)Réduction itérative du RAGCritères d’arrêt: DPij < seuil_max Nombre d’objets intermédiaires > nb_min
Question du contrôle et du paramétrage Qu’attend-on? … Qu’est-ce qu’un objet intermédiaire pertinent ? Appel aux connaissances
Image Image segmentée Groupement perceptuel
![Page 8: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/8.jpg)
CORESA, 25 mai 2004 – Lille
Modèle de scène (apparition dans l’image) Objets sémantiques
Taille relative, forme, propriétés « intrinsèques »
Relations topologiques InclusionAdjacence & voisinage (dessus, dessous, gauche, droite)
Composition de la scène « tous les objets ne sont pas pertinents à tous les niveaux
de détail » Groupements perceptuels successifs dans un contexte
simplifié
Scène
OS 1 OS 2 OS 3 OS 4
OS 5OS 6 OS 7 OS 8
OS 11 OS 10 OS 9
N i
v e
a u
d e
d
é t
a i l
Composants primaires
Composants d’ordre 2
Composant d’ordre 3
Modélisation des connaissances
GR
OU
PE
ME
NT
PE
RC
EP
TU
EL
Descriptionprimaire
Descriptiond’ordre 2
Descriptiond’ordre 3
![Page 9: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/9.jpg)
CORESA, 25 mai 2004 – Lille
Contrôle par les connaissancesParamétrage du groupement par les connaissances MinPix ≡ Taille des objets attendus Critères d’arrêt en fonction des objets attendus et du niveau
de composition
Interprétation a posteriori des groupements Initialisation: exploitation des contraintes de scène Propagation de la connaissance
inférence, logique d’ordre 1
Relaxation: vérification de la cohérence
![Page 10: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/10.jpg)
CORESA, 25 mai 2004 – Lille
Domaine d’étudeStèles thessaliennes Bloc de pierre peint et sculpté dans la Grèce Antique Fournies par la Maison de l’Orient et de la Méditerranée
(MOM)
Couronnement
Corps
Geison
Rosettes
Tainia
![Page 11: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/11.jpg)
CORESA, 25 mai 2004 – Lille
Modélisation des connaissances
En collaboration avec les experts de la MOM
Stockage avec Protégé-2000 (frames) Utilisation d’un plug-in Jess pour les inférences
![Page 12: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/12.jpg)
CORESA, 25 mai 2004 – Lille
Groupement perceptuel
(Niveau 1)
Image segmentéeImage originale
Exemples de résultats
Couron-nement
Geison Corps
Couron-nement
Corps
![Page 13: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/13.jpg)
CORESA, 25 mai 2004 – Lille
Conclusions
Une architecture générique Qui s’applique à des domaines contraints géométriquement Validée dans un domaine (stèle)
Groupement perceptuel… Aboutissant à des objets intermédiaires pertinents
… Contrôlé par les connaissances Paramétrage du groupement par les connaissances Validation a posteriori & remise en cause Mécanisme encore incomplet
![Page 14: Vision Gestalt et connaissances Une approche générique à l’interprétation d’images](https://reader035.fdocuments.us/reader035/viewer/2022062723/56813fde550346895daac67e/html5/thumbnails/14.jpg)
CORESA, 25 mai 2004 – Lille
Perspectives
Groupement perceptuel Poursuivre l’implantation gestaltiste Lois de symétrie, continuité
Contrôle par les connaissances Incorporé dans le groupement: arrêt local si une structure
est reconnue Utilisation des inférences pour filtrer les résultats