Tougnel liris lyon
-
Upload
consortiumarcmc -
Category
Presentations & Public Speaking
-
view
206 -
download
0
description
Transcript of Tougnel liris lyon
Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon
http://liris.cnrs.fr
Indexation automatique d’images et de vidéos
Laure Tougne, Serge Miguet
29 septembre 2014 1
Plan de la présentation
! Le LIRIS, l’équipe IMAGINE ! Indexation automatique ou semi-automatique ! Des exemples � Le projet AMRIA : aide à l’indexation de grands corpus
audio-visuels � L’ANR ReVeS : indexation et reconnaissance d’arbres et
arbustes à partir de leurs feuilles
2 Laure Tougne 29/09/14
Deux mots sur le LIRIS et sur l’équipe IMAGINE…
16 juin 2014 3
Laboratoire d’InfoRmatique en Image et Systèmes d’Information
! 5 tutelles � CNRS (UMR5205) � INSA de Lyon � Université Lyon 1 � Université Lyon 2 � ECL ! 3 implantations physiques � Villeurbanne � Bron � Ecully
http://liris.cnrs.fr
4 Laure Tougne 29/09/14
Quelques chiffres …
! 262 membres : � 118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA) � 17 personnels administratifs et techniciens (en équivalent temps
plein) � 121 doctorants, 11 post-docs � Une moyenne de 30 thèses soutenues chaque année
! Un budget annuel d’environ 2M€/an (non consolidé) : � 10% soutien de base � 12% programmes (région, Europe, organismes) � 5% contrats industriels � 73% ANR
Laure Tougne 29/09/14 5
D’un point de vue scientifique
! Champ scientifique : Informatique / Sciences et Technologies de l’Information
! 6 pôles de compétences reconnus au niveau international � Vision intelligente et reconnaissance visuelle � Géométrie et modélisation � Data Science (Science des données) � Services, Systèmes distribués et Sécurité � Simulation, virtualité et sciences computationnelles � Interactions et cognition ! Savoir-faire au service de la société en liaison étroite avec les
disciplines Ingénierie, Sciences Humaines et Sociales, Science de l’Environnement et Science de la vie
Laure Tougne 29/09/2014 6
Organigramme
7 Laure Tougne 29/09/14
Equipe Imagine
! Analyse et le traitement automatique ou semi-automatique des médias visuels (images, vidéos, objets 3D)
! Objectifs � Une meilleure compréhension et interprétation du contenu ; � La reconnaissance, voire de l'identification de certains objets d'intérêt ; � l'indexation intelligente qui faciliterait l'accès à des masses de
données ; � la compression & transmission & stockage avec de nouveaux modèles ! Des domaines applicatifs nombreux, dont � Multimédia � Documentique � Vidéosurveillance � L’environnement � La pédagogie
8 Laure Tougne 29/09/14
Indexation automatique ou semi-automatique
L. tougne 9
Recherche d’images par le contenu
10
Comparateur
Calcul de signature
Base d’images Base de signatures
Calcul de la
signature
Requête
Images de la base similaires
à la requête
IND
EX
ATIO
N
RE
CH
ER
CH
E
Laure Tougne 29/09/14
Segmentation
Segmentation
Segmentation
! Extraction de l’objet d’intérêt � Automatique / Semi-automatique
� Basée contours / régions � Basée couleur / texture / mouvement � Avec ou sans a priori
11 Laure Tougne 29/09/14
Extraction de caractéristiques (1) ! Descripteurs génériques de formes � Mesures géométriques « simples » (aire, périmètre, diamètre,
aspect ratio, compacité, etc.) � Caractérisation géométriques du contour (CSS-contour, HoCS, etc.)
� Descripteurs statistiques de forme (moments, inner-distance shape
context (IDSC), etc.)
12 Laure Tougne 29/09/14
Extraction de caractéristiques (2)
! Descripteurs spécifiques de formes � Un exemple : feuilles d’arbres
Laure Tougne 29/09/2014 13
• Position relative du centre • Largeur maximale relative • Longueur relative des côtés • Angle à la base • Angle à l’apex • Nombre de lobes • Longueur et angle de chaque paire de lobes
Extraction de caractéristiques (3) ! Descripteurs de contextes locaux � Sur l’objet segmenté ou sur l’image entière � Objectif : extraire des descripteurs sur des points caractéristiques
afin de les retrouver sur des vues quasi-similaires
� Exemples : descripteurs SIFT, SURF, etc.
Laure Tougne 29/09/2014 14
Extraction de caractéristiques (4) ! Couleur et texture � Histogramme dans divers espaces (RGB, HSL, L*a*b) � Bins groupés, n bins les plus représentés, Bag-of-colors
� Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire de Markov (MRF).
Laure Tougne 29/09/2014 15
Comparateur
! Comparaison et recherche d’images par le contenu � Exemple : plus proche voisin � Associer à l’exemple proposé, l’exemple de la base le plus
ressemblant ou le représentant de la base le plus ressemblant à Souvent métrique spécifique à la signature à Grand nombre de comparaisons
! Méthodes de classification automatique � Entraîner un système prenant en entrée un ensemble d’attributs et
donnant en sortie une information de classe � Exemples : réseaux de neurones, support vector machines (SVM),
forêts aléatoires, etc.
! La performance repose sur la pertinence des descripteurs
Laure Tougne 29/09/2014 16
Des exemples…
L. Tougne 17
Le projet AMRIA :
Analyse du Monde Rural par l’Image animée
L. Tougne 18
Le Projet AMRIA Analyse du Monde Rural par l’Image Animée
! AMRIA : Projet du BQR Lyon 2 : 2011-2013 � Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural � Partenaires : � Mihaela Scuturici, Serge Miguet, LIRIS � Béatrice Maurines, Centre Max Weber � Christian Dury, ISH
� Objectifs � Collecte de données en provenance de différentes institutions
dépositaires � Expérimentation d’outils logiciels d’aide à l’indexation des images
19 Laure Tougne 29/09/14
Aide à l’indexation audiovisuelle du monde rural
� Stage de Clémence LOP sous la direction de Serge Miguet (2012) � Détection de visages � Détection / Reconnaissance de textes
� Stage de Van-Hau Phan sous la direction de Serge Miguet (2013) � Classification Artificiel / Naturel � Classification Intérieur / Extérieur
20 Laure Tougne 29/09/14
Aide à l’indexation de grands corpus audio-visuels
L. Tougne 21
Stage de Clémence Lop Stage de fin d’études, IUT de Valence
mars 2012-juin 2012
Exemple de documents (source : INA)
22
C’est arrivé en Limousin…
Campagnes Françaises
Laure Tougne 29/09/14
Advene : un logiciel libre pour l’annotation de séquences vidéos
23 Laure Tougne 29/09/14
Exemple d’annotations automatisables : Classification du « type de scènes »
! Intérieur / extérieur
! Naturel / artificiel
! Jour / nuit
! Présence d’animaux / de machines
! Caractérisation du mouvement
! Présence de visages
24 Laure Tougne 29/09/14
Exemple de réalisation : détection de visages
25
Vrai Positif Faux Positif
Laure Tougne 29/09/14
Prise en compte de la cohérence temporelle : Sensibilité / Spécificité
26 Laure Tougne 29/09/14
Autres contributions réalisées pendant le stage
! Détection des changements de plans
! Détection des silhouettes humaines
! Détection des zones de texte
! Retranscription grâce à la reconnaissance optique de caractères
27 Laure Tougne 29/09/14
Aide à l’indexation de grands corpus audio-visuels
L. Tougne 28
Stage de Van-Hau PHAN Stage de 3ème année d’école
INSA de Lyon, département Informatique
Juin 2013 – Septembre 2013
Catégorisation de vidéos
! Trois séquences utilisées � La Terre est leur problème � La Maison du Vigneron � C’est arrivé en Limousin
! Création manuelle de deux pistes d’annotation : � Naturel – Artificiel � Intérieur – Extérieur
! Recherche d’indices visuels permettant de reproduire automatiquement les annotations
� Sur les données d’apprentissage � En généralisation, sur des données non-apprises
29 Laure Tougne 29/09/14
Classification entre Scène Artificielle / Scène Naturelle
! Une scène artificielle contient des objets construits par l’homme � Présence importante d’éléments géométriques � Lignes droites � Eléments anguleux � Textures régulières (ou uniformes)
! Une scène naturelle contient des éléments irréguliers � Formes � Texture granuleuse
30 Laure Tougne 29/09/14
Boîte à outils, pour mettre en œuvre ces idées
! Détection des lignes de contraste � Filtre de Canny ! Détection des alignements � Transformée de Hough ! Caractérisation de la régularité des
textures � Local Binary Patterns (LBP)
31 Laure Tougne 29/09/14
Bonne détection de scène artificielle (1/2)
32 Laure Tougne 29/09/14
Bonne détection de scène artificielle (2/2)
33 Laure Tougne 29/09/14
Bonne détection de scène naturelle
34 Laure Tougne 29/09/14
Exemple de mauvaise classification (1/2)
35 Laure Tougne 29/09/14
Exemple de mauvaise classification (2/2)
36 Laure Tougne 29/09/14
Le projet ANR REVES :
Reconnaissance de Végétaux pour des Interfaces
Smartphones
L. Tougne 37
Contexte
! Constats � Urbanisation + attrait pour les nouvelles technologies à l’homme méconnaît de plus en plus son environnement
� De nos jours : tout le monde possède un Smartphone à outil intégrant de nombreuses fonctionnalités ! Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à
connaître les végétaux qui l’entourent ! Partenaires : � LIRIS (Lyon) : traitement d’images et de vidéos � EVS (St Etienne) : connaissances phytogéographiques / étude des
usages � LISTIC (Annecy) : fusion des données ! Autres participants ➠ Base de données botaniques – Société Linéenne de Lyon ➠ Contraintes liées au matériel / portage –Société Trydéa
Laure Tougne 29/09/14
Scénario typique
Une personne, lors d'une promenade, prend une photo / vidéo d'une plante (feuille(s) et éventuellement fleur(s)) avec son smartphone afin d’obtenir des informations à son sujet.
Laure Tougne 29/09/14
Schéma du scénario
Laure Tougne 29/09/14
Une approche pour un outil pédagogique
! Public visé : non spécialistes ! Combiner des données images avec d’autres données ! Sortie : � Une liste d’espèces probables � Pouvoir expliquer ce qui a conduit à reconnaître
Laure Tougne 29/09/14
Quelques Résultats
Feuilles Simples Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)
85% dans les 5 premières réponses
Feuilles composées Base Pl@ntLeaves II (1140 photos, 17 espèces extraites)
86% dans les 5 premières réponses
Laure Tougne 29/09/14
Folia sur l’App Store et le Google store
Laure Tougne 29/09/14