U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...

U.E. Document multimedia

Elise Arnaud

inria Rhone-Alpes655, avenue de l’Europe 38330 Montbonnot, France

Elise Arnaud ([email protected]) documents multimedia 1 / 65

Plan

1 Rappel - indexation d’images

2 indexation video

3 indexation sonore


Plan


2 indexation video

3 indexation sonore


Rappel - indexation d’images

base d'images

...calcul de

signatures

Espace de représentationImage requête

...

Images similaires

Indexation off line

Recherche on line



Type de contenu reconnu

une meme image que l’image requete

une image contenant un objet donnee

une instance d’une classe d’objet



Description globale

une description globale est une representation de l’image dans sonensemble, le plus souvent sous la forme d’un vecteur de taille fixe

elle se contente le plus souvent d’exploiter un indice visuel unique

caracteristiques

un vecteur de description par objetune mesure de (dis-)similarite definie sur l’espace de ces descripteurs



c©H. Jegou, M. Douze/ INRIA



Description locale

Une description locale est une representation de l’entite a decrire parun ensemble de descripteurs (vecteurs)

vecteurs calcules localement pour differentes parties de l’entite

ainsi, plusieurs descripteurs par entite

mesure de similarite necessite la mise en correspondance(appariement) des descripteurs



c©H. Jegou, M. Douze/ INRIA



Representation globale ou locale ?

Avantage de la representation globale

certaines invariances faciles a obtenirextraction pour un cout plus faiblecomparaison plus simple et donc plus rapide : comparaison des entitesavec un vecteur unique, donc pas d’appariementen description locale, chaque information individuelle n’est pas tresdiscriminante

Avantage de la representation locale

plus de resistance a la plupart des transformationsdescription plus precise d’une image dans son ensemble (souvent ladescription est aussi volumineuse que l’image d’origine)


Plan

1 Rappel - indexation d’images2 Indexation video

applicationsspecificite du problemesegmentation en plansindexation video : approches par points d’interet

3 Indexation sonore


Indexation video

applications

Programme television

News, sports, documentaires, emissions de divertissement ...

films

drames, comedies, policiers ...

Enregistrements de meetings

conferences, teleconference, groupe de travail ...

autres

cameras de surveillance, films personnels ...


Indexation video

applications

Les entreprises on des grandes quantites de donnees videos

mais si on ne sait pas ce que ces videos contiennent, ou commentretrouver une information, cela est inutile ...

exemple : quelques minutes apres le deces d’un personnage public, lestelevisions preparent des dossiers retrospectifs

le probleme n’est pas d’avoir le materiel video mais de le trouver

Les assistants de production passent des heures a visionner des videosa la recherche de bons segments


Indexation video

applications

La taille des BD video n’est pas comparable avec la taille des BD texte

Le probleme est donc d’autant plus critique ...

De plus, le stockage des videos compresse les donnees. Les methodesdoivent etre adaptees aux formats de compression


Indexation video

specificite du probleme

Video = suite d’images + son

L’axe temporel t est singulier

processus physique different des axes x et y : mouvement de la cameraet des objets qui la composent

Segmentation temporelle en ”plans” (au sens cinematographique)

probleme en soi mais assez bien maıtrise aujourd’huiindexation au niveau des plans plutot que des images composant lavideo


Indexation video

Indexation de videos = plusieurs problemes distincts

1 Requete video (souvent un plan)

probleme qui est le plus souvent considere

2 Requete image

asymetrie de la requeteplus difficile (car moins d’information dans la requete, et pas dedescription spatio-temporelle possible)toutes les techniques ne s’appliquent pas

Dans l’etat de l’art, deux classes d’approches

indexation spatio-temporelle (pas utilisable avec une requete image)indexation des images composant la video + integration coherencetemporelle


Segmentation en plans

La segmentation en plans est l’identification automatique, par desmethodes informatiques, des bornes des plans dans une video. Celaconsiste a reperer automatiquement les points de montage definis al’origine par le realisateur, en mesurant les discontinuites entre lesimages successives de la video.

permettra ensuite la selection d’”images-cles”



Structure d’une video

frame - pas d’analyse temporelle a ce niveau. niveau de l’image

plans - ensemble d’images acquises par un mouvement de camera

scene - ensemble de plans successifs qui ont un meme sens(semantique commune)

video / episode - ensemble de scenes



Structure d’une video - transitions entre plans

transition brusque : cut

transitions progressives entre plans

fondu au noir volet fondu enchaine



Comment detecter les transitions entre plans, i.e. discontinuites dans leflux video ?

approche traditionnelle : visionner la video, identifier manuellementles segments, les annoter avec du texte

1h de video ... 10 h de travail

des idees pour automatiser ?

transition brusque = changement abrupt de la luminosite



Comment detecter les discontinuites dans le flux video ?



Comment detecter les discontinuites dans le flux video ?

utilisation de la luminance (histogramme)

utilisation des contours

caracterisation du mouvement de la camera i.e. etude du mouvement

les transitions progressives sont plus difficiles a detecter



c©P. Bouthemy / IRISA


Typage des plans

c©P. Bouthemy / IRISA


Indexation video

1 Requete video (souvent un plan)

2 Requete image

Dans l’etat de l’art, deux classes d’approchesindexation spatio-temporelle (pas utilisable avec une requete image)indexation des images composant la video + integration coherencetemporelle

majorite des approches utilisent les points d’interet (mais passeulement)

utilisation des actions


Indexation video - approches par points d’interet

c©V. Gouet-Brunet / CNAM



Approches spatio-temporelles pures

c©A.

Klaser / INRIA



Approches spatio-temporelles puresDetecteur spatio-temporel [Laptev et Lindeberg 2003] : ”Space-timeInterest Points”

Extension de Harris a (x,y,t)

Detection des points qui presentent de fortes variations de luminositeen x, y et t

Cette methode donne le meme status a l’axe temporel et aux axesspatiaux

exemple sur la video



Approches spatio-temporelles puresDetecteur spatio-temporel [Laptev et Lindeberg 2003] : ”Space-timeInterest Points”

c©I. Laptev / INRIA



Approches spatio-temporelles puresDescripteur spatio-temporel [Laptev 2008]

Extension du descripteur sift pour prendre en compte l’axe t

c©A. Klaser / INRIA



Approches spatio-temporelles puresDescripteur spatio-temporel [Laptev 2008]




Approches spatio-temporelles puresApplication a la reconnaissance d’actions




Autre exemple : Video Google et extension


Indexation video

video = ensemble d’images + son ...


Plan


2 Indexation video3 Indexation audio

applicationquelques rappelsdescripteur


Indexation audio

Applications

Recherche de documents rigoureusement identiques.

Verification de l’integrite des donnees pour le codage audio, lacryptographie.

Recherche de documents perceptuellement identiques mais qui ont pusouffrir de deteriorations ou de modifications mineures.

Recherche de documents pouvant etre tres differents mais presentantdes ressemblances suivant un certain critere.

classification de morceaux de musiques, de programmes TVrecherche par melodie chantee, recherche par rythmeaide a la decouverte de nouveaux artistes (recherche par ”gout”musical)


Indexation audio

Applications

creation automatique de play-listes

reconnaissance vocale

reconnaissance de chansons (shazam pour iphone)

indexation de documents d’archive (radio / video)

recherche dans une base de donnee musicale


Indexation audio

Applications


Indexation audio

Quelques rappelsun son = un signal 1D


Indexation audio

Quelques rappels


Indexation audio

Quelques rappels - Transformee de fourier

S(f ) =

∫ ∞

−∞s(t)e−i2πftdt

s(t) =

∫ ∞

−∞S(f )e i2πftdf


Indexation audio

Quelques rappels


Indexation audio

SpectrogrammeLe spectrogramme est un diagramme associant a chaque instant t d’unsignal, son spectre de frequence.


Indexation audio

Spectrogramme


Indexation audio

Descripteurs

energie s(t) =∑

|s(t)|2dt

energies en sortant d’un banc de filtres

taux de passage par zero (ZRC zero-crossing rate)

LPC (linear prediction coding)

MFCC (Mel Frequency Cespral Coefficients)

points d’interet

...


Indexation audio

Descripteurs - MFCC (Mel Frequency Cespral Coefficients)

FFT pour decomposer le signal en ses frequences constituantesfiltres triangulaires places de facon a imiter le comportement de l’oreille(echelle Mel)calcul de la FFT inverseC (q) = F−1(log |F (s(t))|)

on considere que l’oreille percoit

lineairement le son jusqu’a 1000

Hz, mais apres, elle percoit moins

d’une octave par doublement de

frequence. L’echelle des Mels

modelise assez fidelement la per-

ception de l’oreille.


Indexation audio

Descripteurs - MFCC (Mel Frequency Cespral Coefficients)


Indexation audio

Descripteurs


Indexation audio

Methode de Shazam

[An industrial-strength audio search Algorithm - A. L. C. Wang - 2003

http://www.ee.columbia.edu/ dpwe/papers/Wang03-shazam.pdf ]


Indexation audio

Methode de Shazam


des questions ?


U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...

Documents

Transcript of U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...