U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...

U.E. Document multimedia

Elise Arnaud

inria Rhone-Alpes655, avenue de l’Europe 38330 Montbonnot, France

Elise Arnaud (elise.arnaud@inrialpes.fr) documents multimedia 1 / 65

1 Rappel - indexation d’images

2 indexation video

3 indexation sonore

2 indexation video

3 indexation sonore

Rappel - indexation d’images

base d'images

...calcul de

signatures

Espace de représentationImage requête

Images similaires

Indexation off line

Recherche on line

Type de contenu reconnu

une meme image que l’image requete

une image contenant un objet donnee

une instance d’une classe d’objet

Description globale

une description globale est une representation de l’image dans sonensemble, le plus souvent sous la forme d’un vecteur de taille fixe

elle se contente le plus souvent d’exploiter un indice visuel unique

caracteristiques

un vecteur de description par objetune mesure de (dis-)similarite definie sur l’espace de ces descripteurs

c©H. Jegou, M. Douze/ INRIA

Description locale

Une description locale est une representation de l’entite a decrire parun ensemble de descripteurs (vecteurs)

vecteurs calcules localement pour differentes parties de l’entite

ainsi, plusieurs descripteurs par entite

mesure de similarite necessite la mise en correspondance(appariement) des descripteurs

c©H. Jegou, M. Douze/ INRIA

Representation globale ou locale ?

Avantage de la representation globale

certaines invariances faciles a obtenirextraction pour un cout plus faiblecomparaison plus simple et donc plus rapide : comparaison des entitesavec un vecteur unique, donc pas d’appariementen description locale, chaque information individuelle n’est pas tresdiscriminante

Avantage de la representation locale

plus de resistance a la plupart des transformationsdescription plus precise d’une image dans son ensemble (souvent ladescription est aussi volumineuse que l’image d’origine)

1 Rappel - indexation d’images2 Indexation video

applicationsspecificite du problemesegmentation en plansindexation video : approches par points d’interet

3 Indexation sonore

Indexation video

applications

Programme television

News, sports, documentaires, emissions de divertissement ...

drames, comedies, policiers ...

Enregistrements de meetings

conferences, teleconference, groupe de travail ...

autres

cameras de surveillance, films personnels ...

Indexation video

applications

Les entreprises on des grandes quantites de donnees videos

mais si on ne sait pas ce que ces videos contiennent, ou commentretrouver une information, cela est inutile ...

exemple : quelques minutes apres le deces d’un personnage public, lestelevisions preparent des dossiers retrospectifs

le probleme n’est pas d’avoir le materiel video mais de le trouver

Les assistants de production passent des heures a visionner des videosa la recherche de bons segments

Indexation video

applications

La taille des BD video n’est pas comparable avec la taille des BD texte

Le probleme est donc d’autant plus critique ...

De plus, le stockage des videos compresse les donnees. Les methodesdoivent etre adaptees aux formats de compression

Indexation video

specificite du probleme

Video = suite d’images + son

L’axe temporel t est singulier

processus physique different des axes x et y : mouvement de la cameraet des objets qui la composent

Segmentation temporelle en ”plans” (au sens cinematographique)

probleme en soi mais assez bien maıtrise aujourd’huiindexation au niveau des plans plutot que des images composant lavideo

Indexation video

Indexation de videos = plusieurs problemes distincts

1 Requete video (souvent un plan)

probleme qui est le plus souvent considere

2 Requete image

asymetrie de la requeteplus difficile (car moins d’information dans la requete, et pas dedescription spatio-temporelle possible)toutes les techniques ne s’appliquent pas

Dans l’etat de l’art, deux classes d’approches

indexation spatio-temporelle (pas utilisable avec une requete image)indexation des images composant la video + integration coherencetemporelle

Segmentation en plans

La segmentation en plans est l’identification automatique, par desmethodes informatiques, des bornes des plans dans une video. Celaconsiste a reperer automatiquement les points de montage definis al’origine par le realisateur, en mesurant les discontinuites entre lesimages successives de la video.

permettra ensuite la selection d’”images-cles”

Structure d’une video

frame - pas d’analyse temporelle a ce niveau. niveau de l’image

plans - ensemble d’images acquises par un mouvement de camera

scene - ensemble de plans successifs qui ont un meme sens(semantique commune)

video / episode - ensemble de scenes

Structure d’une video - transitions entre plans

transition brusque : cut

transitions progressives entre plans

fondu au noir volet fondu enchaine

Comment detecter les transitions entre plans, i.e. discontinuites dans leflux video ?

approche traditionnelle : visionner la video, identifier manuellementles segments, les annoter avec du texte

1h de video ... 10 h de travail

des idees pour automatiser ?

transition brusque = changement abrupt de la luminosite

Comment detecter les discontinuites dans le flux video ?

utilisation de la luminance (histogramme)

utilisation des contours

caracterisation du mouvement de la camera i.e. etude du mouvement

les transitions progressives sont plus difficiles a detecter

c©P. Bouthemy / IRISA

Typage des plans

c©P. Bouthemy / IRISA

Indexation video

1 Requete video (souvent un plan)

2 Requete image

Dans l’etat de l’art, deux classes d’approchesindexation spatio-temporelle (pas utilisable avec une requete image)indexation des images composant la video + integration coherencetemporelle

majorite des approches utilisent les points d’interet (mais passeulement)

utilisation des actions

Indexation video - approches par points d’interet

c©V. Gouet-Brunet / CNAM

Approches spatio-temporelles pures

Klaser / INRIA

Approches spatio-temporelles puresDetecteur spatio-temporel [Laptev et Lindeberg 2003] : ”Space-timeInterest Points”

Extension de Harris a (x,y,t)

Detection des points qui presentent de fortes variations de luminositeen x, y et t

Cette methode donne le meme status a l’axe temporel et aux axesspatiaux

exemple sur la video

Approches spatio-temporelles puresDetecteur spatio-temporel [Laptev et Lindeberg 2003] : ”Space-timeInterest Points”

c©I. Laptev / INRIA

Approches spatio-temporelles puresDescripteur spatio-temporel [Laptev 2008]

Extension du descripteur sift pour prendre en compte l’axe t

c©A. Klaser / INRIA

Approches spatio-temporelles puresDescripteur spatio-temporel [Laptev 2008]

Approches spatio-temporelles puresApplication a la reconnaissance d’actions

Autre exemple : Video Google et extension

Indexation video

video = ensemble d’images + son ...

2 Indexation video3 Indexation audio

applicationquelques rappelsdescripteur

Indexation audio

Applications

Recherche de documents rigoureusement identiques.

Verification de l’integrite des donnees pour le codage audio, lacryptographie.

Recherche de documents perceptuellement identiques mais qui ont pusouffrir de deteriorations ou de modifications mineures.

Recherche de documents pouvant etre tres differents mais presentantdes ressemblances suivant un certain critere.

classification de morceaux de musiques, de programmes TVrecherche par melodie chantee, recherche par rythmeaide a la decouverte de nouveaux artistes (recherche par ”gout”musical)

Indexation audio

Applications

creation automatique de play-listes

reconnaissance vocale

reconnaissance de chansons (shazam pour iphone)

indexation de documents d’archive (radio / video)

recherche dans une base de donnee musicale

Indexation audio

Applications

Indexation audio

Quelques rappelsun son = un signal 1D

Indexation audio

Quelques rappels

Indexation audio

Quelques rappels

Indexation audio

Quelques rappels

Indexation audio

Quelques rappels - Transformee de fourier

S(f ) =

∫ ∞

−∞s(t)e−i2πftdt

s(t) =

∫ ∞

−∞S(f )e i2πftdf

Indexation audio

Quelques rappels

Indexation audio

Quelques rappels

Indexation audio

Descriteurs - fenetrage

Indexation audio

SpectrogrammeLe spectrogramme est un diagramme associant a chaque instant t d’unsignal, son spectre de frequence.

Indexation audio

Spectrogramme

Indexation audio

Spectrogramme

Indexation audio

Descripteurs

energie s(t) =∑

|s(t)|2dt

energies en sortant d’un banc de filtres

taux de passage par zero (ZRC zero-crossing rate)

LPC (linear prediction coding)

MFCC (Mel Frequency Cespral Coefficients)

points d’interet

Indexation audio

Descripteurs - MFCC (Mel Frequency Cespral Coefficients)

FFT pour decomposer le signal en ses frequences constituantesfiltres triangulaires places de facon a imiter le comportement de l’oreille(echelle Mel)calcul de la FFT inverseC (q) = F−1(log |F (s(t))|)

on considere que l’oreille percoit

lineairement le son jusqu’a 1000

Hz, mais apres, elle percoit moins

d’une octave par doublement de

frequence. L’echelle des Mels

modelise assez fidelement la per-

ception de l’oreille.

Indexation audio

Descripteurs - MFCC (Mel Frequency Cespral Coefficients)

Indexation audio

Descripteurs

Indexation audio

Methode de Shazam

[An industrial-strength audio search Algorithm - A. L. C. Wang - 2003

http://www.ee.columbia.edu/ dpwe/papers/Wang03-shazam.pdf ]

Indexation audio

Methode de Shazam

des questions ?

U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...

Documents

Transcript of U.E. Document multimédia - Inria · Rappel - indexation d’images Repr´esentation globale ou...

Pr esentation d’un CMS : Alfresco Pr esentation Alfrescopolaris.imag.fr/florence.perronnin/Enseignement/ear/Alfresco... · Plan Plan de la pr esentation 1 Introduction 2 Les CMS

THESE DE DOCTORAT · 6 TABLE DES FIGURES 3.1 Repr esentation de la cdf et de la probability density function (pdf) de la loi Generalized Extreme Value (GEV) pour des di erentes valeurs

pr esentation pulsar

Local tests of gravitation with Solar System Objects · Figure 1.8 – Représentation du contenu actuel de l’Univers selon le modèle ⇤CDM. L’énergie sombre (DE) représente

Competere nell’economia globale

Analyse et synth ese des ltres num eriques: unepeople.rennes.inria.fr/Olivier.Sentieys/teach/filtragepourlesnuls.pdf · Filtrage num erique : introduction Repr esentation d’un ltre

s repr. masculino

Persistence Theory RevisitedFigure 2: Example of r-invariants for a circle valued map 4 Repr esentation theory and r-invariants The invariants for the circle valued map are deri ved

Telecommunications UTILITY REPR - South Carolina

Repr jnted fr

Gestion des théories par les foncteurs logiqueslipn.univ-paris13.fr/.../expose-2007...par-les-foncteurs-logiques.pdfI Représentation logique des données et des requêtes I Représentation

globale accounting

Vet Repr Ultras

Pr esentation kadaster_final

Pr esentation dans l´alliance f.

A – and repr M - Springer

(Repr\351sentations de gouvernements \351trangers)

Male repr sy

Securing multimedia content delivery - guillaume.piolle.fr · I Mais g en eralement, le document n’est pas modi e directement : on utilise une sous-partie ou une autre repr esentation,

Globale electronic industry