P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de...

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1

Estimation de mouvement et segmentation

Patrice BRAULT

IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622,

Département ACCIS,

Paris-Sud University, 91405 Orsay, FRANCE.

[email protected]

http://braultp.free.fr

Partie I : Estimation de mouvement par ondelettes spatio-temporelles adaptées (IEF)

Partie II : Segmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes (LSS)

GPi


• Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles.1. Etat de l'art : Compression vidéo, EM.

2. Construction d'ondelettes continues adaptées au mouvement. Transformation associée.

3. Application à deux séquences.

4. Performances comparées avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

5. Conclusion et perspectives.

• Partie II : Segmentation d’image et de séquence

1. Modèle de markov caché et segmentation bayésienne dans le domaine des pixels

2. Segmentation incrémentale d’une séquence vidéo

3. Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2.

4. Conclusion et perspectives

Plan: Partie I


Compression et estimation de mouvement (EM). 1/2

• Mise en correspondance de blocs (Block Matching)

Séquence Stefan

Codeur hybride orienté objet

1. Partitionnement en macroblocs (MB) 16x16

2. Codage temporel : redondance temporelle Mise en correspondance de blocs (BM, block-

matching)

3. Codage spatial : redondance spatiale DCT sur les MB compensés en mvt.

• Deux familles de codeurs (ou compression) : hybrides (MPEG, H264) et 2D+T

Sprite : compression forte

MV (VM Motion Vector)

VO : Video Object ( compression

faible)

MPEG4 : hybride, o.o. (orienté objet)


Compression et estimation de mouvement. 2/2

• Approches actuelles par transformées en ondelettes (TO; WT)1. Filtrage post-CM (compensation de mvt) avec des ondelettes de Haar (motion-threading).

[J.Vieron, C.Guillemot, S.Pateux; TEMICS/IRISA]

1. Compression 2D+T avec CM (compensation de mouvement) et lifting. [J.W.Woods].

2. Calcul rapide de flot optique par projection et résolution des équations du flot sur une base d'ondelettes orthogonales. Complexité =O(N). [C.Bernard, S.Mallat]

• Approche de l'EM choisie Filtrage par TO continue spatio-temporelle adaptée au mvt (MTST-CWT) [origine : ondelettes DDM, galiléennes, 2D-CWT : M.Duval-Destin, JP.Antoine, R.Murenzi,

F.Mujica, JP.Leduc, JR. Corbett, M.Kong]But :

- EM par quantification des paramètres de mouvement - détection d'objet par le mouvement (vitesse), la position, l'orientation, l'échelle.

) "steerable filters" [Freeman, Adelson], [Perona,Simoncelli].

(* - projection de l'eqn du flot optique (problème mal posé) sur une base d'ondelettes orthogonales. - résolution en faisant l'hypothèse de séparation d'échelles : v = cte sur les 4 ondelettes de la base.


Détection des vitesses par analyse spectrale Séquence "rectangles en translation uniforme"

FFT3D ) Détection des 3 vitesses horizontales (1, 3 et 10 pix/fr) et des 2 vitesses verticales (1 et 3pix/fr)

FFT3D

0

3 vitesses horizontales : 1, 3, 10 pix/fr.

3

1

10

13

101

3

2 vitesses verticales : 1, 3 pix/fr.

130


Analyse du mouvement par ondelettes : propriétés

Toute transformation subie par un signal peut être détectée par une ondelette adaptée à cette transformation

• Propriété 1 : Dans l'intégrale de convolution exprimant la TO, la transformation A subie par un signal peut être transférée à l’ondelette.

• Propriété 2 : en 2D +T, le spectre d’un objet en mouvement est

décalé dans un plan

- se rapprochant du vecteur d’onde temporel pour des vitesses positives

- Proportionnellement au module de la vitesse.


Groupe de transformations

• Les transformations suivantes sont applicables à une ondelette spatio-temporelle [M. Duval-Destin, A. Grossman, R. Murenzi 93] , [Leduc,Mujica, Murenzi, Smith 00], [J.P. Antoine, R. Murenzi, P. Vandergheynst, S.T.Ali 04].

1. Translation spatio-temporelle : choix intra et inter-trames de l'analyse

3. Rotation spatiale

• Représentations spectrales sur le support quasi-sphérique de l'ondelette de Morlet = gaussienne 3D dans Fourier

4. Adaptation à la vitesse (représentée selon Ox)

C=1

C=1

kt =

kx

ky

C=4

C=1/8

C=1

C=4

C=1/8

C=1

2. Changement d'échelle spatio-temporel

C >1

C < 1


Transformations appliquées à l’ondelette de Morlet

• Ondelette de Morlet 2D+T dans le domaine direct.

• Version dans le domaine de Fourier :

•

FFT à enveloppe sphérique en 3D

• Difficulté : se représenter les nouveaux opérateurs par rapport à la TO continue classique, et comment en réaliser le codage ?

• Comment appliquer les opérateurs de transformation dans la relation de Morlet ?


Sélectivité, séparabilité et choix particuliers

• Paramètre de sélectivité . • On cherche à renforcer l'anisotropie de l' ondelette de Morlet, au moyen de sa variance

• Relation finale de la MTSTWT dans le domaine de Fourier avec des ondelettes séparables

Domaine spectral pour kx :

Bloc de n trames

• Choix particuliers :- Choix de l'ondelette de Morlet : complexe, anisotrope, compacité temps/fréquence, mais oscillante.

) Cauchy [Antoine et al. 99]- Algorithme rapide "a trous" [Shensa] mais relation de double échelle car AMR.- Possibilité dans l'espace direct : velocity-tuned filters (mono-échelle) [Burns, Rogers ].


Pseudo-code de la MTST-CWT

FFT 3D séquence s(x,t)

Relation spectrale de chaque ondelette

choix de

choix de l'anisotropie

Création de 3 vecteurs "vecteur d'onde", kx, ky et kt, pour toutes les positions

boucle échelle a boucle rotation

boucle vitesse c Produits, selon

IFFT pour la trame considérée

fin boucle c

fin boucle fin boucle a

Analyse dans le domaine direct par affichage selon les paramètres choisis. Ex :


MTSTWT adaptée à la vitesse sur deux séquences

MTSTWT spectrale sur la séquence 2D "tennis" : 360 240 30 frames, 8 bits.

Affichage =6ms/trame Résultat : détection des différentes vitesse (balle, bord de table en zoom arrière) 10ms/trame

Bleu RougeVertPosition x

Vitesse (pix/fr)Position x

MTSTWT spectrale sur séquence de 3 gaussiennes 1D en déplacement (256 x 64fr).

Bleu1.4:1.08 pix/fr

Rougev = +1pix/fr

Vert-1 pix/fr


Résultats et comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

Vitesse de calcul (Calculs effectués sur un Xeon bi-processeur à 2.4gHz).

MTSTWT (spectrale) avec 3 ondelettes adaptées à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc (360240) de 8 trames (séquence Tennis ) et à la plus haute résolution :

TMTSTWT (1200ms) + 3x FFT3D inverses ( 3x380ms) = 2.4s

Flot optique rapide* (ondelettes, [C.Bernard]) entre deux trames de la même séquence et pour 4 résolutions différentes :

TF = 10 s.


Conclusion à l'EM fondée sur la MTSTWT

Contribution personnelle :

• Choix d'une transformée en ondelettes continue adaptée au mouvement

• Codage de cette transformée et analyse de séquences vidéo [1,2]

• Comparaison des vitesses de calcul avec le calcul rapide du flot optique [C. Bernard]

• Présentation d'un schéma d'EM basé sur l'identification de la trajectoire des objets [3] (et manuscrit)

pour une compression contextuelle de la scène.

• Propositions d' améliorations de transformée adaptée au mouvement [4].

Perspectives:

Compression basée EM multirésolution et robuste ( projet de partenariat avec le LSS, déposé au CNRS)

Publications :

1. - [Brault P.], WSEAS Transactions on Mathematics, 2003.

2. - [Brault P. and Vasiliu M.], WSEAS Transactions on Communications, 2003.

3. - [Brault P.], IEEE- ISSPIT, Darmstadt, dec. 2003.

4. - [Brault P.], WSEAS Transactions on Electronics, 2004.

P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 14

• Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles.1. Etat de l'art : Compression vidéo, EM.

2. Construction d'ondelettes continues adaptées au mouvement. Transformation associée.

3. Application à deux séquences.

4. Performances comparées avec le calcul rapide du flot optique [C. Bernard, S. Mallat]

5. Conclusion et perspectives.

• Partie II : Segmentation d’image et de séquence

1. Modèle de markov caché et segmentation bayésienne dans le domaine des pixels

2. Segmentation incrémentale d’une séquence vidéo

3. Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2.

4. Conclusion et perspectives

Plan: Partie II


Approche bayésienne de la segmentation non-supervisée(BPMS Bayesian Potts-Markov segmentation)

= +

• 1ère hypothèse :

• 2ème hypothèse :

• homogénéité des classes

• Modèle markovien sur z(r)

avec voisinage d’ordre 1

• Variable discrète z(r) : Modèle de Potts-Markov

/ taille segments

• Variable cachée z(r) ) 2 fonctions/pixel : [f(r)=luminance] et [z(r)= étiquette de classe]

1

2

3


A posteriori, estimation et approximation par MCMC

• Segmentation non-supervisée :Estimer les paramètres des lois a priori

• 3ème hypothèse :

hyperparamètres loi conjuguées [Snoussi, Djafari, Feron]

• Règle de Bayes :

lois a priori loi a posteriori

• Choix : Méthode de type Markov Chain Monte-Carlo (MCMC)

permet d'explorer la loi a posteriori par calcul d'un grand nombre d'échantillons ) nécessité d'un échantillonneur pseudo-aléatoire.

Hyper-hyperparamètres

• Estimateurs de la loi a posteriori : maximum a posteriori (MAP), moyenne a posteriori (PM)

- MAP : Optimisation Solution explicite (gaussienne), gradient (loi unimodale), Recuit (loi multimodale)

- PM : Intégration p(g) Approximation de Laplace (cas unimodal) ou MCMC

4


Echantillonnage et MCMC

• Génération de N échantillons

• Estimateur de la loi, et des paramètres, calculé sur des valeurs significatives après un "temps de chauffe" de L échantillons :

• Moyenne a posteriori (PM) pour les variables, ou paramètres, continus

• Mode de l'histogramme pour les variables discrètes

• Initialisation aléatoire puis échantillonneur de Gibbs.

n itérations pour chaque site(*) r(i,j).

(*) Echantillonnage "en parallèle" avec deux ss-ensembles de sites indépendants.

• Coût de segmentation / K classes• Initialisation aléatoire ) innovations


Segmentation bayésienne de séquences et E.M.

2) Segmentation avecinitialisation :

K=4, itermax(tr1)=20, itermax(tr2:tr6) =6

5) - Calcul du VM (vecteur mouvement) sur le "centre de masse" de l’objet .

3) - Sélection d'une région par sa classe

- Masse (nbre de pixels de région) , critère de reconnaissance

• 2ème apport : Calcul du vecteur mouvement pour une région : "region-matching"

1) Séquence originale 320240 6 3) Itérations entre 2 trames 1 et 2 : convergence atteinte à la 4ème

itération

tr2

tr1tr1 tr2tr2

tr6 tr6

tr1

• 1er apport : Segmentation incrémentale (utilisant la corrélation entre trames) par la méthode BPMS (domaine direct) :

) L'initialisation n'est plus aléatoire


Segmentation dans le domaine des coefficients d’ondelettes

Histo. de l’image originale et des coeffs. d’échelle aJ

Histo. des coeffs d’ondelettes dj :

2 gaussiennes K=2 classes

Log/log

• Décomposition multirésolution• Classification en 2 classes : K=2, des coefficients d’ondelette.

OWT 2 échellesImage originale

• Transformée orthogonale (OWT) et propriétés statistiques des coefficients d’ondelettes


Nouveau modèle du champ de Potts pour une TO orthogonale

• 3ème apport : on introduit une nouvelle expression du champ de Potts-Markov (PMRF) pour s'adapter à l'orientation privilégiée des ss-bandes diagonales.

• Le nouveau champ utilise une combinaison des voisinages d'ordre 1 et d'ordre 2

Echantillonnage aussi réalisé "en parallèle" avec deux ss-ensembles différents


Algorithme de segmentation dans le domaine ondelettes (2/2)

j=J j=J-1 j=0

2. Segmentation incrémentale dans le domaine ondelettes

3. Filtrage

4. Reconstruction et reclassification (K=6)

1. OWT

Image satellite bruitée


Performances de la segmentation WBPMS

a) Mosaïque 1024x1024, 8bits

Segmentation de toutes les sous-bandes aJ /dj

• 1) Image test : mosaïque homogène texmos1024 bruitée

• 2) Exemple : Segmentation de la mosaïque de test sur J= 2 niveaux

• 3) Performances comparées de la segmentation WBPMS

c) Histogramme

Reclassification et segmentation finale

Segmentation aJ

Décomposition sur J=2 niveaux

Histogramme bruité après reconstruction

P.Brault Estimation de mouvement et segmentation IEF 29 nov. 2005 23

• Contribution personnelle

• Application d'une méthode de segmentation bayesienne de manière "incrémentale" conduisant à une accélération de la segmentation de séquences.

• EM : block-matching "region-matching"

• Adaptation de la méthode initiale pour sa projection dans le domaine des ondelettes orthogonales, conduisant à une accélération de la vitesse de traitement.

• Perspectives :

• EM par region-matching et construction de trajectoires des objets segmentés.

• Segmentation et EM basée région, avec multirésolution.

• Publications :

1. - [Brault and Djafari.], WSEAS Transactions on Mathematics, 2005.

2. - [Brault and Djafari], MaxEnt05-AIP, Darmstadt, 2005.

3. - [Brault and Djafari], Colloque Bouyssy (sans actes), 2005.

4. - [Brault and Djafari], Journal of Electronic Imaging, 2005.

Conclusion et perspectives partie II


FIN

P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de...

Documents

Transcript of P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de...