M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Vorlesung 11

Morphing und Active-Appearance-Modelle

Martin Giese

Martin.giese@tuebingen.mpg.de

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Übersicht

MorphingActive-Appearance-Modelle (AAM)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

I. Morphing

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing

Mophing = “Metamorphosis”

Kontinuierliche Transformation zwischen Bildern

Anwendungen:

– Synthese neuer Ansichten

– Interpolation zwischen Bildern

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing: AnwendungenGenerierung neuer Ansichten

Seitz (1997)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing: AnwendungenInterpolation zwischen Bildern

Seitz (1997)Originalbild 1 Originalbild 2

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing: AnwendungenM. Jackson: “Black or White” (1992)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Warping

Farbe von Bildpixeln gegeben durch Grauwerte I(x,y) bzw.

durch vektorwertige Funktion I(x,y) (Farbe, RGB)

Warping: “Verzerren” des Bildes durch räumliche

Transformation W: (x, y) → (x’, y’):

),('),('

2

1

yxWyyxWx

==

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Warping

“gewarptes” Bild:

W-1 ist die Umkehrfunktion von W.

Typische einfache Warping-Transformationen:

– Affin:

– Projektiv (z.B. Perspektive):

– Bilinear:

))','(),','(()),(),,(()','( 12

1121 yxWyxWIyxWyxWIyxIw

−−==

2,1 ),( =++= icybxayxW iiii

iii

iiii fyexd

cybxayxW++++

=),(

dy),( i+++= iiii cxbxyayxW

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

MorphingMorphing: Warping + Interpolation der Farbinformation

(cross dissolving)

Warp spezifiziert durch Vorgabe von einander

entsprechender (korrespondierender) Merkmalspaaren in

den gemorphten Bildern

Merkmale: Linien, Knoten, Kanten, Punkte, …

Korrespondenz entweder von Hand oder automatisch

durch Korrespondenzalgorithmen hergestellt.

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing

Warpingfunktion W(x,y,s) mit Parameter 0 ≤ s ≤ 1 der

Übergang zwischen den beiden Bildern bestimmt

Seien (x1,y1) und (x2, y2) einander entsprechende

(korrespondierende) Koordinaten in den beiden Bildern,

dann gilt:

)1,,(),()0,,(),(

1122

1111

yxyxyxyx

WW

==

Bild 1 Bild 2

W(x,y,s)

s = 0s = 1

(x1,y1)(x2,y2)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Morphing

Interpolation der Farbinformation (cross dissolving):

Farbinformationen der Bilder: I1(x,y) und I2(x,y)

⇒

Möglichkeit zur Spe-

zifikation nichtlinearer

Übergangsfunktionen

),(),()1(),( 21 yxsyxsyx III +−=

Bild 2Bild 1

s = 0 s = 1

Morph

I1(x,y) I2(x,y)I(x,y)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Netzwarping (mesh warping) Wolberg (1990)

Zwei topologisch äquivalente Netze über den Bildern

definiert

Algorithmus mit drei Schritten:

1. Lineare Interpolation zwischen den Knoten des Netzes:

2. Bilder 1 und 2 auf das neue Netz mit Koordinaten (x,y) warpen.

3. Farbinformationen der gewarpten Bilder linear interpolieren:

2122112

2122111

)1(),,,,()1(),,,,(

syyssyxyxWysxxssyxyxWx

+−==+−==

),(),()1(),( 21 yxsyxsyx III +−=

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

BeispielEinfache lineare Überlagerung der Textur

Netzwarping

Wolberg (1998)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Feldmorphing (field morphing)Beier & Neely (1992)

Warp definiert durch Linien

Warptransformation für einzelnes Linienpaar, mit den Punktkoordinaten xi = (xi,yi) bzw. pi und qi:x

11

1112

11

1111

2222222

)()()(mit )(),,,(

pqnpx

pqpqpx

npqpqpW

−−

=−

−−=

+−+==TT

βα

βαβα

p1

q1

x1

n1α

β

q2

p2x2

n2

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Feldmorphing (field morphing)Für mehrere Linien ein Wert x2

(k) für jede Linie berechnet; Werte linear gewichtet (ci Konstanten):

Verwendet für M. Jacksons Video

31

||length

mit

1)(

22

)(2

2

c

k

c

k

kk

k

kk

c

−+

=

=∑∑

xx

xx

γ

γ

γ

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Beispiele

Ein Linienpaar Viele Linienpaare

Beier & Neely (1992)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

BeispieleLinien Gewarpte Bilder

Morph

Beier & Neely (1992)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Beispiele

Morphsequenz

Beier & Neely (1992)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Neuere Entwicklungen

Nutzung von Regularisierungsnetzwerken zur

Approximation der Warpingfunktion

Hierarchische Netze (Auflösungspyramide)

Automatische Suche von korrespondierenden Merkmalen

Bereichsweise verschiedene Morphingtransformationen

(“prozedurales Morphen”)

Lee et al. (1996)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Neuere Entwicklungen

Normaler Morph

Nase schnellergemorpht als Kopf

Warp 1

Warp 2

Morph

Warp 1

Warp 2

Morph

Wolberg (1998)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

II. Active-Appearance-Modelle(AAM)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Problem

Flexibles Modells für Objektform + Textur

Anwendungen:

– Objekterkennung

– Tracking

– Bildsynthese

– Medizintechnik

lernbasiert

Basiert auf PCA-Methoden

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Aktive Form-Modelle(active shape models)

(Taylor & Cootes, 1995)

Form: Menge von Punkten, die unter bestimmten

Transformationen (Rotation, Translation, Skalierung)

invariant ist

Punkte [xr, yr]T definiert durch “Landmarken”,

d.h. Punkte auf dem Objekt, die im Bild

leicht zu identifizieren sind

Kompakte Schreibweise:

x = [x1,…, xn, y1 ,…, yn]T (Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Aktive Form-Modelle(active shape models)

Mehrere Formen definiert durch xi , 1 ≤ i ≤ l

Normalisierung + Alignment: (Procrustes Methode)

1. Schwerpunkte ins Zentrum des Koordinatensystems

verschieben

2. Objekte so transformieren, dass

minimal ist; T ist die Transformationsmatrix, die geschätzt wird

3. Normalisieren, so dass

Iterativer Algorithmus

2)( ∑ −=i

iE xxTx

1|| =x

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Aktive Form-Modelle(active shape models)

Modellierung von Formvariationen durch PCA:

Mittelwert der Daten:

Kovarianzmatrix:

Approximation durch PCA: S ≈ Ss = Us Σ2 UsT

⇒

∑=

=l

iil 1

1 xx

∑=

−−−

=l

i

Tiil

S1

))((1

1 xxxx

bUxx s+≈Eigenvektoren zu

grössten σjParametervektor

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Aktive Form-Modelle(active shape models)

Parametervektor b erlaubt Variation der Form ⇒“deformierbares / flexibles Modell”Typischerweise kann Dimensionalität s des Parametervektors klein gewählt werden; z.B. so dass bestimmter Anteil der Varianz erklärt wirdSchätzung des Parametervektors:(Us orthogonal !)

Modellierung der Verteilung von erlaubt die Testung von Hypothesen (Klassifikation von Formen)

)(ˆ xxUb −= Ts

b̂

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Einfache Beispiele 72 Landmarken18 Beispielbilder

Trainingsdaten Modellierte Formen

b3

b2

b1

SD 3±(Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

133 Landmarken300 Beispielbilder36 Eigenkomponenten erklären 98 % der Varianz

Einfache Beispiele

Trainingsdaten Modellierte Formen

b3

b2

b1

SD 3±(Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Aktive Form-Modelle(active shape models)

Gemeinsame Schätzung von Form- und Transfor-mationsparametern: Approximation neuer Daten xdurch Minimierung von

Iterativer Algorithmus:1. Wahl von Anfangswert für b

2. Berechnung von

3. Schätzung von T aus

4. Schätzung von b aus

5. Wiederholung ab 2. bis Konvergenz.

2)(),( bUxTxTb sE +−=

bUxx s+=ˆxxT ≈ˆˆ

)ˆ(ˆ 1 xxTUb −= −Ts

Transformationsmatrix

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Texturmodelle(appearence models)

Zur Synthese von Bildern Form- und Texturmodelle erforderlichBasierend auf Formmodellen können formnormalisierte Textur oder Farbmodelle erstellt werdenIdee: Warping der Bilder auf normalisierte Form

Modellierung der Texturen auf dieser normalisierten Form

)),(),,(()),((),(),(

21 yxWyxWgyxgyxgyxg

orig

origorig

=

=→ W

Warpingtransformation

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Texturmodelle(appearence models)

),( yxg

),( yxgorig),( yxW

Warping transformation

(Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Texturmodelle(appearence models)

Abtastung: g(x,y) → Vektor gModellierung der Textur: Normalisierung:

Wahl von g01 und g02 für optimale Anpassung der normalisierten Vektoren g an Mittelwert Textursynthesegleichung:

02

01~gg 1gg −

=Skalierungsparameter

ggbUgg +=

g

Eigenvektoren zu grössten σj

0102 )( gg gg ++= bUgg

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Kombinierte Modelle für Form und Textur(combined appearence models)

Formmodell:

Texturmodell:

Parameterschätzung:

Weitere PCA (erfasst Korrelationen von Form und

Textur):

ggbUgg +=

xxbUxx +≈

−−

=

=

)()(

ggUxxDU

bDb

b Tg

Tx

g

x

cUcUU

bDb

b cc

c

g

x =

≈

=

2

1

Diagonale Skalierungsmatrix

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Kombinierte Modelle für Form und Textur(combined appearence models)

Bildparameter sind lineare Funktionen von c:

Schätzung von c für neues Bild:

cUUggcUDUxx

2

11

cg

cx

+=+= −

bUc ˆˆ Tc=

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

122 Landmarken200 Beispielbilder~ 10.000 Pixel

Beispiele

Formvariation: bx

(Taylor & Cootes, 2000)

Grauwertvariation: bg

23 Parameter (erkl. 98 % der Var.)

112 Parameter (erkl. 98 % der Var.)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Beispiele“Appearance”-Variation: b (Taylor & Cootes, 2000)

80 Parameter (erkl. 98 % der Var.)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

BeispieleApproximation eines neuen Bildes

Original Approximation

(Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Active Appearance ModelleZiel: Automatische Anpassung eines Appearance Modells an neues BildVoher zur Bestimmung der Matrizen Ui und der Vektoren und ein Satz von Trainingsbildern in Form und Textur Problem: Bestimmung des Parametervektors c, der Skalierungsparameter g0i und der Matrix TMinimierung von

⇒ komplexes Optimierungsproblem

∫ −= ),(),(ˆ),( 2 yxdyxgyxgE

x g

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Active Appearance ModelleDas rekonstruierte Bild hängt ab vom Parametervektor: p = [cT, g01, g02,tT] T

(t enthält die Parameter der Transformationsmatrix)

Einfacher durch Minimierung des Fehlers im Raum der

normalisierten Formen: mit

d.h.

Minimierung durch Newton-Verfahren:

),(ˆ yxg

ggpr ˆ)( −= cQgg g+=ˆ

)()()( prprp TE =

r∂

ppJprppJprpp

ppJprpp

prppr

δδδ

δδδ

)()(min)()()(

)()()()(

!2 −≈⇒=+=+⇒

+=∂

+≈+

E

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Active Appearance ModelleKleinste-Quadrate-Lösung:

Berechnung von durch numerisches Differenzieren

prpJ

prpJpJpJp

∂∂

=

−= −

)(mit

)()())()(( 1 TTδ

prpJ

∂∂

=)(

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Active Appearance ModelleAuflösungspyramide erlaubt Rekonstruktion für grösseren Bereich von Translationen

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

BeispieleKonvergenz (Taylor & Cootes, 2000)

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

BeispieleOriginalbilder und Rekonstruktionen

Medizinische Anwendung

(Taylor & Cootes, 2000)

42 Landmarken30 Trainingsbilder

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

Wichtige Punkte

WarpingMorphingActive Shape ModelActive Appearance Model

M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003

LiteraturBeier T. & and Neely, S (1992) Feature-based image metamorphosis.

Proceedings of SIGGRAPH'99 26, 35-42.

Cootes, T.F. & Taylor. C.J. (1995) Active shape models: Their trainingand application. CVIU, 61, 38-59.

Cootes, T.F., Edwards, G.J. & Taylor. C.J. (1998) Active appearance models. In Proc. European Conf on Computer Vision, Freiburg, Germany, June 1-5, 2, 484-498.

Cootes, T.F.& Taylor. C.J. (2000) Statistical models of appearance for computer vision. Technical Report, University of Manchester.

Forsyth, D.A. & Ponce, J. (2003). Computer Vision: A modern Approach. Prentice-Hall. Upper Saddle River, NJ.

Seitz, S.M. & Dyer, C.R. (1996) View Morphing. Proc. SIGGRAPH 96, 21-30.

Wolberg, G. (1990) Digital Image Warping. IEEE Computer Society Press.