Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.

Shape from ShadingShape from Shading

Hauptseminar

Computer Vision

Thema 7

Vortrag von

Jakob Thomsen

26. Januar 2001 Shape from Shading (J. Thomsen) 2

Inhalt

I Einführung

II Propagationsverfahren

III Globale Verfahren

IV Lokale Verfahren


I. Was ist Shape from Shading?

- Shape from Shading bedeutet etwa „Form aus Schattierung“

- Ziel: aus Irradianzen die Objekt-Oberfläche rekonstruieren

- schlecht gestelltes Problem, nur eingeschränkt verwendbar

- Anwendungsgebiete, bei denen SFS (trotzdem) sinnvoll ist:- einzelne Bilder- weit entfernte Objekte

- allgemeine Vorraussetzung:durchsichtiges Medium, undurchsichtige Körper=> nur Oberfläche sichtbar


I.1 allgemeine Vorgehensweise

1. aus den Irradianzwerten mittels Umkehrung der Reflektanzfunktion auf die Orientierung der Oberfläche schließen

2. die Gradienten integrieren um die Höhe der Oberflächenpunkte zu berechnen (siehe Abschnitt 3), z.B. mit dem R.T. Frankot und R. Chellapa Algorithmus


I.2 Problem: MehrdeutigkeitDie Freiheitsgrade der Irradianzwerte (eindimensional) bzw. Gradientenvektoren (zweidimensional) passen nicht zusammen!

=>nur die Beziehung zwischen p und q ist direkt aus der Irradianz berechenbar,

genaue Werte der Gradienten können nur mit zusätzlichen Informationen rekonstruiert werden.

Je nach Verfahren gibt es unterschiedliche Möglichkeiten, diese Mehrdeutigkeit aufzulösen.

),()),(),,(( yxEyxqyxpR


I.3 weitere EinschränkungenBeleuchtung

- keine Intra-oder Interobjektreflexionen- i.a. paralleles Licht gleicher Stärke E0- konstante und bekannte Beleuchtungsrichtung- möglichst Beleuchtungs- gleich Betrachterrichtung

Reflexion- bekanntes lambertsches Reflexionsverhalten- Annahme einer bekannten und konstanten Albedo

Geometrie- stetige, stetig differenzierbare Oberfläche- Orientierungen / Höhen in einigen Punkten bekannt


I.4 verschiedene Verfahren

Propagationsverfahren entwickeln Objekt-Oberfläche ausgehend von Punkten bekannter Orientierung bzw. Höhe

Globale Minimierungsverfahren optimieren bestimmte Funktionen um die Bildinformation insgesamt auszuwerten

Lokale Methoden berechnen die Oberflächenorientierungen jeweils nur anhand einer kleinen Nachbarschaft des Punktes

Sonderfall direkte 3d-Interpretation von Bildirradianzen


I.5 Sonderfall

direkte Interpretation: unter folgenden Bedingungen

- rotationssymmetrische Reflektanzfunktion

- Betrachterrichtung senkrecht auf Projektionsebene

- Objektfläche perfekt diffus mit uniformer Albedo

sind die Bildirradianzen direkt als Höhenwerte interpretierbar


I.6 Grundlagengegeben: ein Bild, d.h. eine Funktion E(x,y) von Irradianzen

gesucht: die Objektoberfläche, d.h. die Höhenwerte Z(x,y)

weitere Funktionen:

(p,q) sind die Gradienten (partielle Ableitungen von Z(x,y)) in x-bzw. y-Richtung (geben die Steigung in Z(x,y) an)

R(p,q) ist die Reflektanzfunktion, die in Abhängigkeit von den Gradienten der Oberfläche die Irridianzen bestimmt

Vektoren:

s zeigt in Richtung der Lichtquelle, v in Betrachterrichtung

n ist die Normale der Oberfläche in (x,y)


II. Propagationsverfahren

Propagationsverfahren breiten Oberfläche ausgehend von Punkten bekannter Orientierung auf das ganze Objekt aus

Der Wachstumsprozess erfolgt

- iterativ

- entlang bestimmter Pfade

Alle Propagationsverfahren setzen (orthografische) Parallelprojektion voraus


II.1 lineare Reflektanzfunktionen

Definition: )(),( qbpahqpR

0 qapb

Eigenschaft: Punkte gleicher Irradianz liegen im Gradientenraum auf Graden, parallel zur Ursprungsgraden

Flächen mit gleicher Irradianz sind in eine Richtung gleich und senkrecht dazu beliebig geneigt (z.B.Kugelgroßkreise)

Vorgehensweise:

Richtungsableitung aus Irradianzen bestimmen

Entlang charakteristischer Kurve integrieren


Richtungsableitung (Berechnung)

enthält. Variablen bekanntenur Term letzteder da

),((sincos

berechnen, ableitung Richtungsdie auch sichlässt Damit

,)sin(cos und arctan

:werdenermittelt Variablen folgende können ,Mit

22

1

2200

22220,00

ba

yxEh

ba

qbpaqp

dt

dZ

ba

b

ba

a

a

b

ba


lineare Reflektanzkarte


Integration d. Richtungsableitung

022

00001

0

022

1

00

))sin,cos((

)),(()(

dtba

tytxEhZ

dtba

yxEhZdt

dt

dZZZ

)sin,cos(),( 0000 tytxyx

ist. vorhandenGeradeder aufStartwert ein jeweils falls ...

werden...integriert kann RichtungGeraden paralleler Entlang 0


Mars Global Surveyor OrbiterPIA01046, Quelle: http://photojournal.jpl.nasa.gov/


Rekonstruktion 1


Rekonstruktion 2


II.2 rotationssymmetrische R.

Definition:

Zusätzlich muss h(p,q) differenzierbar sein

Die Irradianz hängt von der Deklination zwischen dem Beleuchtungsvektor s und der Oberflächennormalen n ab.

Vorgehensweise:

Gradientenlänge durch Umkehrung der Irradianz bestimmen

orthogonal zu Isohöhenkurven integrieren

)(),( 22 qphqpR


Steigung & Richtung des Gradienten


Steigung in Gradienten-Richtung

)),(()),(()( 1122122 yxEhqpRhqphhqpm

)(),(),(mit 22 qphqpRyxE


Richtung des Gradienten

h

Eq

h

Ep

yx

2,

2

Veränderungen bei einem Schritt in Richtung des Gradienten mit Schrittlänge m

)),(()( 122 yxEhqpZ

lineare Abschätzung der Änderungen in p und q mit Hilfe der ersten partiellen Ableitungen der Bildirradianzfunktion

qy

px


Diffgls

Mit ergeben sich fünf Differentialgleichungen,

)()(

),()(

)()(

)()(

),()(

22

qd

dqp

d

dp

qpZd

Zd

yd

dyx

d

dx

die mit Hilfe bekannter Startwerte numerisch lösbar sind.

Die Kurven, entlang derer integriert wird, verlaufen orthogonal zu den Isohöhenlinien.

0


II.3 allgemeine Reflektanzf.

Es ergeben sich fünf gewöhnliche Differentialgleichungen,

yx Eqd

dqEp

d

dp

q

qpRq

p

qpRpZ

d

Zd

q

qpRy

d

dy

p

qpRx

d

dx

)()(

,)()(

),(),()(

)(

),()(

)(,

),()(

)(

die numerisch lösbar sind wenn Startwerte vorliegen.

Ansatz der Cauchyschen Streifen von B.K.P. Horn (1986)


II.4 Robustere Verfahren

bisher vorgestellte Verfahren rekonstruieren Oberfläche entlang charakteristischer Kurven

Problem: Fehler in Z-Werten pflanzen sich ungehindert fort

Lösung: alle unmittelbaren Nachbarn einbeziehen


Verfahren von Bichsel & Pentland

Initialisierung:

bekannte Z-Werte in Höhenkarte eintragen

Vorverarbeitungsschritt:

für jeden Punkt Oberflächensteigungen in Richtung seiner Nachbarn bestimmen (8-Nachbarschaft)

Iteration:

Z-Wert jedes Punktes mit bester Richtungsableitung inkrementieren


Bestimmung der Steigungen

1. Anhand der Bildirradianz wird jedem Punkt eine Menge von Oberflächen-Orientierungen zugeordnet...

2. ...diese entsprechen einer Schar von Steigungen in eine vorgegebene Richtung...

3. ...aus der die beiden Extremwerte bestimmt werden...

4. ...von denen die Steigung gewählt wird, bei der die Oberfläche sich in Richtung -s entwickelt.


mögliche Oberflächenorientierungen


Iteration

für jeden Punkt:

1. testen, mit welcher der acht Steigungen die Oberfläche am besten der Beleuchtung entspricht

2. die maximale Steigung zu Z-Wert summieren (maximal wegen Konvergenz)


Beispiel


III. globale Verfahren

Oberfläche wird als (unbekannte) Funktion Z(x,y) betrachtet, die gewisse Eigenschaften erfüllt

Messung der Abweichung der rekonstruierten Funktion von den Zielwerten durch Aufsummierung der Fehler in jedem Punkt

Rekonstruktion der Oberfläche durch Minimierung des Fehlers


Fehlerfunktionen

Die (wichtigsten) BedingungenIrradianzbedingungGlattheitsbedingungIntegrabilitätsbedingung

beschreiben die erwünschten Eigenschaften der rekonstruierten Bildfunktion

Allgemein:

Die Fehler in jedem einzelnen Punkt werden über die gesamte Bildfläche integriert (bzw. aufsummiert)


Irradianzbedingung

dxdyyxqyxpRyxEqpb 21 )),(),,((),(),(F

Ziel: rekonstruierte Irradianz soll ursprünglicher I. entsprechen


Glattheitsbedingung

dxdyyxqyxqyxpyxpqqppg yxyxyxyx ),(),(),(),(),,,(F 22221

2

22

2

2

2

),(),( ,

),(),(

),(),( ,

),(),(

y

yxZ

y

yxqq

xy

yxZ

y

yxqq

yx

yxZ

y

yxpp

x

yxZ

x

yxpp

yx

yx

Die Argumente geben die Änderung der Gradienten an, die bei einer glatten Oberfläche minimal sind.

Ziel: Auflösung der Mehrdeutigkeit der rekonstruierten Ober-flächenorientierungen durch Annahme einer glatten Oberfläche


Glattheitsbedingung (Beispiel)


Integrabilitätsbedingung

x

yxq

xy

yxZ

yx

yxZ

y

yxp

),(),(),(),( 22

Ziel: Integration über verschiedene Wege soll gleiche Z-Werte ergeben

Folgende Funktion sollte minimal sein

dxdyyxqyxpqpi xyxy2

1 ),(),(),(F


Integrabilitätsbedingung


Minimierung der Integrale

Die Integrale können entweder

mittels Variationsrechnung

oder

diskretisiert und danach mit anderen Optimierungsmethoden

minimiert werden


Stereographische Projektion

2222 11

2,

11

2

qp

qg

qp

pf


Variationsrechnung

Ziel: Funktion minimieren

notwendige Bedingung: Ableitung im Optimum ist Null


die Fehlerfunktion e

dxdygfRyxEggffe

edingungIrradianzb

s

bedingungGlattheits

yxyx

22222 ),(),()()(

yxgfggff yxyx bzw. nach und vonnAbleitunge partielle sind ,,,

e misst die Qualität der rekonstruierten Oberfläche


Ableitung der Fehlerfunktion e

e hängt von f ,g und deren partiellen Ableitungen ab

=> bei der Ableitung ergeben sich die Eulergleichungen

dxdyggffgfF yxyx ,,,,,

0

0

yx

yx

ggg

fff

Fy

Fx

F

Fy

Fx

F


Anwendung der Eulergleichungen

Operator)-(Laplace

wobei

),(),(

),(),(2

2

2

22

2

2

yx

g

RgfRyxEg

f

RgfRyxEf

ss

ss


Algorithmus von Ikeuchi & Horn

Vorgehensweise:

1. Bedingungen diskretisieren

2. für jeden Punkt

1. Fehler (lokal) berechnen

2. Werte korrigieren

3. wiederholen bis akzeptable Lösung erreicht


Diskretisierung

2,1,

2,,1

2,1,

2,,1, )()()()(

4

1jijijijijijijijiji ggggffffs

2,,,, ),( jijisjiji gfREr

i j

jiji rse )( ,,

Diskretisierung der Glattheitsbedingung:

Diskretisierung der Irradianzbedingung:

Fehlerfunktion: Summe der mit gewichteten Bedingungen


(Fortsetzung)

g

RgfREgg

g

e

f

RgfREff

f

e

sjijisjijiji

ji

sjijisjijiji

ji

),(2)(2

),(2)(2

,,,,,,

,,,,,,

1,,11,,1,

1,,11,,1,

4

14

1

jijijijiji

jijijijiji

ggggg

fffff

partielle Ableitungen der Fehlerfunktion...

...geben Abweichung zum optimalen f bzw. g Wert an

Durchschnitt der Umgebung um (i,j)


Iterationsvorschrift

Abweichungder Korrektur

),(

Wertalter Wertneuer

),(

,,,,1

,

,,,,1

,

g

RgfREgg

f

RgfREff

nji

njisji

nji

nji

nji

njisji

nji

nji


IV. lokale Verfahren

- berechnen Gestalt an einem Punkt anhand kleiner Umgebung

- können i.a. nur Oberflächenorientierungen rekonstruieren, Höhenberechnung erst nach Integration möglich

- sind leicht implementierbar und effizient, da nicht iterativ


Beispiel: Kugelapproximation

Annahme: Objekt ist in etwa kugelförmig

Ziel: Mehrdeutigkeit der Orientierungen auflösen


Azimutbestimmung

),(lpunkt Kugelmittemit arctan

:ktorsNormalenve des Azimuts des Berechnung

)sinsin,cos(sin),(

: Azimut und n Deklinatiomit Kugeleiner Gradienten

000

0 yxxx

yy

qp

Problem: Azimut ist wegen Mehrdeutigkeit nicht aus Irradianz bestimmbar

Lösung: Objekt als kugelförmig annehmen und Azimut wie bei einer Kugel berechnen


Deklinationsbestimmung

Bestimmung der Deklination aus der Irradianz

Albedo und gsstärkeBeleuchtunmit ),(

arccos

cos)(

00

0

EE

yxE

EE

(erfordert eine Rotationssymmetrische Reflektanzfunktion)


Rekonstruktion - Beispiel


Zusammenfassung

I SFS-Beschreibung

II Propagationsverfahren

III Globale Verfahren

IV Lokale Verfahren


Vielen Dank für die Aufmerksamkeit!

Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.

Documents

Transcript of Shape from Shading Hauptseminar Computer Vision Thema 7 Vortrag von Jakob Thomsen.