1 Acquiring the Reflectance Field of a Human Face Paul Debevec et al.

1

Acquiring the Reflectance Field of a Human Face

Paul Debevec et al.

2

Background (1)

• Gesichtsmodellierung und –animation- 3D-Photographie (Scanners)

Gesichtsgeometrie Texture Map darüberlegenProblem: beleuchtungsabhängig

- Abschätzung von Gesichtsmodellen direkt vom Bild

3

Background (2)

• Reflektometrie– Messungen, wie Materialien Licht

reflektieren– BRDF– Reflexionsmodelle (BRDFs als

Parameterfunktionen)– Modelle für geschichtete Oberflächen

„subsurface scattering“– Reflexionsabschätzungen mit Bildern

4

Background (3)

• Bildbasierte Modellierung und Rendering– Summierung von „Basisbildern“– Einfangen von realen Beleuchtungs-

bedingungen

5

Motivation (1)

• Methode, um Gesichter zu rendern, und zwar unter beliebigem Verändern– der Beleuchtung– „viewing direction“

• Basierend auf Photoaufnahmen• Linearkombinationen von Grundbildern• Extrapolation von „reflectance fields“

6

Reflectance Field

• R = R(Ri;Rr) = R(ui, vi, i, i; ur, vr, r, r)

(i, i)

(r, r)

(ui, vi)(ur, vr)

(a) (b)

(ur, vr)

(r, r)

(i, i)

„non local reflectance fields“

7

Re-illuminating Faces (1)

• Überblick– Akquisitionsprozess– Aufbau der „reflectance function“– Rendern des Gesichts von den originalen

„viewpoints“ aus, aber unter beliebiger neuer Form der Beleuchtung

8


• „The Light Stage“– 64 x 32 Bilder

: Azimut : Inklination

• „Reflectance Function“ Rxy(,)– für jeden Pixelort (x,y)– vom Pixel reflektierter Strahl bei

Beleuchtung aus Richtung (,)

9


• Eigentliche Berechnung eines Bildes unter neuer Beleuchtung

• Annahme: Weisses Licht der Original-lichtquelle

• Mit zusätzliche Normalisierung

• Berechnung in JPEG möglich

,

),(),(),( ixy LRyxL

,

),(),(),(),( ALRyxL ixy

10

Changing the Viewpoint (1)

• Überblick– Extrapolation von kompleten „reflectance

fields“– Ermöglicht Rendern des Gesichts von

beliebigem „viewpoint“ aus und unter beliebiger Beleuchtung

– Reflexionsmodell der Haut

11


• Reflektiertes Licht kann zerlegt werden in:– Eine spekulare Komponente– Eine nicht-Lambertsche diffuse

Komponente– Experimente:

• Mit Polarisationsfiltern• Monte-Carlo-Simulation

12


• Separierung in spekulare und „Subsurface“ Komponente– Polarisationsansatz zu aufwendig– Farbraum-Analyse-Technik

(nach Y.Sato und K. Ikeuchi)– RGB-Wert einer „reflectance function“

13


• Output dieser Separation:– Diffuse „reflectance function“ D(,)– Spekulare „reflectance function“ S (,)– Oberflächennormale

• D und S können noch transformiert werden, so dass sie unabhängig von der originalen „viewing direction werden“

14


Reflectance

function

Spekularer Teil Diffuser Teil

15


Auf neuen „viewpoint“ transformierte

spekulare Komponente

+Geshifteter diffuser

Teil

Neue „reflectance function“

Fotografierte, „richtige“ reflectance

function

16


• Berücksichtigen von Schatten:– Ab einer bestimmten

Helligkeit ist Schatten

– Keine Glanzpunkte innerhalb von Schattenzonen

17

Resultate (1)

• Demoprogramm• Vergleich mit:

– „Reflection from Layered Surfaces due to Subsurface Scattering“ von Pat Hanrahan und Wolfgang Krueger

• Monte Carlo Simulation

18

Beispiel aus „Reflection from Layered Surfaces due to Subsurface Scattering“

19

Beurteilung

• Sehr realistische Resultate• Simple Ausrüstung• Nur statisch• Rechenaufwendig• Mühsames Aufnahmeprozedere• keine spezielle Datenstruktur

+

-

20

ENDE

21

Jetzt kommen noch die Overhead-Folien

24

Von Stirn

Reflectance FunctionsBeispiele von einzelnenPunkten des Kopfes

Von Wange

25

light map A normalizedlight map

normalizedlight map

reflectancefunction

lighting product

lighting productrendered

pixel

29

„normales“ Photo

„diffus“horizontaler Polarisierer

auf Kamera

„spekulares“ hervorgehogenvertikaler Polarisierer

auf Kamera

Licht ist vertikal polarisiert

-

30

„diffus“Beobachtung:Entsätigung

akzentuiert spekularBeobachtung: für grosse

stärkere Spekularität

1 Acquiring the Reflectance Field of a Human Face Paul Debevec et al.

Documents

Transcript of 1 Acquiring the Reflectance Field of a Human Face Paul Debevec et al.