Aktuelle Entwicklungen in der Echtzeit Computergrafik

Ralf Habel

Institute of Computer Graphics and Algorithms

Vienna University of Technology

Ralf Habel 2

Ich

Post-Doc am Institut für Computergrafik und Algorithmen, TU WienDissertation in Echtzeit Vegetationsdarstellung und AnimationAktuelle Forschung: Precomputed Lighting, Computational Photography

Vorher: Physikstudium Uni Stuttgart

Ralf Habel 3

Überblick

Was ist Echtzeitgrafik?Evolution der EchtzeitgrafikVorgehen in der EchtzeitgrafikComputerspieleindustrieWeitere Entwicklungen in der Echtzeitgrafik

Ralf Habel 4

Was ist Echtzeitgrafik?

Im traditionellen Sinne:Bildsynthese mit interaktiven Bildraten zur direkten Manipulation und Interaktion.Einsatzgebiete:

ComputerspieleVirtual/Augmented RealityArchitekturvisualisierungDatenvisualisierungMedizinische Visualisierung

Ralf Habel 5

Was ist Echtzeitgrafik?

Im heutigen Sinne:

Echtzeit-BildsyntheseAnimation (Charaktere, Gesichter, Verhalten)Simulation (Rigid Bodys, Fluiddynamik)

Ralf Habel 6

Was ist Echtzeitgrafik?

Stark interdisziplinäres Feld:Physik (Optik, klassische Mechanik, Fluiddynamik, Radiometrie… )Biologie (Gesichter, Bewegungsapparat)Psychologie (Wahrnehmung)Neurowissenschaft (Multimodale Effekte)

Sämtliche angewandte Mathematik wird eingesetzt

Vektor/Matrixalgebra, Analysis, Funktional-analysis, Geometrie …

Ralf Habel 7

Grundlagen der Echtzeitgrafik

Einsatz von paralleler spezialisierter Hardware (Graphics Processing Unit: GPU) ermöglicht sehr schnelle Datenverarbeitung

mehrere hundert Cores (Prozessoren) parallelSehr schneller RAM Zugriff durch dedizierten Speicher (GPU RAM)

Hardwareunterstützung von speziellen mathematischen Methoden (Transformationen, Lichtberechnungen, Filterung)

Vienna University of Technology 8

Mooresches Gesetz für CPUsGordon Moore, 1965Exponentielles Wachstum der TransistoranzahlVerdopplung alle 18 Monate Jährliches Wachstum von: 1.6

Stagniert im Moment, Verschnellerung durch mehrere Cores (Parallelisierung).

(Logaritmische Achse)

Vienna University of Technology 9

Mooresches Gesetz für GPUsFast Mooresches Gesetz quadriert

Performanz verdoppelt sich alle 9-12 Monate

Grund: Hardware Parallelisierung is einfach, Echtzeitgrafik ist ein hochparalleles Problem

Vienna University of Technology 10

Evolution der Echtzeitgrafik

AMD Radeon HD 6970November 2010

2.7 TeraFLOPS2 Gigabyte RAM(1 Terabyte Storage)0.03 Quadratmeter

ASCI RedSchnellster Supercomputer 1999

3.1 TeraFLOPS1616 Gigabyte RAM12.6 Terabyte Storage212 Quadratmeter

Schnellster Supercomputer 2011 Tianhe-1 :4.7 PetaFLOPS14336 CPUs and 7168 GPUs.

Vienna University of Technology 11

Erste Generation – Wireframe

Vor 1987Transformation und Projektion von ModellenFarbinterpolation

Vienna University of Technology 12

Zweite Generation – Schattierung

1987-1992 Vollstaendige Dreiecke, TiefeninterpolationEinfache Lichtberechnungen

Vienna University of Technology 13

Dritte Generation – Texture Mapping

1992-2000Texturen, TexturkoordinatenTexturfilterungMehrfachtexturierung

Vienna University of Technology 14

Vierte Generation – Programmierfähigkeit

ProgrammierfähigkeitVon Modelltranform-ationen (Animation, Simulation)Lichtberechnungen(Schatten, Oberflächen, globale Beleuchtung)

Ermöglicht eine Vielzahlan Methoden und Effektenund deren KombinationNahezu photorealistisch

Vienna University of Technology 15

Beispiele

Quake (1996)10-20 Echtzeitmethoden

Crysis 2 (2011)Hunderte an MethodenCa. 1000 fach komplexere Geometrie und Texturen

Video

Vienna University of Technology 16

Vorgehen in der Echtzeitgrafik

Echtzeitgrafik nutzt eingeschränkte und leicht täuschbare menschliche Perzeption

Simplifizierende Tricks zur Darstellung von zu komplexen Objekten und Effekten.

Beispiel: BäumeHochkomplexe Geometrie

tausende an Ästen, zehntausende BlätterHochkomplexe Bewegung

hierarchische Bewegung der Äste, Einzelbewegung der Blätter

Vollständig korrekte Darstellung zu resourcenintensiv für heutige Computerspiele

Nur 10-30% der Gesamtresourcen können für Vegetation benutzt werden

Vienna University of Technology 17

Bäume in der Echtzeitgrafik

Zu komplexe Geometrie wird auf wenige, grosse texturierte Flächen reduziert:

Vollständige Korrektheit nicht wahrnehmbar auf EntfernungFehler und Artefakte werden akzeptiert oder ignoriert ohne direkte korrekte Referenz

Vienna University of Technology 18

Bäume in der Echtzeitgrafik

Video

Vienna University of Technology 19

Bäume in der Echtzeitgrafik

Akademischer Stand der Technik Nahezu vollstaendige Nutzung einer modernen GPUSchnellste/beste Methoden

Physikalisch basierter Ansatz erlaubt:Vollständiges BaummodellSchnelle Animation aller Äste und BlätterKorrekte dynamische Beleuchtung und Schattierung (Transluzenz, Blattflächen)

Kein Bruch der Illusion auch bei Nahaufnahmen

Kommerzielle Einsatzfähigkeit in ca. 1-2 Jahren

Vienna University of Technology 20

Bäume in der Echtzeitgrafik

Video

Vienna University of Technology 21

Computerspiele Industrie

Überholte Filmindustrie 2007-2008Globale Einnahmen ~60 Milliarden $ (Film ~50 G$)

Marktdynamik vergleichbar mit Filmindustrie:

AAA Computerspiel100-350 Millionen $

Rekord: 7 Millionen Einheiten von CoD: Modern Warfare 2 verkauft in 24 h (350 M $)

Blockbuster Film150-270 Millionen $

Rekord: Best Opening Weekend:The Dark Knight (158 M $)

Vienna University of Technology 22

Computerspiele Industrie

Echtzeit Bildsynthese ist eine Frage der Computer-resourcen und deren intelligente Ausnutzung

Nicht vollständig Datenabhängig

Aber: Content (Charaktere, Levels, Animationen, Texturen…) muss von 3D Artists von Hand erstellt werden

Content, nicht Methodik bestimmt visuelle Qualität

Prozedurale und automatisierte Erstellung von Content wird immer wichtiger (auch als akademisches Feld)

Programmierer : 3D Artist ~ 1:10

Vienna University of Technology 23

Computerspiele Industrie - Beispiel

GesichtsanimationPerzeption reagiert auf kleinste Fehler in der AnimationFehler nicht nur störend, sondern illusionszerstörend durch direkten emotionalen Bezug zu Gesicht (im Gegensatz zu Bäumen)

“Uncanny Valley” -Problem

Vienna University of Technology 24

Beispiele

Mass Effect 2 (2010)3D Artist erstellteGesichtsanimation

L.A. Noire (2011)Motion capturedGesichtsanimationvon Schauspielern

Video

Vienna University of Technology 25

Weitere Entwicklungen der Echtzeitgrafik

Auflösung sämtlicher Restriktionen in den Berechnungen

Bisher: Restriktive Schnittstellen (OpenGL, DirectX)In Zukunft: allgemeiner paralleler Prozessor

Alles ist erlaubtMethoden aus offline Rendering (Film, Visual Effects) fliessen in die Echtzeitgrafik ein

Ray Tracing, Higher Order Surfaces…

“billige” Tricks werden durch akuratere Methoden ersetzt

Film- und Spiel- Grafik konvergieren

Vienna University of Technology 26

Weitere Entwicklungen der Echtzeitgrafik

Beispiel Ray TracingBisher in Film und Visual EffectsMonte Carlo Simulation von Strahlen

Erlaubt physikalisch akkurate Simulation von Oberflächen und Licht

Aber sehr rechenaufwändigAktuelle CPUs und GPUs bereits schnell genug für sehr einfache SzenenAber nicht schnell genug um mit bisherigen Methoden zu konkurrierenGPUs mit direkter Ray Tracing Unterstützung bereits in Entwicklung

Vienna University of Technology 27

Beispiele

Video

Vienna University of Technology 28

Weitere Entwicklungen

Nur leichte Abflachung des Geschwindigkeits-zuwachses in der Hardwareentwicklung

2013: 15 TeraFLOP GPUs

Vereinigung von CPU+GPU auf einem ChipAMD Fusion und intel Sandybridge (i5/i7) bereits auf dem Markt

Computerspieleindustrie immer noch im 2 stelligen Wachstumsbereich

Echte Kinoqualität in Spielen in ca. 10 Jahren

Vienna University of Technology 29

Weitere Entwicklung der Echtzeitgrafik

GPU wird integraler Bestandteil einer CPU als paralleler Prozessoranteil (APUs)

Echtzeitgrafik nur spezielles paralleles Problem

Beschleunigung sämtlicher Berechnungen im Consumer Bereich

Heute bereits über CUDA und OpenCL möglich

Im Supercomputer-Bereich bereits etabliert

Vienna University of Technology 30

Pixel 6

3 tägige internationale Computergrafikkonferenz in Wien

ca. 400 TeilnehmerFachvorträge über

FilmproduktionVisual EffectsGames…

Von Pixar, ILM, Disney, Crytek, Lucasfilm …

Nur 45 Euro Eintritt!

Vienna University of Technology 31

Vielen Dank!Fragen?