MODELADO, ANIMACIÓN Y EDICIÓN DE VIDEO CON

BLENDER

MOTION TRACKING

TRACKING DE CÁMARA

Índice

1. Fotogrametría 2. Tracking de secuencia 3. Parámetros de la cámara 4. Reconstrucción 3D 5. Composición

Bibliografía

• Sebastian Koenig, DVD Training 9: Track, Match, Blend! Blender Foundation Institute

Fotogrametría • Para integrar objetos con el entorno es necesario hacer un

seguimiento de la cámara • Hoy en día: fotogrametría: extraer características 3D de un rodaje

2D • Identificación de puntos desde varias perspectivas diferentes • Nuestro cerebro lo hace comparando las imágenes de los dos ojos • En una secuencia de video son los frames sucesivos • Nuestra primera experiencia será partir de dos imágenes tomadas

desde puntos de vista diferentes • Cargamos las imágenes como una secuencia en el Movie Clip

editor

Fotogrametría • El primer paso es definir al menos 8 markers que cubran gran

espacio de la escena

Fotogrametría • Es necesario trazar el movimiento de los marcadores • La reconstrucción se hace en el panel Solve de la caja de

herramientas • Marcar los keyframes con markers comunes A y B (en caso de 2

imágenes, 1 y 2) • Pulsamos el botón Camera Motion • El sistema informa del error de reproyección (pueden verse con

Display - casilla 3D Markers) • El posicionamiento inexacto de markers deriva en errores • Se pueden arreglar los problemas a posteriori y recalcular Camera

Motion para ver cuánto se reduce (intentar bajar de 0.5)

Fotogrametría • Si la reproducción se marca en verde es que está muy cercano y se

puede dar por válido • Una vez lo tengamos, abrimos una vista 3D • Debemos traducir el movimiento de la cámara virtual del Movie Clip

editor sobre la cámara real. Lo haremos con una constraint • RMB en cámara, añadimos constraint Camera Solver • Aparecen puntos que son los marcadores 3D • Los marcadores están relacionados con las posiciones • En la vista 3D podemos habilitar imágenes de fondo para la vista de

cámara • Lo único que queda es encontrar la posición y rotación adecuada de

la cámara

Fotogrametría

Fotogrametría • En Movie Clip Editor, pasamos a modo Reconstrucción • Trabajaremos en el panel Orientation • Para encontrar el suelo es necesario fijar 3 markers en el suelo de

la escena • Al pulsar Set Floor, la posición de la cámara en vista 3D cambia

para que los puntos seleccionados estén en el plano XY • Para arreglar la rotación, seleccionamos uno de los puntos y lo

centramos en el origen (Set Origin) • Ahora podemos rotar para ajustar la rejilla (R – Z). Conviene

alrededor del Cursor 3D (Pivot – 3D Cursor)

Fotogrametría

Tracking de secuencia • Extendemos los principios anteriores a una secuencia completa • Elegimos como mínimo los 8 puntos para la escena y, uno a uno,

los trazamos, ahora de modo automático • Cada vez que tengamos uno, es conveniente fijarlo (lock): En

Properties, panel Track, icono con forma de cerrojo, o CTRL + L • Para ver el proceso de tracking, también es útil la opción Real Time

o Double en Speed, dentro del panel Tracking de las propiedades (por defecto está a Fastest, que no muestra información por pantalla)

• No hace falta pero se puede acceder a los parámetros del tracker mediante la caja de herramientas, panel Tracking Settings. Aquí está el tamaño por defecto del patrón y la zona de búsqueda, por ejemplo

Tracking de secuencia • El algoritmo de seguimiento también es seleccionable

– Por defecto: híbrido (el mejor. Tiene precisión sub píxel) – KLT: Kanade – Lucas – Tomasini (presenta pyramid levels – cuantos

más, mayor precisión. Problemas con cambios de iluminación) – SAD: Sum of Absolute Differences (más ruidoso: dithering)

• Cuando un marker desaparece fuera de la imagen o es ocultado por otro cuerpo, conviene borrar: Clear After o ALT + T

• En muchos casos, no tener información es mejor que tener información errónea

• La marca amarilla de la línea de tiempos indica la activación del marker

• Los settings de la izquierda son para nuevos marcadores. Los settings para el marcador actual están en Propiedades (derecha)

Tracking de secuencia • Para ver la calidad de un marcador está la vista de curvas:

representa velocidad en x e y

Tracking de secuencia • Otros parámetros:

– Correlation: requisito de exactitud de identificación. Cuanto más alto, más restrictiva es la identificación

– Frames Limit: sólo traza hasta esta cantidad de frames (trazar en pasos)

– Matching: puede hacer la comparación entre el un Keyframe o el frame anterior

• Se añade un keyframe al inicio o cada vez que se modifica un marker de forma manual

• Hay un desplegable con presets: default, fast o blurry • Aunque el sistema pide 8 marcadores, es conveniente suministrar

más, sobretodo en el suelo y la lejanía, por el efecto de la perspectiva

Parámetros de la cámara • Una vez ubicados todos los marcadores, en panel Solve, Camera

Motion • A veces da errores grandes porque es necesario disponer de la

información de la cámara • En propiedades hay un panel con los datos de la cámara, también

con presets • Podemos simular estos parámetros dentor del propio Blender,

dentro de las Propiedades, en la pestaña Camera • La distancia Focal nos permite hacer Zoom (in / out): ángulo de

observación • El tamaño del sensor tiene un efecto similar • También hay presets en las cámaras de Blender

Parámetros de la cámara • Distancia Focal: distancia entre el plano de la imagen (sensor) y el

punto de convergencia de los rayos (lente), llamado punto focal • Cuando se hace zoom se cambia la posición de la lente y, por tanto,

la distancia entre el punto focal y el sensor • Cuando se cambia el tamaño del sensor se cierra el ángulo de

observación • Ambos efectos afectan el campo de visión (Field OF View, FOV). En

Blender se representan igual. Se habla, entonces, del Factor Crop, que es la relación entre distancia focal y tamaño del sensor

• En caso de desconocer los parámetros de la cámara utilizada para grabar, podemos forzar a Blender a que haga una estimación: Menú Refine dentro del panel Solve

Parámetros de la cámara • Fijándolo a Focal Length, por ejemplo, a medida que intenta

resolver la cáamra, va adaptando el valor de la distancia focal • También puede intentar adivinar la distorsión de la cámara • La distorsión es la que hace que las líneas rectas aparezcan

curvadas, sobre todo en los bordes • Para esta distorsión: valor K1, K2, K3 (el más importante, K1) • Blender puede tratar de averituarlos, pero también se puede

intentar hacer a mano, en el modo Distorsión • En Properties, Display – habilitar Grid • Modificando K1 se observa la distorsión sobre la rejilla

Parámetros de la cámara • Hay otro método incluso mejor, usando el Grease Pencil:

– Dibujar líneas rectas con CTRL + D – Modificar el valor de K1 – La línea recta se curva en consonancia

• Hay una técnica que usan los profesionales, que consiste en grabar una cuadrícula antes del rodaje

• Con los parámetros de la cámara refinados (a mano o de manera automática), intentar resolver la cámara generalmente lleva a mejores resultados en términos de errores

Reconstrucción 3D • Creamos una ventana vista 3D • Hay un atajo que permite exportar todo a esta vista. En la caja de

herramientas, panel Clip: Setup Tracking Scene – Aparecen los markers – La cámara tiene el constraint correspondiente – La cámara tiene la imagen de fondo – También ha creado un plano en la capa 11

• Queda orientar la escena, lo que se hace en el modo de Reconstrucción, en caja de herramientas y panel de orientación – Set Floor: requiere 3 puntos en el plano del suelo – Set Scale: para traducir unidades del rodaje a Blender

• Cuidado porque escala la cámara. Posiblemente haya que ajustar en las propiedades de la cámara, panel Display, Valor Size, y en propiedades(N), panel Motion Tracking, Tracks – tamaño de los marcadores

Reconstrucción 3D • El paso siguiente es marcar el origen con un punto (mejor en el

suelo, por supuesto) • Se puede marcar los ejes si nos aseguramos de haber trazado una

línea recta a la que asignar el eje X o Y • Pulsar 2 veces el botón Set X Axis asigna el sentido positivo o

negativo de la recta indicada • Todo está dispuesto. La ubicación del cubo por defecto está referida

al entorno 3D que coincide con el rodaje y se mueve en consonancia

• No obstante, hay errores en los emplazamientos de los marcadores más externos: se ha calculado la distorsión de las lentes pero no se ha utilizado

• Es necesario “desdistorsionar” el rodaje

Reconstrucción 3D • El ajuste de distorsión se hace en Properties – Panel Proxy /

Timecode (primero hay que habilitar) • Por ahora lo que interesa es la opción Render Undistorted, que

elimina la distorsión (las curvas pasan a ser rectas) • Esta opción es sólo para Display en el Movie Clip Editor, no afecta

al render o la composición • En el editor 3D no hace falta, porque esa opción ya está habilitada

por defecto en background images al habilitar Proxy/Timecode en el Movie Clip Editor

• La opción de proxy es interesante, porque nos permite pasar a una versión reducida y precalculada, que hace posible el trabajo en tiempo real

• Ya estamos en disposición de añadir objetos a la escena 3D

Reconstrucción 3D

Reconstrucción 3D • El plano que se ha generado al hacer el proceso de arreglo de

tracking resulta muy útil para la integración de objetos 3D • Al renderizar (F12) aparece todo, con sombras incluidas

Reconstrucción 3D • Al pulsar Set Up Tracking Scene, se ha creado dos capas de

render. Una de las capas es Fondo y otra primer plano – Foreground sólo renderiza la capa 1 y enmascara la 11, opción vector – Background renderiza la 11, con sombras y AO

• También ha preparado un ajuste básico de composición, que veremos un poco más adelante

• Los ajustes a continuación son para hacer la imagen más creíble • Cambiar la posición de la luz y hacerla área • Hacer su sombra más difusa: En panel Shadow, incrementar el

valor de Sampling a 7, por ejemplo

Composición • Como hemos visto, ya se ha preparado una composición inicial

Composición • Movie Clip: pasa por Undistorsion y Scale • Capas renderizadas: una de ellas contiene Sombra y AO,

mezcladas • Estos dos flujos se multiplican entre sí para generar la salida (con

factor que afecta a la intensidad con que se superponen • Un tercer flujo, con la capa renderizada de la imagen en primer

plano • Usa el nodo Vector Blur para crear el efecto de Motion Blur de la

camara • Tras esto, sólo un nodo AlphaOvered para superponer a lo anterior

Composición • Podemos añadir todos los elementos que necesitemos: por

ejemplo… – Tras vector blur ponemos RGB Curves para hacer una corrección de

color – Una correción de color al final, posiblemente para aumentar contraste – Un filtro final (filter) de sharpening – …

• Un caso importante es el nodo de distorsión. Si lo eliminamos, el rodaje vuelve a estar distorsionado

• Tenemos dos opciones: – Desdistrosionar el rodaje (tal como está) – Distorsionar el CG: añadir Movie Distorsion, cambiar de funcionamiento

a Distort y poner a la salida del vector Blur. Da problemas con los contornos, por cierto

Composición

MOTION TRACKING

TRACKING DE CÁMARA