image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias –...
Transcript of image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias –...
![Page 1: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/1.jpg)
Correspondence estimation inimage pairs
Andre Redert, Emile Hendriks, Jan Biemond
IEEE Signal Processing Magazine 16(3)29-46
![Page 2: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/2.jpg)
Introduccion
• Aplicaciones de la estimación de correspondencias– Codificación de video, compresión (vectores de movimiento)
– Conversión de velocidad en video (interpolación)
– Generación de imágenes desde multiples puntos de vista (interp.)
– Calibración de cámara
– Extracción 3D desde estereo-visión
– Estructura a partir de movimiento
![Page 3: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/3.jpg)
Intro
• Tendencia a la estimación de campos densos decorrespondencias– Permite la adquisición de escenas 3D de alta resolución
– Permite construir modelos más complejos
– Puede utilizarse para extrapolación así como para interporlación(multiples puntos de vista)
– Permite procesado al nivel de objeto y mayor interacción
![Page 4: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/4.jpg)
![Page 5: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/5.jpg)
Intro
• Desafios en la estimación de campos decorrespondencias densos– La dimensionalidad del espacio de soluciones
es extremadadmente grande
– La estimación basada en las correspondenciasde intensidad no es inmediata (Constant ImageBrightness) está sujeta a ambiguedad
![Page 6: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/6.jpg)
La estimación de correspondencias basada en la igualdad de intensidades es un problema mal planteado (ill-posed)
![Page 7: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/7.jpg)
Correspondencia geométrica
• Dos puntos en las imágenes son correspondientes(geométricamente) si han sido generados por elmismo punto en la escena
![Page 8: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/8.jpg)
Correspondencias múltiples
• Pueden producirse correspondencias de uno amuchos debido a efectos de la escena (lo ignora)
![Page 9: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/9.jpg)
Oclusiones
• El movimiento relativo de los objetos (opacos) puedecausar oclusiones (pseudo-correspondencias)
![Page 10: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/10.jpg)
Pares espaciales
• Las imágenes se toman con dos cámaras enposiciones distintas (estimación de disparidad)
![Page 11: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/11.jpg)
Pares espaciales
• La profundidad se calcula mediantetriangulación
![Page 12: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/12.jpg)
![Page 13: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/13.jpg)
Pares espaciales
• Restricción epipolar; cámaras paralelas
![Page 14: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/14.jpg)
Pares temporales
• La escena se graba con una cámara que se desplaza.
• La estimación de correspondencias es una estimación demovimiento
![Page 15: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/15.jpg)
Pares temporales
• Puede simularse la secuencia temporal yviceversa
![Page 16: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/16.jpg)
Clasicos
• Algoritmos basados en características (features):proporcionan estimaciones dispersas (sparse)
![Page 17: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/17.jpg)
Clásicos
• Emparejamiento de bloques (vídeo compresión)(sólo translaciones)
![Page 18: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/18.jpg)
Clásicos
• Emparejamiento a nivel de pixel: asumecausalidad a nivel de pixel
![Page 19: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/19.jpg)
Clásicos
• Basados en el flujo óptico: la relación deintensidad constante a lo largo de latrayectoria
![Page 20: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/20.jpg)
Bayesian approach
• Permite la estimación densa combinada conla segmentación de los objetos
• No necesita calcular derivadas de laintensidad
• 4 pasos
![Page 21: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/21.jpg)
![Page 22: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/22.jpg)
• Paso 1: se definen los elementos (imágenesy campos de salida)
• Paso 2: se modela el problema especificando la probabilidad
condicionada de los campos respecto de las imagenes
![Page 23: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/23.jpg)
• Paso 3: Se define la mejor solución:Maximum a posteriori (MAP)
• Paso 4: se aplica un algoritmo de búsqueda(relajación, simulated annealing)
![Page 24: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/24.jpg)
Campos de salida
• Tipos de campos de salida– Correspondencias
– Oclusiones
– Segmentación basada en bordes
– Segmentación basada en regiones
• Todos están definidos sobre látices
![Page 25: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/25.jpg)
Campos de salida
• El campo de correspondencias (puedenobtenerse precisiones subpixel mediante interpolación)
![Page 26: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/26.jpg)
• El campo de oclusiones especifica las seudocorrespondencias debidas a oclusiones
![Page 27: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/27.jpg)
• Mapa de encadenamiento: combina las oclusiones de lasdos imágenes en el caso de cámaras paralelas
![Page 28: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/28.jpg)
Campos de discontinuidades
• Los bordes de los objetos coindiciden condiscontinuidades de los campos y oclusiones
![Page 29: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/29.jpg)
Campos de discontinuidades
• Dominio de definición y valores
![Page 30: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/30.jpg)
Campos de segmentacion
• El campo R tiene de dominio el mismolatice que las imágenes y para cada pixeluna etiqueta
• Un campo de discontinuidades puedededucirse de un campo de segmentación
![Page 31: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/31.jpg)
Modelado
• El modelo viene dado por las distribucionesde probabilidad (conjuntas) de los camposcondicionadas a las imágenes
• Los modelos que asumen la propiedad deMarkovianeidad son campos markovianos.
![Page 32: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/32.jpg)
![Page 33: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/33.jpg)
Modelos de luminancia
• Usualmente se asume que el modelo de luminancia es uncampo de entradas indenpendientes
• Asunción soportada por el CIB (las desviaciones semodelan con una gausiana)
• Las oclusiones se modelan con una distribución uniformede intensidades resultantes
![Page 34: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/34.jpg)
![Page 35: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/35.jpg)
Modelos de la correspondencia
• Los modelos probabilisticos son camposmarkovianos con distribución deprobabilidad Gibbsiana
• Permiten modelar propiedades globales dela imagen en términos locales devecindarios de los pixels.
![Page 36: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/36.jpg)
![Page 37: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/37.jpg)
Modelos de correspondencias
• Modelo de correspondencias suaves básico
![Page 38: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/38.jpg)
Modelos de correspondencias
• Restricciones de suavidad orientadas(limitadas por las discontinuidades en laimagen)
![Page 39: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/39.jpg)
Modelos de bordes(discontinuidades de correspondencias)
• Discontinuidades penalizadas independientemente
• Combinando las discontinuidades con lasdiferencias en la imagen
• Forzando curvas cerradas
![Page 40: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/40.jpg)
Modelos de oclusión
• Penalizaciones independientes
• Forzando la conectividad de los puntos deoclusión sobre un campo dediscontinuidades extraido del campo deoclusión (fig 22)
![Page 41: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/41.jpg)
Modelo total
• ddp oclusión
• ddp bordes condicionado
• Combinación gibbsiana
• Combinación total de todas las restricciones
![Page 42: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/42.jpg)
Criterios de solución óptima
• Maximo a posteriori (MAP)
• Campo medio
![Page 43: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/43.jpg)
Algoritmos de búsqueda
• Se aplican a la energía y no a la probabilidad
• Métodos
– Descenso de gradiente: mínimos locales
– Simulated annealing
– Programación dinámica
– Algoritmos genéticos. Muy costosos
![Page 44: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/44.jpg)
Metodos de búsqueda
• Métodos de campo medio
• Métodos jerárquicosmultiresolución/multiescala
![Page 45: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/45.jpg)
![Page 46: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/46.jpg)
Futuro
• La utilización de dos campos decorrespondencias
• Modelos complejos de dependencias enintensidad (restauración de imagen)
• Superficies especulares
• Multiples correspondencias en secuenciasde imagenes
![Page 47: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/47.jpg)
Futuro
• Utilización de la geometría epipolar para restringirla búsqueda en las lineas epipolares
![Page 48: image pairs Correspondence estimation inAplicaciones de la estimación de correspondencias – Codificación de video, compresión (vectores de movimiento) – Conversión de velocidad](https://reader033.fdocuments.us/reader033/viewer/2022050101/5f40400888a91423503298df/html5/thumbnails/48.jpg)