Основы компьютерного стерео зрения

Шкловец Артемmachine learning

engineer

Многовидовая реконструкция

Стерео реконструкция

Модель камеры

O – Центр проекции.Лучи от одной точки преломляются в линзе и собираются в другой точке позади линзы

Модель перспективной проекции

Модель перспективной проекции

Однородные координаты

Внутренняя калибровка камеры

Единичная матрица перспективной проекции

Матрица перспективной проекции представляет собой матрицы внутренней и внешней калибровки

Полная матрица внутренней калибровки

Внешняя калибровка камеры

Полная матрица перспективной проекции

Гомография

Калибровка камеры

DLT – метод для нахождения матрицы перспективной проекции

RQ – факторизация для извлечения матрицы внутренней и внешней калибровки Уточнение параметров с помощью методов нелинейной оптимизации ошибки репроэкции

Задача построения стереоизображения

Левое Правое

Ректификация изображений

Эпиполярная геометрия

Эпиполярное ограничение

Примеры эпиполярных линий

Сближающиеся камеры

Стереопара

Примеры эпиполярных линий

Примеры эпиполярных линий

Движение вперед

Эпиполярное ограничение

Фундаментальная матрица

8-ми точечный метод

RANSAC (RANdom SAmple Consensus)

RANSAC общая схема алгоритма

RANSAC пример

Методы получения стереоэффекта

Анаглиф: цветового кодирования изображений, предназначенных для левого и правого глаза.

Поляризационное стерео зрение: Левое и правое стекло пропускает изображение только со своей поляризацией. Делятся на подвиды, использующие линейную и круговую поляризацию.

Активное зрение: Передают изображение на каждый глаз поочерёдно. 3d очки с активным затвором используют в качестве линз жидкие кристаллы, которые способны под воздействием управляющего сигнала с высокой скоростью попеременно закрывать и открывать левый и правый глаз.

Формулы получения анаглифа

Обычный анаглиф

(𝑅𝐺𝐵)=(1 0 00 0 00 0 0)∗(𝐿 .𝑅𝐿 .𝐺

𝐿 .𝐵)+(0 0 00 1 00 0 1)∗(𝑅 .𝑅𝑅 .𝐺

𝑅 .𝐵) Темный анаглиф

(𝑅𝐺𝐵)=(0 ,299 0,587 0 ,1140 0 00 0 0 )∗(𝐿 .𝑅𝐿 .𝐺

𝐿 .𝐵)+( 0 0 00 0 0

0 ,299 0,587 0,114)∗(𝑅 .𝑅𝑅 .𝐺𝑅 .𝐵)

Оптимизированный анаглиф

(𝑅𝐺𝐵)=( 0 , 4154 0,4710 0 ,1669−0,0458 −0,0484 −0,0257−0,0547 −0,0615 0,0128 )∗(𝐿 .𝑅𝐿 .𝐺

𝐿 .𝐵)+(−0,0109 −0,0364 −0,00600 ,3756 0,7333 0 ,0111−0,0651 −0,1287 1,2971 )∗(𝑅 .𝑅𝑅 .𝐺

𝑅 .𝐵)

Пример Анаглифа