Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video ›...
Transcript of Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video ›...
![Page 1: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/1.jpg)
Быстрое начало работы с VTune. Обзор новинок DSP.
Super-Resolution для ToF-камер
Юрий Бердников
Video GroupCS MSU Graphics & Media Lab
![Page 2: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
2
Содержание доклада
Быстрое начало работы с VTune
Обзор NVIDIA Tegra 250
Обзор решений TI DaVinci
Spatial-Depth Super Resolution for Range Images
LidarBoost
![Page 3: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
3
Простота «первого шага»
Корректная работа с многоядерными и
многопроцессорными системами
Ориентация на процессоры Intel
Поддержка .NET – приложений
Поддержка 32- и 64-битных приложений
Интеграция в Visual Studio
Поддержка JIT-кода
Быстрое начало работы с VTuneПочему VTune?
![Page 4: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
4
Быстрое начало работы с VTuneОпции проекта Visual Studio
“Program Database for Edit & Continue” может вызвать неверное сопоставление строк исходного кода и ассемблерных команд
![Page 5: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
5
Быстрое начало работы с VTuneСоздание проекта VTune Performance Analyzer
![Page 6: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
6
Быстрое начало работы с VTuneТрактовка результатов анализа
Имя модуля
Количество циклов
Количество «полезных»
команд
Кол-во циклов на полезную
команду. Меньше - лучше
http://software.intel.com/en-us/forums/showthread.php?t=43900
![Page 7: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
7
Быстрое начало работы с VTuneАнализ на уровне исходного кода
Здесь явно поработал
оптимизатор
Список функций
![Page 8: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
8
Содержание доклада
Быстрое начало работы с VTune
Обзор NVIDIA Tegra 250
Строение
Анонсированные устройства
Developer`s Kit
Обзор решений TI DaVinci
Spatial-Depth Super Resolution for Range Images
LidarBoost
![Page 9: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
9
Замена предыдущих поколений Tegra
Ориентация на нетбуки, смартбуки, интернет-планшеты, видеоплееры
4х-кратный прирост производительности при той же мощности
Декодирование 1080p H.264/VC-1/MPEG-4
Кодирование в реальном времени 1080p H.264
Поддержка камер с разрешением до 12 МП
Поддержка параллельной работы двух дисплеев
Аппаратное ускорение Adobe Flash Player 10.1
Официальный «пакет разработчика»
NVIDIA Tegra 250Обзор
![Page 10: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
10
Двухъядерный ARM Cortex-A9 MPCore
До 1 ГГц
40 нм, 49 мм2, 240 млн транзисторов
Поддержка 32-bit LP-DDR2, DDR2
ULP NVIDIA GPU
Удвоенная производительность
поддержка OpenGL ES 2.0
Отдельные процессоры для обработкиHD Video, изображений и аудио
Аппаратная поддержка AAC, AMR, WMA, MP3 и других форматов
Интерфейсы VGA, HDMI до 1920х1080
Выход PAL/NTSC
NVIDIA Tegra 250Строение
![Page 11: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
11
NVIDIA Tegra 250Анонсированные устройства: Compal
7’’ экран
14 часов FullHDбез подзарядки!
ОС Android 2.0
Резистивный тачскрин
Обзор конференции CIS, http://itc.ua/taxonomy/term/54/Январь 2010
![Page 12: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
12
NVIDIA Tegra 250Анонсированные устройства: Mobinnova Beam
Обзор конференции CIS, http://itc.ua/taxonomy/term/54/Январь 2010
![Page 13: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Связь с компьютером через USB
1 ГБ RAM
512 МБ flash-памяти
Ethernet
Wi-Fi
Bluetooth
Audio In/Out
USB-Host контроллер
SD(HC) слот
3 кнопки управления
Дополнительная плата с дублированием кнопок, контрольными светодиодами и последовательным портом для отладки
13
NVIDIA Tegra 250 Developer Kit Общее описание
NVIDIA Tegra 250 Developer Kit Hardware Introduction and Setup
![Page 14: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
14
NVIDIA Tegra 250 Developer Kit Основная плата
NVIDIA Tegra 250 Developer Kit Hardware Introduction and Setup
![Page 15: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
15
NVIDIA Tegra 250 Developer Kit Дополнительная плата
NVIDIA Tegra 250 Developer Kit Hardware Introduction and Setup
![Page 16: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
16
Содержание доклада
Быстрое начало работы с VTune
Обзор NVIDIA Tegra 250
Обзор решений TI DaVinci
TMS320C550x
OMAP35x
OMAP-L1x
TMS320C674x
Сравнение процессоров
Spatial-Depth Super Resolution for Range Images
LidarBoost
![Page 17: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
17
Texas Instruments DaVinciОбзор решений
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
Процессоры с особо малым потреблением (TMS320C550x)
Процессоры высокой производительности
(OMAP35x)
Процессоры высокой интеграции(OMAP-L1x)
Процессоры для вычислений
повышенной точности(TMS320C674x)
![Page 18: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
18
Texas Instruments DaVinciОбзор решений
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
Процессоры с особо малым потреблением (TMS320C550x)
Процессоры высокой производительности
(OMAP35x)
Процессоры высокой интеграции(OMAP-L1x)
Процессоры для вычислений
повышенной точности(TMS320C674x)
![Page 19: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Область применения: беспроводные аудиоустройства, обработка звука, медицина, биометрия
C55x DSP, 60..100 МГц
Операции только с фиксированной точкой
До 2 инструкций за цикл
2 модуля умножения (до 200 MMACS)
2 АЛУ
Аппаратное 1024-точечное FFT
320 КБ RAM мгновенного доступа
128 КБ ROM мгновенного доступа
Контроллер DMA, 16-ный EMIF
2 контроллера SD/MMC
19
Texas Instruments DaVinciПроцессоры с особо малым потреблением: TMS320VC5505
TMS320VC5505 Datasheethttp://www.ti.com/
![Page 20: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Контроллер USB 2.0
10-битный ЦАП
Встроенный BootLoader
Контроллер последовательного порта
Контроллер LCD
3 32-битных таймера
26 программируемых выводов
PWM-контроллер
Питание: 1.08 … 3.3 V
Взаимная изоляция источников питания
Самое низкое потребление в своѐм классе (150 мкВт в спящем режиме и 15 мВт при полной загрузке)
20
Texas Instruments DaVinciПроцессоры с особо малым потреблением: TMS320VC5505
TMS320VC5505 Datasheethttp://www.ti.com/
![Page 21: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
21
Texas Instruments DaVinciПроцессоры с особо малым потреблением: TMS320VC5505
TMS320VC5505 Datasheethttp://www.ti.com/
![Page 22: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
22
Texas Instruments DaVinciОбзор решений
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
Процессоры с особо малым потреблением (TMS320C550x)
Процессоры высокой производительности
(OMAP35x)
Процессоры высокой интеграции(OMAP-L1x)
Процессоры для вычислений
повышенной точности(TMS320C674x)
![Page 23: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Самый мощный процессор в линейке
Область применения: навигаторы,цифровые камеры и ТВ, игровые устройства, «Умный Дом», торговыеавтоматы
ARM-ядро
DSP-сопроцессор
Модуль взаимодействия с камерой
Множество интерфейсов
Низкое потребление (815 мВт при полной загрузке)
23
Texas Instruments DaVinciПроцессоры высокой производительности : OMAP3530
OMAP3530 Datasheethttp://www.ti.com/
![Page 24: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
720 МГц ARM Cortex-A8
Суперскалярная архитектура
MMU-команды
Floating-point SIMD
Динамическое предсказание ветвления
112 КБ ROM
64 КБ разделяемой памяти
Контроллер внешней SDRAM
NEON ™ SIMD-сопроцессор
Enhanced DMA (128 каналов)
Графический сопроцессор POWERVR SGX ™
Пиксельные и вершинные шейдеры
OpenGLES 1.1 и 2.0, OpenVG1.0
Аппаратный антиалиасинг24
Texas Instruments DaVinciПроцессоры высокой производительности : OMAP3530
OMAP3530 Datasheethttp://www.ti.com/
![Page 25: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
520 МГц С64х+ DSP
6 32-битных АЛУ, до 4 команд за цикл
2 устройства умножения: 8х8-битных или 4х16-битных умножений за цикл
64 32-бидных регистра
«Условное» выполнение всех инструкций
Упаковка инструкций
32 КБ L1-кэш команд
80 КБ L1-кэш данных
128 КБ общий L2-кэш
32-канальный System DMA (sDMA) контроллер
3 контроллера SD/MMC
25
Texas Instruments DaVinciПроцессоры высокой производительности : OMAP3530
OMAP3530 Datasheethttp://www.ti.com/
![Page 26: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Обработка изображений с камеры
Интерфейсы CCD и CMOS-Imager
Поддержка 8- и 10-битных данных
Модуль быстрого предпросмотра
Модули вычисления гистограммы,баланса белого, автофокуса
Модуль изменения размера изображения
Подсистема отображения
Параллельный вывод
До 2 LCD-дисплеев
24-bit RGB
2 ЦАП(вывод NTSC/PAL/S-Video)
8-битное альфа-смешивание
Конвертация цветовых пространств
26
Texas Instruments DaVinciПроцессоры высокой производительности : OMAP3530
OMAP3530 Datasheethttp://www.ti.com/
![Page 27: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
27
Texas Instruments DaVinciПроцессоры высокой производительности : OMAP3530
OMAP3530 Datasheethttp://www.ti.com/
![Page 28: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
28
Texas Instruments DaVinciОбзор решений
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
Процессоры с особо малым потреблением (TMS320C550x)
Процессоры высокой производительности
(OMAP35x)
Процессоры высокой интеграции(OMAP-L1x)
Процессоры для вычислений
повышенной точности(TMS320C674x)
![Page 29: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
300 МГц ARM926EJ-S RISC
32- и 16-битные инструкции
Набор команд DSP
Технология отладки EmbeddedICE-RT
300 МГц C674x VLIW DSP
Расширенный набор инструкций(комбинация команд C64х+ и C67х+)
2400 MIPS, 1800 FLOPS
16-битные инструкции
Архитектура памяти – ARM9
L1 кэш данных - 32 КБ
L1 кэш команд - 32 КБ
Общий кэш L2 – 256 КБ
1 МБ boot ROM29
Texas Instruments DaVinciПроцессоры высокой интеграции : OMAP-L138
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
![Page 30: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Floating-Point VLIW DSP Core
128K-Byte RAM Shared Memory
Контроллер LCD
2 контроллера MMC/SD
Enhanced Direct-Memory-Access Controller (EDMA3)
Подсистема реального времени
2 многоканальных буферизованных последовательных порта
100 Мбит/с Ethernet MAC
Universal Parallel Port
SATA контроллер
3 64-битных таймера
30
Texas Instruments DaVinciПроцессоры высокой интеграции : OMAP-L138
OMAP-L138 Low-Power Applications Processorhttp://www.ti.com/
![Page 31: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
31
Texas Instruments DaVinciПроцессоры высокой интеграции : OMAP-L138
OMAP-L138 Low-Power Applications Processorhttp://www.ti.com/
![Page 32: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
32
Texas Instruments DaVinciОбзор решений
Texas Instruments Product s Overviewhttp://www.ti.com/hdr_p_products
Процессоры с особо малым потреблением (TMS320C550x)
Процессоры высокой производительности
(OMAP35x)
Процессоры высокой интеграции(OMAP-L1x)
Процессоры для вычислений
повышенной точности(TMS320C674x)
![Page 33: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Область применения: аудиотехника, быстрое (де)кодирование сигналов,USB- и сетевое оборудование
200 или 300 МГц C674x VLIW DSP
SP и DP floating point
6 АЛУ
2 устройства умножения
Аппаратное ускорение циклов
Оптимизированная обработка ошибок и переходов
Все инструкции «условные»
33
Texas Instruments DaVinciПроцессоры для вычислений повышенной точности : TMS320C6747
TMS320C6747 Datasheethttp://www.ti.com/
![Page 34: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Операции с плавающей точкой
Каждое АЛУ:4 SP-сложения за цикл4 DP-сложения за 2 цикла
Каждое устройство умножения:2 SPxSP->SP за цикл2 SPxSP->DP за 2 цикла2 SPxDP->DP за 3 цикла2 DPxDP->DP за 4 цикла
Операции с фиксированной точкой:2 32bit-умножения за цикл4 16bit-умножения за цикл8 8bit-умножений за цикл
34TMS320C6747 Datasheethttp://www.ti.com/
Texas Instruments DaVinciПроцессоры для вычислений повышенной точности : TMS320C6747
![Page 35: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
35TMS320C6747 Datasheethttp://www.ti.com/
Texas Instruments DaVinciПроцессоры для вычислений повышенной точности : TMS320C6747
![Page 36: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
36
Tegra 250 и DaVinciСравнение семейств процессоров
Семейство + - Выводы
NVIDIA Tegra 250
(?) распространѐнность, функциональность, возможность использования готовых наработок для видеокарт NVIDIA
Закрытость для свободного доступа информации и средств разработки
Очень перспективнаяразработка. NVIDIA умеет учиться на ошибках
TMS320C550x
Малое потребление энергии,низкая цена
Плохая приспособленность к обработке графических данных
Возможны только простые алгоритмы, но хорошо подходит для маломощных устройств
OMAP35x
Работа с HD video и сложными алгоритмами
Большая потребляемаямощность, цена
Лучшее решение для устройств с сетевым питанием или мощными аккумуляторами (профессиональные камеры,телевизоры «верхнего» ценового диапазона
OMAP-L1x
Малые габариты, потребляемая мощность и цена конечныхустройств
Потенциально большое количество «лишних» возможностей
Оптимально для многофункциональных устройств «всѐ в одном»
TMS320C674x
Быстрая работа с плавающей точкой
Цена Семейство рассчитано на довольно узкую область, но в своѐм классе - лучшие
![Page 37: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
37
Содержание доклада
Быстрое начало работы с VTune
Обзор NVIDIA Tegra 250
Обзор решений TI DaVinci
Spatial-Depth Super Resolution for Range Images
LidarBoost
![Page 38: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Лазерные сканеры
Высокая точность
Низкая скорость работы
Измерение одной точки в каждый момент времени
Time-Of-Flight камеры
Хорошо работают с динамичными сценами
Низкое разрешение
Высокий уровень шума
Задача – используя данные с Time-Of-Flight камеры и изображение высокого разрешения с обычной камеры построить точную карту глубины высокого разрешения
38
Spatial-Depth Super Resolution Введение
Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
![Page 39: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
39
Работа только по одному кадру
Входные данные
Карта глубины 64х64
Изображение 640х640
Предположения
Большинство поверхностей –частично-гладкие
Если цвет пикселей близок, скорее всего, глубина у них тоже близка
Увеличение карты глубины до размера изображения, интерполяция – nearest neighbor
Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Начальный этап
![Page 40: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
40Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Функция цены
Параметр алгоритма
Текущая глубина пикселя
Глубина-кандидат
Цена заданной глубины d
Номер итерации
![Page 41: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
41
Для каждого фиксированного d –билатеральная фильтрация
Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Фильтрация цен
Константы –параметры алгоритма
![Page 42: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
42
Выбор глубины с наименьшей ценой
Борьба со ступенчатостью
3 точки: d = глубина с наименьшей ценой, d+ = d+1, d- = d-1
Построение полинома 2й степени
Если достигнут предел итераций, карта глубин считается финальной
Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Борьба со ступенчатостью
![Page 43: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
43Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Борьба со ступенчатостью - пример
![Page 44: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
44Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Примеры работы
![Page 45: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
45Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Примеры работы
![Page 46: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
46Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Примеры работы
![Page 47: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
47Spatial-Depth Super Resolution for Range ImagesQingxiong Yang, James Davis, etc. CVPR 2007
Spatial-Depth Super Resolution Примеры работы
![Page 48: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
48
Преимущества
Хороший результат даже на низком разрешении карт глубины
Не требует соседних кадров
Недостатки
Низкая скорость
Spatial-Depth Super Resolution Оценка алгоритма
![Page 49: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
49
Содержание доклада
Быстрое начало работы с VTune
Обзор NVIDIA Tegra 250
Обзор решений TI DaVinci
Spatial-Depth Super Resolution for Range Images
LidarBoost
![Page 50: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/50.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
50
LidarBoostВведение
Использование нескольких последовательных карт глубины
Использование hierarchical Lukas Kanade optical flow для компенсации движения объектов
Основная идея - минимизация энергии E = Edata(X)+Eregular(X)Edata(X) – согласованность с соседними кадрами
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
Карта глубиныКарта доверия данным
(берѐтся с камеры)
Карта доверия данным –строится при увеличении размера карты глубины
Поэлементное произведение
Искомый кадр
![Page 51: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/51.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
51
LidarBoostФормулы энергии
Eregular(X) – согласованность с предположениями о гладкости предметов реального мира
Итоговая формула энергии
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
Параметр для баланса разных видов энергии
![Page 52: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/52.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
52
LidarBoostТестовые условия
Для решения задачи оптимизации применялся CVX Framework
Для ускорения изображение делилось на блоки 20х20
(2-пиксельное перекрытие)
10 последовательных кадров
Время вычисления для искусственных сцен (9 блоков) - 5 минут,
для реальных данных (28-48 блоков) – до 2 часов
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
![Page 53: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/53.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
53
LidarBoostВведение
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
![Page 54: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/54.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
54
LidarBoostВведение
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
![Page 55: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/55.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
55
LidarBoostРезультаты и оценка
Преимущества
Один из лучших по качеству алгоритмов (на 2009 год)
Недостатки
Неприемлемая для реальных задач скорость работы
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningSebastian Schuon, James Davis, Sebastian Thrun, etc. CVPR 2009
![Page 56: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/56.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
56
Список литературы
VTune http://software.intel.com/en-us/forums/intel-vtune-performance-analyzer/ - официальный
форум
http://software.intel.com/ru-ru/forums/intel-vtune-performance-analyzer/ - русскоязычная версия. Рекомендуется пользоваться всѐ же английской
Texas Instruments – http://www.TI.comТам есть всѐ о TI DaVinci.
NVIDIA Tegra 250 http://itc.ua/node/43538/ - обзор продуктов на основе Tegra 250
http://www.nvidia.ru/object/tegra_250_ru.html - официальная страница
Алгоритмы Depthmap Super-Resolution Sebastian Schuon, Christian Theobalt, James Davis, Sebastian Thrun
LidarBoost: Depth Superresolution for ToF 3D Shape ScanningCVPR 2009
Qingxiong Yang, Ruigang Yang, James Davis, David Nist´erSpatial-Depth Super Resolution for Range ImagesCVPR 2007
![Page 57: Обзор новинок DSP. Super-Resolution для ToF-камерcompression.ru › video › seminar › slides › 2010_VTune_SoC_overview… · устройства, «Умный](https://reader033.fdocuments.us/reader033/viewer/2022060507/5f1fb515d7adfa5142347ea5/html5/thumbnails/57.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
57
Спасибо за внимание!
Вопросы?