Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais...
Transcript of Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais...
![Page 1: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/1.jpg)
citius.usc.es
Centro Singular de Investigación en Tecnoloxías da Información
UNIVERSIDADE DE SANTIAGO DE COMPOSTELA
Detección y Tracking de Objetos en Vídeo
Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. [email protected]
![Page 2: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/2.jpg)
Introduction
Detection: location + class
The (r)evolution of Visual object detection: deep learning For classification:
2
Visual object detection
![Page 3: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/3.jpg)
Architecture for object detection
Convolutional layers: features
Region proposal network (RPN): Class-agnostic
Classification network for the RoIs
3
Visual object detection
![Page 4: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/4.jpg)
Convolutional layers
4
Visual object detection
![Page 5: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/5.jpg)
Region Proposal Network (RPN)
Two sibling fully-connected layers: Box-regression Box-classification: 2 classes
Anchors: multiple region proposals at each location Translation-invariant: less parameters Multi-scale objects: less
computational cost
5
Visual object detection
Features vector
![Page 6: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/6.jpg)
Classification network
RoI pooling layer: Max pooling Small feature map Fixed spatial extend
Softmax probabilities N classes
Per-class bounding-box regression offsets
6
Visual object detection
![Page 7: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/7.jpg)
Results
7
Visual object detection
![Page 8: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/8.jpg)
Results
8
Visual object detection
![Page 9: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/9.jpg)
9
Visual Object Tracking
Detect and keep the id of multiple moving objects
Challenges: small objects, occlusions, abrupt motion, close and similar objects
Motivation
![Page 10: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/10.jpg)
10
Low level tracking
Local information: previous frame
High Level Tracking
Global information
Probabilistic models
Visual Object TrackingOur approach
![Page 11: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/11.jpg)
11
Visual Object TrackingDrone tracking
![Page 12: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/12.jpg)
12
Visual Object TrackingBoat tracking
![Page 13: Detección y Tracking de Objetos en Vídeo€¦ · Detección y Tracking de Objetos en Vídeo Brais Bosquet Mera, Mauro Fernández-Sanjurjo, Manuel Mucientes, Víctor M. Brea Victor.brea@usc.es.](https://reader034.fdocuments.us/reader034/viewer/2022042323/5f0deb2d7e708231d43cb9da/html5/thumbnails/13.jpg)
13
Detección y Tracking de Objetos en Vídeos
Víctor [email protected]
Centro Singular de Investigación en Tecnoloxías da Información (CiTIUS)
Universidade de Santiago de Compostela
Fondo Europeo de Desenvolvemento Rexional “Unha maneira de facer Europa”