ENIT 2007-1012

Tecnologas para la Creacin y Gestin Automatizada de Contenidos Audiovisuales Inteligentes

Manual de utilizacin del Graphic Annotation Tool (GAT) para secuencias

de vdeo

i3media No. Identificacin: CENIT 2007-1012

Nivel de Confidencialidad: confidencial, restringido a Consorcio i3media y CDTI

Ttulo del documento: Manual de utilizacin del Graphic Annotation Tool (GAT) para secuencias de vdeo

Autor: Neus Camps i Khristina Lpez

Versin 1

Sumario:

El presente documento presenta el manual necesario para comprender y utilizar todas las funcionalidades de la herramienta de segmentaci semi-automtica y anotacin de objetos en una secuencia de vdeo desarrollada por el GPI de la UPC.

Palabras clave:

2010 E2.2.3.1 Manual de utilizacin del Graphic Annotation Tool (GAT)

ENIT 2007-1012

Tabla de contenidos

1 INTRODUCCIN ....................................................................................................................... 3

2 INSTALACIN Y EJECUCIN DE GAT .................................................................................. 6

2.1 HERRAMIENTAS DE PROCESADO DE LA IMAGEN Y VDEO ....................................................................................... 6

2.2 INSTALACIN DE JAVA ................................................................................................................................. 6

2.3 EJECUCIN DE GAT CON ANT ................................................................................................................... 6

3 INTERFAZ DE USUARIO ......................................................................................................... 8

3.1 BARRA DE MENS ...................................................................................................................................... 8

3.1.1 Men Archivo ............................................................................................................................. 8

3.1.2 Men Ayuda ............................................................................................................................... 9

3.2 PANEL DE NAVEGACIN SEMNTICA .............................................................................................................. 11

3.2.1 rbol semntico ....................................................................................................................... 11

3.2.2 Campo de autocompletacin de palabras ............................................................................... 11

3.3 PERSPECTIVA ANOTADOR DE SECUENCIAS DE VDEO ......................................................................................... 12

3.3.1 Barra de herramientas principal ............................................................................................... 12

3.3.2 Panel de secuencia de imgenes ............................................................................................ 13

3.3.3 Panel de seleccion del objecto a seguir .................................................................................. 14

3.3.4 Panel de segmentacin interactiva .......................................................................................... 15

3.4 PERSPECTIVA EXPLORADOR DE INSTANCIAS .................................................................................................... 17

4 ANOTACIN ........................................................................................................................... 18

4.1 GENERACIN DE ONTOLOGAS MPEG-7/XML ............................................................................................ 18

4.1.1 rbol de edicin ....................................................................................................................... 19

4.1.2 Barra de herramientas ............................................................................................................. 19

4.2 CICLO DE ANOTACIN ............................................................................................................................... 20

4.2.1 Tcnicas de segmantaci interactiva ....................................................................................... 23

4.2.1.1 Navegacin por el BPT ......................................................................... 23 4.2.1.2 Navegacin avanzada por el BPT .......................................................... 25

4.3 VISUALIZACIN DE INSTANCIAS .................................................................................................................... 26

4.4 ESCRITURA DE ANOTACIONES A DISCO ........................................................................................................... 26

2010 E2.2.3.1 Manual de utilizacin del Graphic Annotation Tool (GAT)

ENIT 2007-1012

1 IntroduccinEste documento presenta el manual de usuario necesario para comprender y utilizar todas las funcionalidades de la herramienta de anotacin manual (GAT, Graphic Annotation Tool) extendida a vdeo y desarrollada por el GPI de la UPC.

La herramienta proporciona una interfaz grfica que permite la segmentacin semi-automtica y la posterior anotacin de objetos en movimiento de una secuencia de fotogramas consecutivos extrados previamente de un vdeo.

La aplicacin necesita la secuencia de imgenes en cualquier formato estndar (JPG, PNG...) como datos de entrada. La anotacin se realiza a partir de una lista pre-definida de palabras clave (ontologa de clases semnticas). Las clases semnticas se asocian a los objetos en movimiento. Cada clase semntica se caracteriza por una etiqueta de texto y un identificador numrico. La versin actual permite la lectura de ontologas en formato MPEG-7/XML o OWL (Ontology Web Language). La interfaz tambin incluye un editor de ontologas en formato MPEG-7/XML.

Para un determinado objeto que aparezca en la secuencia de imgenes, la anotacin consiste en la creacin de una instancia de clase semntica a escala video. Por ejemplo, si la ontologa contiene la clase semntica camiseta y en las imgenes aparecen dos camisetas que son de inters, dichas camisetas se representarn como VideoInstance1 y VideoInstance2. Si un mismo objeto aparece en varias escenas, no se crea una instancia para cada escena donde aparezca. Una instancia a nivel de vdeo siempre hace referencia a un mismo objeto en movimiento dentro de un vdeo y representa un conjunto de fotogramas agrupados en escenas que pueden o no contener el objeto. As, se distingue entre escenas positivas y escenas negativas. Las escenas positivas son un conjunto de fotogramas que contienen el objeto semntico, mientras q