Collaborative Video Annotation for Multimedia Sharing between Experts and Amateurs

Lehrstuhl Informatik 5(Informationssysteme)

Prof. Dr. M. JarkeI5-RCLK-0510-1

WISMA‘10

Dominik Renzel Yiwei Cao

Michael LottkoRalf Klamma

Collaborative Video Annotation for Multimedia Sharing between Experts and Amateurs

The 11th WS on Interoperable Social Multimedia Applications (WISMA’10)

Dominik Renzel, Yiwei Cao, Michael Lottko, Ralf Klamma

Chair of Computer Science 5 – Information Systems & DatabasesRWTH Aachen University

19 May, 2010Barcelona, Spain

Dominik Renzel

Die Hauptargumente des Papiers stechen noch nicht aus den Folien hervor: "Trade-off zwischen einfacher Nutzbarkeit und möglicher Genauigkeit der Annotationen" + "Knowledge Sharing zwischen Experten und Amateuren". Daran kann man sicherlich noch was tun...Warum das ConTICI Logo?



WISMA‘10



Agenda

Motivation & Problem State-of-the-art The SeViAnno development process

– Requirements analysis– Prototype implementation– Evaluation & analysis results

Outlook Demo



WISMA‘10



Motivation

Annotation activities and experiences of domain experts different from amateurs

Amateurs can often contribute knowledge to research Needed: Tools

– High usability– Hiding complexity of metadata standards– Find trade-off between usability and complexity

RIA good way to provide interactive and usable applications MPEG-7 for reusable multimedia content description Evaluation: cultural heritage communities

Dominik Renzel

Hier sollten die Hauptargumente unseres Papiers auftauchen. Bisher nur Sammlung von Problemen, aber es sollte auch unser Ansatz zur Lösung der Probleme erkennbar werden, den wir danach im Detail erläutern.



WISMA‘10



State of the Art

Annotation misuse Keyword tagging only High usability

Intuitive systems Accurate systems Low user motivation Low usability No help for place information Detailed content description

VIA (www.boemie.org)

M-OntoMat-Annotizer(www.acemedia.org)

YouTube

VideoAnt(ant.umn.edu)



WISMA‘10



Requirements Analysis – Paper Prototype

Dominik Renzel

Michael: Bitte in den Foliennotizen kurz ein paar Infos zum RA Vorgang hinzufügen. Im Paper steht ja nicht allzuviel dazu, aber man sollte schon ein wenig dazu erzählen denke ich. Von mir aus Copy & Paste aus Deiner BA, aber kurz und knackig!

Michael Lottko

notizen zum paper prototype hinzugefügt



WISMA‘10



Requirements Analysis – Paper Prototype

Semantic annotations

Video Tags

Place annotations

Dominik Renzel

Michael: Bitte in den Foliennotizen kurz ein paar Infos zum RA Vorgang hinzufügen. Im Paper steht ja nicht allzuviel dazu, aber man sollte schon ein wenig dazu erzählen denke ich. Von mir aus Copy & Paste aus Deiner BA, aber kurz und knackig!

Michael Lottko

notizen zum paper prototype hinzugefügt



WISMA‘10



SeViAnno Implementation



WISMA‘10



MPEG-7 Support

Powered by LAS MPEG-7 Services Multimedia Content Descriptions

Creation Information Media Information Text Annotations (Keyword, FreeTextAnnotation) Temporal Decomposition Semantics (Semantic References)

Semantic Descriptions Semantic Basetypes



WISMA‘10



The SeViAnno Interface

http://tosini.informatik.rwth-aachen.de:8134/media/SeViAnno.html

http://tosini.informatik.rwth-aachen.de:8134/media/SeViAnno.html



WISMA‘10



Evaluation Results – Quantitative Analysis

Professionals spent a lot of effort to provide detailed annotations

Dominik Renzel

Was ist die Hauptaussage der beiden Grafiken? Als Bullets ergänzen.Vielleicht sollten wir uns auf eine Grafik beschränken... Sonst sehe ich schwarz für die Lesbarkeit...



WISMA‘10



Evaluation Results – Qualitative Analysis

Amateur annotations– Fast, but imprecise– Represent knowledge otherwise not accessible– Many annotators available

Expert annotations– Slow, but very precise– Few annotators available

Amateur & expert annotations complement each other, but amateur annotations introduce data uncertainty.



WISMA‘10



Outlook

Semantic networks (challenging to create simple UI) Spatiotemporal decompositions Automatic integration of new videos from RSS podcasts Transcoding facilities using cloud computing infrastructure

(using xuggle, ffmpeg) Enhanced community-awareness Integration into YouTell (Non-linear Multimedia Storytelling)

Collaborative Video Annotation for Multimedia Sharing between Experts and Amateurs

Technology

Transcript of Collaborative Video Annotation for Multimedia Sharing between Experts and Amateurs