Multimedia Analyse-Techniken -- Bachelor-Seminar 2011, Kickoff

MULTIMEDIA-ANALYSE-TECHNIKEN

SeminarDr. Harald Sack / Jörg Waitelonis

Magnus Knuth / Nadine LudwigBernhard Quehl / Haojin Yang

Hasso-Plattner-Institut für SoftwaresystemtechnikUniversität Potsdam

Sommersemester 2011

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

Mittwoch, 13. April 2011

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://mumat2011.blogspot.com/


http://www.bibsonomy.org/user/lysander07/sw0809-08


Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam

3

Multimedia-Analyse-Techniken

1. Dozenten / Tutoren

2. Multimedia-Analyse-Techniken

3. Seminarthemen

4. Administratives



4

Semantic MultimediaDozenten / Tutoren

Dr. Harald Sack■ Senior Researcher am HPI

■ Leiter der Forschungsgruppe „Semantische Technologien“

■ Forschungsschwerpunkte:

□ Semantic Web Technologien

□ Multimedia Retrieval

□ Wissensrepräsentation

■ Yovisto.com / SEMEX

■ THESEUS / Mediaglobe / CONTENTUS



Dipl. Inform. Jörg Waitelonis

■ Studium Informatik Uni-Jena bis 2006

■ 2006-2007 Exist-Seed Projekt Osotis

■ seit 2007 Gründer von yovisto.com

■ Entwickler von REPLAY (ETH-Zürich)

■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien

5




6Dipl.-Inf. Magnus Knuth

■Studium Informatik, Uni Leipzig bis 2007

■ Institut für Medizinische Informatik, Statistik und Epidemiologie, Uni Leipzig 2006-2010

■Research Assistant am HPI, Contentus & Mediaglobe

■ Forschung: Semantic Web, Knowledge Management, Information Retrieval, Personalisierte Webapplikationen




7Dipl.-Inf. Nadine Ludwig

■Studium Informatik, TU Ilmenau bis 2005

■2005-2010 TU Berlin:

• kooperative Lernszenarien

• Integration von Semantic Web Technologien in kooperative Lernplattformen

■ seit 05/2010 am HPI:

• Semantische Analyse, Named Entity Recognition, Disambiguierung



5

Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam

Dipl. Inform. Bernhard Quehl FH

■Fachhochschule Brandenburg

■Schwerpunkt:

• Intelligente Systeme• Network Computing■Diplomarbeit am Fraunhofer Heinrich Hertz

Institut – Bildverarbeitung

■Research Assistant at HPI, Mediaglobe Project

Multimedia Analyse Technologien


5


Dipl. Ing Haojin Yang

■ TU Ilmenau (2002 - 2007)

■ Software Entwickler (2008 - 2010)

■ Research Assistant, Doktorand am HPI

■ Forschung:

• Multimedia Analyse,

• Video-OCR,

• Automatic Speech Recognition,

• Semantic Web, Information Retrieval




10




11

■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur.

■ UseCase Contentus: Technologien für die Mediathek der Zukunft.

■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten.

■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten

■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten




12



2. Multimedia-Analyse-Techniken

3. Seminarthemen

4. Administratives



Multimedia-Analyse - eine (Kurz)-Vorstellung■ Bsp. Google

□ wie kommt Google zu Informationen (Metadaten) über das Video?

13




14 Wie findet man etwas in einem audiovisuellen Archiv?

1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden




15 Wie findet man etwas in einem audiovisuellen Archiv?

2. Schritt: VerschlagwortungDamit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.




16 Bedeutung inhaltsbeschreibender (textueller) Daten

• Wir benötigen textuelle Beschreibungen

• des Inhalts

• des Produktionsprozesses

• der technischen Parameter

• etc....

• Diese textuellen Beschreibungen werdenals Metadaten bezeichnet

• Metadaten für AV-Inhalte werden meist immer noch manuell erstellt


Manuelle Audio-/Videoanalyse



17 Automatisierte Audio-/Videoanalyseautomatische inhaltliche Analyse ist

•schwierig und•berechnungs-/speicheraufwändig

Audio-Information

{


PersonText LogoStudio-

aufnahme



Multimedia-Analyse-TechnikenStrukturelle Analyse

■ Automatische strukturelle Gliederung von AV-Daten

□ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente)

18

video

scenes

shots

subshots

frames



19

Multimedia-Analyse-TechnikenVisuelle Analysetechniken

Face-DetectionFace ClusteringFace Tracking

Video-OCR

Logo-Detection

Genre Detection



20 Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten

■ Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren

■ Metadaten als Basis für traditionelles und semantisches Information Retrieval

Metadata Extractiontime




21 Beispiele:

Explorative Videosuche mit Linked Data

Anwendungsbeispiele

http://mediaglobe.yovisto.com:8080/

http://mediaglobe.yovisto.com:8080/mggui/

https://nm-contentus-d2.iais.fraunhofer.de/contentus/


http://testing.yovisto.com/%0Dhttp://testing.yovisto.com/%0Dhttp://testing.yovisto.com/

http://testing.yovisto.com/%0Dhttp://testing.yovisto.com/%0Dhttp://testing.yovisto.com/

http://mediaglobe.yovisto.com:8080

http://mediaglobe.yovisto.com:8080











2. Semantic Multimedia

3. Seminarthemen

4. Administratives




Themenüberblick• Face Detection & Clustering• Video Text Identification• OCR Postprocessing• Genre Detection• Audio Data Mining

23

Seminarthemen



■1. Gesichter im Video finden (OpenCV Haarcascades)24

Face Detection und Clustering

Faces



■2. Gesichter clustern nach bekannten Verfahren25


Faces

visuelle Ähnlichkeit

?!?



■3. Cluster verfeinern unter Berücksichtigung weiterer Features26


Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung)



■4. Cluster manuell mit einem Label versehen27


Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung)

Thomas Katy Miley


Aufgabe:

• welche Bilder in dem Video enthalten Text

• in welcher Bildregion befindet sich der Text

6


Feat

ure

Extra

ctio

n

Analyse der Features

Bestimmen der Bildregion

Video Text Identification


Video Text Identification

6

Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011


OCR PostprocessingSpellcorrection

■ Problem:

□ Standard-Spellcorrection arbeitet ineffizient auf fehlerhaft erkanntem Text aus OCR

■ Ziel:

□ Konfiguration / Anpassung von Hunspell für OCR-Texte

□ verschiedene statistische Herangehensweisen untersuchen:

1. Ähnlichkeiten von Zeichen

2. Analyse typischer Fehler bei OCR

□ Tool zur Generierung der Mappingwahrscheinlichkeiten

□ Evaluation

30


■ Problem:

□ Klassifikation von Videosegmenten nach unterschiedlichen Genre-Klassen (Tag/Nacht, Innen/Außen, Grafik, Vor-/Abspann, Interview, Vortrag/Rede, ...)

■ Ziel:

□ Low-Level-Features bestimmen undautomatisch erkennen (z. B.: Helligkeitsverteilung,Farbspektrum, Farbverteilung, ...)

□ Segment-Kollektionen erstellen, z. B. für:

□Schwarz-Weiß ↔ Farbfilm, Tag ↔ Nacht,

gute Bildqualität ↔ schlechte Qualität, ...

□ Algorithmen finden, implementieren, evaluieren

□ Anwendung maschineller Lernverfahren


31

Visual Genre Detection

Nacht / Outdoor

Nacht / Outdoor

Daytime / Indoor

?? / ??



■ Problem:

□ Automated Speech Recognition (ASR) zur Transkribierung des gesprochenen Wortes ist ist in vielen Fällen nicht zufriedenstellend

□ Einfacheres Problem: Segmentierung des Videos nach audiblen Events wie Monolog (Mann/Frau), Dialog, Musik, Lachen, Applaus, ...

■ Ziel:

□ Repräsentative Samples für die Aufgabe bestimmen (Mediaglobe/Yovisto Testset)

□ Features bestimmen

□ Intensitätsanalyse (laut/leise/Stille/Pausen/...)

□ Anwendung maschineller Lernverfahren

□ Identifiziere Sprachsequenzen (Monolog/Dialog/...)

□ Evaluation

32

Audible Event Recognition

Einfache Impulsanalyse

Sonogramm



2. Semantic Multimedia

3. Seminarthemen

4. Administratives


33




34 Administratives□Semesterwochenstunden: 4

□ECTS: 6

□Leistungsfeststellung:

□Schriftliche Ausarbeitung zum Vortragsthema□Umsetzung einer vorgegebenen Implementierungsaufgabe im Team□Präsentation der

□ Projektteams mit je 2-3 Studenten bearbeiten eine der vorgeschlagenen Aufgabenstellungen




Administratives■Termine:

□Wöchentliches Seminargruppentreffen

□Termin nach Vereinbarung

□Zwischenpräsentation der Projektergebnisse

□Abschlusspräsentation der Ergebnisse

□Termin in der letzten Semesterwoche

■Plenum-Termine:

□ „Ohne Evaluation geht nichts...“

□ „Wie schreibe ich eine wissenschaftliche Arbeit?“ (mit LaTeX)

35




36

Literatur

• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008

• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008

• Blog zur Webseite:http://mumat2011.blogspot.com/





Multimedia Analyse-Techniken -- Bachelor-Seminar 2011, Kickoff

Technology

Transcript of Multimedia Analyse-Techniken -- Bachelor-Seminar 2011, Kickoff