Antonello D’Aguannodaguanno@dico.unimi.it

http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt

““Music Information Retrieval - TOOLS”Music Information Retrieval - TOOLS”

Problemi PresentatiProblemi Presentati

• Pitch Tracking

• Beat Tracking

• Tempo Induction

• Score Extraction

• Genre Extraction

• Automatic Music Synchronization

Comprensione Comprensione dell’informazionedell’informazione

Finalità degli AlgoritmiFinalità degli Algoritmi

Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio

Stream Audio

Algoritmo

Meta Dati

Low Level Features

Analisi Musicale

Le Caratteristiche dei Le Caratteristiche dei Segnali AudioSegnali Audio

In questo contesto i segnali audio sono caratterizzati da due differenti parametri:

• Numero di strumenti che suonano in un brano

• Monotimbrici Un solo strumento

• Politimbrici Due o più strumenti

• Numero di note presenti contemporaneamente in un brano

• Monofonici Una sola nota

• Polifonici Due o più note

Pitch TrackingPitch TrackingScopo dell’Algoritmo

Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento del pitch rispetto al tempo

Estrazione delle caratteristiche di basso livello

• Autocorrelazione

• Analisi dello spettro alla ricerca di strutture armoniche

Risultati

Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

Pitch TrackingPitch Tracking

Criticità

• Difficoltà nella segmentazione delle note

• Instabilità del pitch nei segnali vocali e in alcuni strumenti

Analisi musicale e semplificazioni

• Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità

• Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile

Beat TrackingBeat TrackingScopo dell’Algoritmo

Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio

Estrazione delle caratteristiche di basso livello

• Filtraggi ad alte frequenze

• Analisi dello spettro

Risultati

Risultati commerciali per l’individuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica

Beat TrackingBeat Tracking

Criticità

• Non necessariamente è presente una sezione ritmica (batteria)

• Talvolta i beat non sono i punti più energetici del segnale

Analisi musicale e peculiarità

• Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile

• Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano

Tempo InductionTempo InductionScopo dell’Algoritmo

Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi

Estrazione delle caratteristiche di basso livello

• Filtraggi ad alte frequenze

• Analisi dello spettro

Risultati

Risultati commerciali con applicazioni anche su software di editing

Tempo InductionTempo Induction

Criticità

• La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare

• Alcuni brani hanno BPM variabili

• È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi

Analisi musicale e semplificazioni

Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile

Score ExtractionScore ExtractionScopo dell’Algoritmo

Estrarre la partitura da un segnale audio

Metodologie

• Autocorrelazione

• Analisi dello spettro

• …

Risultati

Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

Score ExtractionScore ExtractionCriticità• Come riconoscere la segnatura di tempo?

• I timbri dei diversi strumenti sono molto differenti

• Separare gli strumenti con pitched da quelli unpitched

• La voce

• Le variazioni di tempo

Un problema composto

In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri

Genre ExtractionGenre ExtractionScopo dell’Algoritmo

Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere

Metodologie

• Estrazione del pitch, del tempo, del beat, del timbro e altro

Risultati

Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici.

Genre ExtractionGenre ExtractionDue approcci differenti

• Prescriptive approach: i generi possibili sono decisi a priori l’algoritmo deve scegliere in quale cluster inserire il brano in esame

• Similarity relations approach: l’algoritmo trova le canzoni simili e le pone all’interno dello stesso cluster, non esistono generi scelti a priori

Osservazione

Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani

SincronizzazioneSincronizzazione

Navigazione coerente audio partitura

Ambito di ricerca affrontato nel MIR

Soluzioni proposte solo su stream audio non compressi

Stream Audio

Partitura

Partitura sincronizzata

Sincronizzatore

SincronizzazioneSincronizzazioneScopo dell’Algoritmo

• Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche

• Sincronizzazione generica: per sistemi che visualizzano la partitura e l’audio coerentemente

Estrazione delle caratteristiche di basso livello

• Analisi dell’energia

• Analisi dello spettro alla ricerca di strutture armoniche

Risultati

Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

SincronizzazioneSincronizzazione

Criticità

• Note ribattute, abbellimenti, agogica

• Esecuzioni non pedisseque

Analisi musicale

• Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dell’audio

DTWDTW

Problema

• Costo computazionale molto elevato

• Necessarie euristiche