Advances in Music Information Retrieval: Techniques and Challenges in Audio Analysis

1. “Music Information Retrieval - TOOLS” Antonello D’Aguanno daguanno@dico.unimi.it http://www.lim.dico.unimi.it/didatt/materiali/mir2.ppt

2. Problemi Presentati Pitch Tracking Beat Tracking Tempo Induction Score Extraction Genre Extraction Automatic Music Synchronization

3. Comprensione dell’informazione

4. Finalità degli Algoritmi Fornire informazioni oggettive (meta-dati) sul contenuto musicale di un determinato brano audio Algoritmo Stream Audio Low Level Features Meta Dati Analisi Musicale

5. Le Caratteristiche dei Segnali Audio In questo contesto i segnali audio sono caratterizzati da due differenti parametri: • Numero di strumenti che suonano in un brano • Monotimbrici Un solo strumento • Politimbrici Due o più strumenti • Numero di note presenti contemporaneamente in un brano • Monofonici Una sola nota • Polifonici Due o più note

6. Pitch Tracking Scopo dell’Algoritmo Estrarre il pitch da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento del pitch rispetto al tempo Estrazione delle caratteristiche di basso livello • Autocorrelazione • Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

7. Pitch Tracking Criticità • Difficoltà nella segmentazione delle note • Instabilità del pitch nei segnali vocali e in alcuni strumenti Analisi musicale e semplificazioni • Sfruttare la teoria musicale per risolvere situazione di ambiguità ad esempio dando priorità alle note della tonalità • Non riconoscere esattamente le note ma solo se il pitch aumenta, diminuisce o rimane stabile

8. Beat Tracking Scopo dell’Algoritmo Estrarre i beat da un segnale audio e fornire delle sequenze di dati che caratterizzino l’andamento dei beat rispetto al tempo, fornendo una analisi ritmica del segnale audio Estrazione delle caratteristiche di basso livello • Filtraggi ad alte frequenze • Analisi dello spettro Risultati Risultati commerciali per l’individuazione dei beat, problema aperto sulla valutazione della struttura e tessitura ritmica

9. Beat Tracking Criticità • Non necessariamente è presente una sezione ritmica (batteria) • Talvolta i beat non sono i punti più energetici del segnale Analisi musicale e peculiarità • Sfruttare la teoria musicale per risolvere situazioni di ambiguità ad esempio una struttra ritmica che varia continuamente è poco probabile • Si devono distinguere i sistemi real time da quelli off line. I primi non compiono analisi sulla struttura ritmica del brano

10. Tempo Induction Scopo dell’Algoritmo Estrarre i BPM (velocità del metronomo) da un segnale audio. È uno dei pochi algoritmi sviluppati anche su segnali compressi Estrazione delle caratteristiche di basso livello • Filtraggi ad alte frequenze • Analisi dello spettro Risultati Risultati commerciali con applicazioni anche su software di editing

11. Tempo Induction Criticità • La maggior parte dei brani non ha BPM perfettamente stabili, ma tendono ad oscillare • Alcuni brani hanno BPM variabili • È complesso riconoscere il tempo corretto senza confondere, ad esempio, quarti ed ottavi Analisi musicale e semplificazioni Sfruttare la teoria musicale per risolvere situazioni di ambiguità, ad esempio un tempo che varia continuamente è poco probabile

12. Score Extraction Scopo dell’Algoritmo Estrarre la partitura da un segnale audio Metodologie • Autocorrelazione • Analisi dello spettro • … Risultati Risultati commerciali su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

13. Score Extraction Criticità • Come riconoscere la segnatura di tempo? • I timbri dei diversi strumenti sono molto differenti • Separare gli strumenti con pitched da quelli unpitched • La voce • Le variazioni di tempo Un problema composto In generale lo score extraction può essere considerato come una sorta di contenitore che potrebbe contenere i problemi già visti più altri quali: separazione delle sorgenti, riconoscimento dei timbri e altri

14. Genre Extraction Scopo dell’Algoritmo Estrarre il genere da un segnale audio e riuscire a riconoscere differenti brani che appartengano ad uno stesso genere Metodologie • Estrazione del pitch, del tempo, del beat, del timbro e altro Risultati Nessun Risultato commerciale, problema poco sensato su segnali monofonici e monotimbrici.

15. Genre Extraction Due approcci differenti • Prescriptive approach: i generi possibili sono decisi a priori l’algoritmo deve scegliere in quale cluster inserire il brano in esame • Similarity relations approach: l’algoritmo trova le canzoni simili e le pone all’interno dello stesso cluster, non esistono generi scelti a priori Osservazione Nel primo caso è oggettiva la classificazione per generi, mentre nel secondo sono oggettive le similarità tra i brani

16. Sincronizzazione Stream Audio Partitura sincronizzata Sincronizzatore Partitura • Navigazione coerente audio partitura • Ambito di ricerca affrontato nel MIR • Soluzioni proposte solo su stream audio non compressi

17. Sincronizzazione Scopo dell’Algoritmo • Sincronizzazione fine: per sistemi di navigazione interattiva e ricerche musicologiche • Sincronizzazione generica: per sistemi che visualizzano la partitura e l’audio coerentemente Estrazione delle caratteristiche di basso livello • Analisi dell’energia • Analisi dello spettro alla ricerca di strutture armoniche Risultati Risultati buoni su segnali monofonici e monotimbrici, problema aperto su segnali più complessi

18. Sincronizzazione Criticità • Note ribattute, abbellimenti, agogica • Esecuzioni non pedisseque Analisi musicale • Sono comunemente utilizzate tecniche DTW (Dinamic Time Warping) per porre in relazione caratteristiche della partitura con caratteristiche dell’audio

19. DTW Problema • Costo computazionale molto elevato • Necessarie euristiche