Music Information Retrieval Eine Rundreise

1. Music Information RetrievalEine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08

2. Einleitung • Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt • Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse • Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals MIR: Eine Rundreise

3. Information Retrieval • Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichereInhalte haben können. • Beispiel: • Ich gebe bei Google „Infomation Retieval“ ein (mit Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht. • Ich habe einen Melodie im Kopf (wahrscheihnlich mit „Fehlern“) und will die Titel der Stücke wissen, die diese Melodie enthalten. • Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen. MIR: Eine Rundreise

4. Information Retrieval • Information Retrieval entstand zuerst als Textretrieval. • Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen. • Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems • Musik ist Paradebeispiel: • Vage Suchkriterien: Wie formuliere ich Suchanfragen nach Melodien, Harmonien, Klangfarben, Stimmungen, etc. ? • Unsichere Daten: Wie repräsentiert man musikalischen Inhalt und wie kommt man ihn ran? MIR: Eine Rundreise

5. Music Information Retrieval • Music Information Retrieval als solches enstand in den letzten 10-15 Jahren (parallel zum Internetboom). • Erste ISMIR Konferenz 1999 • Relativ junges Fach: Noch keine systematische Darstellung und wenig Lehrbücher vorhanden • Sehr aktive Forschung • Viele Artikel sind im Netz vorhanden MIR: Eine Rundreise

6. Music Information Retrieval • Klassifikation nach Datenformaten: • Audio, signalbasiert (Wav, mp3 etc) • Symbolisch, Noten-basiert (MIDI, computerfähige Text-Codes) • (Kon-)Text-basiert (textliche Metadaten) • Hybrid (Mischung von einen oder mehreren der obigen) MIR: Eine Rundreise

7. Music Information Retrieval • Klassifikation nach Aufgabenstellung: • Information Retrieval im eigentlichen Sinne • Erkennung musikalischer Inhalte • Such/Retrievalmethoden • Musikanalytische Tools • Anwendungsorientiertes MIR • Playlist-Erstellung • Musikempfehlung • Partiturverfolgung • Optische Erkennung von Notentexten • Sonstiges MIR: Eine Rundreise

8. Erkennung musikalischer Inhalte • Tempo-, Beat-, Metrumserkennung, Beattracking • Stimmtrennung, Stimmextraktion, Melodieerkennung • Tonalitäts/Harmonieerkennung • Instrumentenerkennung (Timbre classification) • Erkennung und Bestimmung musikalischer Formen (Music Structure Discovery) • Gesangstext-Extraktion • Alles zusammen: Automatische Transkription (monophon, polyphon) • Genre/Mood - Erkennung bzw. Klassifikation MIR: Eine Rundreise

9. Retrievalmethoden • Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken • Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity) • Audio-Fingerprinting/Identification • Gesamtsysteme: Query-by-(Humming/Whistling/Beatboxing/…/Example) MIR: Eine Rundreise

10. Anwendungsorientiertes MIR • Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora) • Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…) • Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations-Analyse oder als Solistenbegleitung) • Optische Erkennung von Notentexten: OMR. MIR: Eine Rundreise

11. Sonstiges • Visualisierung von Musiksammlungen nach bestimmten Kirtieren • Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…) • Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX) • Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen) • Beschaffung von Metadaten (Ground Truth, Annotation) • Anwenderforschung (Wer, was, wie, wann, warum) • Design und Entwicklung von Anwenderschnittstellen MIR: Eine Rundreise

12. Methoden und Techniken • Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval) • Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion. • Audiofeature, Symbolische Feature, Feature aus Metadaten MIR: Eine Rundreise

13. Methoden & Techniken • Allg. Mathematik • Mengen, Vektorräume • Geometrie: Distanz/Ähnlichkeitsfunktionen • Boolesche und Fuzzy Logik • Allg. Informatik • Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen) • Tools (Matlab, Marsyas, CLAM, WEKA …) • Musikwissenschaft • Allgemeine Musiklehre • Musikpsychologie • Psychoakustik MIR: Eine Rundreise

14. Methoden & Techniken • DSP Techniken • FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter, Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren ... • Stochastik • Allgemein: Wahrscheinlicheiten, Bayes‘sche Regel, Entropie • Datenreduktion: PCA, ICA, SVD, Clustertechniken • Machine Learning: Support Vector Machines (SVM), Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees • Modellierung: Gaussian Mixture Models, (Hidden) Markov Models, Bayes Rule… • Zeitreihenanalyse MIR: Eine Rundreise

15. Methoden & Techniken String/Texttechniken • Edit Distance, „Dynamic Programming“, Local/Global Alignment, Dynamic Time Warping • N-grams, Suffixtrees, • Textnormalisierung, TF-IDF… MIR: Eine Rundreise