1 / 25

Query by Humming: Understanding Music Retrieval Techniques

This article explores Query by Humming (QBH), a technique for retrieving music based on a sung melody. It outlines fundamental concepts and algorithms involved in this multimedia information retrieval method, such as string matching, dynamic time warping, and pitch tracking. Challenges in accurately identifying melodies and improving algorithm performance are discussed, alongside existing applications like melody recognition systems. The aim is to enhance user interaction with music databases, catering to individual skills and preferences while ensuring robust and efficient retrieval.

braden
Télécharger la présentation

Query by Humming: Understanding Music Retrieval Techniques

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Query By Humming

  2. Query by Humming (QBH) Ana Alves (apba) Bruno Ribeiro (brcr) Francisco Neto (ffsn) Garsielle Valença (gval)

  3. QBH | Motivação • “Futuras” gerações de Banco de Dados • Rádios • Emissoras de TV • Lojas de Música • Uso pessoal

  4. Roteiro • O que é? • Conceitos fundamentais • Algoritmos • Dificuldades • Aplicações Existentes

  5. QBH | Definição É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário

  6. QBH | Conceitos • Query “A query is a monophonic melody sung by a single person.” • String “A sequence of notes in a written musical score, or notes transcribed from a sung query.”

  7. QBH | Conceitos • String matchers “Find the best alignment between string Q and string T by finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.” • Pitch “Thepropertyof a soundor musical tone measuredby its perceivedfrequency”

  8. QBH | Introdução • Crescimento da área de recuperação de informação multimídia baseada em conteúdo • Pontos Críticos • Tipo de interação com informações multimídia • Atender às habilidades e preferências dos usuários • Metas • Organização • Facilidade • Eficiência

  9. QBH| Dificuldades • Determinação da freqüência fundamental em um fragmento de áudio • Heurísitco • Maior ou menor grau de acerto • Determinar similaridade da melodia • Pitch Incorreto • Transposição • Ritmo

  10. QBH| Dificuldades • Robustez • Algoritmo mais preciso • Performance • Algoritmo eficiente

  11. QBH| Técnicas • Melodic Contour Matching • Seqüência das diferenças relativas no pitch entre notas successivas. • Três relações possíveis de altura em relação a nota anterior(U, D, S) • Acima (U) • Abaixo (D) • Igual (S)

  12. QBH| Pitch Tracking • Auto-Correlação • Probabilidade Máxima • Análise do Espectro

  13. QBH| Dynamic Time Warping • Usado para medir similaridades entre seqüências de notas musicais • Não importa se variam em tempo e velocidade; • DTW pode ser aplicado em diversas áreas • Vídeo, áudio, reconhecimento de voz, etc.;

  14. QBH| Dynamic Time Warping

  15. QBH |Algoritmos de Busca • String Matching • Global alignmentalgorithm • Local alignmentalgorithm • MelodicContourMatching • HiddenMarkovModel • Forwardalgorithm

  16. QBH |Experimento • 3 Sistemas que utilizam diferentes algoritmos de consulta • -Local alignmentalgorithm • -Global alignmentalgorithm • -Forwardalgorithm

  17. QBH |Experimento

  18. QBH |Experimento

  19. Aplicações Existentes • Melody Recognition System • Desenvolvido pelo IDMT, Alemanha; • Identifica som de duas formas: • Através da voz, • Ou tocando algum instrumento. • A aplicação realiza a consulta na base de dados a partir de dois parâmetros: • Pela melodia e ritmo da música tocada pelo usuário; • Como resultado, um ranking dos 10 mais similares: • Título da música, • E nome do artista são devolvidos;

  20. Aplicações Existentes • Melody Recognition System • O processo de reconhecimento é dividido em 3 partes: • O sinal de áudio é armazenado; • Eliminação do ruído do som; • As freqüências fundamentais são analisadas; • É determinado um “pitch contour”; • Este é dividido em diversas notas, onde cada uma: • É caracterizada pela sua duração e pitch; • A consulta retorna a lista das canções.

  21. Aplicações Existentes • Melody Recognition System • Características: • A aplicação contém uma base de dados com milhares de músicas: • Desde música clássica até pop; • O sistema é tolerante com relação à imprecisões: • Na voz do usuário, • E nos ruídos do ambiente; • “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”; • Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado;

  22. Aplicações Existentes • Melody Recognition System • O sistema está implementado em 3 diferentes tipos de aplicações: • Sistema stand-alone: • Todo processamento está localizado em um único computador; • Aplicação Web: • A transmissão da consulta é feita por um Applet Java; • O processamento ocorre em um servidor remoto; • O resultado é mostrado no browser do usuário;

  23. Aplicações Existentes • Melody Recognition System • Tipos de aplicações: • Aplicação Móvel; • Usuário conecta a um servidor remoto pelo celular; • Canta a música e realiza a consulta; • Todo processamento é realizado no servidor;

  24. Referências www.cs.cornell.edu/Info/Faculty/bsmith/ query-by-humming.html http://sail.usc.edu/music/research.html#intro http://www.idmt.fraunhofer.de/eng/press_media/download/product_information/qbh_eng_web.pdf

  25. Query By Humming

More Related