Application de la distance d’édition à la correction de dictées musicales

1. Application de la distance d’édition à la correction de dictées musicales Par: France CHAMPAGNE et Guy TREMBLAY

2. Description du problème • L’apprentissage du solfège est essentiel dans la formation de tout bon musicien • Un outil de correction automatique permettrait à un étudiant d’être autonome et de s’auto-évaluer • Première ébauche d’un tel outil (basé sur l’algorithme de distance d’édition): CADiM = Correcteur Automatique de Dictées Musicales

3. Plan de la présentation • Les particularités d’une dictée musicale • Les erreurs typiques des étudiants • Une heuristique pour la correction des dictées • La distance d’édition et son application aux dictées • La représentation symbolique des dictées • L’outil CADiM • Les résultats obtenus

4. Particularités d’une dictée musicale • Une suite de sons formant une mélodie est jouée par un enseignant à une classe d’étudiants • La dictée est morcelée en court fragments mémorisables • Chaque fragment est joué plusieurs fois • L’étudiant doit reconnaître le fragment et le transcrire dans la notation musicale standard

5. Particularités d’une dictée musicale • Monodique = un seul son est entendu à la fois => séquence de sons • À chaque son est associé une note qui décrit: • La hauteur du son • La durée du son

6. Particularités d’une dictée musicale • Une dictée mélodique peut donc être représentée par une chaîne de symboles formée d’une suite de couples (h, d) où: • h = la hauteur du son; • d = sa durée.

7. Particularités d’une dictée musicale • L’alphabet H définit les hauteurs de sons (nom des notes) • H = {Do, Ré, Mi, Fa, Sol, La, Si, Silence} • L’alphabet D définit les durées possibles d’une note ou d’un silence • D = {ronde, blanche, noire, croche, double-croche}

8. Exemple d’un segment musical Arpège = {(Do, noire), (Mi, noire), (Sol, noire pointée), (Mi, croche), (Do, croche), (Silence, croche) (Sol, noire), (Do, blanche)}

9. 2. Les erreurs typiques • Les erreurs typiques faites par les étudiants ont été identifiées suite à une rencontre avec une experte du domaine: Mme Luce Beaudet • Mme Beaudet est Professeure agrégée à la Faculté de Musique de l’Université de Montréal et responsable de la formation auditive.

10. Exemple: Frère Jacques

11. Quelques erreurs courantes (hauteurs de son) Mauvaise note Une note en trop Manque une note

12. Quelques erreurs courantes (durée) Durée trop courte Durée fragmentée Déplacement du rythme Durées consolidées

13. 3. Heuristique pour la correction de dictées musicales • On attribue un pointage différent aux erreurs de hauteur ou de rythme • Les erreurs de hauteur sont considérées plus graves et ont donc un coût plus élevé • Pondération typique utilisée par Mme Beaudet: • 88% pour les erreurs de hauteur • 12% pour les erreurs de rythme

14. Exemple • La dictée « Frère Jacques » comprend 32 notes et 32 temps. Le coût d’une erreur sera donc: • Coût d’une erreur de hauteur: • 88/32 = 2,75 • Coût d’une erreur de rythme: • 12/32 = 0,38

15. Exemple (suite) Un étudiant a fait 10 erreurs de hauteur de son et 5 erreurs de rythme. 10 * 2,75 (coût hauteur) = 27,5 5 * 0,38 (coût rythme) = 1,9 Total = 29,4 (70,6%)

16. Définition des coûts • Chauteur • Pourcentage hauteur / nombre de notes • Crythme (h,d) • Soit t = unité de temps • (d / t) * Pourcentage rythme / nombre de notes

17. 4. La distance d’édition • Utilisation classique de la distance d’édition: • La recherche dans des textes • La biologie computationnelle • Le traitement de signal

18. La distance d’édition • Distance entre deux chaînes A et B = nombre minimum d’opérations pour transformer la chaîne A en la chaîne B • Trois opérations élémentaires : • Ajouter un caractère • Supprimer un caractère • Remplacer un caractère

19. Distance d’édition entre PARUTION et PARTISAN • PARUTION • PAR _TION -- Supprimer U • PARTI S ON -- Insérer S • PARTIS A N -- Remplacer O par A • PARTISAN • Total: 3 opérations.

20. Équations récursives définissant la distance d’édition Soit C(i,j), le coût pour passer de la chaîne A[1..i] à la chaîne B[1..j] C(0,0) = 0 cas C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base C(i,j) = C(i-1,j-1) + Coût échanger(A[i],B[j]) cas min C(i-1,j) + Coût supprimer(A[i]) récursif C(i,j-1) + Coût ajouter(B[j])

21. 5. Distance d’édition appliquée aux dictées musicales • Bases de données (MIR) • Requête fredonnée (query by humming) • Similarité par contour, par texture, … • Analyse musicologique • etc.

22. Mongeau et Sankoff 1990 • Ont cherché à adapter directement l’algorithme de distance d’édition à des segments musicaux. • Ont établi une charte de poids pour chaque type d’intervalle selon leur degré de consonance. • Ont introduit deux nouvelles opérations pour les variations de rythme: la fragmentation et la consolidation

23. Opérations de fragmentation et consolidation Fragmentation Consolidation

24. Notre algorithme de correction • Basé sur Mongeau et Sankoff • Utilise les opérations de consolidation et de fragmentation • Diffère par les fonctions de coûts • Note finale = 100 – la distance obtenue

25. Notre distance d’édition C(0,0) = 0 cas C(i,0) = C(i-1,0) + Coût supprimer(A[i]) de C(0,j) = C(0,j-1) + Coût ajouter(B[j]) base C(i,j) = C(i-1,j-1) + Coût échanger(A[i],B[j]) C(i-1,j) + Coût supprimer(A[i]), C(i,j-1) + Coût ajouter(B[j]) min C(i-1,j-k) + Coût échanger(A[i], B[j-k+1..j]) fragmentation C(i-k,j-1) + Coût échanger(A[i-k+1..i], B[j]) consolidation

26. Les fonctions de coût échanger(A[i], B[j]) • (A[i] ≠h B[j]) * Chauteur + (A[i] ≠d B[j]) * Crythme(B[j]) supprimer(A[i]) • Chauteur + Crythme(A[i]) ajouter(B[j]) • Chauteur + Crythme(B[j]) échanger(A[i], B[j-k+1..j]) • HauteursDifférentes(B[j-k+1..j], A[i]) *Chauteur + Crythme(A[i]) échanger(A[i-k+1..i], B[j]) • HauteursDifférentes(A[i-k+1..j], B[j]) *Chauteur + Crythme(B[j])

27. 6. Représentation symbolique d’une dictée musicale • Représentation des dictées doit inclure • La hauteur et la durée de chaque note • L’ordre de succession des notes • Doit représenter l’ensemble des éléments correspondant au système standard de notation musicale

28. Formats de représentation musicale existants • MIDI • SMDL • NIFF • Humdrum • Formats basés sur XML

29. Avantages des formats basés sur XML • Lisibles (encodage ASCII) • Peuvent être lus à l’aide d’analyseurs syntaxiques et manipulés à l’aide de DOM ou SAX

30. Formats basés sur XML • 4ML • MML • MusiXML • MusicXML • Nous avons choisi MusicXML parce que • il offre une description détaillée et complète du système de notation musicale • il propose un plugiciel permettant la conversion automatique d’une dictée en format Finale au format MusicXML

31. Représentation d’une note en MusicXML <note> <pitch> <step>C</step> <alter>1</alter> <octave>4</octave> </pitch> <duration>1</duration> <type>whole</type> </note>

32. Représentation de cette note sous forme d’arborescence Note Pitch Duration Type 1 Whole Step Alter Octave C 1 4

33. Étapes pour la transformation d’une dictée musicale • Entrée à la main dans Finale 2000 • Logiciel d’édition de partition • Transformée en fichier MusicXML à l’aide du plugiciel fournit par Recordare • Lue et transformée en arborescence par notre outil (avec DOM) • Transformée en séquence de notes • {(Do,noire), (Mi,noire), (Sol, noire),…}

34. 6. L’outil CADiM • Développé en Java • Utilise l’algorithme de distance d’édition décrit précédemment • Compare les dictées de tout un groupe d’étudiants avec la dictée originale et donne une note pour chaque dictée (note sur 100)

35. Architecture de CADiM Dictée du professeur (MusicXML) Dictée prof. Note = 78,3 Affichage des erreurs (optionnel) Analyseur xml2jdom (Java) jdom2seq (Java) Algorithme de distance d’édition (Java) Solution étudiant Solution d’un étudiant (MusicXML) Solutions de tous les étudiants (liste des fichiers) DTD MusicXML

36. 7. Résultats • Deux séries de tests : • Dictées fictives avec « Frère Jacques » • Dictées réelles d’un cours d’apprentissage du solfège à l’Université de Montréal • Les dictées ont été soumises à Mme Beaudet afin de comparer les résultats des deux méthodes de correction

37. Résultats « Frère Jacques »

38. Résultats dictée réelle

39. Fidélité à la correction de Mme Beaudet • En moyenne = • Différence de moins de 4%! • Explication des écarts : • Note très faible • Saut d’octave • Facteur humain

40. 8. Travaux futurs • Mettre au point des méthodes permettant de reconnaître les faiblesses d’un étudiant • Développer un tutoriel pour l’apprentissage du solfège

41. Questions et commentaires?