1 / 28

RAZPOZNAVANJE NOTNEGA ZAPISA Z RAČUNALNIŠKIM VIDOM

RAZPOZNAVANJE NOTNEGA ZAPISA Z RAČUNALNIŠKIM VIDOM. Diplomska naloga. Avtor: Matej HROVAT. Mentor: prof. dr. Aleš LEONARDIS. Cilj razpoznavanja not ali OMR ( Optical Music Recognition ). Eine_kleine_Nachtmusik.mid. Analiza TISKANIH KLAVIRSKIH NOT.

fulton-gibbs
Télécharger la présentation

RAZPOZNAVANJE NOTNEGA ZAPISA Z RAČUNALNIŠKIM VIDOM

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. RAZPOZNAVANJE NOTNEGA ZAPISA Z RAČUNALNIŠKIM VIDOM Diplomska naloga Avtor: Matej HROVAT Mentor: prof. dr. Aleš LEONARDIS

  2. Cilj razpoznavanja not ali OMR (Optical Music Recognition) Eine_kleine_Nachtmusik.mid

  3. Analiza TISKANIH KLAVIRSKIH NOT Segmentacija slike poteka v treh programskih modulih: 1. Izločanje vrstic 2. Izločanje črtovja 3. Iskanje povezanih črnih področij 4. Iskanje notnih primitivov 5. Sestavljanje fragmentiranih objektov 6. Sestavljanje objektov iz primitivov 7. Prevajanje podatkov v računalniški format Sedem korakov analize:

  4. Analiza TISKANIH KLAVIRSKIH NOT Segmentacija slike poteka v treh programskih modulih: 1. Izločanje vrstic 2. Izločanje črtovja 3. Iskanje povezanih črnih področij 4. Iskanje notnih primitivov 5. Sestavljanje fragmentiranih objektov 6. Sestavljanje objektov iz primitivov 7. Prevajanje podatkov v računalniški format Sedem korakov analize:

  5. Analiza TISKANIH KLAVIRSKIH NOT Segmentacija slike poteka v treh programskih modulih: 1. Izločanje vrstic 2. Izločanje črtovja 3. Iskanje povezanih črnih področij 4. Iskanje notnih primitivov 5. Sestavljanje fragmentiranih objektov 6. Sestavljanje objektov iz primitivov 7. Prevajanje podatkov v računalniški format Sedem korakov analize:

  6. Korak / 7: 1 IZLOČANJE VRSTIC Iskanje premic črtovja s Houghovo transformacijo r = x cos() + y sin() za vsak  [00, 3600]

  7. Korak / 7: 1 IZLOČANJE VRSTIC Iskanje premic črtovja s Houghovo transformacijo Lokalni maksimumi Houghovega transforma klavirske skladbe: a) Enak kot (rotacija strani)  =0 b) Nastopajo v gručah po 5

  8. Korak / 7: 1 IZLOČANJE VRSTIC Izločanje najdene vrstice  ≤ 900  > 900

  9. Korak / 7: 2 IZLOČANJE ČRTOVJA IZ VRSTICE Mera za velikost objektov Iskanje črt s horizontalno projekcijo

  10. Korak / 7: 2 IZLOČANJE ČRTOVJA IZ VRSTICE Označevanje črte s kvadratnim oknom Slika v oknu, ki pomeni delček črte

  11. Korak / 7: 2 IZLOČANJE ČRTOVJA IZ VRSTICE Označevanje črte - interpolacija med dvema oknoma

  12. Korak / 7: 2 IZLOČANJE ČRTOVJA IZ VRSTICE Označevanje črte - interpolacija med dvema oknoma

  13. Korak / 7: 3 ISKANJE POVEZANIH ČRNIH OBMOČIJ Območja poiščemo s polnilnim algoritmom 4-FloodFill

  14. Korak / 7: 4 ISKANJE PRIMITIVOV Primitivi - elementarni objekti Možnosti iskanja: • Neposredno ujemanje • Ujemanje vzorcev • Procesiranje kombiniranih

  15. Korak / 7: 4 ISKANJE PRIMITIVOV Način iskanja 1/3: Neposredno prepoznavanje Primitivi, prepoznavni po globalnih značilkah

  16. Korak / 7: 4 ISKANJE PRIMITIVOV Način iskanja 2/3: Ujemanje vzorcev • Znak razdelimo na m x n regij • Sivinske nivoje pretvorimo v vektor značilk • Vzorci so shranjeni v podatkovni bazi

  17. Korak / 7: 4 ISKANJE PRIMITIVOV Način iskanja 2/3: Ujemanje vzorcev Razlika vektorjev:

  18. Korak / 7: 4 ISKANJE PRIMITIVOV Način iskanja 2/3: Ujemanje vzorcev • Ujemanje potrjeno, ko je DNORM < Treshold • Primer na sliki: DNORM = 0,061

  19. Korak / 7: 4 ISKANJE PRIMITIVOV Način iskanja 3/3: Procesiranje kombiniranih simbolov • Odstranimo vertikalne linearne segmente • Preostale objekte pošljemo v ponovno obdelavo

  20. Korak / 7: 5 SESTAVLJANJE FRAGMENTIRANIH SIMBOLOV Fragmentacija - razpad nekega simbola zaradi odstranitve drugega Rešitev - iskanje simbola v izvirni sliki

  21. Korak / 7: 6 SESTAVLJANJE PRIMITIVOV in SEMANTIKA a) Primitivi, ki se ne dotikajo drugih b) Sestavljanje primitivov not

  22. Korak / 7: 7 PREVAJANJE V RAČUNALNIŠKI FORMAT • MIDI ali NIFF datoteka • OCR aplikacija - kodiranje informacij o izvajanju skladbe

  23. R E Z U L T A T I Testni primer 1: J. S. Bach, Das Wohltemperierte Klavier I: Praeludium II, vrstica 1

  24. R E Z U L T A T I Testni primer 2: Scott Joplin, The Entertainer, vrstica 1

  25. R E Z U L T A T I Testni primer 3: W. A. Mozart, Eine kleine Nachtmusik - Romanze: Andante, vrstica 7

  26. R E Z U L T A T I Testni primer 4: J. S. Bach, Das Wohltemperierte Klavier I: Fuga VII, vrstica 5

  27. PRIHODNJI RAZVOJ • Število in tip črtovij v vrsticah • Dotikajoči in prekrivajoči se simboli • Optimizacija baze podatkov • Izboljšano semantično preverjanje • Prevajanje v računalniški format Cilj: učinkovit komercialen OMR program

More Related