Diplomski rad

1. ZAVOD ZA ELEKTRONIKU, MIKROELEKTRONIKU, RAČUNALNE I INTELIGENTNE SUSTAVE Diplomski rad Uporaba višeslojnog perceptrona za raspoznavanje brojčano-slovčanih znakova na registarskim tablicama Autor: Kristijan Kraupner Predmet: Raspoznavanje uzoraka Mentor: prof. dr. sc. Slobodan Ribarić rujan 2003.

2. Slikovna baza registarskih tablica • 512 snimaka vozila u različitim uvjetima • korišten digitalni fotoaparat OLYMPUS CAMEDIA C-2040 ZOOM • fotografije zadnjeg dijela vozila • snimano iz približno jednake udaljenosti • 640 x 480 piksela, JPEG format • primjeri

3. Slikovna baza registarskih tablica

4. Slikovna baza registarskih tablica

5. originalna slika pretvaranje u sliku sa sivim tonovima izdvajanje tablica i oznake država normiranje dimenzija 20x32 pixela izolacija znakova binari-zacija uzorak za raspoznavanje ContrastStretch(15) Predobrada slika • pretvaranje u sive slike • metoda globalnog rastezanja kontrasta(rad kolegice Vlaste Srebrić)

6. Predobrada slika • daljnja predobrada – ADOBE Photoshop 7.0 ™ • izdvajanje tablica i oznake država (crop) • izdvajanje znakova (crop) • normiranje dimenzija na 20x32 piksela (resize)

7. Predobrada slika • binarizacija uzoraka (treshold value)

8. Izvedba višeslojnog perceptrona (MLP) • struktura MLP-a • troslojni perceptron – aciklička potpuno povezana troslojna mreža strukture 640x20x38 • prvi sloj - 32 x 20 slikovnih elemenata (piksela) - binarne vrijednosti – 640 neurona • skriveni sloj – 20 neurona • izlazni sloj – 38 neurona (38 klasa) • znamenke 0 ÷ 9 (10 neurona) • velika slova engleske abecede A ÷ Z, bez Q (25 neurona) • velika slova Č, Š i Ž (3 neurona)

9. Izvedba MLP-a izlazni sloj 38 čvorova • struktura MLP-a: 0 skriveni sloj 20 čvorova ulazni sloj 640 (32x20) čvorova 1 2 slika 32 x 20 piksela Z Ž

10. Izvedba MLP-a • svojstva mreže • neuroni (čvorovi) – sigmoidalna aktivacijska f. • učenje algoritmom propagacije greške unatrag (generalizirano delta pravilo) • izlazni neuron • skriveni neuron • online (sekvencijalni) način učenja

11. Izvedba MLP-a • parametri učenja • moment učenja γ = 0.05 • brzina učenja η = 0.025 • 20 uzoraka za učenje po znaku (760 uzoraka) • 10 uzoraka za testiranje po znaku (380 uzoraka) • broj epoha = 900 • greška raspoznavanja testnih uzoraka – 10.7%

12. Rezultati klasifikacije • rezultati klasifikacije znakova • ukupno 4.243 uzoraka (učenje, testiranje, provjera) • 86.2 % točno raspoznatih znakova • veći broj uzoraka za učenje – povećava uspješnost rasp. • poteškoće u raspoznavanju • 1 ↔ I, 0 ↔ O; sličnost S i Š, C i Č, Z i Ž

13. MLP klasifikator predstavi uzorak na ulaz mreže propagacija signala kroz mrežu odredi klasu 'X' s najvećim izlazom klasificiraj uzorak kao 'X' uzorak (slika) klasificirani znak Ima li još zn. za klasif? da raspoznati znakovi oznake države Pripada li znak tablici? ne H R ne da • Z G • 1 6 2 • L C raspoznati znakovi tablice kraj klasifikacije tablice Rezultati klasifikacije • postupak klasifikacije tablice i oznake države

14. Rezultati klasifikacije • rezultati klasifikacije tablica i oznaka države • ukupno 407 registarskih tablica • ukupno 243 oznake države • uspješnost raspoznavanja: • tablica i pripadna oznaka (gdje je ima) - 43.5% • samo tablica – 54.5% (222 tablice) • samo oznaka države – 65.4% (159 oznaka) • problemi – netočne oznake, vrlo loše naljepnice • broj znakova koje treba točno raspoznati (tablica – do 9 znakova, oznaka države – 1÷3 znaka)

15. Rezultati klasifikacije- primjeri

16. Rezultati klasifikacije- primjeri

17. MLP klasifikator predstavi uzorak na ulaz mreže propagacija signala kroz mrežu odredi klasu 'X' s najvećim izlazom klasificiraj uzorak kao 'X' uzorak (slika) klasificirani znak Ima li još zn. za klasif? raspoznati znakovi oznake države da Pripada li znak tablici? provjera sintakse ne H P H R ne da Ž U I7 8 U Ž U 17 8 U kraj klasifikacije tablice raspoznati znakovi tablice Sintaksna analiza registarskih tablica • postupak klasifikacije uz provjeru sintakse

18. Sintaksna analiza registarskih tablica • rezultati klasifikacije korištenjem sintaksne analize • uspješnost raspoznavanja: • tablica i pripadna oznaka (gdje je ima) – 68.8% • samo tablica – 73.5% (299 tablica) • samo oznaka države – 87.7% (213 oznaka) • ograničenja sintakse • neke slučajeve sintaksa ne može riješiti • 6. znak hrvatskih tablica (može biti i slovo i broj) • potreba za uvođenjem stupnja pouzdanosti (confidencemeasure) raspoznatog znaka

19. Rezultati klasifikacije- primjeri

20. Rezultati klasifikacije- primjeri

21. Zaključak • utjecaj na uspješnost raspoznavanja • veličina i kvaliteta uzoraka (učenje, testiranje) • odabir strukture MLP-a (broja slojeva, broja čvorova sloja) • određivanje optimalnih parametara učenja i dr. • direktno prezentiranje binarnih uzoraka mreži – ovisnost o kvaliteti uzorka • mreža osjetljiva na promjene u uzorcima (skaliranje, rotacija) • problem vrlo sličnih uzoraka (klase nedovoljno različite) • S i Š, C i Č, Z i Ž, 1 i I, 0 i O, B i 8, i dr. • mogućnosti poboljšanja • izdvajanje značajki uzoraka (momenti, bočne projekcije, kodiranje i sl.) – značajke invarijantne na promjene u kvaliteti uzoraka • odabir što većeg broja reprezentativnih uzoraka pojedinog znaka za učenje (nekoliko stotina uzoraka po znaku) • multi-ekspertni pristup – veći broj neuronskih mreža