Strojno učenje na slikovnih podatkih

1. Strojno učenjena slikovnih podatkih Janez Brank

2. Motivacija • Zbirke slik • Poizvedovanje po njih (image retrieval) • Problem klasifikacije • Kako predstaviti ali opisati slike? • Kako jih na podlagi te predstavitverazvrščati?

3. Globalni opisi slik (1) • Celotno sliko opišemo z nekim vektorjem • Histogrami • Barvni prostor razdelimo v C področij (»kvantizacija«). • Za vsako področje si zapomnimo, kolikšen delež slike pokrivajo barve iz tega področja. • Vektorji barvnih koherenc (Pass et al., 1996, 1999) • Ločimo slikovne elemente, ki so del kakšnega večjega področja s podobno barvo, in tiste bolj osamljene.

4. Globalni opisi slik (2) • Avtokorelogrami (Huang et al., 1997) • Za vsako barvo c in za določene d si zapomnimo verjetnost, da je naključno izbran slikovni element na razdalji d od slikovnega elementa barve c tudi sam barve c. • Zgoščeni avtokorelogrami (Huang et al., 1998) • Za vsak c seštejemo komponente avtokorelograma po vseh d.

5. Segmentacija • Sliko razdelimo na več delov (»regij«), vsaka naj bi bila enotne barve ali teksture. • Opišemo vsako regijo posebej. • Kako iz podobnosti med regijami oceniti podobnost med slikama? • WALRUS (Natsev et al., 1998) • Sliko razrežemo na kvadratna okna • Vsako okno opišemo z glavnimi koeficienti valčne transformiranke ( nek 12-razsežni vektor) • Združimo okna z blizu ležečimi opisi v regije

6. Mere podobnosti pri segmentaciji • WALRUS: • Poiščemo pare regij (ena iz prve, ena iz druge slike), katerih opisi so si dovolj blizu skupaj • Pogledamo, kolikšen delež slik pokrivajo te regije. • IRM (integrated region matching; Li et al., 2000) • Razdalja med slikama je utežena vsotarazdalj med regijami • Pri uteževanju se upošteva podobnost medregijami, pa tudi velikost regij.

7. Postopki strojnega učenja • Metoda k najbližjih sosedov: • Da razvrstimo nek primerek, pogledamo k najbližjih učnih primerkov in ugotovimo, kateri razred med njimi prevladuje. • Metoda podpornih vektorjev: • Primerki naj bodo vektorji; dva razreda ločimo tako, da mednju postavimo hiperrravnino. • Vektorje lahko v mislih preslikamo v nek drug prostor ( jedrne funkcije) in tako dobimo tudi nelinearne modele.

8. Uporabljena zbirka slik • 1172 slik, izbranih iz neke večje zbirke, ročno razvrščenih v 14 disjunktnih razredov

9. Opravljeni poskusi • Globalni opisi slik: • histogrami, koherenčni vektorji, avtokorelogrami, zgoščeni avtokorelogrami • Različne kvantizacije barvnega prostora: RGB(na 64, 216, 256 barv), HSV (na 256 barv) • Metoda najbližjih sosedov (za razdaljo medvektorji uporabimo L1- ali L2-normo) • Metoda podpornih vektorjev (tri vrste jeder) • Segmentacija: • Različni parametri segmentacije • Meri podobnosti: WALRUS in IRM • Metoda najbližjih sosedov

10. Zaključki • Avtokorelogrami boljši od histogramov,zgoščeni AKG enako dobri kot navadni • Kvantizacija barvnega prostora nesme biti pregroba

11. Zaključki • Avtokorelogrami boljši od histogramov,zgoščeni AKG enako dobri kot navadni • Kvantizacija barvnega prostora nesme biti pregroba • Metoda podpornih vektorjev dajeboljše klasifikatorje od metodenajbližjih sosedov

12. Zaključki • Avtokorelogrami boljši od histogramov,zgoščeni AKG enako dobri kot navadni • Kvantizacija barvnega prostora nesme biti pregroba • Metoda podpornih vektorjev dajeboljše klasifikatorje od metodenajbližjih sosedov • Kubična in radialna jedra soboljša od linearnih

13. Zaključki • Avtokorelogrami boljši od histogramov,zgoščeni AKG enako dobri kot navadni • Kvantizacija barvnega prostora nesme biti pregroba • Metoda podpornih vektorjev dajeboljše klasifikatorje od metodenajbližjih sosedov • Kubična in radialna jedra soboljša od linearnih • Parametri segmentacije so pomembni • IRM boljši od WALRUSove merepodobnosti • Segmentacija ni nič boljša odglobalnih opisov

14. Zaključki • Avtokorelogrami boljši od histogramov,zgoščeni AKG enako dobri kot navadni • Kvantizacija barvnega prostora nesme biti pregroba • Metoda podpornih vektorjev dajeboljše klasifikatorje od metodenajbližjih sosedov • Kubična in radialna jedra soboljša od linearnih • Parametri segmentacije so pomembni • IRM boljši od WALRUSove merepodobnosti • Segmentacija ni nič boljša odglobalnih opisov • Če gledamo več najbližjihsosedov, so rezultati slabši

15. Primerjava z rezultati iz literature • Huang et al. (1998) so gradili nad slikami neke vrste odločitveno drevo, preiz-kusili tudi metodo najbližjih sosedov • Zgoščeni avtokorelogrami, postopek SVD • Enajst razredov s po 90 slikami • Klasifikacijske točnosti: okoli 80 %

16. Možnosti nadaljnjega dela • Razumeti nepričakovane rezultate • Slabi uspeh klasifikatorjev na podlagi segmentacije • Zakaj je metoda k najbližjih sosedovnajuspešnejša pri k = 1? • Primerjati z drugimi tehnikami • Druge vrste segmentacije • Drugi barvni prostori • Iskati druge načine predstavitve slikin druge mere podobnosti