Univerza v Ljubljani Fakulteta za elektrotehniko Analiza slik s sklopljenimi aktivnimi modeli

1. Univerza v LjubljaniFakulteta za elektrotehnikoAnaliza slik s sklopljenimi aktivnimi modeli mag. Aleš Klemenčič, univ. dipl. ing. el.

2. Uvod • Predstavitev aktivnih modelov • Koncept aktivne točke • Algoritem aktivne točke • Sklopljeni aktivni modeli • Primer sintetične slike: olimpijski krogi • Primer realne slike: rentegenske slike vratnih vretenc

3. Aktivni modeli Aktivni modeli • Aktivni modeli združujejo geometrijo modela s fizikalnimi lastnostmi elastičnih materijalov. • Aktivni modeli se preoblikujejo pod vplivom lastnih, notranjih sil ter vplivom zunanjih sil, ki izhajajo iz okolice (slike). • Aktivni modeli so namenjeni segmentaciji slik. Uporabni so zlasti za segmentacijo bio-medicinskih (2D, 3D) slik in za sledenje objektom v zaporedju slik. Aktivne krivulje Aktivna telesa Aktivne površine

4. Aktivna krivulja • v(r)=(x(r),y(r),z(r)); • r  [0,1] • x(r) [0,xmax] • y(r) [0,ymax] • z(r) [0,zmax] • Krivulji pripada energijski funkcional: • Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:

5. Diskretna oblika Eulerjeve enačbe krivulje • Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne krivulje: • Preurejena enačba, primerna za matrični zapis aktivnega modela

6. Aktivna površina • v(r,s)=(x(r,s),y(r,s),z(r,s)); • r  [0,1], s  [0,1] • x(r,s) [0,xmax] • y(r,s) [0,ymax] • z(r,s) [0,zmax] • Površini pripada energijski funkcional: • Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:

7. Diskretna oblika Eulerjeve enačbe površine • Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivne površine:

8. Aktivno telo • v(r,s,t)=(x(r,s,t),y(r,s,t),z(r,s,t)); • r  [0,1], s  [0,1], t [0,1] • x(r,s,t) [0,xmax] • y(r,s,t) [0,ymax] • z(r,s,t) [0,zmax] • Telesu pripada energijski funkcional • Minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferencialne enačbe:

9. Diskretna oblika Eulerjeve enačbe telesa • Zapis z metodo končnih diferenc diskretizirane Eulerjeve diferencialne enačbe aktivnega telesa:

10. Zunanja energija • Izvor zunanje energije je slika: • 2D, 3D • statične slike, časovno zaporedje 2D ali 3D slik, realni čas • barvna slika, teksture • Zunanja energija izhaja iz slike in je neodvisna od aktivnega modela. • Izvorno sliko preoblikujemo tako, da so na njej čimbolj poudarjene iskane strukture. Najpogosteje iščemo robove objektov na gradientnih slikah.

11. Variacijski pristop • Iščemo rešitev Eulerjeve diferencialne enačbe • Direktna metoda • Aktivni modeli z vgrajenimi modeli oblike • Elastični model (vm=v0): oblika modela je nespremenljiva • Plastični model (vm=vt ): oblika modela se spreminja

12. Koncept aktivne točke • Pri klasičnem pristopu se najprej diskretizira zvezni model, nato se na osnovi enačb zapiše matrika elastičnosti A. • Urejenost množice točk se odraža v pasovni urejenosti matrike A. • Pri metodi končnih diferenc so točka in njene povzave na sosednje točke osnovni sestavni del vsakega aktivnega modela. • Pri konceptu aktivne točke, na vsako točko modela gledamo kot na samostojen in neodvisen delček celotnega sistema. • Informacijo vsake aktivne točke posebej uporabimo za gradnjo matrike elastičnosti A. • Ne zanima nas kakšna je geometrijska struktura modela kot celote. Vse vrste modelov obravnavamo na enoten način.

13. Dekompozicija matirke elastičnosti A • Matrika elastičnosti vsebuje koeficiente diskretizirane Eulerjeve diferencialne enačbe. • Dekompozicija matrike elastičnosti A • =0: A = A • =0: A = A • >0,  > 0: A = A + A • Posebni primeri matrike elastičnosti A • =1, =0, h=1: A = D • =0, =1, h=1: A = D • =1, =1, h=1: A = D + D

14. -komponenta notranjih sil • Diskretizirana Eulerjeva diferencialna enačba aktivne krivulje: • =1, =0, h=1: A = D = • Geometrijska predstavitev

15. -komponenta notranjih sil • Diskretizirana Eulerjeva diferencialna enačba aktivne krivulje: • =0, =1, h=1: A = D =

16. Algoritem aktivne točke • Notranje sile, ki izvirajo iz četrtega odvoda Eulerjeve diferencialne enačbe in so zapisane v matriki D lahko izračunamo direktno iz matrike D po enačbi • Algoritem aktivne točke: • Matriko D izračunamo iz topologije aktivnega modela • Matriko D izračunamo neposredno iz matrike D • Matriko elastičnosti izračunamo po enačbi

17. Izračun matrike D • Kadar imamo opravka s klasičnim aktivnim modelom z enakomerno razporejenimi točkami, lahko uporabimo skrajšani algoritem aktivne točke.

18. Sklopljeni aktivni modeli • Sklopljene aktivne modele dobimo, kadar med seboj povežemo klasične aktivne modele (krivulje, površine, telesa). • Matriko elastičnosti A sklopljenega aktivnega modela izračunamo z algoritmom aktivne točke.

19. Sklopljeni aktivni modeli • Pri klasičnih aktivnih modelih vsaki točki pripišemo eno vrednost parametra elastičnosti  in eno vrednost parametra elastičnosti . • S temi vrednostmi vplivamo na moč povezave med točkami. Ker uporabljamo diferenco nazaj, oslabimo ali ojačamo zgolj povezave do točk z nižjim indeksom.

20. Sklopljeni aktivni modeli • V vsaki točki aktivnega modela potrebujemo toliko vrednosti parametrov elastičnosti  in , kolikor je povezav na sosednje točke.

21. Algoritem aktivne točke • Če želimo imeti možnost nastavljanja moči posameznih povezav, izračunamo matriki A in A na sledeč način:

22. Sklopljeni aktivni modeli • Nastavljanje moči povezav nam omogoča regulacijo vpliva posameznih povezav. • Možne so tudi asimetrične povezave, ko so vrednosti parametrov elastičnosti na obeh koncih iste povezave različne.

23. Sintetična slika • Za primer sintetične slike smo izbrali olimpijsko zastavo. • Barvni krogi se pretvorijo v kroge različnih nivojev sivin. • Krogi različnih nivojev sivin se med seboj prekrivajo. • Olimpijski krogi kot celota so dokaj zapleten model.

24. Začetni položaji modelov • Začetni položaj smo določili tako, da smo znani in željeni končni položaj aktivnih modelov uniformno premaknili navzdol. p=15 p=20 p=25 p=30

25. Vrste aktivnih modelov • V preizkusih smo uporabili sledeče vrste aktivnih modelov: • 10 neodvisnih klasičnih aktivnih krivulj • 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike • 5 sklopljenih aktivnih modelov z vgrajenimi modeli oblike • 1 sklopljen aktivni model z vgrajenim modelom oblike

26. Vrste aktivnih modelov • V preizkusih smo uporabili sledeče vrste aktivnih modelov: • 10 neodvisnih klasičnih aktivnih krivulj • 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike • 5 sklopljenih aktivnih modelov z vgrajenimi modeli oblike • 1 sklopljen aktivni model z vgrajenim modelom oblike

27. Vrste aktivnih modelov • V preizkusih smo uporabili sledeče vrste aktivnih modelov: • 10 neodvisnih klasičnih aktivnih krivulj • 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike • 5 sklopljenih aktivnih modelov z vgrajenimi modeli oblike • 1 sklopljen aktivni model z vgrajenim modelom oblike

28. Vrste aktivnih modelov • V preizkusih smo uporabili sledeče vrste aktivnih modelov: • 10 neodvisnih klasičnih aktivnih krivulj • 10 neodvisnih aktivnih krivulj z vgrajenimi modeli oblike • 5 sklopljenih aktivnih modelov z vgrajenimi modeli oblike • 1 sklopljen aktivni model z vgrajenim modelom oblike

29. Rezultati 10 neodvisnih aktivnih krivulj =0.5; =0.5; p=15; =1; =1; p=15; =1; =10; p=15; =10; =10; p=15;

30. Rezultati 10 neodvisnih aktivnih krivuljz vgrajeno obliko modela =1; =0; p=15; =1; =10; p=15; =10; =10; p=15; =100; =100; p=15;

31. Rezultati 5 sklopljenih aktivnih modelov z vgrajeno obliko modela =1; =10; p=15; =100; =100; p=20; =10; =10; p=25; =100; =100; p=30;

32. Rezultati 1 sklopljenega aktivnega modela z vgrajeno obliko modela =1; =10; p=15; =100; =100; p=25; =10; =10; p=30;

33. Segmentacija rentgenskih slik vratnih vretnec • Na razpolago smo imeli 19 poravnanih rentgenskih slik vratnih vretenc. • Na vsaki sliki so štiri vretenca (C3 do C6) označena s 7 ročno določenimi točkami.

34. Razdelitev slik v dve skupini • Slike smo razdelili na dve skupini • Skupina 10 slik namenjenih segmentaciji • Skupina 9 slik za izračun modela povprečne vrednosti – začetni položaj, ki je neodvisen od slike

35. Sklopljeni model vretenc • Sklopljeni model vretenc smo zgradili s povezovanjem 5 točk sosednjih vretenc.

36. Klasične aktivne krivulje • Začetni položaj aktivnih krivulj je neustrezen, zato so se klasične aktivne krivulje zelo slabo prilegale iskanim robovom. • Kopičenje točk v izrazitih delih robov • Prileganje ‘napačnim’ robovom

37. Klasične aktivne krivulje z omejenim gibanjem točk • Kopičenje točk lahko preprečimo tako, da točkam dovolimo premikanje le pravokotno na aktivno krivuljo. • Rezultati kljub temu niso bistveno boljši.

38. Baloni • Rezultate še izboljšamo, če uporabimo sile napihovanja oziroma aktivne modele imenovane baloni. S preizkusi lahko določimo pravo mero sil napihovanja.

39. Aktivne krivulje z vgrajenim modelom oblike • Zaradi slabo izraženih robov, smo uporabili model oblike, ki vzdržuje obliko aktivnega modela. • Rezultati so bistveno boljši.

40. Sklopljeni model • Na koncu smo uporabili še sklopljene aktivne modele z vgrajenimi modeli oblike. Oblika vretenca se ohranja, povezave pa povzročijo še dodatne deformacije.

41. Vrste modelov pri segmentaciji • Vsako sliko smo segmentirali s sledečimi aktivnimi modeli • Baloni • Aktivnimi modeli z vgrajeno obliko modela • plastični model oblike (vm=vt): • elastični model oblike (vm=v0): • Sklopljeni aktivni modeli z vgrajeno obliko modela • plastični model oblike (vm=vt): • elastični model oblike (vm=v0): • Vse zgoraj omenjene aktivne modele smo zagnali iz dveh različnih začetnih položajev • ročno določenega začetnega položaja • neodvisnega povprečnega začetnega položaja • Ker ne obstaja merilo, s katerim bi lahko izmerili uspešnost metode, smo morali izvesti anketo, s katero smo želeli potrditi uspešnost sklopljenih aktivnih modelov.

42. A J B D I 3 1 4 2 II 1 3 1 4 III 2 4 2 2 IV 4 2 2 1 Metoda rangiranja • Sklopljeni aktivni modeli so boljši od ročno določenega položaja. • Sklopljeni aktivni modeli so najboljši od vseh testiranih aktivnih modelov. • Primerjava in rangiranje istoležnih krivulj: ročni položaj, baloni, vgrajeni modeli, sklopljeni modeli

43. B/C D/E F/G H/I I B E = I II B D F = III C E = I IV = E = H Metoda primerjanja • Želeli smo ugotoviti še vpliv začetnega položaja na rezultat • ročno določen položaj, ki pripada vsaki posamezni sliki • položaj, izračunan kot povprečje položajev preostalih 9 slik • Vpliv vrste vgrajenega modela na rezultat • elastični model oblike • plastični model oblike

44. Metodologija raziskave • V raziskavi je sodelovalo 8 oseb • 2 osebi, ki se ne ukvarjata ne z obdelavo slik, ne z medicino • 4 osebe, ki se ukvarjajo z obdelavo slik • 1 oseba, ki se ukvarja z medicino (splošni zdravnik) • 1 oseba, zdravnik specialist, kirurg, ki izvaja operacije hrbtenice • Vsaka oseba je pregledala 10 kompletov slik in pri tem izvedla • 160 razporeditev 4-ih krivulj po metodi rangiranja • 320 primerjav dveh krivulj • Skupno je bilo torej izvedenih • 1280 razporeditev • 2560 primerjav

45. Mean Std. Deviation Std. Error Mean Ročno Paired Differences 2,9503 ,41143 t ,04659 df Sig. (2-tailed) Baloni Mean 3,6226 Std. Deviation Std. Error Mean ,43001 95% Confidence Interval of the Difference ,04869 Vgrajeni 1,7917 ,32054 ,03629 Sklopljeni 1,4768 ,29021 ,03286 Lower Upper Vgrajeni – Sklopljeni ,3149 ,33551 ,03799 ,2393 ,3905 8,289 77 ,000 Rezultati rangiranja • Spodnji rezultati zajemajo vseh 8 oseb. Razporeditev uspešnosti metod je bila pričakovana. • Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.

46. Paired Differences Mean Std. Deviation t Std. Error Mean df Sig. (2-tailed) Ročno Mean 2,8000 Std. Deviation Std. Error Mean ,18587 95% Confidence Interval of the Difference ,05878 Baloni 3,6563 ,37180 ,11757 Vgrajeni 2,0313 ,31903 ,10089 Lower Upper Sklopljeni 1,7813 ,23981 ,07583 Vgrajeni - Sklopljeni ,2500 ,17180 ,05433 ,1271 ,3729 4,602 9 ,001 Rezultati rangiranja - strokovnjak • Spodnji rezultati zajemajo le ocene strokovnjaka. Tudi tukaj je razporeditev metod pričakovana, vendar so ocene nižje. • Ugotoviti smo morali ali so rezultati skopljenih aktivnih modelov statistično pomembno boljši od aktivnih modelov z vgrajenimi modeli oblike. Statistično pomembnost smo ugotavljali s parnim T testom.

47. Paired Differences Mean Std. Deviation T Std. Error Mean df Sig. (2-tailed) Plastični Mean 51,9068 Std. Deviation Std. Error Mean 13,46925 95% Confidence Interval of the Difference 1,51541 Elastični 48,0932 13,46925 1,51541 Lower Upper Plastični - Elastični 3,814 26,93850 3,0302 -2,220 9,848 1,258 78 ,212 Rezultati primerjave plastični/elastični • Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike. • Zgornja predvidevanja potrdi tudi parni T test

48. Paired Differences t df Sig. (2-tailed) Mean Mean Std. Deviation Std. Error Mean Std. Deviation 95% Confidence Interval of the Difference Std. Error Mean Ročni 47,6592 18,13740 2,04062 Povprečje 52,3408 18,13740 2,04062 Lower Upper Ročni – Povprečje -4,682 36,27480 4,0812 -12,81 3,443 -1,147 78 ,255 Rezultati primerjave ročno/povprečje • Spodnji rezultati zajemajo vseh 8 oseb. Povprečni vrednosti sta si blizu skupaj, standardni odklon pa je precej velik. To kaže na to, da med obemi povprečji najbrž ni statistično pomembne razlike. • Zgornja predvidevanja potrdi tudi parni T test

49. Zaključek • Podan je bil nov pogled na klasične aktivne modele ter pripadajoči algoritem aktivne točke. • Algoritem nam omogoča enotno obravnavo kateregakoli aktivnega modela, ne glede na njegovo prostorsko dimenzijo. • Z algoritmom zlahka zgradimo sklopljene aktivne modele. • Algoritem nam omogoča boljše določanje elastičnih lastnosti aktivnih modelov. • Na primerih sintetičnih in realnih slik smo pokazli, da sklopljeni aktivni modeli vračajo bistveno oziroma statistično pomembno boljše rezultate. • Z nekoliko boljšo določitvijo začetnega položaja bi lahko še izboljšali rezultate segmentacije vratnih vretenc.