Zajem in optimalno kodiranje slik

1. Zajem in optimalno kodiranje slik Urban Burnik

2. Predstavitev • Osnovni gradniki sistemov za zajem, prenos in prikaz slikovnega gradiva • Zgoščevanje slikovnega zapisa • Standardi • Vrednotenje kvalitete storitev • Optimizacija kodiranja • Sklep • Arhitektura slikovnega sistema Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

3. Digitalne komunikacijske storitve Porazdeljene informacijske vsebine Aktivna vloga uporabnika informacij Pomen grafičnega prikaza podatkov Navidezno delovno okolje Heterogena oprema za dostop do vsebin Konvergenca večpredstavnih tehnologij Uporabnik storitve Grafične storitve in količina podatkov Izraba trenutnih komunikacijskih virov Optimalno kodiranje slik Osebne zahteve uporabnikov Prilagodljive storitve za prenos slik Upravljanje s kvaliteto zapisa Sistemska podpora in sredstva Osebne komunikacijske storitve Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

4. Zasnova sistema za optimalni prenos slikovnega gradiva Cilji: • Primerna kvaliteta prikaza • Sprejemljive zakasnitve • Interoperabilnost Sredstva: • Metapodatki kot osnova za optimalno izvedbo storitve • Dodatna informacija o gradnikih informacijskega sistema • Standardiziran zapis (XML, MathML...) VIRSLIKE PRIPRAVAGRADIVA PRILAGODLJIVOKODIRANJE KRMILNALOGIKA KOMUNIKACIJSKO OMREŽJE PRIKAZSLIKE PRIPRAVAPRIKAZA PRILAGODLJIVODEKODIRANJE Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

5. Zvezna preslikava (FRT) Vzorčenje Barve in komponentni zapis Binarna slika Indeksirani barvni prostor Komponentni barvni zapis Kodiranje Brezizgubno Izgubno Zajem slike Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

6. Zajem slike Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

7. Vzorčenje Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

8. Barve in komponentni zapis Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

9. Prikaz gradiva • Velikost prikazovalnika • Ločljivost • Barvni zapis • Format zapisa Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

10. Potreba za zgoščevanjem slike • Omejeni viri za prenos in shranjevanje • Velikosti značilnih digitaliziranih slik (v nezgoščeni obliki)Slike:512x512 px x 24 bpp =6.3 MbitVideo:640x480 px x 24 bpp x30 fps = 221 MbpsHDTV:1280x720 px x 24 bpp x 60 fps = 1.3 Gbps Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

11. Zgoščevanje slik • Dekorelacija zapisa • Krajevni prostor • Linearne transformacije • Večločljivostni postopki • Kvantizacija koeficientov • Enakomerna • Vektorska, • EZW • Simbolno kodiranje • Huffman-ovo, • Aritmetično • RLE Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

12. Osnovna načela postopkov za zgoščevanje slik • Izraba močne prostorske koreliranosti podatkov, ki tvorijo sliko • Uporaba postopkov za dekorelacijo podatkov: • Transformacija koreliranih signalov v nekorelirane signale z neenakomerno porazdelitvijo verjetnostne gostote • Entropijsko kodiranje za zmanjšanje obsega podatkov Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

13. Osnovni postopki • V prostoru točke • Omejevanje ločljivosti in barvne globine • V krajevnem prostoru • Napovedno kodiranje (brezizgubno) • Iterativne funkcije (fraktali) • Valovno kodiranje • Transformno kodiranje • Podpasovno kodiranje • Postopki druge generacije • Slikovni gradniki (primitivi) (objekti, vzorci) • Statistični postopki za končno zgoščevanje Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

14. Transformacijski postopki Razlogi: • Z uporabo primernih transformacij pretežni delež energije zgostimo v nekaj točkah, pri čemer preostale člene brez bistvenega poslabšanja kvalitete zaokrožimo navzdol na 0 • Dobro izbrana transformacija dekorelira (zmanjša linearno odvisnost med neničelnimi koeficienti) in s tem poveča učinek kvantizacije • Dobro izbrana transformacija razgradi signal v smeri primernih baznih funkcij • Čutila zaznavajo v frekvenčnem prostoru, zato so transformacijski postopki primerni za uporabo mere napake, ki temelji na lastnostih zaznavanja. Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

15. Optimalna transformacija Minimizira kriterijsko funkcijo napake zaradi kvantizacije • R-kovariančna matrika signala x • A-matrika transformacije • B-rekonstruirana matrika Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

16. Karhunen Loève Transformacija (KLT) Prednosti • KLT optimalno dekorelira koeficiente • Bazne funkcije so lastni vektorji kovariančne matrike signala • KLT dosega optimalno koncentracijo energije Slabosti: • KLT je odvisna od slike • KLT ni ločljiva • Ne omogoča faktorizacije v redke (sparse) matrike. Za močno korelirana območja na slikidober približek: DCT Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

17. DCT-algoritmi Glavni koraki: • DCT • Kvantizacija • Cikcak ureditev • DPCM enosmernih koeficientov • RLE izmeničnih koeficientov • Entropijsko kodiranje Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

18. Diskretna kosinusna transformacija Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

19. Zmanjšanje števila bitov Kvantizacijska napaka Enakomerna kvantizacija -> Kvantizacijske tabele Izbor in skaliranje QM Kvantizacija in urejanje podatkov Cik cak zaporedje Matrika -> Vektor Nizke frekvence so zbrane na vrhu vektorja Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

20. Diferencialna Pulzno Kodna Modulacija (DPCM) DC komponenteDC komponenta je velika in raznolika, a pogosto podobna sosednji vrednosti Run Length Encode (RLE) AC komponent1x64 vektor vsebuje veliko ničelniih koeficientov, ki se kodirajo kot pari (skip, value) Entropijsko kodiranje JPEG zaporedje Kodiranje koeficientov Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

21. Linearni večločljivostni postopki Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

22. Slika z 2jtočkovnimi elementi, ali vektor, v Vj Osnove valčnega kodiranja Primer preprostih baznih funkcij v prostoru Vj - skaliranje Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

23. Novi vektorski prostor Wjje ortogonalni komplement Vjv Vj+1 Množico linearno neodvisnih funkcij, ki obsega prostor Wjimenujemo valčki Valčki... (neformalno si Wjpredstavljamo kot podrobnost v Vj+1ki je v Vj ne vidimo) I(x) kot vsota baznih funkcij v V0, W0, in W1: Cilj: približek z najmanj koeficienti Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

24. Valčni razcep slike Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

25. Primerjava kodiranja DCT “bločna popačenja” Wavelet “zvonjenje” Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

26. Entropijsko kodiranje • Statistični postopki za zmanjšanje obsega podatkov na podlagi porazdelitve vrednosti koeficientov • RLE • Aritmetični • Hufmannov Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

27. Kriteriji kvalitete storitve Kvantitativno vrednotenje kvalitete storitev • Funkcijski model zaznavanja signalov • Vrednotenje kvalitete kodiranja • Vrednotenje zakasnitev in odzivnosti Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

28. 60 3 svetilnost razdalja S5 50 bolecina S4 40 2 subjektivna ocena Sprememmba vzbujanja, S3 30 pri kateri razlika postane opazna subjektivna funkcija zaznavanja 1 S2 20 S1 10 0 0 0 10 20 30 I1 I2 I3 I4 I5 0 10 20 30 40 50 60 70 80 90 100 absolutni prag jakost vzbujanja Vzbujanje jakost vzbujanja zaznavanja Modeli zaznavanja signalov Webrov zakon (1834) Fechnerjev zakon Stevensov zakon razlike med čutilipotenčna funkcijaSvetilnost, b=0,33Električni šok, b=3,50 analitični model zaznavanja na podlagi Webrovega zakona: logaritmična odvisnost prag zaznavanja in absolutna vrednost vzbujanja sta v konstantnem razmerju Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

29. Srednja kvadratična napaka Vršno razmerje signal-šum Vrednotenje kvalitete kodiranja Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

30. PQS Vrednotenje značilnih napak standardnih kodirnikov Dobra korelacija s subjektivno oceno JND Prag zaznavanja napake v prostoru DCT Namenjen optimizaciji kvantizatorja Subjektivno usmerjeni kriteriji Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

31. Komunikacije v realnem času Prag zaznavanja T<100ms (Shah) Sprejemljive zakasnitve T<600ms (Jayant) CCITT G.114: T<150ms sprejemljivo za večino uporabnikov 150ms<T<400ms vpliva na določene aplikacije T>400ms v splošnem ni primerno Odzivnost interaktivnih storitev Mejne vrednosti 0,1s(takoj) 1s (sprejemljivo) 11s (izguba pozornosti) Uporabna vrednost kriterija? Vrednotenje odzivnosti sistemaZgornja meja zakasnitev Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

32. Zvezno vrednotenje zakasnitve • Stroškovni modeli • Percepcija zakasnitev (Johnson) • Študija ekonomskih vplivov • Uporabnost informacije kot funkcija časa do izpolnitve zahteve • Pričakovani čas storitve • Dodatne časovne prednosti ne vrednotimo • Uporabna vrednost informacije s časom upada uporabna vrednost informacije Tmin Tmax cas pridobitve informacije Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

33. 5 4 3 F(t) 2 1 0 Ta Td Tn t Vrednotenje zakasnitev z uporabo Stevensovega zakona • Aproksimacija funkcije s predpisanimi lastnostmi s potenčno funkcijo (Stevens) na intervalu opazovanja • določimo primerni eksponent p • V realnem času p3 • S pričakovano zakasnitvijo p0,3 Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

34. Povečanje učinkovitosti prenosa slik Uravnavanje bitne gostote zapisa • Optimalno dodeljevanje bitov in teorija R(D) • Optimalna kvaliteta zapisa ob izbrani bitni gostoti • Uporaba področnih prioritet pri vrednotenju • Segmentacija, vsebina, kvaliteta • Optimizacija kodiranja simbolov Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

35. D(R) R Optimalno dodeljevanje bitov in teorija R(D) • Optimalna kvaliteta zapisa ob izbrani bitni gostoti • Spodnja meja srednje kvadratne vrednosti napake kodiranja (Huang & Schultheiss; Shannon) • Izbira ustrezne obratovalne točke kodirnika mejna funkcija D(R) obratovalne tocke kodirnika opt D R opt Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

36. Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

37. Wavelet 200 JPEG boats 200 goldhill boats 180 lena goldhill 180 lena text text 160 160 140 140 120 120 100 100 MSE MSE 0 80 80 60 60 40 40 20 20 0 0 2 4 6 8 10 12 R(KB) 0 2 4 6 8 10 12 4 x 10 R(KB) 4 x 10 Wavelet JPEG Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

38. kriteriji popacitev Popt Ropt R Optimalna točka obratovanja storitve • Vrednotenje skupne kvalitete storitve • Dvostopenjsko reševanje • R=Ropt • Klasična optimizacija D(R) F (R) os P(R) Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

39. Uporaba področnih prioritet pri kodiranju • Segmentacija • Kodiranje bitne slike poljubne oblike • Kvaliteta kodiranja objekta • Kodiranje oblike in teksture • SA-DCT, SAWT • Uporaba področnih prioritet • ROI, JPEG, Wavelet • Uporaba utežene kvantizacije in standardnega dekodirnika Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

40. Primeri: Obliki prilagojena diskretna kosinusnatransformacija Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

41. Primeri: • Obliki prilagojeno valčno kodiranje Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

42. Primeri: • V obeh primerih je potrebno kodiranje oblike Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

43. Optimizacija kodiranja simbolov • Optimizacija Huffmanove kodne tabele • Smiselna v primeru visokih stopenj zgoščevanja • Opazne izboljšave kodne tabele zaradi spremembe porazdelitve koeficientov • Dodatni prenos podatkov (tabela) Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

44. Sklep Prilagodljiva storitev na podlagi: • Trenutne komunikacijske povezave • Lastnosti uporabniškega terminala • Zahtev uporabnika Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

45. <ImageInfo Name="Bostjan"> <IMAGE_ID> imid://ldos.fe.uni-lj.si/foto/ieee/bostjan_lecture <IMAGE_ID> <FILE_FORMAT> <FILE_NAME REF="bostjan_lecture.jpg"/> <FORMAT>JPG</FORMAT> <FORMAT_VERSION>1</FORMAT_VERSION> <MIME_TYPE>image/jpeg</MIME_TYPE> </FILE_FORMAT> <IMAGE_SIZE> <WIDTH>480</WIDTH> <HEIGHT>640</HEIGHT> </IMAGE_SIZE> <IMAGE_COMP> <COLOR_INFO> <COLORSPACE>GRAY</COLORSPACE> </COLOR_INFO> <CHANNEL_INFO CHANNEL_NUMBER="1"> <CHANNEL> <CH_NAME>K</CH_NAME> <CH_SIZE>8</CH_SIZE> </CHANNEL> </CHANNEL_INFO> </IMAGE_COMP> <RegionInfo Name="Face"> <RECT> <X>128</X> <Y>72</Y> <WIDTH>128</WIDTH> <HEIGHT>128</HEIGHT> </RECT> <EncodingInfo> <Impact> 1.00 </Impact> </EncodingInfo> </RegionInfo> <RegionInfo Name="Painting"> <RECT> <X>100</X> <Y>0</Y> <WIDTH>240</WIDTH> <HEIGHT>120</HEIGHT> </RECT> <EncodingInfo> <Impact> 0.75 </Impact> </EncodingInfo> </RegionInfo> </ImageInfo> \end{Verbatim} Primer uporabe JPEG 113KB, 480×640, 24bpp

46. Priprava gradiva <USER_PREFERENCE> <ENCODING_INFO> <REGION_TYPE Name="OTHER"> <Impact> 0.1 </Impact> </REGION_TYPE> <REGION_TYPE Name="PERSON"> <Impact> 1.0 </Impact> </REGION_TYPE> <RESIZE> FALSE </RESIZE> <CROP> TRUE </CROP> </ENCODING_INFO> </USER_PREFERENCE> <DISPLAY_FORMAT> <STANDARD> <FORMAT>JPG</FORMAT> <FORMAT_VERSION>1</FORMAT_VERSION> </STANDARD> </DISPLAY_FORMAT> <DISPLAY_SIZE> <WIDTH>240</WIDTH> <HEIGHT>320</HEIGHT> </DISPLAY_SIZE> <DISPLAY_CCH> <SYSTEM_INFO> <<COLORSPACE>GRAY</COLORSPACE> </SYSTEM_INFO> <CHANNEL_INFO CHANNEL_NUMBER="1"> <CHANNEL> <CH_NAME>K</CH_NAME> <CH_SIZE>8</CH_SIZE> </CHANNEL> </CHANNEL_INFO> </DISPLAY_CCH> <NETWORK_INTERFACES> <INTERFACE> <LABEL>GSM</LABEL> <MAX_BITRATE>9600</MAX_BITRATE> </INTERFACE> <INTERFACE> <LABEL>HSCSD</LABEL> <MAX_BITRATE>28800</MAX_BITRATE> </INTERFACE> </NETWORK_INTERFACES> <NETWORK_CONNECTION> <LABEL>GSM</LABEL> <BITRATE>9600</BITRATE> </NETWORK_CONNECTION> JPEG kodiranje s področno prioriteto in rezanje navelikost prikazovalnika: 10 KB

47. Optimizacija kodiranja Prikaz vrednotenja kvalitete storitve na mobilnemterminalu B1=9600 bit/s (GSM)B2=28800 bit/s (HSCSD) Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko

48. B=9600 bps,R=3011 B,T=2,5s B=28800 bps,R=4898 B,T=1,35s Laboratorij za digitalno obdelavo signalov Univerza v Ljubljani, Fakulteta za elektrotehniko