1. Kodiranje videa Digitalna obdelava zvoka, slik in videa Podiplomski študij FE 18.3.2003 Boštjan Marušič

2. Ponovitev: transformacijsko kodiranje slik • Izločanje odvisnosti med slikovnimi elementi (transformacija) • Izločanje redundantne informacije • Izločanje irelevantne informacije (entropijsko kodiranje) • Korelacija je posledica visoke prostorske (krajevne) vzorčne frekvence (visoke ločljivosti slik)! Linearna transformacija Kvantizacija Entropijsko kodiranje Dekorelacija (DCT, wavelet) Slike navadno vsebujeje veliko redundantne informacije – področja konstantne intenzitete Izločanje redundance (oko ni občutljivo na visoke frekvence), bitna alokacija Izločanje irelevantne informacije (Huffman, aritmetični kodirnik, LZW)

3. O predavanju • Email: • bostjan.marusic@fe.uni-lj.si • Prosojnice, gradiva • http://ldos.fe.uni-lj.si/vaje/PODOS/ • Glej “Kodiranje videa”

4. Potreba po kodiranju videa • 25 fps • VHS: 352x288, 12bitov/slikovni element = 30,4 Mbit/s • TV 704x576, 12 bitov/ slikovni element = 121,7 Mbit/s • Video CD (MPEG 1) 1,2 Mbit/s • DVD (MPEG 2) 4-8 Mbit/s • MPEG 4 (DivX) < 28 kbit/s • Kompromis med kvaliteto in pasovno širino!

5. Lastnosti video signalov • Zaporedje slik (frame) -> odvisnost med slikovnimi elementi • Časovna vzorčna frekvenca (slik/s = fps) > 25 fps (človeška percepcija) – zaporedne slike se malo razlikujejo  medslikovna odvisnost (korelacija) • Definicija inter- in intra-korelacije/kodiranja Tri slike iz videa “Mom&kid” s časovno vzorčno periodo 1/10s oz. fvz = 10fps

6. Lastnosti video signalov 2 • Prepletajoče / progresivno vrstično vzorčenje • 25 sodo- oz. liho vrstičnih slik (field)/s – kompromis med časovno in prostorsko ločljivostjo ter pasovno širino signala – uporabljeno pri analognem TV prenosu, npr. PAL • Digitalni video signal = diskretna 3D funkcija • S[i, j, t]

7. Najpreprostejši način – vsako sliko kodiramo neodvisno • Uporabimo transformacijski kodirnik na vsaki sliki • JPEG  MJPEG • Nizka zgostitvena razmerja (1:10) • Nizka računska kompleksnost • Ne upoštevamo časovne odvisnosti slik!

8. Diferenčno kodiranje videa • S transformacijskim kodirnikom kodiramo najprej referenčno sliko, nato pa razlike med zaporednimi slikami • Bistveno zmanjšanje informacije, ki jo moramo kodirati • Prvi video kodirniki

9. Napoved gibanja = postopek računanja vektorjev premika • Predpostavka: • Izravnava gibanja – napoved trenutne slike iz referenčne: • Napaka napovedi:

10. Napoved gibanja – osnovna ideja • Kodiramo parametre premika = vektorje premika • Napoved gibanja = računanje vektorjev premika

11. Računanje vektorjev premika na osnovi OF enačb • Predpostavka (korelacija) – vsaka točka iz referenčne slike se premakne v trenutno sliko. • Za vsako točko dobimo dva parametra (vektor premika), ki določa kje se je točka nahajala v referenčni sliki. • Ali se izplača? (NE!) • Zahtevno računanje sistema enačb. • Preveliko število parametrov, ki jih je potrebno kodirati • Nov vpogled v kodiranje videa! Ne kodiramo slike oz. Razlike temveč parametre translacije slikovnih elementov = vektorje premika. Pozor: dx = dx(x,y) ter dy = dy(x,y)

12. Bločna napoved gibanja • Število vektorjev premika zmanjšamo tako, da predpostavimo translacijsko gibanje makroblokov iz slike v sliko (tipična velikost 16x16)

13. Bločna napoved gibanja • Računanje vektorjev premika na osnovi minimizacije kriterijske funkcije • Navadno uporabljamo MSE kriterij • Ali pa SAD (v večini implementacij)

14. Bločna napoved gibanja (Dodatna folija) MV

15. Primer Uporaba bločne napovedi gibanja: a) referenčna slika, b) trenutna slika z vektorji premika, c) razllika, d) napovedana slika e) OBMC napoved, f) napaka napovedi

16. Vektorji premika glede na tip gibanja in napoved gibanja – problem bločne napovedi gibanja

17. Kompleksnost napovedi gibanja • Približno 2/3 operacij kodiranja je posledica napovedi gibanja • Najosnovnejši pristop je omejitev področja iskanja na najbolj verjetno področje • Ni/miNj/mj2Mi2Mj (kmimj)  kNiNj 2Mi2Mj.

18. Hitri postopki iskanja vektorjev premika • Popolno iskanje je prekompleksno. Nikoli ni uporabljeno pri kodiranju v realnem času. • Kompromis med natančnostjo in hitrostjo – testiramo samo manjši del vseh možnih hipotez = hitri postopki iskanja • Trikoračni postopek • Logaritemski postopek • Hierarhično iskanje vektorjev premika

19. Logaritemski postopek iskanja

20. Trikoračni postopek iskanja

21. Ortogonalni postopek iskanja

22. Hierarhični postopek iskanja

23. Izboljšave pri napovedi gibanja “fractional pel” accuracy • Pogosto se objekt premakne za manj kot 1 slikovni element v dani smeri • Rešitev: napoved gibanja z neceloštevilčnimi vektorji premika (fractional motion estimation) – interpolacija referenčne slike

24. Primer • Slika napake napovedi s celoštevilčnimi vektorji premika ter z vektorji z natančnostjo ½ slikovnega elementa (2x interpolacija)

25. Izboljšave: Neomejeni vektorji premika • “Unrestricted motion vector” • Pogosto se kamara transaltorno premika in objekti uhajajo iz vidnega polja – napake na robu slike z omejenimi vektorji premika

26. Izravnava gibanja z OBMC • “Overlapping block motion compensation” • Uporaba prekrivajočih makroblokov 32x32 ter okenske funkcije

27. Primer: rezultat OBMC Navadna izravnava gibanja OBMC

28. Dodatne izboljšave napovedi gibanja • Prilagodljiva velikost makroblokov • “Backward motion estimation” – referenčna slika je prihodnja slika • “Bidirectional motion estimation” – za vsak makroblok se sproti odločimo, ali bo referenčna slika predhodna ali naslednja (vsi sodobni kodirniki). • Deformabilni makrobloki

29. Hibridni kodirnik

30. Alternativa h hibridnemu kodiranju – Transformacija vzdolž časovne osi • Ne vnaša odvisnosti med zaporedne slike – optimalna bitna alokacija je možna • Haarova transformacija vzdolž časovne osi • Ekvivalentna diferenčnemu kodiranju • Neučinkovita, ko je prisotno gibanje

31. Transformacija v smeri vektorjev premika • Izvedenka iz Haarove transformacije • Poveča se učinkovitost postopka • Poveča se kompleksnost zaradi napovedi gibanja (ni pa izravnave) • Problem: ne obstaja vedno enolično določljiva povezava med slikovnimi elementi, če uporabimo bločno napoved gibanja

32. Primerjava hibridnih kodirnikov s kodirniki na osnovi časovne transformacije Opazna bločna popačenja Nizka kompleksnost Nizka zakasnitev Ni bločnih popačenj, slika je zamegljena – večja učinkovitost zaradi optimalne bitne alokacija Visoka računska kompleksnost Visoka zakasnitev kodiranja zaradi hkratnega kodiranja več slik.

33. Zaključek – pregled standardnih postopkov • H261 – najosnovnejši hibridni koder • Samo P napoved gibanja z celoštevilčnimi vektorji • MPEG 1 • OBMC, “half pixel” napoved gibanja, P in B napoved gibanja • MPEG 2 • H.263 (APM, neomejeni vektorji premika, aritmetično kodiranje) • MPEG4 (DivX) • H.264 (H.26L) = MPEG 4 L10