Különböző médiumok feldolgozása

1. Különböző médiumok feldolgozása Készítette: Kosztyán Zsolt kzst@almos.vein.hu kzst@ond.vein.hu

2. Számítógépes grafika • Vektorgrafika • A program egy láthatatlan hálóra rajzolja ki a készülő grafikát • A grafikát utasítások halmazaként tárolja. (pl. pont, vonal, kör stb. helyét esetleg irányítását) • Megjelenítéskor ezek az utasítások hajtódnak végre • Előny: Kis méret (általában) • Hátrány: Bonyolult (foto-realisztikus) ábrákat nem, vagy nagyon nehezen lehet leírni vektorgrafikus állományként Alkalmazás: pl. CAD/CAM

3. Számítógépes grafika • Bittérképes grafika • Kép függőleges és vízszintes irányban pontokra (pixel) van felosztva • Megjelenítéskor a képernyő pontjaiban megjelennek az adott pontról tárolt színinformációk • Előnye: Foto-realisztikus képek egyszerű megjelenítése • Hátránya: Nagyobb méret. Nem vagy nehezen lehet műveleteket végezni a képeken lévő alakzatokkal Megjegyzés: Vektorgrafikus=>Bittérképes konverzió egyszerű, Bittérképes=>Vektorgrafikus konverzió nagyon bonyolult

4. Képek jellemzői – színmélység

5. Képek jellemzői - színmélység

6. Képek jellemzői - méret • A képállomány mértét meghatározza: • Vízszintes felbontás • Függőleges felbontás • Színmélység • Leggyakoribb monitorfelbontások (általában 4:3) • 320 x 200, 320 x 240 • 640 x 480 • 800 x 600 • 1024 x 768 • 1240 x 1024 • 1600 x 1240 Pl. 800 x 600 x 24 bit = 1440000 Byte

7. Képek digitalizálása • Lapolvasók fajtái: • Kézi szkenner • Asztali (lap) szkenner • A kép digitalizálás folyamata: • Analóg kép (pl. fénykép) • Kvantálás (dpi=dot per inch) • Digitális kép Pl. 3 inch (7,62 cm) x 300 dpi x 2 inch (5,08) x 300 dpi x 24 bit = 540 000 képpont x 3 Byte = 1 620 000 Byte

8. Képek digitalizálása - szempontok • Felbontás: • Kép esetén általában 100-300 dpi elég. Ha túl magas dpi-n mintavételezünk, akkor egyrészt túl nagy lesz a kép másrészt a képen túl sok zaj jelenhet meg. • Szövegfelismerés esetén kb. 400 dpi • Színmélység: • Lehető legmagasabb színmélységben mintavételezzünk, és ha szükséges a színek számát csak később a digitalizálás után redukáljuk.

9. Képek jellemzése - hisztogram • Hisztogram: Adott színből (gradációs fokozatból) mennyit tartalmaz

10. Képfeldolgozás – különböző digitalizálási hibák kijavítása • Leggyakrabban előforduló hibák • Nem megfelelő (relatív) világosság • Nem megfelelő kontraszt • Nem megfelelő élesség • Különböző zajok megjelenése a képen • Kicsinyítésből és nagyításból eredő hibák

11. (Relatív) világosság, kontraszt változtatása

12. Gamma karakterisztika, hisztogram kiegyenlítése

13. Elmosás, élkiemelés, éldetektálás – Diszkrét konvolúció segítségével

14. Különböző zajok szűrése a képen Átlag (mean): Szórásnégyzet (variance): Mean Square Error (MSE) Jel-zaj arány (signal to noise ratio - SNR)

15. Nagyításból és kicsinyítésből eredő hibák kiküszöbölése • Kicsinyítésből eredő hibák • Elvesznek élek • Információ vesztés • Nagyításból eredő hibák • „pixelesség”

16. Színes képek manipulálása • A képfeldolgozó program esetében szükséges egy belső színtér, mely legyen: • Egyenlő közű • Legyen értelmezve rajta a: • Világosság • Színezet, vagy színezeti szög • Telítettség, vagy a króma

17. Legelterjedtebb képi formátumok • BMP (BitMapped Picture) • Kódolás nélkül, vagy veszteségmentes RLE kódolással tárolt képi formátum • GIF (Graphic Interchange Format) • Helyettesítési (veszteségmentes) eljáráson alapuló maximum 256 színmésélységű képet megjeleníteni képes képformátum • Ha a kép viszonylag homogén, és max 256 színt tartalmaz akkor célszerű ebben a formátumban tárolni. (Egy továbbfejlesztett változata a PNG, de ez még nem nagyon terjedt el.)

18. Legelterjedtebb képi formátumok • JPEG (Joint Photographic Expert Group) • Veszteséges és veszteségmentes (nagy hatékonyságú pszichovizuális és kódolási redundanciát kiküszöbölő) tömörítést alkalmaz • Akár 1:5 (fekete fehér képeknél), 1:10 (színes képeknél) tömörítési arányt is képes produkálni számottevő (észrevehető) minőségromlás nélkül

19. JPEG Képtömörítés • A tömörítés lépései: • RGB => YUV szín-koordinátarendszerbe transzformál • Elválasztja a világosság- és színkódokat (elsősorban a színi információk mennyiségét csökkenti) • 8 x 8 –as tagból álló makró blokkokra bontja, majd a blokkokra egy diszkrét koszinusz transzformáció segítségével kiszámítja a blokkokat alkotó frekvencia komponensek amplitúdóját. • Az eljárás elhagyja azokat a frekvencia komponenseket, melyek amplitúdói egy előre definált paraméter alatt vannak. • A megmaradt képi információkat Huffmann-kódolással tömöríti. MEGJEGYZÉS: A JPEG 2000, DCT transzformáció helyett diszkrét Wavelet transzformációt használ

20. Digitális videotechnika -Színes TV rendszerek • NTSC (National Television Standard Comitee) /1949 USA/ • Képváltás: 29,97 képkocka/s = 59,94 félkép/s • Sorok száma: 525 sor/váltosoros • Képarány 4:3 => függőleges felbontás: 525*4/3=700 képpont

21. Digitális videotechnika -Színes TV rendszerek • SECAM (SÉquential Couleur Avec Memoire) /1957 Francia ország: Henry de France/ • Képváltás: 25 képkocka/s = 50 félkép/s • Sorok száma: 625 sor/váltosoros (egyik változata 819 sort definiál) • Képarány 4:3 => függőleges felbontás: 625*4/3=833,3 = kb. 833 képpont (819*4/3=1092 képpont)

22. Digitális videotechnika -Színes TV rendszerek • PAL (Phase Alternation Line) /1961 NSZK Walter Bruch/ • Képváltás: 25 képkocka/s = 50 félkép/s • Sorok száma: 625 sor/váltosoros (ebből 575 látszik) • Képarány 4:3 => függőleges felbontás: 575*4/3=766,6 = kb. 766 képpont • (Létezik egy PAL-M változat, mely az Európában állomásozó amerikai hadsereg számára lett kifejlesztve. Paraméterei a képváltás kivételével (29,97 kép/s) megegyeznek a PAL rendszerrel.)

23. Digitális videotechnika -Színes TV rendszerek • D2-MAC (Doubinary Multiplexed Analogue Components) • Közbenső megoldás a HDTV és a mai televíziózás között • Képváltás: 25 képkocka/s = 50 félkép/s • Sorok száma: 625 sor/váltosoros (ebből 574 látszik) • Képarány 4:3, 16:9

24. Digitális videotechnika -Színes TV rendszerek • HDTV (High Definition Television) • 2, 3m nézési távolság 45o-os vízszintes látószög esetén • Képarány: 16:9 • 1100 aktív sor, soronként legalább 1900 képpont • 100 Hz képváltási frekvencia • Kompatibilitás: konverterek segítégével

25. Digitális videotechnika -Analóg videoanyagok lejátszása • Videoillesztő kártyák • Képernyő számára analóg videojelet állít elő • A képernyőt egy kiváló minőségű TV készülékké alakítja Előnye: • Kevés az erőforrásigénye (grafikuskártya megkerülése) Hátránya: • Nem lehet képkocka sorokat későbbi felhasználásra rögzíteni

26. Digitális videotechnika -Analóg videoanyagok lejátszása • Overlay kártyák • Beérkező képjelet digitalizálja • Mintavételezési frekvencia legalább 10 MHz, színmélység legalább 16 bit • Lehetővé tesz képkocka befagyasztást • A megjelenített ablak általában 320 x 240 pixel Pl. 320 x 240 x 24 bit x 25 kép/s = 5,493 MB/s

27. Videojelek digitalizálása Leképzés Mintavételezés Kvantálás

28. Videodigitalizáló kártyák • Video esetleg Audio jel digitalizálása • Tömörítés • Szoftveresen • Hardveresen • Tömörített formátum • DVI (Digital Video Interactive) • MPEG (1,2) (Moving Picture Experts Group) • M-JPEG (Motion JPEG)

29. Videoállományok tömörítése • Tömörítés/kibontás szempontjai • Hatékonyság • Sebesség • Tömörítési arány • Minőség • A tömörítés során csökkenteni kell: • Pszichovizuális • Pszichoakusztikus • Kódolási redundanciát Az egyes képkockák nem függetlenek egymástól, hanem közöttük kapcsolat (korreláció) van

30. Videoállományok tömörítése • AVI (Audio Video Interleaved): • Kép és hanginformáció egymás után • Fejléccel rendelkezik, ami megmutatja, hogy milyen tömörítési eljárást használtunk • Szükséges a lejátszáshoz egy megfelelő dekoder • M-JPEG (Motion JPEG) • Az egyes képkockákat JPEG eljárással kódolják • A képek közötti kapcsolatokat nem veszik figyelembe

31. INDEO, DVI • Változtatható képméret és képváltási frekvencia (5-30 Hz) • Képkockák • Kulcs-képkocka • Delta-képkocka

32. Videoállományok tömörítése – MPEG szabványok (MPEG 1) • Háromfajta képkocka • I képkocka: teljes képet tartalmaz, tömörítése a JPEG eljáráshoz hasonlít • P képkocka: előrebecsült képkocka. Csak az előző I és P képkockához képest viszonyított változást tartalmazza. Minél több P képkocka következik egymás után, annál inkább eltérhet a kibontott video állomány az eredeti videoállománytól • B képkocka: Azokat a makroblokkokat tartalmazza melyek a korábbi, vagy későbbi I vagy P képkockához képest megváltoztak

33. Videoállományok tömörítése – MPEG szabványok (MPEG 1)

34. Videoállományok tömörítése – MPEG szabványok (MPEG 2) • I,B, P képkockák használata • Térbeli, időbeli redundanciák keresése • Objektumok keresése • Változó bitsebességű kódolás (VBR) • Képkockák közötti és a képkockán belüli tömörítés azonos elvek szerint • Hang és képállomány független elemi adatfolyamokban (ES) • Független elemi adatfolyamokból csomagolt elemi adatfolyamokat hoz létre (PES) • Ebből továbbított adatfolyamokat hoz létre (TS)

35. Videoállományok tömörítése – MPEG szabványok (MPEG 2) • Átviteli sebesség max 40 Gbit/s • Max képpont 16 000 x 16 000 • Rövid képcsoportok -> Előnyös a szerkesztéshez

36. Videoállományok tömörítése – MPEG szabványok (MPEG 4) • Tetszőleges alakú képi objektumokat lehet önállóan kezelni. Tartalom alapú kódolás. • Hangadatokat, képadatokat audiovizuális objektumokként kezeli (AVO) • Audiovizuális objektumokból összetett ábrák rakhatók össze • Egy audiovizuális jelenet több hierarchikusan szervezett audiovizuális objektumból áll

37. Videoállományok tömörítése – MPEG szabványok (MPEG 4) • Bitsebesség • VLBV (Very Low Bit-rate Video) szint: 176 x 144 képpont max 15 Hz 4,8 – 64 kbit/s • 64 kbit/s – 10 MBit/s

38. Feladat - Képfeldolgozás Egy színes képet tartalmazó fotót (8”x12”) digitalizálunk 1200x1200-as dpi mintavételezéssel 24 bites színmélységben. Ezután tömörítjük a képet JPEG eljárás segítségével. A tömörítési arány 1:8. Mekkora lesz a tömörített kép? • Lesz-e észrevehető minőségromlás? Indokolja válaszát! • Egy festő megkér bennünket, hogy ezt egy vászonra nyomtassuk ki neki, melyet ő majd, mint alapot használ, és később majd erre fest, illetve ezt a képet egészíti ki. A vászon mérete 50 cm x 70 cm (egy ” = 2,54 cm). Milyen torzulások léphetnek fel a nyomtatás során? Ezek hogyan küszöbölhetők ki?

39. Megoldás • A digitalizált kép mérete: 1200 x 1200 x 8 x 12 x 24 = 3317760000 bit =  414720000 B = 395,5078125 MB • A tömörített kép mérete: 49,4384765625 MB • Valószínűleg nem vehető észrevehető a minőségromlás mivel általában 1:8 tömörítési arány színes képek esetén még nem jár minőségromlással. • A minőségromlás nyomtatáskor: • Színtorzulás, nagyításból eredő hibák stb.

40. Feladat - Hangfeldolgozás Egy Dolby Digital hangrendszer segítségével (5 csatorna) rögzítettünk egy 3 perc, 51 másodperces zene számot. A mintavételezés 48 kHz. A kvantálási hossz 24 bit. Ezután tömörítettük MPEG 2 AAC segítségével az egyes csatornákat 96 kbps sűrűségüre. Mekkora az eredeti fájl mérete? Mekkora a tömörítési arány? Mekkora a tömörített fájl mérete?

41. Feladat – Videófeldolgozás Egy internetes újság a következőkkel bíz meg bennünket: egy közéleti személyiség beszédét (39 perc 37 másodperc 320 x 240 –es felbontásban 16 bites színmélység mellett) kell az Interneten keresztül elérhetővé tenni mindenki számára. Főnökünk azt szeretné, ha olyanok is letölthetnék, illetve folyamatosan nézhetnék, akiknek csak modemjük van, és csak 40 kbps sávszélességet tudnak átlagban kihasználni. Továbbá közli velünk, hogy maximum csak 19 MB–ot tud számunkra biztosítani. A videóanyagot PAL rendszerű VHS kazettára vették fel. Melyet először digitalizálunk tömörítés nélkül (564x768 képkocka x 24 bites színmélység 25 kép/s, a hangot sztereó hangminőségben 44,1 kHz-en 16 bites kvantálási hosszal)

42. Feladat – Videófeldolgozás • Mekkora a tömörítetlen file hossza? • Mekkorának kell legalább lenni a tömörítési aránynak, hogy a fenti feltételeknek megfelelő minimális minőségromlással járó videóanyagot kapjon? • Megoldható-e a fenti feladat? Indokolja állítását! Amennyiben a feladat megoldható, úgy részletesen írja le a megoldás menetét (használjon ki minden lehetséges tömörítési lehetőséget pl. beszéd tömörítéséhez szükséges kvantálási hossz, megjeleníteni kívánt videó-ablakméret, kép/sec, tömöríési eljárás stb.)!

43. Megoldás • A tömörítetlen file hossza: (39x60+37)x(564x768x24x25+44100x16x2)= = 2377x(259891200+1411200) = 621115804800 bit = 77639475600 B = = 74042,7738189697265625 MB = 72,30739630758762359619140625 GB • A tömörítési arány: A folyamatosság miatt, a file mérete maximum: 40x1024x(39x60+37)= 97361920 bit = 12170240 B = 11,6064453125 MB < 19 MB, tehát ezt a file méretet kell alapul venni! • A teljes tömörítési arány tehát: 97361920:621115804800=1:6379,453125 –nak kellene lennie.

44. Megoldás • A kívánt tömörítési arányt el lehet érni a következőképpen: • Felbontás színmélység, kvantálási hossz, mintavételezési frekvencia csökkentése: • A kívánt videó-állomány jellemzői: (320x240x16x16 + 11025x8)x(39x60+37)= 46943373000 bit ez 1:13,231171198541698313838675375968 tömörítés • Ez után MPEG 4 eljárással kódoljuk a videó-anyagot, mely kódolás kihasználja, hogy egy beszéd esetén nincs túl sok mozgás. Hangot is csak egy szűk tartományba kell kódolni.

45. Irodalom • CSÁNKY LAJOS: Multimédia PC-s környezetben, LSI Oktatóközpont, Budapest, 1996. • RALF STEINMETZ: Multimédia Springer Hungarica Kiadó Kft., Budapest

46. Irodalom - folyóiratok • Vége Csapó Ennyi, Digitális Videó Eszközök. CHIP Magazin XII. évfolyam 8.szám. 2000. augusztus • Lame az enyém MP3. CHIP Magazin XIV. évfolyam 7. szám 2002. július • Tippek és Tanácsok 23. Hogyan készíthetünk videoanyagokat PC-n, PC Word melléklet. 2001/10. október • Digitális Videó És Számítástechnika, VIDEO praktika V. évfolyam 8-9 szám. 1999.

47. Irodalom - Internet • http://www.adobe.com • http://www.matrox.com/mga • http://www.sysopt.com/reviews/matrox-g450 • http://www.fontolo.hu/magazin/digivideo/digivideo.html • http://www.mpeg.org/MPEG/audio.html • http://www.fraunhoffer.iis • http://www.intermedia.c3.hu/oktanyag/video/videotechgyak • http://www.movie-collage.de

48. Köszönöm a figyelmet!