220 likes | 305 Vues
Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek. Srancsik Bálint, Tihanyi Attila. Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28. Videó előfeldolgozás. Audio előfeldolgozás. SzinkronizáltAudio-vizuális adatbázis.
E N D
Képfeldolgozási érdekességek, MPEG-4 alapú fejmodellek Srancsik Bálint, Tihanyi Attila Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 1083 Budapest, Práter u. 50/a. 2006. június 28.
Videó előfeldolgozás Audio előfeldolgozás SzinkronizáltAudio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés MFCC Ellenőrzés NN w1 … w6 főkomponens súlytényezők Eredmények PCA -1 FP tartópont koordináták MPEG-4 alapú mozgó száj megjelenítés
Arcanimáció (FA) – informatikai megközelítés MPEG-4 Kutató Művész
Kódolás, dekódolás Kódoló ? Dekódoló ? Adat formátum Az MPEG-4 FA-ban nincs szabványosítva a kódoló és a dekódoló
Kódolás-dekódolás szerkezete FDP – Face Definition Parameter FP – Feature Point FAP – Facial Animation Parameter FAPU – Facial Animation Parameter Unit (FAT – Face Animation Tables)
Arckifejezések MPEG-4-es megvalósítása Az első csoportba tartozó két FAP magas szintű paraméter -> előre definiált komplexebb mozgásokat lehet végrehajtani velük. Számítógépes modell • Neme (fiú, lány) • Kora • Érzelmi állapota
FP meghatározás Erózió Dilatáció Invertálás Döntéshozás Lényeg-kiemelés Eredeti
Videó előfeldolgozás Audio előfeldolgozás SzinkronizáltAudio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés MFCC Ellenőrzés NN w1 … w6 főkomponens súlytényezők Eredmények PCA -1 FP tartópont koordináták MPEG-4 alapú mozgó száj megjelenítés
Lucia • Bőr (15736) • Haj (4608) • Szemek (5376) • Fogak (1033) • Nyelv (236) • Torok (318)
Animáció megvalósítás • Tartópont mozgatás • Tartópontok egymásra hatása • Száj körül a bőrfelült részekre osztásával valósítható meg a mozgatás
Tartópontok egymásra hatása • Közeli pontok hatóköre összeér Álkapocs forgáspont rögzítése szükséges Álcsúcs mozgatásának a hatóköre nagy!
Műveletek MPEG-4 adatokkal Érzelmet, szájállást megjelenítő fej • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei Alapállású fej Alapállású fej Érzelmet, szájállást megjelenítő fej
Animáció meggyorsítása • A modell méretarányának ismeretében határozhatók meg az egyes FDP-k elmozdulásának mértékei • Előre legkésőbb a modell betöltésekor meghatározhatók az FDP-k által mozgatott hálópontok • Modellt alkotó háló pontjainak válogatása, sorba állítása elmozdulás mértéke szerint • Rendelkezésre álló gép kapacitásnak azonnali automatikus skálázása valósítható meg.
Videó előfeldolgozás Audio előfeldolgozás SzinkronizáltAudio-vizuális adatbázis Szájmozgást előállító rendszer Akusztikus lényegkiemelés MFCC Ellenőrzés NN w1 … w6 főkomponens súlytényezők Eredmények PCA -1 FP tartópont koordináták MPEG-2 alapú mozgó száj megjelenítés
Teszt eredmények Ellenőrzés Eredmény Markerekkel vezérelve Hanggal vezérelve
Teszt eredmények • A: Video felvételek • B: LUCIA FP koordinátákkal vezérelve • C: LUCIA hanggal vezérelve
Továbblépések Előfeldolgozás Szájmozgást előállító rendszer Adatbázis
Videó előfeldolgozás Audio előfeldolgozás SzinkronizáltAudio-vizuális adatbázis Szájmozgást előállító rendszer Bemutató következik Akusztikus lényegkiemelés MFCC Ellenőrzés NN w1 … w6 főkomponens súlytényezők Eredmények PCA -1 FP tartópont koordináták MPEG-4 alapú mozgó száj megjelenítés