Multimédiá – VRML

Multimédiá – VRML Doc. Ing. Juraj Vaculík, PhD., Mail : juvac@fpedas.utc.sk 57

Virtuálna realita • Virtuálnu realitu (VR) môžeme charakterizovať ako prostredie, ktoré umožňuje prácu v trojrozmernompriestore, vymodelovanom v pamäti počítača. • V tejto súvislosti sa používa aj pojem Cyberspace. Slovo Cyberspace použil ako prvý William Gibson vo svojej novele "Neuromancer" a vysvetlil ho ako priestor vytvorený na počítači, v ktorom samôžemepohybovať a popritom využívaťvšetkysvojezmysly. MM I/2006

Virtuálna realita - základy • Základom virtuálnej reality sú postupy známe z počítačovejgrafiky. Ide hlavne o tvorbu priestorových modelov a scén, manipuláciu s nimi, pohyb v trojrozmernom priestore a zobrazovanie v reálnom čase. • Virtuálna realita umožňuje človeku vizuálne sprostredkovať komplexné a rozsiahle dáta, manipulovať s nimi a integrovať ich pomocou počítača. MM I/2006

Virtuálna realita - rozhranie • VR predstavuje v súčasnosti najmodernejšie rozhranie v oblasti integrácie človek-počítač. • Pomocou VR technológie je možné pohybovať sa v n-rozmerných svetoch. • Štandardné metódy sú v aplikáciách virtuálnej reality rozšírené použitím špeciálnehohardvérovéhovybavenia (periférií), ktoré zaisťuje obrazovú, zvukovú a hmatovú interakciu. MM I/2006

Vlastnosti • Navigácia - veľa riadiacich volieb - walk, fly, examine a ich kombinácie (niektoré napríklad Contact a Cortona tiež podporujú proprietárny mode pre avatarov - osoby) • Viewpoints - pohľady - preddefinované pozície pohľadov imaginárnej kamery • Modely - primitívy (box, sphere, cone, cylinder), extrusions, indexed face set (mriežka), line set, point set, elevation grid a text (podpora geometriu spline a NURBS) • Materiál - diffúzne farby, zrkadlenie (specular), vyžarovanie (emissive), okolie (ambient), lesklosť (shininess), priehľadnosť (transparency), farbu pre vrcholy (vertex) • Zvuky - plná podpora pre formáty WAVE alebo MIDI MM I/2006

Vlastnosti ... • Textúry - podpora formátov JPEG, GIF, PNG a MPEG1 video. (Contact and Cortona taktiež podporuje Flash, RealMedia, AVI, multi-texturing and environment mapping) • Odvetľovanie - priamy, bodový a všesmerový model osvetlenia • Špecialne uzly - pozadie, prepínač (switch), hyperlink (anchor), billboard a fog (hmla) • Performance - LODs (levels of detail), zobrazovanie na základe vzdialenosti • Kolízie - riešeniekolízií - detekcia kolízií medzi užívateľom a objektmi alebo medzi objektmi na scéne • Animácia pozície, rotácia, zmena mierky, definícia bodov, farieb a pod. MM I/2006

Vlastnosti ... • Senzory - vnímanie užívateľskej aktivity ako dotyk, ťahanie (plane, cylinder a sphere), čas, blískosť (proximity), viditeľnosť (visibility) • Scripting - Interfaces priamo na Javascript, Java, web browser a ľubovolný programovací jazyk na klientskom počítači • Routes - prepojenie akcií - skriptovanie, animácie a vlastnosti objektov môžu byť prepojené dohromady • Compact - extrémne malá veľkosť súborov pomocou gzip kompresie *.wrlz • Modularita - odvolávky na externé textúry, modely, scény a skripty a pod. MM I/2006

Rozdelenie VR • Na základe toho s akou mierou dokáže ovplyvniť ľudské vnímanie možno virtuálnu realitu rozdeliť nasledovne: • jednoduchá - vstupná • rozširujúca - základná • premietaná • pohlcujúca MM I/2006

Jednoduchá virtuálna realita • K vytvoreniu pocitu práce v inom prostredí sa používa obyčajnáobrazovka. Pre zvýraznenie 3D zvuku sa používajú rôzne zvukovékarty s reproduktormi, ktoré sú schopné reprodukovať zvukspriestorovýmefektom a na pohyb a uchopovanie predmetov slúži obyčajná myš. • Tento druh sa používa aj na internete, kde treba zabezpečiť rýchlyprenosdát, prístupný čo najväčšiemu počtu používateľov. MM I/2006

Ukážka ... MM I/2006

Rozširujúca virtuálna realita • Informácie z okolitého sveta sú doplňované o prvky virtuálnej reality. Príkladom sú rôzne simulátory. • Vonkajšíobraz je snímaný kamerou a prenášaný na obrazovku v kabíne, napríklad leteckého simulátora. • Tento spôsob sa používa, napr. aj pri inštalácii elektrických rozvodov v lietadlách Boeing. Technici majú okuliare, cez ktoré normálne vidia, ale zároveň sú im do nich premietané doplňujúce značky, ktoré jednoznačne určujú miesta prepojenia káblov podľa toho, kam sa pracovník pozerá. MM I/2006

Ukážka ... MM I/2006

Premietaná virtuálna realita • Dáta sú voprednasnímané a potom premietané do priestoru okolo používateľa. Ideálne je, ak sú obrazy premietané na všetky steny miestnosti vrátane stropu, kde sa používateľ nachádza. • V najjednoduchšom prípade je obraz premietaný len na obrazovku monitora. Technológia prípravy panoramatických obrázkov umožňuje približovanie a zmenšovanie, čím vzniká, napr. ilúzia chôdze v krajine. Napriek tomu je interakcia s prostredím obmedzená. MM I/2006

Ukážka ... MM I/2006

Pohlcujúca virtuálna realita • Je vždy spojená s technickými zariadeniami, ktorých cieľom je v čo najväčšej miere odtrhnúť používateľa od vonkajších vnemov a čo najviac ho ponoriť do zdania, že sa nachádza len vo virtuálnom, umelom svete. • Medzi tieto periférne, špeciálne zariadenia patrí najmä prilba so stereoskopickými okuliarmi a slúchadlami, snímačedetekujúcepriestorovú polohu používateľa a tzv. dátové rukavice. MM I/2006

Interaktívnyoblek ... MM I/2006

Pohlcujúca virtuálna realita • Často býva používateľ umiestnený v simulátore, napríklad v kabíne, ktorá sa nakláňa a simuluje pohyby priestoru, v ktorom sa užívateľ nachádza. • Dotykovézariadenia sú schopné meniť odpor alebo tlak vyvíjaný proti ruke používateľa, takže je možné, napr. cítiť mechanické vlastnosti virtuálneho materiálu. MM I/2006

Ukážka ... MM I/2006

Subsystémy - rámce Kategorizácia subsystémov je daná hlavne podľa zmyslov, na ktoré jednotlivé časti systému pôsobia: • Vizuálny rámec - reprezentovaný napr farbou, optickými vlatnosťami a pod , • Akustický subsystém - vlastné zvuky objektu, interakčné a odrazné zvuky objektu, generovanie zvukov, rospoznávanie zvukov a pod., • Kinematický a statokinetický subsystém, napríklad deformácie objektu • Hmatový a dotykový subsystém a • Iné vnemy (napr. vnemy čuchové, chuťové, citlivosť na feromóny, citlivosť pri chorobe, bolesť, spánok či myšlienky). MM I/2006

Vizuálny subsystém • Človek vníma svoje okolie takmer z 80-ich percent pomocou vizuálnych vnemov, a preto prepracovanie práve vizuálneho vnemu bolo a je na prvom mieste. Samozrejme, že sa v celku jedná len o trojrozmerné videnie resp. zobrazovanie - dva základné princípy: • Prvý princíp predstavuje sledovanie statickéhomonitora • Druhým spôsobom v tejto oblasti je sekvenčnézobrazovanie oboch pohľadov na jeden monitor, ale v príslušnej synchronizácii sú zaslepované príslušné oči (napr. pomocou okuliarov) MM I/2006

Po zrakovom vnímaní je hneď na druhom mieste vnímaniezvukové. Tak ako v reálnom živote aj vo virtuálnom svete patrí zvuk k neodmysliteľnej súčasti. Akustický podsystém môžeme rozdeliť podľa smeru toku informácií na vstupný a výstupný. Akustický subsystém MM I/2006

Hmatový a dotykový subsystém • Hmat či pocit pri dotyku je dôležitou stránkou pri interakcii človeka s okolitým prostredím. V reálnom živote je celkom prirodzená nepriepustnosť hmoty a je obtiažne prechádzať napr. cez steny. • Riešenia sú väčšinou založené na mechanicko-gyroskopickej alebo bowdenovej báze. Tieto zariadenia simulujú odpor pre ruky a vo vývoji je zariadenie na simuláciu odporu pre nohy a ostatné časti tela. Prirodzeným pohybom vo virtuálnych svetoch je zatiaľ lietanie a bezodporové chodenie. MM I/2006

Kinematický a statokinetický subsystém • Určovanie pohybu resp. polohy (tzv. tracking) pozorovateľa patrí medzi tri najdôležitejšie funkcie systému. V rámci trackingu patria medzi hlavné úlohy určovanie pozície hlavy, rúk, nôh príp. celého tela. Na základe výsledku týchto operácií sa prispôsobuje používateľovi aj virtuálny svet. • Podľa rozsahu a kvality snímania jednotlivých prvkov ľudského tela delíme systémy na: • systémy s lokálnymi senzormi - používanie len dátovej rukavice, prilby príp. oblek • systémy s globálnym sledovaním - zaraďujeme sem komplexné snímacie subsystémy väčšinou na mechanicko-gyroskopickej báze. MM I/2006

Podľa spôsobu snímania polohy a pohybu • mechanicko-gyroskopické • bowdenové (alebo tiež tiahlové) • ultrazvukové • infračervené a laserové • indukčno-magnetické • optické MM I/2006

Vytvorenie inicializácia sveta Vytvorenie inicializácia objektov Riešenie kolíznych situácií Aplikácia na rámec Prezentácia objektu Interakcia rámcov MM I/2006

Klasifikácia systémov

Klasifikácia systémov • klasifikácia je založená na rozdelení systémov na základe dynamikypozorovateľa (vnorené o aktéra) a prostredia (sveta), v ktorom sa pozorovateľ nachádza príp. pohybuje. • Na základe dynamiky jednotlivých subjektov v prostredí virtuálnej reality je možné rozdeliť tieto na dva tábory: • tábor prostredia (environment) a • tábor pozorovateľa (observer). MM I/2006

Triedy • SESO - Static environment - static observer - statické prostredie - statický pozorovateľ • DESO - Dynamic environment - static observer - dynamické prostredie - statický pozorovateľ • SEDO - Static environment - dynamic observer - statické prostredie - dynamický pozorovateľ • DEDO - Dynamic environment - dynamic observer - dynamické prostredie - dynamický pozorovateľ MM I/2006

Trieda SESO • je najjednoduchší prípad a v podstate ho môžeme zaradiť medzi fotorealistické obrazy. Mimo reálneho času je schopný tieto úlohy plniť aj osobný počítač triedy PC. • Pozorovateľ je schopný sa len pozerať, bez možnosti zasahovania do prostredia. Vzhľadom na "čistú statiku" deja môžeme tu len hovoriť o akejsi fotografii z virtuálneho sveta. MM I/2006

Trieda DESO • V podstate tento stav je možné prirovnať k sledovaniu filmu v kine alebo televízii. Opäť pozorovateľ je schopný sa len pozerať, bez možnosti zasahovania do prostredia. • Do tejto kategórie môžeme zaradiť v podstate aj súčasné komerčné multimédiá. Tieto systémy podľa svojho vzniku môžeme opäť rozdeliť na dva druhy: • systémy vznikajúce mimo reálneho času (OFF LINE) • systémy prepočítavané v reálnom čase (ON LINE) MM I/2006

Trieda SEDO • Táto trieda predstavuje kvalitatívny a zásadný rozdiel od prvých dvoch tried. Je ním možnosť zasahovania pozorovateľa do prostredia. Prostredie je ale statické do zásahu pozorovateľa resp. po zásahu pozorovateľa. • Pôsobenie pozorovateľa na prostredie môže byť vykonané niekoľkými spôsobmi. Najjednoduchšie je pomocou klávesnice počítača alebo myši. Samozrejme, že je tu aj možnosť interakcie pomocou rukavice a pod. MM I/2006

Trieda DEDO • Je najvyššia trieda v tomto chápaní kategorizácie. Je vlastne už úplným rozšírením triedy SEDO o možnosť premeny prostredia. • Podľa počtu pozorovateľov môžeme túto triedu ešte rozdeliť na: • DEDSO - len jeden (single) pozorovateľ. • DEDMO - s viacerými (multi) pozorovateľmi s možnosťou vzájomnej interakcie. MM I/2006

Trieda DEDSO • DEDSO systémy (podobne ako DESO) sú chápané ako svety jedného pozorovateľa a dynamického prostredia, kde prostredie sa chová podľa určitých pravidiel (napr. kývanie závažia v hodinách, tok vody a pod.) • Toto rozdelenie v sebe môže zahrňovať • živosť prostredia (Living) resp. • neživosť prostredia (NotLiving). MM I/2006

Trieda DEDMO • DEDMO systémy sú najzložitejšie, okrem toho, že môžu byť Living/NonLiving, majú navyše aj nutnosť vyriešiť nedeterminičnosť a interakciu dvoch a viacerých pozorovateľov, ktorý môžu napr. po vizuálnej stránke byť zobrazení rôzne. • Takisto je možné tu zahrnúť, či riadenie v DEDMO systémoch pre všetkých pozorovateľov riadi každého pozorovateľa človek alebo napr. výpočtovýsystém (tzv. Human/NonHuman systémy). MM I/2006

Predstava systémov MM I/2006

Využitie v praxi - charakteristiky • Je nutné, aby pracovala v reálnomčase, aby mohla reagovať na to čo užívateľ robí. • Pre splnenie cieľov musí vytvárať čo najlepšiuilúziu. Umelý svet s objektmi má graficky trojrozmernýcharakter. • Používateľ neprezerá umelý svet lenzvonka, ale vstupuje do neho a intergujes ním • Svet niejestatický, ale používateľ môže umelý svet pretvárať a pohybovaťsa v ňom. MM I/2006

... v lekárstve • Je možné využívať priestorovémodelyorgánov alebo celého tela. Modely sa získavajú pomocou počítačové topografie. • Lekári sa tak môžu zísť pri jednom operačnom stole a naplánovať si operáciu najskôr na nečisto. Táto naplánovaná operácia potom môže slúžiť i ako vodítko pri samotnej operácii a vďaka tomu môžu sledovať na svojich monitoroch priebeh operácie aj kolegovia rôznych odborov. MM I/2006

... v športe • Pomocou techniky Motioncapture sa sníma pohyb na najdôležitejších častiach tela tak, aby sa presne zachytil a mohol byť reprodukovaný na virtuálnej postave v počítači. • Tam potom nastane "optimalizácia" pohybu a športovec sa tak môže učiť od počítača, napríklad hrať golf MM I/2006

... v projektovaní • Výhoda sa objavuje už pri práci s CAD s priestorovýmimodelmi, kde sa môžeme viacej priblížiť vytváranému modelu, než s pohľadmi nárysu, bokorysu, pôdorysu. VR umožňuje i prácu s hotovýmimodelmi. • Ukážka pre železnice MM I/2006

... v auto priemysle • Náročné sú crashtesty automobilov vykonávané na fyzických modeloch, čo pochopiteľne pri digitálnom prototype odpadá. • Simulovanie crash testu sledovať na obrazovke počítačového monitoru. Podstatné je, že vypočítané výsledky sa takmer zhodovali s fyzickým crash testom, a úspora nákladov je tu absolútne jasná. MM I/2006

... školstvo • Ukážkou využitia v dejepise je modelPompejí, mesta zasypaného popolom a lávou pri výbuchu sopky Vezuv v roku 79 n. l. • zrekonštruovaná časť historickéhoBerlína zničeného vo vojne, alebo Monmarte, Stanford, Červenénámestiea pod. • sprostredkovanie pohľadudohistórie, ako vyzerali pamätné miesta, do ktorých sa už nikdy nebudeme môcť pozrieť • na vyučovaní, napríklad chémia MM I/2006

... v armáde • piloti lietajú na leteckýchsimulátoroch, aby tak trénovali svoje zručnosti. • Aj tu to predstavuje veľké úspory, aj keď technika, ktorá je k tomu potrebná je veľmi nákladná. • Existujú stimulátory tanku, simulácie bojových akcií ... MM I/2006

... telerobotika • výmena chladiacich tyčí v jadrovom reaktore, pokladanie potrubia na dne oceánu alebo manipulácia s vysoko nestabilnými výbušnými materiálmi • robot vybavený videokamerami a mikrofónmi posiela informácie operátorovi, ktorý ma na hlave stereoskopicky display a sluchátka. • Operátor teda vidí to, čo kamery robota a počuje všetky zvuky v dosahu jeho mikrofónu. Využívajú sa aj ďalšie zdroje informácií, napríklad senzorydotykovej a silovejspätnejväzby, zabudované v mechanických rukách, pripadne iných častiach robota MM I/2006

... v komerčnej sfére • uplatnenie napríklad u stavebnýchfiriem, ktoré ponúkajú niekoľko druhov typizovaných rodinnýchdomov. Zákazník by sa mohol pred kúpou každým z nich „prejsť“ a poriadne si ho prezrieť • automobilovýpriemysel – zákazník si prezrie automobil pred kúpou - vo farbe a s doplnkami, ktoré si objednal alebo bicykel . MM I/2006

... komercia • virtuálna realita nemusí slúžiť firmám len na skvalitnenieslužieb zákazníkom. • Svoje uplatnenie nájde tiež pri znižovanínákladov. Jedná sa predovšetkým o firmy, kde dochádza k ručnej stavbe rozsiahlych systémov, alebo kde je pre svoju jedinečnosť a neopakovateľnosť nutné si vopred danú činnosť dobre nacvičiť MM I/2006

... na internete • možno očakávať vytvorenie 3Dsveta na internete. • Ľudia budú môcť nakupovať v hypermarketoch, ktoré budú vyzerať ako v skutočnosti, budú sa môcť každého tovaru dotknúť a niektoré aj vyskúšať ... MM I/2006

Záver • v zábave, počítačovéhry, filmová technika ... • v komunikácií, prehĺbenie komunikačnej priepasti medzi ľuďmi, • mnoho ľudí bude chodiť na „párty“ na internete, poznávať tam nových ľudí, či • virtuálnecestovanie ... • V tomto kontexte je vhodné pripomenúť výrok Kena Olsona, zakladateľa Digital Equipment Corp. ktorý v roku 1977 prehlásil: Nie je dôvod, prečo by niekto chcel mať počítač doma... MM I/2006

Implementácia virtuálnej reality

VRML 97 a X3D • štandard VRML97 je jediný schválený formát štandardizačným úradom ISO, je treba povedať, že pokusy o vytvorenie iného štandardu často zlyhávajú práve kvôli certifikátu, ktorý VRML97 má. • organizácia Web3D Consortium vytvorila spolu s ostatnými firmami nový štandard X3D, ktorý má nahradiť nielen VRML ale aj iné grafické systémy nakoľko sa X3D už orientuje na celú oblasť 3D web grafiky. MM I/2006

Jazyk VRML • Jazyk VRML (virtual reality modeling language) definuje spôsob zápisu virtuálnych svetov do textových súborov. VRML nevznikol ako produkt jednej firmy, ale je výsledkom spoločného vývoja veľkého množstva firiem a odborníkov z celého sveta. Týmto bol daný predpoklad pre jeho všeobecné ponímanie ako univerzálneho štandardu pre VR MM I/2006

Multimédiá – VRML