Introduction à la réalité virtuelle

1. Introduction à la réalité virtuelle A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2. Pourquoi enseigner la Réalité Virtuelle? • - Marché d’emploi pour les spécialistes en RV. • Spectre élargi des applications profitables de la RV dans différents secteurs de l’économie, de l’éducation etc. Tiré de Burdea, « Teaching Virtual Reality : Why and How? », Presence, 13(4), Aug. 2004. A. Branzan-Albu & D. Laurendeau GIF-66800

3. Structure et organisation du cours Objectifs • comprendre l’importance de la réalité virtuelle comme outil immersif et interactif de communication, de simulation et de visualisation scientifique; • maîtriser les concepts technologiques de base pour la réalisation d’applications de la réalité virtuelle; • développer et utiliser des composantes logicielles adaptées à la manipulation des objets virtuels et à la navigation dans l’environnement; • réaliser et documenter un projet fonctionnel de simulation et modélisation virtuelle.

4. Structure et organisation du cours Plan • Introduction • Aperçu sur les systèmes actuels de réalité virtuelle. • Les "frameworks" de simulation en réalité virtuelle • Comment construire un monde virtuel? Introduction aux modèles conceptuels • Aperçu des composantes hardware utilisées dans un système de réalité virtuelle: outils de visualisation, de retour de force et de suivi de mouvement

5. Structure et organisation du cours Plan (suite) • Techniques de design des environnements virtuels • Interaction avec l’environnement virtuel : manipulation des objets virtuels et navigation • Environnements virtuels distribués et collaboratifs • Évaluation des environnements virtuels. Avenir de la RV.

6. Structure et organisation du cours • Bibliographie suggérée : Sherman & Craig : Understanding Virtual Reality. Interface, application and design. • supplémentaire (en ligne) :Survey of the State-of-the-Art on Synthetic Environments, Sensori-Motor Activities in Synthetic Environments, Simulation Frameworks and Real-World Abstraction Models

7. Structure et organisation du cours • Évaluation Examen final – 50% Projet d’équipe – 50% Voir page Web pour détails

8. Structure et organisation du cours • Projet d’équipe Description générale : • Création d’un jeu en réseau. • Description plus détaillée sur la page web. La semaine prochaine : • Composition des équipes.

9. Structure et organisation du cours • Assistant d’enseignement à venir Disponible sur rendez-vous.

10. Cours introductif • Qu’est-ce que la réalité virtuelle? • Concepts de base : immersion, imagination, interaction • Environnements collaboratifs • Réalité augmentée, réalité artificielle • Cyberspace • Court historique de la réalité virtuelle Lecture Survey of the State-of-the-Art on Synthetic Environments, Sensori-Motor Activities in Synthetic Environments, Simulation Frameworks and Real-World Abstraction Models : Chapitres 1 et 2

11. Qu’est-ce que la Réalité virtuelle • Nouveau domaine, donc sa définition évolue rapidement et dépend du champ d’application • perspective différente : utilisateur versus programmeur, communauté scientifique versus marketing etc. • L’impact de la réalité virtuelle sur le grand public par le mass-media a conduit à de nombreuses interprétations, parfois inconsistantes, du terme en question

12. Quelques définitions • Business Week, octobre 1992 : couverture consacrée à ce nouvel « outil qui amplifie l’esprit » • Newsweek, mai 1993 : la réalité virtuelle est une « zillion dollar industry » • Spectrum IEEE, octobre 1993 : « Although virtual reality has become a popular buzzword with frivolous connotations, its ability to immerse users in interactive 3D worlds is of great relevance for many scientific and industrial endeavours »

13. Réalité virtuelle - définition « Un système de réalité virtuelle est une interface qui implique de la simulation en temps réel et des interactions via des multiples canaux sensoriels » [Burdea & Coiffet «La réalité virtuelle», 1993] • Interface homme-machine [Burdea, 1993] • Nouvel outil de communication [Sherman &Craig, 2003]

14. Concepts de base Les quatre éléments-clé d’une expérience de réalité virtuelle • Monde virtuel • Immersion • Réponse sensorielle • Interaction centrée sur l’utilisateur

15. Monde virtuel • Espace imaginaire qui peut exister en dehors d’un contexte technologique • Imagination=le point de départ de la plupart des mondes virtuels • Monde virtuel généré par ordinateur : • description dynamique des objets faisant partie d’une simulation • lois d’interaction • ex : simulation d’un comportement physique, • attraction gravitationnelle, friction etc. • relations entre les objets • ex. topologiques, collision, contact physique etc.

16. Immersion • L’utilisateur est immergé dans un monde virtuel. • Réalité virtuelle = réalité alternative par rapport au quotidien • Immersion mentale : • - peut être créée par des livres, des films etc. • - le contenu du monde virtuel est décrit à partir des symboles (mots, sons, images etc.) qui sont interprétés mentalement par les participants

17. Immersion(cont) • Réalité virtuelle : Immersion physique (ou sensorielle) : - les stimuli sont synthétiques via l’usage de la technologie - dans la plupart des cas, l’immersion sensorielle n’implique pas la totalité des sens : vue, toucher, ouïe, odorat, goût. - l’immersion physique conduit à une immersion mentale et au sens de la présence.

18. Immersion physique versus immersion mentale • L’immersion physique intervient dans le processus de proprioception • Selon dr. Oliver Sacks : Proprioception is "... that continuous but unconscious sensory flow from the movable parts of our body (muscles, tendons, joints), by which their position and tone and motion is continually monitored and adjusted, but in a way which is hidden from us because it is automatic and unconscious" (Tiré de Sacks, The Man Who Mistook His Wife for a Hat. Picador, London, 1985) • Proprioception = Connaissance des parties du corps, de leur position et de leur mouvement dans l'espace, sans que l'individu ait besoin de les vérifier avec ses yeux (Tiré de Blouin, Bergeron et. al. Dictionnaire de la réadaptation. Québec 1995)

19. Interaction basée sur la rétroaction sensorielle • La rétroaction sensorielle créée par un système de RV doit être cohérente avec la position et les actions du sujet participant. • Vue=changement de point de vue (mouvement de la tête, déplacement global du sujet), manipulation des objets • Toucher=interfaces haptiques, manipulation des objets.

20. Tracking • Pour avoir une rétroaction sensorielle précise, le sujet doit être suivi : • Tracking de la tête, des mains et des objets manipulés etc. • Capteurs de position 3D magnétiques, ultrasonores etc.

21. Capteurs de position 3D • Casques de visualisation (Head-Mounted Display HMD) • Récepteur placé sur la tête de l’utilisateur, suivant ses mouvements

22. Capteurs de position 3D (cont) Tiré de Burdea&Coiffet[1993]

23. Capteurs de position 3D (cont) • Le mouvement de la tête est échantillonné et envoyé à l’ordinateur; • La nouvelle direction du regard est déterminée à partir du signal de mouvement échantillonné. • La scène virtuelle affichée sur les LCD est mise à jour par rapport au point de vue courant de l’utilisateur • latence

24. Les trois I de la réalité virtuelle Tiré de Burdea&Coiffet [1993]

25. Environnements collaboratifs • La définition de l’interaction change! • Des utilisateurs multiples interagissent dans le contexte d’un même espace virtuel. • Avatar=représentation d’un utilisateur • Interaction mutuelle entre les participants • Multi-présence

26. Pourquoi des environnements virtuels collaboratifs? • Applications militaires : simulateur de combat, de guerre urbaine etc. • Jeux • Applications médicales : chirurgie à distance (téléprésence)

27. Environnements collaboratifs non-virtuels • Conversation téléphonique

28. Cohérence des environnements virtuels collaboratifs (CVE) • Des participants multiples peuvent explorer, communiquer et interagir entre eux ou avec le contenu du monde virtuel. • Normalement, chaque participant accède le CVE à partir de son propre ordinateur, connecté en réseau avec les autres postes de travail individuels et avec les systèmes de gestion et de mise à jour du CVE.

29. Cohérence des CVE (cont) • Un CVE cohérent possède trois propriétés de base : • a) simultanéité de la présentation • b) cohérence interne de l’environnement • c) cohérence entre la perception de soi dans le monde réel et dans le CVE.

30. Autres formes d’environnements immersifs • Réalité augmentée : type de réalité virtuelle où l’information additionnelle, autrement imperceptible pour le système visuel humain est surimposée sur une scène réelle. • Défi principal : recalage d’images 3D en temps réel.

31. Autres formes d’environnements immersifs • Réalité artificielle Myron Krueger [1991] : « La promesse des réalités artificielles n’est pas de reproduire la réalité conventionnelle ou d’agir sur le monde réel. Elle est précisément l’opportunité de créer des réalités synthétiques pour lesquelles il n’y a pas d’antécédents réels. Ce qui est conceptuellement excitant et ultimement important du point de vue économique »

32. Autres formes d’environnements immersifs • Télépresence versus téléopération

33. Cyberspace • Espace virtuel de communication et d’interaction en temps réel • Les techniques de réalité virtuelle peuvent être utilisées pour créer un cyberspace • L’information échangée en temps réel ne doit pas être multisensorielle : - texte (chatting en ligne) - téléphone ( communication audio en temps réel) - vidéoconférence

34. Tiré de Sherman & Craig

35. Court historique de la Réalité Virtuelle • Un système de RV = une interface homme-machine avancée; • Années 90 : révolution technologique comparable en ampleur à la révolution informatique des ordinateurs personnels (années 70-80). • Les premiers concepts de réalité virtuelle ont émergé dans des milieux académiques : University of Utah (1965), University of Wisconsin (1983), University of North Carolina (1986), MIT.

36. Court historique de la Réalité Virtuelle (cont.) • Parmi les premiers domaines d’application de la RV : le domaine militaire – simulateurs de vol (Thomas Furness, Scott Fisher). • Années 80- NASA Ames - projet VIEW (Virtual Interactive Environment Workstation) (Scott Fisher). Simulateur personnel générique (téléprésence, visualisation des données) et multi-sensoriel Configuration initiale : - tracking de la tête et des mains (Polhemus); - HMD stéréo avec champ large de vue (LEEP Optics & monochrome LCDs) -système audio 3D (Crystal Rivers Engineering Convolvotron) - gant pour la reconnaissance des gestes (VPL Research Dataglove) - réseau de caméras à distance (remote camera platform – Fakespace)

37. Court historique de la Réalité Virtuelle (cont.) • Les collaborations entre NASA Ames et plusieurs compagnies privées ont conduit à une expansion rapide des compagnies de RV (fin des années 80). • Domaines ciblés : jeux (concept de « consumer VR »), mais aussi contrats gouvernementaux et industriels sur les marchés de la défense, aérospatial, pétrochimique, et de l’automobile. • La RV devient un sujet favori des mass-média (fin des années 80, début des années 90).

38. Court historique de la Réalité Virtuelle (cont.) • Début des années 90 : progrès technologiques importants  Environnements virtuels collaboratifs • La réalité virtuelle devient un outil de communication!

39. Contributions marquantes à la RV • Ivan Sutherland, University of Harvard - propose en 1963 un premier système intéractif de graphique par ordinateur : « Sketchpad: A Man-Machine Graphical Communications System » - définit en 1965 le concept de « ultimate display » vers un monde virtuel : The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked.

40. Contributions marquantes à la RV Premier HMD développé par I. Sutherland (1968) Images de type wireframe surimposées sur le monde réel • Système de tracking (en position et en orientation) incorporé : • mécanique (très lourd) • ultrasons (erreur accumulative)

41. Contributions marquantes à la RV • Frederic Brooks, University of North Carolina - premières investigations sur le potentiel de la technologie RV dans le domaine de la visualisation scientifique 1967-1990 projet GROPE - développement d’une première interface haptique avec retour de force en RV pour l’étude de l’interaction moléculaire. - étude de la perception humaine basée sur le sens tactile. - GROPE-1 : système 2D pour l’exploration des champs de force continus - GROPE-2 : saisir et manipuler des objets virtuels sur une surface virtuelle plane. - GROPE-3 : trouver des combinaisons moléculaires stables à partir des minima locaux d’énergie potentielle; interface haptique

42. Arrimage moléculaire avec le Argonne Remote Manipulator (ARM)

43. Contributions marquantes à la RV • Myron Krueger, University of Wisconsin, USA • aspects artistiques et psychologiques de l’interaction homme-machine • définit le concept de réalité artificielle en 1973 • responsive environments – le participant à une expérience de RV ne porte pas d’équipement encombrant (ex. HMD) • 1969 – Glowflow; 1970 – Metaplay • 1975 - Videoplace

44. A. Branzan-Albu & D. Laurendeau GIF-66800

45. Contributions marquantes à la RV • Applications potentielles des concepts de Videoplace (tracking basé sur la vision par ordinateur) : • Interfaces gestuelles • Téléconférence • Enseignement interactif

46. Contributions marquantes à la RV • Massachusetts Institute of Technology, USA - Développement des nouvelles techniques pour une interaction homme-machine plus naturelle, centrée sur l’utilisateur; - Simulation et modélisation en temps réel; - The Aspen Movie Map (Lippman& Naimark, MIT Architecture Machine Group, 1980) - Put-That-There (1980)

47. Contributions marquantes à la RV Tiré de www.artmuseum.net Utilisation de l’écran sensitif au toucher dans une démo de AspenMovieMap

48. Contributions marquantes à la RV 2004 : F. Rioux, F. Rudzicz, M. Wozniewski The Modeller’s Apprentice MIT Put-that-thereTiré deR. Bolt (1980) A. Branzan-Albu & D. Laurendeau GIF-66800

49. A. Branzan-Albu & D. Laurendeau GIF-66800

50. Contributions marquantes à la RV domaine militaire • Début des années 80 - Simulateurs de vol • Interfaces multimodales plus appropriées pour le transfert rapide de l’information vers le pilote • 1986 : Thomas Furness (Wright Patterson Air Force Base, USA) : «The Super Cockpit» • Étude du facteur humain en interaction avec des simulateurs virtuels de vol (fiabilité des systèmes de tracking, reconnaissance de la parole etc.)