Introduction à la réalité virtuelle

1. Introduction à la réalité virtuelle A. Branzan-Albu et D. Laurendeau Dép. de génie électrique et de génie informatique Université Laval

2. Modèles conceptuels • Définition et contexte • Analyse des modèles conceptuels pour les EV

3. Contexte : modélisation Quel est le rôle de chaque modèle? Comment interconnecter ces modèles?

4. Contexte: modélisation (2) • Le modèle des exigences décrit, comme en génie logiciel, les besoins du client de l’EV

5. Modèle conceptuel (1) • Le modèle conceptuel décrit le contenu de l’EV: les entités composant le monde virtuel, leurs comportements et leurs interactions. • Modèle conceptuel: représentation du monde virtuel conçu par l’équipe de design.

6. Modèle conceptuel (2) • Comment construire le modèle conceptuel d’un monde virtuel? • Le monde virtuel à créer peut être mimétique ou imaginaire • Monde mimétique = simulation réaliste d’un univers réel (ex: téléprésence, manipulation virtuelle des molécules etc.). A. Branzan-Albu & D. Laurendeau GIF-66800

7. Modèle conceptuel (3) • Le modèle conceptuel d’un monde mimétique peut être créé à partir d’une collection d’images. • View morphing : (tiré de Manning & Dyer) … Image initiale Image finale Séquence d’images de synthèse

8. Sortie : Modèle 3D Modèle conceptuel (4) • Reconstruction 3D à partir d’une séquence d’images 2D. Entrée : Images segmentées

9. Modèle conceptuel (4) • Le modèle d’apparence doit être soutenu par des comportements (behaviours) et des attributs. • Exemple : simulation de la déformation du foie lors de l’insertion d’une cryosonde • Modèle conceptuel du foie: • Modèle d’apparence : Rendu graphique polygonal • attributs : visco-élasticité • Comportement: déformable lors de l’insertion de la cryosonde virtuelle

10. Modèle conceptuel (5) • S’agit-il d’un monde mimétique?

11. Contexte : modélisation (3) • Modèle perceptuel : • Décrit l’objectif final de l’expérience virtuelle (apprentissage, entraînement, etc.) • Est relié aux phénomènes de perception et de cognition (psychophysique)

12. Contexte : modélisation (4) • Modèle perceptuel : • basé sur un scénario (structure metanarrative) qui peut contenir : - des éléments prévisibles – augmentent le niveau de confiance de l’utilisateur et son sentiment de présence (je connais bien ce monde et je me sens à l’aise ici…) • des éléments ‘surprise’ – testent la capacité de l’utilisateur de structurer rapidement plusieurs informations avant de prendre une décision et de réagir (jeux, simulateurs de vol, simulateurs des interventions chirurgicales, etc.) • Un bon équilibre entre les éléments prévisibles et les éléments ‘surprise’ favorise l’apprentissage incrémental

13. Contexte: modélisation (5) Plusieurs itérations jusqu’à la convergence

14. Contexte: modélisation (7) • Le modèle structurel décrit le graphe de la scène de même que les différents composants qui démontreront un comportement dans l’EV.

15. Contexte: modélisation

16. Types de modèles conceptuels

17. Principaux types de modèles conceptuels • Modèles non structurés • Modèles centrés sur le rendu graphique • Modèles centrés sur les communications réseau • Modèles orientés objet • Modèles hiérarchiques • Modèles basés sur les graphes relationnels • Modèles de fédération d’objets (FOM)

18. Principaux types de modèles conceptuels • Modèles non structurés • Modèles centrés sur le rendu graphique • Modèles centrés sur les communications réseau • Modèles orientés objet • Modèles hiérarchiques • Modèles basés sur les graphes relationnels • Modèles de fédération d’objets (FOM)

19. Modèles non structurés (1)

20. Modèles non structurés (2) • Approche de conception ad hoc • S’applique seulement aux EV très simples • L’approche pour transmettre les événements survenant dans l’EV est développée spécifiquement pour l’application • Le comportement des entités de l’EV est également décrit spécifiquement pour l’application • Par conséquent: • Peu flexible • Peu réutilisable • Optimal pour l’application visée

21. Principaux types de modèles conceptuels • Modèles non structurés • Modèles centrés sur le rendu graphique • Modèles centrés sur les communications réseau • Modèles orientés objet • Modèles hiérarchiques • Modèles basés sur les graphes relationnels • Modèle de fédération d’objets (FOM)

22. Modèles basés sur le rendu graphique Chaque entité de l’EV correspond à un noeud de l’arbre de rendu Relations référentielles : entre les entités qui peuvent intéragir : Ex : la voiture se déplace sur la rue (spatiale) Relations de composition : structure hierarchique des entités, décomposition modulaire Ex : voitureroues

23. Modèles basés sur le rendu graphique (2) • Reposent sur les arbres de rendu (« scene graphs ») servant à décrire la géométrie et l’apparence de surface (reflectance, couleur, texture) des scènes en graphique sur ordinateur (computer graphics) • (voir page WWW du cours pour différents liens vers différents outils de conception et de manipulation de « scene graphs ») • On étend l’utilisation des arbres de rendu à la modélisation de l’EV • Le modèle statique peut être animé en rajoutant des comportements

24. Modèles basés sur le rendu graphique (3) • Les graphes de rendu se retrouvent notamment dans • VRML • OpenInventor • Viskit • WTK • et dans la plupart des outils de rendu graphique que vus dans la section sur le hardware/software

25. Modèles basés sur le rendu graphique (4) • Dans un EV basé sur le rendu, les entités sont les nœuds de l’arbre de rendu graphique décrivant l’EV • Les relations entre les nœuds peuvent seulement être exprimées par des références entre nœuds (« referential relationship »)

26. Modèles basés sur le rendu graphique (5) • Les références sont par exemple les transformations de coordonnées entre les différentes entités

27. En pratique, c’est bien plus compliqué que ça! Les structures ne se retrouvent pas seulement dans une relation de voisinage (ou d’inclusion) spatiale! Tiré de Cakmak & Kuhnapfel, KISMET group, Karlsruhe, Germany

28. Modèles basés sur le rendu graphique (6) • Cette approche est donc très bien adaptée à la description géométrique des EV • Comment modéliser les comportements des entités et leurs interactions? • Comportement physique: modèle supplémentaire, lancé en exécution par un mécanisme de callback

29. Modèles basés sur le rendu graphique (7) • Les interactions entre les entités sont modélisées comme des événements : • Une entité « publie » un événement dans un gestionnaire d’événements • Les entités « abonnées » au gestionnaire récupèrent celui-ci et exécutent l’interaction via un mécanisme de callback (i.e. le gestionnaire leur fournit l’adresse du code de l’interaction) • Problème de latence : une interaction réelle (ex. collision) a un effet simultané sur les deux entités impliquées (ex. déformation); l’interaction virtuelle implique un déphasage temporel.

30. Modèles basés sur le rendu graphique (8) • Cette approche: • Garantit seulement la cohérence géométrique de l’EV • Cohérence physique? (chaîne d’interactions ayant une latence variable) • l’interopérabilité entre les entités n’est pas non plus garantie

31. Modèles basés sur le rendu graphique (9) • Exemple – simulation virtuelle de l’assemblage entre les parties d’un système • Seul l’aspect graphique est supporté directement par l’arbre de rendu • Un modèle de friction ad hoc doit être développé pour décrire l’interaction de friction • Approche hybride de design (basée sur le rendu graphique et non-structurée)

32. Principaux types de modèles conceptuels • Modèles non structurés • Modèles centrés sur le rendu graphique • Modèles centrés sur les communications réseau • Modèles orientés objet • Modèles hiérarchiques • Modèles basés sur les graphes relationnels • Modèles de fédération d’objets (FOM)

33. Modèles distribués (1)

34. Modèles distribués (2) • Ils sont un raffinement du modèle basé sur le rendu graphique: • On y ajoute le concept de « locale » (« a place in regard to the position or scene of some event ») • Une entité de l’EV peut voir et interagir seulement avec les autres entités appartenant au même «locale»

35. Modèles distribués (3) • Cette approche permet de limiter les communications réseau pour les EV distribués (réduisant ainsi le temps de latence). • Exemples de systèmes basés sur cette approche : • NVE, DVE, Spline, NetEffect, Massive3D

36. Modèles réseau (4) • Bien qu’elle permette la distribution d’EV, cette approche ne permet pas (implicitement ou explicitement) d’assurer • la cohérence de l’EV • l’interopérabilité des entités

37. Principaux types de modèles conceptuels • Modèles non structurés • Modèles centrés sur le rendu graphique • Modèles centrés sur les communications réseau • Modèles orientés objet • Modèles hiérarchiques • Modèles basés sur les graphes relationnels • Modèles de fédération d’objets (FOM)

38. Modèles orientés objet • L’approche OO du génie logiciel est exploitée pour créer des EV • Exemple: Object-Oriented-Physical Modelling (Fishwick) pour combiner la géométrie et le comportement physique dans la même représentation Tiré de Fishwick (1996)

39. Modèles orientés objet (2) Exemple

40. Modèles orientés objet (3) • Limitations • Agrégation • Classification (réutilisation des classes) • Héritage • Cette approche est adaptée aux problèmes de génie logiciel et non pas aux problèmes de description d’EV

41. Modèles orientés objet (4) • Agrégation: outil important pour décrire l’organisation d’un EV. • Types d’agrégation possibles en RV: Inclusion spatiale Relation méronymique Composante-tout

42. Modèles orientés objet (5) • Selon Winston, l’agrégation dans le contexte de la RV est de trois types : de classe, spatiale, méronymique (‘part-whole relations’, selon Winston et al, 1987). • L’agrégation méronymique est elle-même divisée en 6 types d’inclusion: • Composante - tout : pédale et vélo • Membre – collection: bateau et flotte • Position – masse: pointe et tarte • Matière – objet : acier et auto • Caractéristique – activité: payer et acheter • Localité – région : Ottawa - Canada

43. Modèles orientés objet (6) Spatiale Matière-objet Composante-tout La signification du modèle UML est perdue lors de l’ implantation en code (C++ ou Java par exemple). Les différents types d’agrégation sont importants pour maintenir la cohérence de l’EV.

44. Modèles orientés objet (7) • Example: gestion des collisions dans un EV simple.

45. Modèles orientés objet (8) • Classification Le concept d’héritage est utilisé pour structurer les différentes classes d’objets dans une ontologie hiérarchique afin de pouvoir réutiliser les attributs et les méthodes communes.

46. Modèles orientés-objet (9) • Exemple de diagramme UML pour une simulation de sauvetage sur mer : État intermédiaire (deux classes): État final? État initial : une classe

47. Modèles orientés-objet (10) • Conclusion : • Il est difficile de combiner des objets qui n’ont pas été conçus simultanément pour les faire interagir dans le même arbre d’héritage… • Solution : créer dès le début une collection de classes génériques qui peuvent assurer l’héritage pour toutes les entités rajoutées ultérieurement • Cette solution peut entraîner des incompatibilités entre deux modèles conceptuels différents ayant leur propre structure hiérarchique (exemple)

48. Modèles orientés objet (11) Deux modèles conceptuels OO à fusionner dans un seul EV: redondance

49. Modèles orientés objet (9) • Tentative d’éliminer la rédondance : fusionner les classes génériques vehicle-free body

50. Modèles orientés objet (10) • Conclusion : La création des classes génériques pour supporter l’inclusion des nouveaux modèles conceptuels dans l’univers d’un EV est pratiquement impossible sans apporter des modifications aux classes (class reengineering).