Realidade Virtual

1. Realidade Virtual Remis Balaniuk

2. Disciplina • Site da disciplina: • http://www.geocities.com/rv_ucb • email: remis_balaniuk@yahoo.com • Chai: http://www.chai3d.org • Discussão do plano de ensino: • Objetivos • Metodologia • Avaliação

3. O que é Realidade Virtual • O termo foi criado por Jaron Lanier, um dos pioneiros dessa área, no início dos anos 80 • Simulação tempo real interativa de fenômenos físicos • Simula um mundo virtual, imitando as leis da física • Requer alto desempenho computacional, algoritmos especializados e interfaces de entrada e saída para interação homem-máquina

4. O que é Realidade Virtual • A RV é a junção de diversas disciplinas: • Computação Gráfica • Que agrega conceitos de geometria, matemática, hardware e software especializados • Física • Mecânica (robótica) • Ergonomia • Simulação • Interação homem-máquina • Fisiologia • etc

5. O que é Realidade Virtual • Avanços tecnológicos em hardware e software abriram as portas a novas gerações de sistemas em Realidade Virtual • Software gráfico padronizado: OpenGL, VRML • Potentes (e baratas) CPUs • Hardware especializado: placas gráficas, visão estereo (3D), interfaces hápticas

6. Aplicações • Entretenimento - jogos • Navegação em modelos (arquitetura, projetos em geral) • Treinamento: • “Hands on” • Com tutor (real ou virtual) • À distância • Orientação e navegação • tarefas arriscadas • Ensaios e prática • Controle de robôs • Apoio a usuários com deficiências • Estende as capacidades motoras e sensoriais

7. Elementos chave • Real time graphics • 30 quadros/segundo • polígonos: 50K/quadro (quanto mais melhor) • resolução: quanto mais melhor • Velocidade e sincronização • o atraso entre a percepção do movimento do usuário (input) e a atualização da cena (output) deve ser mínimo (1ms=1mm erro) • atrasos causam instabilidades

8. Elementos chave • Interatividade: • definida pela interface (hardware e software) de interação entre o usuário e o mundo virtual • quanto mais “imersiva” melhor • Interação multi-sensorial • visão • audição • retorno de força

9. Sistemas de RV • Podem ser divididos em 3 grupos: • não imersivos (estação de trabalho convencional) • imersivos (CAVE, HMD, etc). • Híbridos (realidade aumentada)

10. Sistemas de RV • Condições para “imersão” num mundo virtual: • campo de visão total (ao redor do usuário) • acompanhamento (tracking) da posição e atitude do corpo do participante • atraso mínimo da atualização da cena com relação ao movimento do participante

11. Blocos principais numa simulação em Realidade Virtual • Aquisição de modelos: • Geometria • Scanner 3D • Modelos existentes • Propriedades físicas: • Experimental • Propriedades dos materiais (bibliografia) • Definição do modelo: • Meshing • Ajuste de parâmetros

12. Blocos principais numa simulação em RV • Simulação - Rendering gráfico • Modelo da superfície dos objetos: vértices e triângulos. • Transformações: câmeras virtuais, movimentos “rígidos” (translação e rotação), matriz de transformação, coordenadas homogêneas • Efeitos: • Luzes (cálculo das normais) • Texturas: texture mapping • Sombras • Transparências • Cores

13. Blocos principais numa simulação em Realidade Virtual • Simulação: • Rendering háptico: • Cálculo da força: • Detecção de colisão • Modelo de força: penetração, fricção, estabilidade, proxy. • Frequência de refresh alta: • Problemas nas integração com simulação física lenta • Uso de modelo local • Limites de força • Dispositivo: • Drivers • Dispositivo virtual

14. Blocos principais numa simulação em Realidade Virtual • Simulação: • Simulação física: • Dinâmica: • Cálculo do estado do sistema: posição e velocidade • Mètodos de integração: explicita, implicita • Problemas com os passos de tempo • Pequenos passos = grande esforço de simulação • Grandes passos = instabilidade • Deformação: • Problema muito complexo • LEM • Diminuir a complexidade é essencial, para fins de performance e estabilidade

15. Blocos principais numa simulação em Realidade Virtual • Simulação: • Detecção de colisões: • É um problema geometricamente complexo • Que se torna muito pior com as deformações dos objetos

16. Software • Virtual Reality Modeling Language (VRML) • Padrão ISO de formato de arquivo para modelos gráficos em 3D • Permite a visualização de modelos em 3D na internet (várias ferramentas) • Análogo do HTML para 3D • Integra 3D, 2D, texto e multimídia de forma coerente

17. Software • OpenGL • Biblioteca gráfica de baixo nível • Disponibiliza para o programador um pequeno número de primitivas: pontos, linhas, polígonos, imagens e bitmaps. • Provê um conjunto de comandos que permite a especificação de objetos geométricos em 2D e 3D • E um conjunto de comandos que controlam como os objetos são mostrados • Não depende da plataforma nem linguagem de programação usadas.

18. Hardware: dispositivos • Scanners 3D • Output devices • visual displays • audio output • Input devices • discrete event devices • continuous event devices • combination devices • speech input • Input/output devices • tactile and haptic output

19. Scanners 3D • Aquisição da geometria tridimensional de objetos. • Normalmente usa laser. • Existe em vários tamanhos. • É muito caro. • Opção mais barata: • Imodeller: software cuja entrada são fotos digitais comuns.

20. Head mounted display - HMD • O dispositivo tem duas telas de cristal líquido na frente dos olhos do usuário • Usuário não enxerga o ambiente externo • Provê uma imagem estéreoscópica (3D) que se move relativamente ao movimento do usuário • Permite uma experiência imersiva sem restringir os movimentos do usuário • As imagens podem ter boa qualidade, mas na média as imagens são de baixa resolução e o campo de visão é restrito. • Devido ao isolamento do usuário cria apreensão quanto aos eventos do mundo externo (colisão com objetos e paredes). • É pesado e desconfortável.

21. Arm Mounted Display (BOOM) • Similar ao HMD mas montado num braço articulado. • É mais leve e tem melhor qualidade e resolução da imagem. • A sincronização entre movimento do usuário e da imagem é mais rápida. • Restringe os movimentos do usuário. • Não tem visão periférica (binóculos)

22. Virtual Retinal Displays (VRD) • Projeta a imagem diretamente na retina • Ainda não é um produto comercial. • Os protótipos ainda tem baixa resolução e qualidade embora possa ser ainda melhorado.

23. Stereo Monitor • Estação de trabalho convencional + shutter glasses • Mais barato • Boa resolução. • Usuário pode usar o teclado e mouse. • Não é muito imersivo. • Não tem visão periférica.

24. Surround screens (CAVE) • Boa resolução e largo campo de visão usando visão periférica. • Visão estéreo pode ser obtida usando shutter glasses. • MUITO caro ($1M) • Pode ser usado por + de um usuário simultaneamente. • Pode ser combinado com objetos reais.

25. ImmersaDesk • Similar ao CAVE mas com uma única tela (ou duas) • boa resolução e boa qualidade do estereo • Caro • Limita os movimentos do usuário

26. Interfaces Hápticas • Uma nova e revolucionária interface entre o homem e a máquina • que permite a interação com ambientes virtuais através do toque. • Essa nova interface promete mudar a forma como interagimos com mundos criados por computador, aumentando o grau de "imersão" do homem nesses mundos virtuais • novas aplicações no ensino, treinamento, simulação, planejamento e entretendimento

27. Manipulação • Homunculus representando as proporções do cortex cerebral motor dedicado a controlar as partes do corpo

28. Haptic Interfaces • Terminology : • Haptic display : mechanical device configured to convey kinesthetic cues to a human operator • Haptic interface : includes everything that comes between the human operator and the virtual environment • Virtual environment : computer generated model of some physically motivated scene

29. Haptic Interfaces • Terminology (cont.) – • Haptic simulation : synthesis of human operator, haptic interface, and virtual environment which creates a kinesthetically immersive experience

30. Haptic Interfaces • Force feedback : • simulating object hardness, weight and inertia • Tactile feedback : • simulating surface contact geometry, smoothness, slippage and temperature • Proprioceptive feedback : • sensing of the user’s body position or posture

31. Haptic Interfaces • Force Feedback devices : • robotic teleoperation (Argonne National Laboratories - 1954) • Rutgers Master glove (Rutgers Univ. - 1988) • PHANToM arm (SenseAble Co. - 1994) • Impulse Engine (Immersion Co. - 1995) • CyberGrasp glove (Virtual Tech. 1998)

32. Haptic Interfaces • Tactile Feedback devices : • Dextrous Hand Master Exoskeleton (fingertip tactile dysplay) (MIT - 1990) • “Sandpaper” Tactile Joystick (Minsky – 1990) • Touch Master (EXOS Co. – 1993) • CyberTouch glove (Virtual Tech. – 1995) • FEELit Mouse (Immersion Co. – 1997)

33. Haptic Interfaces • Involve realistic physical modeling • precise collision detection • real-time force and tactile computation • surface deformation • surface texture or smoothness • force shading • high control-loop bandwidth : 300Hz for soft contacts to 10KHz for rigid contact

34. Input devices • Teclado / mouse • Trackers • seguem os movimentos do usuário • podem ser magnéticos, acústicos, óticos (cameras) ou mecânicos • Fala (reconhecimento de voz)