Foto 3D Allan Rocha Daniel Campos

1. Departamento de Informática Foto 3DAllan RochaDaniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass

2. Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem - Geração de Malhas Atualizações Resultados Referências Departamento de Informática

3. Algumas aplicações para Foto 3D: Museus virtuais Replicas físicas Medicina Cálculos geométricos Arquivos permanente E-commerce Moda Etc… Departamento de Informática

4. Algumas aplicações para Foto 3D: Entretenimento / Moda / Medicina Departamento de Informática

5. Algumas aplicações para Foto 3D: Stanford University Digital Michelangelo, 1997-2003 Departamento de Informática ITC - USC Parthenon, 2002-2004

6. Departamento de Informática

7. Reconstrução tridimensional • Princípio: estereoscopia (visão binocular) • Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço. Departamento de Informática

8. Departamento de Informática • Modelagem e calibração de câmeras • Modelagem • Qual é a forma da função que associa a • cada ponto do espaço sua posição na • imagem? • De que parâmetros depende?

9. Departamento de Informática • Modelagem e calibração de câmeras • Calibração • Para uma câmera específica, quais são os • valores destes parâmetros? • Modelos de câmera • - Câmera pin-hole equivalente • - Deformação radial causada pelas lentes • (modelo empírico) • • Que técnicas matemáticas são apropriadas para lidar com • projeções perspectivas?

10. Modelos de câmera Departamento de Informática

11. Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico) Departamento de Informática

12. Câmera pin-hole • Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas? Departamento de Informática

13. Departamento de Informática

14. Departamento de Informática

15. Departamento de Informática

16. Departamento de Informática

17. Departamento de Informática

18. Departamento de Informática

19. Departamento de Informática

20. Calibração de câmera • Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera. • Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem. Departamento de Informática

21. Calibração de câmeras • Calibração ↔ estimação de parâmetros →otimização Departamento de Informática

22. Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial • Utilização de um método iterativo para melhorar a solução obtida Departamento de Informática

23. Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial – método de Tsai – método de Zhang(Não implementado) • Utilização de um método iterativo para melhorar a solução obtida – método de Levenberg-Marquardt Departamento de Informática

24. Método de Tsai • Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares Departamento de Informática

25. Departamento de Informática Método de Tsai

26. Método de Tsai • Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty Departamento de Informática

27. Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

28. Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

29. Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados. Departamento de Informática

30. Exemplo Departamento de Informática

31. Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema Departamento de Informática

32. Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração! Departamento de Informática

33. Calibração câmera-projetor -A idéia básica é projetar uma imagem conhecida e identificar as coordenadas dos pontos da cena em que determinados pontos desta imagem se projetam. -Utiliza a câmera que já foi calibrada. Departamento de Informática

34. Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração Departamento de Informática

35. Exemplo Departamento de Informática

36. Departamento de Informática

37. Reconstrução no Espaço da Imagem: Baseado na reconstrução do objeto no espaço local do dispositivo. Consiste em três etapas: - Aquisição de retalhos da superfície do objeto; - Alinhamento de retalhos;e -Construção da superfície Departamento de Informática

38. Reconstrução no Espaço da Imagem: Estereoscopia e Triangulação O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena. A partir daí é realizada a triangulação e calculado a profundidade do ponto. Departamento de Informática

39. Reconstrução no Espaço da Imagem: Luz Estruturada Complexidade Departamento de Informática

40. Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

41. Reconstrução no Espaço da Imagem: Luz Estruturada Pipeline - Calibrar o par câmera/projetor; Capturar as imagens do objeto com os padrões projetados; Processar as imagens para correlacionar os pixels da câmera e do projetor; - Realizar a triangulação para recuperar a profundidade do pixel. Departamento de Informática

42. Reconstrução no Espaço da Imagem: Luz Estruturada Taxonomia Departamento de Informática

43. Reconstrução no Espaço da Imagem: Luz Estruturada A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados. Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor. O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada. Departamento de Informática

44. Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

45. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Triangulação - Cálculo da distância de pontos visíveis do objeto em relação ao dispositivo de captura. Departamento de Informática

46. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Departamento de Informática

47. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Interseção no espaço da câmera: Departamento de Informática

48. Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído. Departamento de Informática

49. Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos 6 2 Departamento de Informática 8 1 15 alinhamento (pair-wise registration) alinhamento global (multi-viewregistration) conversãoem meshes (scanning, triangulação) Modelo final

50. Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos • Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto. • Suposição de uma 1º transformação relativa