METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS

1. METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS:INTRODUÇÃO E EXEMPLOS DE RESULTADOS Fernando Carvalho, João Manuel R. S. Tavares ISEP – Instituto Superior de Engenharia do Porto FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental

2. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Introdução: • Em Visão Computacional, uma das áreas que tem tido elevado interesse, por parte dos seus investigadores, é a das imagens de faces; • Nesta apresentação, são resumidamente indicadas várias aplicações e sumariamente descritas três das metodologias existentes; • Para cada metodologia considerada são apresentados alguns resultados experimentais, obtidos a partir do uso da plataforma de desenvolvimento Matlab. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

3. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações As metodologias existentes, no domínio das imagens de faces, são usualmente utilizadas em Visão Computacional para: • Detecção de faces; • Extracção de características faciais; • Reconhecimento e seguimento temporal de faces; • Classificação/análise de expressões faciais; • Geração de faces virtuais; • Simulação do estado emocional nas faces; • Simulação do efeito do envelhecimento nas faces; etc. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

4. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Metodologias consideradas: • Correlação Cruzada; • Detecção de zonas de Pele; • Modelos Protótipos Deformáveis. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

5. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem com a face e sub-imagem do olho: imagens originais (em cima),após a normalização (em baixo) e respectivos histogramas (ao lado). Imagens de Faces: Exemplos de Metodologias e Aplicações Método de Correlação Cruzada Descrição : • Permite a detecção de uma sub-imagem (Template), relativa a uma dada característica facial, como o olho, a boca, etc; • Consiste na determinação da transformada de Fourier, da Imagem com a face e da sub-imagem, seguida da correlação cruzada entre as transformadas; • Os coeficientes de correlação são obtidos pela transformada Inversa de Fourier; • As coordenadas correspondentes ao valor máximo dos coeficientes de correlação, corresponde à potencial localização da sub-imagem. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

6. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação “Mapa” dos Coeficientes de Correlação Imagem original com a sinalização, a vermelho, da correspondente localização da sub-imgem Imagens de Faces: Exemplos de Metodologias e Aplicações • Exemplo de resultados Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

7. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Método de Detecção de Zonas de Pele Descrição: • Conversão do formato RGB para o formato YCRCB, permite: • A eliminação do efeito da luminosidade; • A implementação de um modelo de probabilidade que segue uma distribuição normal ou Gaussiana; • É calculada a Média e a Covârianciado modelo de probabilidade, a partir de um conjunto de amostras de pele, convertidas no formato YCRCB, de vários indivíduos; • O algoritmo, tendo como referência a Média e a Covâriancia das amostras, procede à determinação da probabilidade de dado pixel, de dada imagem em análise, pertencer a uma dada zona de pele; • Por último, faz a segmentação da imagem pelas zonas de pele encontradas, e procede à respectiva representação binária dessas mesmas zonas. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

8. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem original, Componente Y - intensidade, Cb – Componente azul, Cr – Componente vermelha. (da esquerda para a direita) Imagem com 32 amostras de pele, extraídas da face de indivíduos de raça branca, e de ambos os sexos Imagens de Faces: Exemplos de Metodologias e Aplicações • Conversão do Formato RGB para o Formato YCRCB • Amostras de pele Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

9. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Consideremos as variáveis aleatórias são representadas por: e , cuja média e a co-variância e atendendo que: pode-se definir a função de probabilidade da distribuição Gaussiana como: Função de probabilidade obtido das amostras de pele consideradas Imagens de Faces: Exemplos de Metodologias e Aplicações • Modelo de probabilidade da distribuição normal Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

10. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem de probabilidade e respectiva binarização (da esquerda para a direita). Imagens de Faces: Exemplos de Metodologias e Aplicações • Resultado obtido a partir do detector de zonas de pele • Verificação dos segmentos correspondentes a Faces: • Utiliza-se o algoritmo de correlação cruzada; • A sub-imagem é um modelo facial adequado; • A imagem a correlacionar, de níveis de cinzento, corresponde a uma dada zona de pele a verificar; • É determinado o ângulo de inclinação da zona a verificar, sendo este atribuído ao modelo facial (aumenta-se a eficácia da correlação); • É estabelecido um limiar nos coeficientes de correlação, cerca de 0.6, que permite considerar ou não o segmento como face. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

11. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Segmento facial, níveis de correlação e modelo facial (da esquerda para a direita) Face circunscrita por um rectângulo Sequência de detecção, com múltiplas faces Imagens de Faces: Exemplos de Metodologias e Aplicações • Exemplos de resultados Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

12. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Método dos Modelos Protótipos Deformáveis Descrição: • Permitem a detecção de faces e a extracção de características; • Modelos parametrizados, os parâmetros conferem-lhe o comportamento deformável; • Considera-se o principio da Minimização de Energia para actualização dos parâmetros (por exemplo, pelo método do gradiente descendente); • É necessário aplicar um pré-processamento à imagem em análise, de forma a realçar a característica facial pretendida (por exemplo, detector de orlas); • O processamento correspondente ao ajuste dinâmico do modelo à característica facial, é dividido por épocas (processo iterativo). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

13. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Modelo paramétrico, definido por 11 parâmetros Imagens de Faces: Exemplos de Metodologias e Aplicações • Exemplos de resultados Imagem de Intensidade, vales de Intensidade, Picos de Intensidade, Orlas de intensidade (da esquerda para a direita e de cima para baixo) • Exemplo de modelo protótipo para o olho Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

14. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem com ponto inicial a vermelho, percurso iterativo a azul e ponto final a verde Imagens de Faces: Exemplos de Metodologias e Aplicações • Exemplos de resultados, determinação da íris • Primeira época: • É usado o campo de energia correspondente aos vales de Intensidade, permite encontrar o centro da íris; • Coordenadas do ponto inicial P a vermelho (ponto (30, 35) – ponto dado); • Coordenadas do ponto final Q a verde (ponto (38 ,21) – ponto obtido). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

15. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem com representação da íris através de uma circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações Imagens de Faces: Exemplos de Metodologias e Aplicações • Segunda época: • São usados os campos de energia correspondentes aos vales de intensidade e intensidade da imagem, permite encontrar a orla correspondente à íris. (Raio inicial: 20 pixels,Raio final: 9,3 pixels) Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

16. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagem com a representação da íris através de um circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações durante o ajuste fino Imagens de Faces: Exemplos de Metodologias e Aplicações • Terceira época: • É usado o campo correspondente às orlas de intensidade, permitindo um ajuste fino à orla da íris. (Raio inicial: 9,3 pixels,Raio final: 10,3 pixels) Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

17. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Conclusões • O algoritmo de correlação cruzada é eficiente, embora por vezes não apresente resultados conclusivos (por exemplo quando a imagem em estudo é bastante distinta da usada para extrair a sub-imagem usada na correlação). • O Algoritmo de detecção de zonas de pele apresenta bons resultados ao nível da detecção da face, no entanto a existência de outras zonas de pele, correspondentes a distintas partes do corpo na imagem, implica que as mesmas sejam também detectadas. • O Algoritmo dos modelos protótipos deformáveis apresenta boas características de detecção, contudo o valor de algumas constantes associadas aos níveis de energia têm de ser obtidos experimentalmente (pesos a usar). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

18. | Conclusões | Trabalho Futuro | Introdução |Metodologias |Aplicação Imagens de Faces: Exemplos de Metodologias e Aplicações Trabalho Futuro • Determinar a rotação da face a partir dos segmentos de pele obtidos; • Continuação dos ensaios experimentais usando modelos protótipos deformáveis mais complexos; • Aplicação do método dos protótipos deformáveis ao seguimento de características faciais em sequências de Imagens (por exemplo usando em conjunto com o filtro de Kalman). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

19. Obrigado! Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares