1 / 31

Aplicações e investigação de base – Desafios multidisciplinares

Aplicações e investigação de base – Desafios multidisciplinares. António Teixeira Dep. Electrónica Telec. Informática , Universidade de Aveiro IEETA & SIG - IL. Human os. Inspir a. S í ntese de Voz. Me di ç ões. T eorias. Da dos. us am. Pat ologias. S i stem as.

kemp
Télécharger la présentation

Aplicações e investigação de base – Desafios multidisciplinares

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA & SIG - IL

  2. Humanos Inspira Síntese de Voz Medições Teorias Dados usam... Patologias Sistemas (robôs, computadores Nossa visão • Centrada nos Humanos (antropomórfica) • Dos Humanos • Dados, teorias • Modelos • Para os Humanos • sistemas • Interdisciplinar • Para Português essencialmente ajudam

  3. I - Aplicações Interfaces Humano-Computador Aplicações na área da Saúde

  4. Desafio • É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral • Exemplos de áreas de aplicação em que considero ser relevante apostar: • Saúde • Interfaces Humano-Máquina / Acesso Universal • Incluindo Robótica

  5. “Ubiquitous computing - access to all information for anyone,anywhere, at any time - relies on speech for those whose eyes orhands are directed to other tasks (such as driving ...) or for thosewho cannot read or type (such as children, the blind, or thedisabled).” • Nass & Brave, in Wired for Speech

  6. Porquê Fala/Voz ? • A nossa forma natural de comunicar • Interesse crescente em estender o seu uso a interacção com máquinas • O HAL era fluente … em Inglês !!! • Mãos e visão livre • Permite interacção a alguma distância • Pode ser usada mesmo sem contacto visual • Não é necessário aprender a “linguagem” de interacção • Permite acesso remoto através do telefone

  7. Robôs de Serviço – Robôs Pessoais • A próxima geração precisa de ser: • Animada • Respondendo a alterações no ambiente • Acessível • Ex: Ser capaz de explicar as suas intenções • Em muitos casos implicará o uso de interfaces usando fala • Adaptável • A diferentes utilizadores e ambientes • Implica aquisição de conhecimento sobre ambiente, utilizadores e tarefas

  8. O robô Carl • Objectivo: • Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos • 1.1 m de altura • ~10 anos • Pioneer 2-DX • Da Activemedia • Computador portátil • Array de microfones • 2 câmaras, sonares ... • Infelizmente fala Inglês !

  9. Outras aplicações • A Fala deve desempenhar um papel principalnas “Tecnologias Assistivas” (Assistive Technologies) • Ver DSAI 2009 “position paper” • Exemplos: • Domótica para tetraplégicos • Comunicação Alternativa para Paralisia Cerebral • A integraçãode tecnologias de fala nas interfaces em geral deve ser promovida • Interfaces Multimodais

  10. Ciências da Fala e da Audição Aplicações em Audiologia Terapia da Fala

  11. Desafio(s) • Análise instrumental e quantitativa da voz • Criação de novos instrumentos de intervenção e avaliação • Novas tecnologias para sistemas aumentativos • Como Geração de Linguagem Natural para interface com sistemas de síntese • Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala

  12. Exemplo: SSW para Português • Staggered Spondaic Word Test (SSW) • Teste dicótico • Desenvolvido por Jorge Humberto Martins, MCFA, 2007

  13. II - Estudos sobre o Português Fonética Experimental Uso intensivo de tecnologias Muito ainda para investigar …

  14. Desafio • Ter informação detalhada sobre a produção do Português • Usar medição o mais directa possível • Contemplar os aspectos temporais e de sincronização • Muito pouco contemplados! • Áreas prioritárias: • Nasalidade • Laterais • Vibrantes • Produções “patológicas” • fenda palatina, problemas auditivos, doenças neurológicas …

  15. Exemplo:Ressonância Magnética [i] [e] [E]

  16. Exemplo 2:Coarticulação nas Laterais Lateral [l] Lateral [L]

  17. Outro Desafio • Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)

  18. Texto -> Gestos -> Voz mínimo Proc. Linguístico (acento, sílaba ... (m-i1_) (n-i0_)(m-u_) Base dados Gestos Modelo Gestual Info sincronização Pauta gestual “Task dynamics” Movimento articuladores Sintetizador (articulatório)

  19. Exemplo de Síntese (com SAPWindows)

  20. Para além da Linguística Emoção Identidade

  21. Desafio • Voz transmite informação linguística mas também emoção, identidade, dialecto … • Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador

  22. Primeiro problema: falta de dados • Não existência de um corpus de voz emocional disponível para o Português • Dificuldade de obter amostras de voz emocional espontânea

  23. Resultados recentes para PE Raiva Desesp Tristeza • Raiva diferindo da Neutra no 4 parâmetros analisados • Desespero também diferindo nos 4 parâmetros, mas menores diferenças • Tristeza essencialmente diferente nas irregularidades • Medo similar a desespero e com HNR próximo da Neutra • Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0 Neutra Medo Alegria F0 média Jitter HNR Shimmer

  24. III - A família da nossa língua ISCA Special Interest Group on the Iberian Languages SIG-IL

  25. Objectivos SIG-IL • Fórum de discussão de investigação e aplicações na área das tecnologias da fala; • Promoção a adequada referência pela comunidade internacional a trabalhos publicados pelos seus membros; • Organizar/apoiar conferências, escolas e workshops; • Divulgar publicações relacionadas com as línguas Ibéricas • Promover a colaboração entre a indústria e academia • Promover o uso de tecnologias da fala na edução

  26. SIG-IL ISCA Special Interest Group on the Iberian Languages • Primeira Direcção (Board) • Nestor Yoma, Rubén San-Segundo, Andréia Rauber, Plínio Barbosa, • Direcção actual • A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro Klautau (BR), Rubén San-Segundo (SP) • Possibilidade de ter massa critica ?

  27. Brasil Portugal Espanha Cuba Chile Argentina Alemanha EUA Japão Países Baixos Reino Unido Membros do SIG-IL

  28. Ideias e próximo evento • Ter repositório de teses, artigos • Ter revista com impacto • Parabéns para a recém lançada linguaMatica • Ter projectos conjuntos • Um pouco de publicidade 

  29. Principais desafios Prefiro usar desafios aos habituais “Problemas”

  30. Desafios • Arranjar formas de superar a não continuidade de financiamento • Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português • Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área • Exemplos: • Dificuldades de comparar resultados por inexistência de conjuntos de teste; • Publicações ISI

  31. Obrigado pela atenção!

More Related