Neurocomputação Baseada em Conhecimento

1. Neurocomputação Baseada em Conhecimento Prof. Júlio Cesar Nievola PPGIA PUCPR

2. Neurocomputação • Ênfase no uso e representação de conhecimento específico do problema dentro do paradigma de neurocomputação • “Conhecimento é poder” aplica-se • A modelagem explícita do conhecimento representado por um sistema neurcomputacional continua sendo um tema de pesquisa Prof. Júlio Cesar Nievola

3. Neurocomputação • Neurocomputação baseada em conhecimento diz respeito a métodos que trabalham com a representação e processamento explícito de conhecimento onde um sistema de neurocomputação está envolvido • Inspirado historicamente na IA simbólica e nas redes neurais artificiais Prof. Júlio Cesar Nievola

4. Arquitetura • Abordagem Híbrida • Módulos neural e simbólicos são distintos componentes, partilhando ou transferindo conhecimento • Abordagem Unificada • Conhecimento modelado usando conexões locais/distribuídas entre neurônios • Abordagem Translacional • Meio termo entre as abordagens Prof. Júlio Cesar Nievola

5. Sistema Especialista • Tem como objetivo a representação e uso de grandes quantidades de conhecimento, assegurando a sua integridade, consistência e exploração efetiva • Realiza uma tarefa de tomada de decisão complexa dentro de um domínio de problema bem específico Prof. Júlio Cesar Nievola

6. Arquitetura Modular de Sistemas Especialistas • Base de Conhecimentos • Base de Fatos • Máquina (ou Motor) de Inferência • Mecanismo de Explanação • Interface com o Usuário Prof. Júlio Cesar Nievola

7. Propriedades Funcionais dos Sistemas Especialistas • O usuário descreve o problema de maneira interativa • Deve inferir uma solução mesmo com informação incompleta ou imprecisa • Deve fornecer ao usuário alguma explicação de suas conclusões para justificar suas inferências (normalmente chamadas COMO? e POR QUÊ?) Prof. Júlio Cesar Nievola

8. Sistemas Baseados em Regras xSistemas Neurais • Tamanho da Tarefa • Aquisição e Edição do Conhecimento • Matching Parcial • Informação Incompleta • Capacidade de Explanação Prof. Júlio Cesar Nievola

9. Algoritmo VL1ANN para Representação de Regras • Codificar variáveis de entrada como valores reais (numéricos) • FOR cada regra DO • FOR cada átomo da regra DO • Codificar o átomo como nova unidade relacional na camada 1 conectada à entrada na camada 0 • Conectar todas as unidades relacionais da regra a uma nova unidade AND na camada 2 • Conectar todas as unidades AND representando regras com a mesma conclusão a uma nova unidade OR na camada 3 • FOR cada variável de saída Attr que não esteja ortogonalmente codificada DO • Mapear todas as unidades OR de Attr na camada 3 à uma única nova unidade de saída na camada 4 Prof. Júlio Cesar Nievola

10. Estratégias de Integração • Sistemas Híbridos • Dividir-e-conquistar • RNA embutida • Implementação neural de conhecimento explícito • Incorporação de regras em RNAs • Extração de regras de RNAs • Finalização de regras fuzzy em RNAs Prof. Júlio Cesar Nievola

11. Estratégias de Integração • Sistemas Neurais Especialistas • Tentativa de diminuir as desvantagens da representação implícita do conhecimento, introduzindo heurísticas • RNA “enriquecida” com outras funcionalidades para ter as características de sistemas especialistas • Exemplos: MACIE, EXPSYS Prof. Júlio Cesar Nievola

12. Posiboost Placibin Biramibio Namastose Superciliose Pés inchados Ouvidos vermelhos Perda de cabelos Vertigem Areta sensitiva Alergia a Placibin MACIE (“Matrix-Controlled Inference Engine”) Prof. Júlio Cesar Nievola

13. DATA PROBLEM PRIOR KNOWLEDGE Task specification Training & test sets Meta: NN knowledge Base: Domain knowledge Metalevel Supervisor … Hint-B. Training Data Pre- Processor Search-B. Config. RN-to-NN Compiler Hint-B. Config. Data Cleaners AritifData Generators Knowledge Extractors Simulator 2 Simulator N Simulator 3 Simulator 1 Base Level … Configured and trained networks Symbolic-Connectionist Architecture for Neural Network Design and Learning Arquitetura SCANDAL Prof. Júlio Cesar Nievola

14. Seqüência de Passos nas Arquiteturas Translacionais • Obter conhecimento simbólico, ou seja, em forma estruturada do problema • Traduzir o conhecimento em uma RNA • Treinar a RNA para revisar e/ou refinar o conhecimento embutido na mesma • Extrair conhecimento simbólico da RNA • Refinar o conhecimento simbólico Prof. Júlio Cesar Nievola

15. Características dos Métodos Translacionais • Tipo de representação do conhecimento prévio e final • Forma de regras => RNA em avanço • Autômatos => RNA recorrente • Grafos direcionados => neurônios recursivos • Árvores de decisão => representam o conhecimento prévio e/ou final extraído Prof. Júlio Cesar Nievola

16. Características dos Métodos Translacionais • Restrições baseadas na arquitetura • Arquitetura para mapear representação estruturada desejada • Número de camadas => nível requerido para mapear regras à topologia da RNA • Tipos de função de ativação => sigmóide ou baseada em fatores de certeza • Pesos: {-1,0,1} ou [-1,1] • Entradas: {0,1} ou {-1,1} Prof. Júlio Cesar Nievola

17. Características dos Métodos Translacionais • Método de treinamento • Restrições nos parâmetros durante treinamento: pesos fixos / faixa de valores • Modificações na topologia: adicionar ou apagar unidades • Modificação da função objetivo normal: termos de regularização que criam penalidade para obter pesos no conjunto desejado {-1,0,1} Prof. Júlio Cesar Nievola

18. Características dos Métodos Translacionais • Os métodos de extração do conhecimento pode ser baseados em requisitos de treinamento especializado e uma arquitetura de RNA restrita, ou dirigidos a uma RNA genérica, sem restrições com relação ao tipo de treinamento a ser efetuado sobre o conhecimento simbólico embutido Prof. Júlio Cesar Nievola

19. Extração de Regras • É a tarefa de converter modelos de redes neurais treinadas em representações mais facilmente compreensíveis • Surgiu em função de • Data Mining boom • Interesse em métodos como boosting, bagging e error-correcting output codes Prof. Júlio Cesar Nievola

20. Técnicas de Extração de Conhecimento de RNAs • Decomposicional • Extração a nível de associações escondidas e de saída (dando origem às redes conexionistas baseadas em regras, RBCN) • Pedagógica • RNA vista como “caixa preta” e a extração ocorre sobre arquiteturas sem restrições • Eclética Prof. Júlio Cesar Nievola

21. Características dos Métodos de Extração de Regras • Compreensibilidade • Quanto são humanamente compreensíveis • Fidelidade • Quanto modela a RNA da qual foi extraída • Precisão • Previsão precisa sobre exemplos não vistos • Escalabilidade • Grandes espaços de entrada, unidades e conexões • Generalidade • Treinamento especial e/ou restrições Prof. Júlio Cesar Nievola

22. Extração de RegrasBaseadas em Busca Prof. Júlio Cesar Nievola

23. Algoritmo SUBSET • Extrai regras dos neurônios das camadas intermediárias e de saída • Busca subconjuntos de pesos para cada neurônio cuja soma supera o limiar • Grande número de possibilidade => processamento excessivo • Regras com grande número de antecedentes Prof. Júlio Cesar Nievola

24. Algoritmo SUBSET • FOR cada neurônio da camada escondida e intermediária DO • Formar Sp subconjuntos, combinando somente pesos positivos cujo somatório supera o limiar • FOR cada elemento P dos subconjuntos Sp DO • Formar Sn subconjuntos de N elementos, considerando as combinações mínimas de pesos negativos, tal que a soma absoluta destes pesos seja maior que a soma de P menos o valor do limiar • Formar a regra: IF P ANDNOT N THEN neurônio Prof. Júlio Cesar Nievola

25. Rede e regras extraídas usandoo Algoritmo SUBSET Prof. Júlio Cesar Nievola

26. Algoritmo TREPAN (“TREes Parroting Networks”) • Independe da topologia da rede • Fornece uma árvore de decisão • Usa o método best-first • A classe de cada exemplo é definida por um oráculo (a própria RNA) • Usa exemplos complementares para garantir mínimo de exemplos Prof. Júlio Cesar Nievola