Otimização de Pesos e Arquitetura de Redes Neurais Utilizando Group Search Optimizer

1. Plano de Dissertação Otimização de Pesos e Arquitetura de Redes Neurais Utilizando Group Search Optimizer Danielle Nathália dngs@cin.ufpe.br Danielle Nathália

2. Índice • Introdução • Motivação • Objetivo • Justificativa • Group Search Optimizer (GSO) • Metodologia Proposta • Esquema da Metodologia Proposta • Cronograma • Referências Danielle Nathália

3. Introdução • Motivação – O que influenciou na escolha do tema, ou seja, porque estudar e propor técnicas para otimizar o treinamento de Redes Neurais. • Objetivo – Qual o objetivo do trabalho. • Justificativa – Justificar as escolhas das técnicas que serão usadas para resolver o problema. Danielle Nathália

4. Motivação • A eficiência das Redes Neurais Artificiais(RNAs), que têm sido aplicadas com sucesso em uma diversidade de problemas do mundo real, depende do seu bom desenvolvimento que envolve a definição de vários parâmetros, como, por exemplo, o tipo de rede, a arquitetura, o algoritmo de treinamento utilizado, os parâmetros de treinamento, os critérios de parada, dentre outros. • Em geral, o treinamento das RNAs é realizado através de repetidas tentativas com diferentes topologias de rede, até serem obtidos resultados satisfatórios para o problema. • Consome tempo e exige experiência no treinamento de RNAs, além do fato de poder obter redes com conexões e unidades de processamento desnecessárias. • Quanto maior a topologia da rede mais complexo é o ajuste do valor destas conexões. Danielle Nathália

5. Motivação • A Inicialização de pesos, arquitetura, entre outros parâmetros, de uma rede neural MultilayerPerceptron (MLP) pode ser formulado como um problema de otimização, onde cada solução representa os pesos iniciais, por exemplo, e a medida de custo pode ser em função do erro de treinamento. • Métodos de otimização global podem ser combinados baseado na técnica do gradiente (por exemplo, o algoritmo backpropagation), formado em uma abordagem híbrida, que tenta juntar, no mesmo sistema, a eficiência global dos métodos de otimização com o ajuste fino das técnicas baseada no gradiente. Esta combinação de métodos de otimização global, com técnicas de busca local, que é chamado de "formação híbrida“. • Assim, otimização simultânea de arquiteturas e pesos de RNA é uma abordagem interessante para a geração de redes eficientes com topologia pequenas. Danielle Nathália

6. Objetivo • O objetivo deste trabalho é a proposição, implementação e análise de um método de otimização simultânea de pesos e arquiteturas que possa levar a uma solução de baixa complexidade e boa generalização; • Será considerada uma solução ideal aquela cuja os erros médios dos conjuntos de treinamento, validação e teste sejam equivalentes ou melhor aos dos métodos atuais. • Ou seja, o objetivo é minimizar o principal problema do algoritmo de backpropagation que é a convergência local, realizando a otimização simultânea dos pesos e arquiteturas da rede MultilayerPerceptron (MLP); Danielle Nathália

7. Justificativa • Porque hibridizar técnicas de otimização global com técnicas de otimização local • Técnicas de otimização global são relativamente ineficientes para o ajuste fino em buscas locais, por isso será adicionado ao método proposto à heurística da técnica de busca local Backpropagation. • Porque usar GSO • Tem sido recentemente utilizado para resolver problemas de alta dimensionalidade e vem obtendo resultados promissores comparados com os de outras técnicas. • É uma técnica que explora o espaço de soluções de uma forma diferente das outras técnicas comumente usadas. Danielle Nathália

8. Justificativa • Comparação entre o GSO e duas técnicas de otimização mais semelhante. Danielle Nathália

9. Group Search Optimizer • O modelo GSO, descrito em [18], assume a existência de um produtor em cada geração e os membros restantes são scroungers (pedintes) e membros dispersos; • Foi inspirado em comportamento do animal, especialmente no comportamento de busca de animais; • Mecanismo de Busca: Visão. • Outros mecanismos: contato físico, químico ou auditivos. Danielle Nathália

10. Group Search Optimizer • Estratégia: • Produdor: Pesquisar (produzir) alimentos, recursos; • Scroungers: Juntar (arrecadar) recursos descoberto por outros. • Metodologia do Scrounger: • Copiando Área: Movendo através do espaço em volta da área do produtor. • Ex: Tubarão e a Rêmora Danielle Nathália

11. Group Search Optimizer • Membros Dispersos: • Representam na natureza os membros que possuem forma de busca e habilidades competitivas diferentes dos outros membros do grupo. • Eles geralmente são subordinados e possuem menor eficiência no seu método de busca por recursos do que os membros dominantes. Danielle Nathália

12. Group Search Optimizer • Cada indivíduo possui uma posição, altura máxima que ele pode ir, ângulo máximo que sua cabeça pode girar para procurar recursos e distância máxima que pode atingir. • Inspirado no peixe branco Danielle Nathália

13. Group Search Optimizer “Percurso típico” Nesta figura, o produtor foi artificialmente colocado no mínimo global, portanto, todos os pedintes "copiam área" e realizam corrida em direção ao produtor e finalmente convergiram para o mínimo global. Danielle Nathália

14. Group Search Optimizer • Parâmetros: • θmax = ângulo máximo que ele pode perseguir; •  max = ângulo máximo que ele pode girar a cabeça; • l max = distância máxima que ele pode alcançar; •  0 = Varia a inicialização dos ângulos; • Θmax = (4*pi) / (a^2), onde a = round(√n + 1); •  max = Θmax/2 • l max =  ni=1 (Ui - Li)2 , onde U e L são menor e maior limites da dimensão. Danielle Nathália

15. Group Search Optimizer TABELA I PSEUDOCÓDIGO PARA O ALGORITMO GSO Fixe k := 0; Inicializar aleatoriamente a posição Xi e o angulo i de todos os membros; Calcule o valor do fitness inicial dos membros: f (Xi ); Enquanto (as condições não são atendidas) Para (cada membros i do grupo) Escolha produtor: Encontre o produtor Xp do grupo; Executar produção: 1) O produtor vai varrer (varredura visual) a zero grau e depois varrer lateralmente por amostragem aleatória de três pontos no campo de varredura usando (2) a (4). 2) Procurar o melhor ponto com os melhores recursos (valor de fitness). Se o melhor ponto tem um melhor recurso do que a sua atual posição, então ele vai voar para este ponto. Caso contrário, irá permanecer em sua posição atual e virar acabeça para um novo ângulo usando (5). 3) Se o produtor não pode achar um melhor área após a iterações, este irá transformar o angulo para voltar ao grau zero usando (6); Executar scrounging: selecionar aleatoriamente 80% dos membros de descanso para realizar scrounging; Executar dispersão: Para os membros restantes, serão dispersos de sua posição atual para executar determine: 1). Gerar um ângulo aleatório usando (5) e 2). Escolher uma distância aleatória li a partir da distribuição de Gauss usando (8) e passar para o novo ponto usando (9); Calcular fitness: Calcule o valor do fitness do membro atual: f (Xi); Fim do Para Ajuste k := k + 1; Fim do Enquanto Danielle Nathália

16. Metodologia Proposta • GSO • Estratégia de busca igual do GSO; • Escolher 10% dos melhores para serem os produtores e não apenas 1; Escolher 20% dos piores para serem os membros dispersos e não 20% do grupo, pois podem ir membros com aptidão alta para este grupo; • Tabu Search – como método de memória • Estratégia de armazenar nas lista tabu as n soluções visitadas; Avalia um conjunto de soluções, enquanto o GSO avalia apenas uma solução; • As soluções serão mantidas em um histórico para evitar a geração de soluções repetidas. A solução só é aceita se não estiver na lista. • Porém pode ser inserida uma solução com um custo maior do que o custo da solução atual. Para resolver isso pode-se usar outro critério de aceitação da nova solução, como por exemplo, só aceitar a nova solução de for menor que a atual. Danielle Nathália

17. Metodologia Proposta Tabu Search: Idéia básica: • Escolhe aleatoriamente uma solução inicial. • Guarda a solução em melhor solução e na lista tabu. • Enquanto critérios de parada não forem satisfeitos, • Gera um conjunto de N soluções vizinhas a partir da atual. • Escolhe o vizinho de menor custo que não esteja na lista tabu. • Atualiza melhor solução e lista tabu. • Retorna melhor solução. • Usar Tabu Search aumenta o custo computacional; • O tamanho da lista é um fator de grande influência no processo, pois feita à opção por uma lista de tamanho pequeno, o processo ficará reduzido a pequenas regiões de busca. Danielle Nathália

18. Metodologia Proposta • Geração: é selecionado 10% dos melhores indivíduos para ser o produtor, dos que sobrarem 20% dos piores membros serão os membros dispersos e 80% serão scrounger . • Fitness: O valor de aptidão de cada indivíduo é dado pelo erro da rede neural utilizando os dados separados para treino. • Condição de parada: Crescimento do valor do aptidão, número máximo de gerações e alcançar valor mínimo de aptidão 0. • Bases de Dados: • 10 bases divididas entre problemas de classificação e previsão; • Tentar usar base real do programa de pesquisa Xiscanoé. Danielle Nathália

19. Esquema da Metodologia Proposta 1º Divisão do conjunto de treinamento e conjunto de treinamento, validação e teste. Para os K folds 1º Recebe o conjunto de treinamento e validação 2º Avalia usando o erro de uma RNA Inicia o GSO+”X” SHI Pega o melhor resultado do SIH e avalia o desempenho da rede usando o conjunto de teste Danielle Nathália

20. Cronograma • Atividades • Aquisição dos Dados • Pesquisar Sobre a Metodologia Proposta • Implementar o Método Proposto • Avaliar o Método Implementado • Escrever Artigo • Escrever Dissertação • Defender Dissertação Danielle Nathália

21. Referências [1]Haykin, S. (1994). Neural Networks. Macmillan College Publishing Company. Ontario. Canada. [2] D. B. Fogel, “The advantages of evolutionary computation,” in Proc.Bio-Computing Emergent Comput., Singapore: World Scientific Press,1997, pp. 1–11. [3] C. J. Barnardand R. M. Sibly, “Producersandscroungers: A generalmodeland its application to captiveflocksofhousesparrows,” Animal Behavior, vol. 29, pp. 543–550, 1981 [4] X. Yao. Evolving artificial neural networks. Proceedingsofthe IEEE, 87(9):1423–1447, September 1999. [5] R.S. Sexton, B. Alidaee, R.E. Dorsey, and J.D. Johnson, “Global optimization for artificial neural networks: A tabu search application,” Eur. J. Oper. Res., vol. 106, no. 2-3, pp. 570-584, 1998. Danielle Nathália

22. Referências [6]R.S. Sexton, R.E. Dorsey, and J.D. Johnson, “Optimization of neural networks: A comparative analysis of the genetic algorithm and simulated anneling.” Eur. J. Oper. Res., vol. 114, pp. 589-601, 1999. [7] J.Tsai, J. Chou, and T. Liu, “Turning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm,” IEEE Trans. Neural Netw., vol 17, no. 1, pp. 69-80, Jan. 2006. [8] T.B. Ludermir, A. Yamazaki, and C. Zanchettin. Anoptimizationmethodology for neural network weightsandarchitectures. IEEE Transactionson Neural Networks, 17(6):1452–1459, 2006. [9] L.M. Almeida andT.B. Ludermir. A hybridmethod for searchingnear-optimal artificial neural networks. In HybridIntelligent Systems, 2006. HIS ’06. SixthInternationalConferenceon, pages 36–36, Dec. 2006. [10] A. P. S. Lins, T. B. Ludermir, "HybridOptimizationAlgorithm for theDefinitionof MLP Neural Network ArchitecturesandWeights," his, pp.149-154, FifthInternationalConferenceonHybridIntelligent Systems (HIS'05), 2005. Danielle Nathália

23. Referências [11] A. Yamazaki, “Neural Network Training with Global OptimizationTechniques”, (In Portuguese) Ph.D. Thesis, Center ofInformatics, Federal Universityof Pernambuco, Brazil, 2004. [12] VESTERSTROEM, J.; THOMSEN, R. A comparativestudyofdifferentialevolution, particleswarmoptimization, andevolutionaryalgorithmsonnumerical benchmark problems. Proc. Congr. Evol. Comput., vol. 2, 2004. p. 1980–1987. [13]JarmoIlonen, Joni-KristianKamarainen, andJouniLampinen. Differentialevolution training algorithm for feed-forward neural networks. Neural ProcessingLetters, 17(1):93–105, 2003. [14]E. Bonabeau, M. Dorigo, and G. Theraulza, “Inspiration for optimization from social insect Behavior,” Nature, vol. 406, pp. 39–42, Jul. 2000. [15]J. Kennedy, R. C. Eberhart, and Y. H. Shi, Swarm Intelligence. San Mateo, CA: Morgan Kaufmann, 2001. Danielle Nathália

24. Referências [16]C. W. Clark and M. Mangel, “Foraging and flocking strategies: Information in an uncertain environment,” Amer. Naturalist, vol. 123, pp. 626–641, 1984. [17] C. J. Barnard and R. M. Sibly, “Producers and scroungers: A general model and its application to captive flocks of house sparrows,” Animal Behavior, vol. 29, pp. 543–550, 1981. [18] S. He, Member, H. Wu, and J. R. Saunders, Group Search Optimizer: An Optimization Algorithm Inspired by Animal Searching Behavior. IEEE Transaction on Evolutionary Computation, Vol. 13, pp. 973-990, 2009. [19] C. L. Higgins and R. E. Strauss, “Discrimination and classification of foraging paths produced by search-tactic models,” Behavioral Ecology, vol. 15, no. 2, pp. 248–254, 2003. Danielle Nathália