200 likes | 324 Vues
Aprendizado Multiagente. Wanderson C. Bragança wanderson.wbc@gmail.com. Universidade Federal Fluminense. Roteiro. Alguns Conceitos. Características: aprendizado em SMA. Aprendizagem por reforço. Aprendizado em SMA. Conclusões. Qual a aplicação?. Recordando o que é Aprendizado.
E N D
AprendizadoMultiagente Wanderson C. Bragança wanderson.wbc@gmail.com Universidade Federal Fluminense
Roteiro Alguns Conceitos Características: aprendizado em SMA Aprendizagem por reforço Aprendizado em SMA Conclusões
Qual a aplicação? Recordando o que é Aprendizado O que envolve? O que é? Aprendizadoem SMA
Alguns Conceitos • Inteligência em SMA
Categorias de Aprendizado em SMA • Generalizando, existem duas categorias de aprendizado em SMA: • Centralizado (ou isolado): • Descentralizado (ou iterativo):
Correntes de Pesquisa • Não existe uma metodologia de ensino bem-definida para aprendizado em SMA • Porém existem vários métodos de aprendizado single-agente que podem ser aplicados em SMA
Tipos de Aprendizado • Aprendizado Supervisionado: • Aprendizado Não-supervisionado: • Aprendizado por Reforço: • Aprendizado por Reforço é o mais utilizado.
Aprendizado por Reforço • Q-Learning • Exemplo: Suponha que temos 5 salas em um prédio ligado por algumas portas.
Q-Learning • Podemos representar as salas por um grafo, onde cada sala representa um nó. A B C D E F
Q-Learning • Queremos que o agente saia do edifício. A B C D E F 0 100 100 0 0 0 0 0 100 0 0 0 0
Aprendizado e Coordenação • Correntes de estudo: • Aprendizado Isolado: • Pode ser centralizado ou distribuído • Aprendizado Interativo • Ambas utilizam aprendizagem por reforço
Aprendizado sobre e a partir de outros agentes • Ao contrário da coordenação, agora o aprendizado objetiva uma melhoria individual da performance do agente • Adivinhar o comportamento do outros agentes:
Aprendizado sobre e a partir de outros agentes • Vamos conhecer três abordagens: • Aprender papéis organizacionais • Aprender em ambientes de mercado • Aprender a explorar um oponente
Abordagem 1: Aprender papéis organizacionais • Capacitar cada membro do grupo a identificar seu papel na organização de uma forma adaptável • Exemplo: Se “dando bem” na noite... • Observando os outros agentes, qual papel escolher? Exigente, moderado ou desesperado?
Abordagem 2: Aprendendo em ambientes de mercado • Agentes compram e vendem informações em um mercado . • O ambiente é dinâmico por natureza. • A qualidade da informação vendida por diferentes agentes pode não ser a mesma. • Só é possível verificar a qualidade da informação após comprá-la.
Abordagem 3: Aprendendo a aproveitar-se do oponente • Procura aprender a estratégia do oponente observando o seu comportamento. • A partir daí, adota uma estratégia mais inteligente. • Exemplo: Jogos...
Aprendizado e Comunicação • Aprender a se comunicar: • Comunicação como aprendizado: • As duas abordagens: • Devem deixar claro o que, quando, como e com quem se comunicar. • Necessitam da definição de uma ontologia comum.
Conclusões • Aprendizado multiagente é um tema vasto, em que muitas e diferentes abordagens existem • Muitas questões ainda em aberto...
Obrigado! Universidade Federal Fluminense
Referências • Handbook of Research on Multi-Agent Systems:Semantics and Dynamics of Organizational Models Edited by: Virginia Dignum, Utrecht University, The Netherlands. • R. H. Bordini, M. Dastani, J. Dix, and A. El Fallah Seghrouchni, editors. Multi-Agent Programming:Languages, Platforms and Applications. Number 15 in Multiagent Systems, Artificial Societies, and Simulated Organizations. Springer, 2005. • Stone, P., Veloso, M., Multiagent Systems: A Survey from a Machine Learning Perspective, Carnegie Mellon University, 1997