1 / 50

Selbstorganisation und Lernen

Selbstorganisation und Lernen. Carsten Keßler. Überblick. Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung. Überblick. Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative

lizina
Télécharger la présentation

Selbstorganisation und Lernen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Selbstorganisation und Lernen Carsten Keßler Seminar Robotfußball, SoSe 2003

  2. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  3. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  4. Einleitung • Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten • Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“) Carsten Keßler: Selbstorganisation und Lernen

  5. Einleitung • Engere Definition von Selbständigkeit: • Echte Selbständigkeit muss Eigeninitiative beinhalten Carsten Keßler: Selbstorganisation und Lernen

  6. Einleitung – die „Vision“ • Startzustand: • Roboter, gesteuert durch ein neuronales Netz • das neuronale Netz ist in einem „Tabula rasa“ Zustand • der Roboter reagiert nicht auf seine Sensor-Messwerte • Aktivitäten sind rein zufällig • die Umgebung enthält statische und dynamische Objekte Carsten Keßler: Selbstorganisation und Lernen

  7. Einleitung – die „Vision“ • Die Aufgabe: • komplett internes Ziel für den Roboter definieren, damit: • er anfängt, sich zu bewegen • während der Bewegung ein Bild von seiner Umgebung entwickelt • dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein Carsten Keßler: Selbstorganisation und Lernen

  8. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren Carsten Keßler: Selbstorganisation und Lernen

  9. Künstliche neuronale Netze • Die Nervenzelle als biologisches Vorbild Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

  10. Künstliche neuronale Netze • Schematische Darstellung eines künstlichen Neurons Quelle: Dan Patterson – Künstliche neuronale Netze Carsten Keßler: Selbstorganisation und Lernen

  11. Künstliche Neuronale Netze • Formal: Tupel, bestehend aus • Eingabevektor • Gewichtsvektor • Aktivierungsfunktion • Ausgabefunktion Carsten Keßler: Selbstorganisation und Lernen

  12. Künstliche neuronale Netze Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

  13. Künstliche neuronale Netze Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

  14. Künstliche neuronale Netze • Typen des Lernens • Entwicklung neuer Verbindungen • Löschen existierender Verbindungen • Modifikation der Gewichte • Modifikation des Schwellenwertes • Modifikation der Aktivierungs- / Ausgabefunktion • Entwickeln neuer Zellen • Löschen bestehender Zellen Carsten Keßler: Selbstorganisation und Lernen

  15. Künstliche neuronale Netze • Lernstrategien • überwacht (supervised learning) • bestärkend (reinforcement learning) • unüberwacht (unsupervised learning) Carsten Keßler: Selbstorganisation und Lernen

  16. Künstliche neuronale Netze • Anwendungen • Diagnostik • Vorhersage • Mustererkennung • Optimierung • Risikoabschätzung • Steuerung • .......... Carsten Keßler: Selbstorganisation und Lernen

  17. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  18. Das Modell • Der Ansatz: • der Agent überwacht selbst seinen eigenen Lernprozess Carsten Keßler: Selbstorganisation und Lernen

  19. Das Modell • Problem: • die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen Carsten Keßler: Selbstorganisation und Lernen

  20. Das Modell • Ausgabe des Controllers: • xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t • c: Parameter Vektor Carsten Keßler: Selbstorganisation und Lernen

  21. Das Modell • Das adaptive Modell soll xt+1 berechnen: Carsten Keßler: Selbstorganisation und Lernen

  22. Das Modell • der Fehler dabei beträgt: Carsten Keßler: Selbstorganisation und Lernen

  23. Das Modell • Lernregeln: • für das Modell: • für den Controller: Carsten Keßler: Selbstorganisation und Lernen

  24. Das Modell • Der Khepera Roboter • 8 IR-Sensoren • 2 Motoren • max. 1m/s • erweiterbar Quelle: http://www.k-team.com Carsten Keßler: Selbstorganisation und Lernen

  25. Das Modell • Beispiel • der Roboter bewegt sich mit konstanter Geschwindigkeit • der Output des Controllers gibt nur die Drehgeschwindigkeit an • Modellierung durch ein einzelnes Neuron: Carsten Keßler: Selbstorganisation und Lernen

  26. Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

  27. Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

  28. Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

  29. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  30. Roboter mit Eigeninitiative • Das Problem: • Bislang war die Geschwindigkeit gegeben • Das Modell strebt möglichst konstant bleibende Sensorwerte an  Das ist gegeben, wenn der Roboter nichts tut Carsten Keßler: Selbstorganisation und Lernen

  31. Roboter mit Eigeninitiative • Die Lösung: • Der Roboter bekommt einen Anreiz zur Aktivität • Dazu wird im Vorhersagemodell „die Zeit umgedreht“ Carsten Keßler: Selbstorganisation und Lernen

  32. Roboter mit Eigeninitiative • Die Zeitschleife: Carsten Keßler: Selbstorganisation und Lernen

  33. Roboter mit Eigeninitiative • Dabei entsteht der Fehler mit  Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird Carsten Keßler: Selbstorganisation und Lernen

  34. Roboter mit Eigeninitiative • Berücksichtigung der Dynamik, die nicht durch das Modell beschrieben ist (Störung, Messfehler, „Rauschen“): Carsten Keßler: Selbstorganisation und Lernen

  35. Roboter mit Eigeninitiative • Daraus folgt: • Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort • Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind  Anreiz zur Aktivität Carsten Keßler: Selbstorganisation und Lernen

  36. Roboter mit Eigeninitiative • Verhalten des Roboters: • Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird • Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht Carsten Keßler: Selbstorganisation und Lernen

  37. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  38. Visuelle Sensoren Quelle: Der / Liebscher: True autonomy from self-organized adaptivity. Carsten Keßler: Selbstorganisation und Lernen

  39. Visuelle Sensoren • Eingabevektor: x=(vl, vr, s1,…sK) • vl, vr: Geschwindigkeiten der Räder • si: Pixelwerte der Kamera im R3 Carsten Keßler: Selbstorganisation und Lernen

  40. Visuelle Sensoren • Preprocessing: • Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht • Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen • Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern Carsten Keßler: Selbstorganisation und Lernen

  41. Visuelle Sensoren • Der Controller besteht aus 2 Neuronen • Neuron 1 regelt die Geschwindigkeit • gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern  Funktioniert wie eben gesehen Carsten Keßler: Selbstorganisation und Lernen

  42. Visuelle Sensoren • Der Controller besteht aus 2 Neuronen • Neuron 2 regelt die Lenkung • wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild • Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern Carsten Keßler: Selbstorganisation und Lernen

  43. Visuelle Sensoren • Fehlerberechnung Carsten Keßler: Selbstorganisation und Lernen

  44. Visuelle Sensoren • Ausgabefunktionen Carsten Keßler: Selbstorganisation und Lernen

  45. Visuelle Sensoren • Lernregeln Carsten Keßler: Selbstorganisation und Lernen

  46. Visuelle Sensoren • Ergebnisse: • Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera • Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind Carsten Keßler: Selbstorganisation und Lernen

  47. Überblick • Einleitung • Künstliche neuronale Netze • Das Modell • Roboter mit Eigeninitiative • Visuelle Sensoren • Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

  48. Zusammenfassung • Wir haben gesehen, wie: • Roboter mit Hilfe von neuronalen Netzen lernen können • Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln • Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann Carsten Keßler: Selbstorganisation und Lernen

  49. Zusammenfassung • Bezug zum Roboterfußball: • Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse • In der Anwendung dominiert noch die klassische KI • Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis Carsten Keßler: Selbstorganisation und Lernen

  50. Vielen Dank für die Aufmerksamkeit! Carsten Keßler: Selbstorganisation und Lernen

More Related