Adaptive Systeme-2 Grundlagen

1. AdaptiveSysteme-2Grundlagen Prof. Rüdiger Brause WS 2013

2. Organisation • „Einführung in adaptive Systeme“ B-AS-1, M-AS-1 • Vorlesung Dienstags 10-12 Uhr, SR11 • Übungen Donnerstags 12-13 Uhr, SR 9 • „Adaptive Systeme“ M-AS-2 (Theorie) • Vorlesung Donnerstags 10-12 Uhr, SR 9 • Übungen Donnerstags 13-14 Uhr, SR 9 • Tutor: Markus Hildebrand MarkHild@stud.uni-frankfurt.de • Gemeinsames Übungsblatt, unterteilt in 2 Teile Ausgabe: Dienstags, Abgabe: Dienstags per email Besprechung: Donnerstags Rüdiger Brause: Adaptive Systeme, Institut für Informatik

3. Vorschau Themen • Einführung und Grundlagen • Lernen und Klassifizieren • Merkmale und lineare Transformationen • Lokale Wechselwirkungen: Konkurrentes Lernen • Netze mit RBF-Elementen • Fuzzy-Systeme • Evolutionäre und genetische Algorithmen • Schwarmalgorithmen Rüdiger Brause: Adaptive Systeme, Institut für Informatik

4. Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik

5. Das Vorbild: Gehirnfunktionen • Lineares Modell • Zell-Potential ~ Eingabe-Spikefrequenz • Ausgabe-Spikefrequenz ~ Zellstrom  Ausgabe-Freq. y ~ Eingabe-Freq. x • Problem: Reizähnlichkeit Ähnlich zu a) ? Ähnlich zu a) ? Rüdiger Brause: Adaptive Systeme, Institut für Informatik

6. Das Vorbild: Gehirnfunktionen • Kodierungsbeispiel: Neuron Nr.12, Grashüpfer Creutzig et al, J.Neurosci., 29(8), 2575-2580, 2009 • Zirp-Identifikation von Männchen einer Spezies • Keine Konstanz von Pausen- und Silbenlänge, • Verhältnis Silben / Pausen ist entscheidend Temperatur 1 Temperatur 2 • Lösung: Längere Intervalle produzieren mehr spikes, • Verhältnis bleibt invariant Rüdiger Brause: Adaptive Systeme, Institut für Informatik

7. Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik

8. x = (x1, ... ,xn) Eingabe(Dendriten) Dendriten x x Zell 2 Synapsen 1 x 3 körper w 2 w w Gewichte (Synapsen) 1 3 Akti-vierung w = (w1, ... ,wn) z Ausgabe(Axon) y Axon squashing function radial basis function y = S(z) z = = wTx Modellierung formaler Neuronen Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik

9. Modellierung eines Neurons • Input-Output Formalisierung X={x}, Y = {y}, W = {w} DEF Transferfunktion • F: X  W  Y • F: X DEF Lernfunktion DEF formales Neuron Rüdiger Brause: Adaptive Systeme, Institut für Informatik

10. Modellierung von Netzen • DEFNeuronales Netz • Ein neuronales Netz ist ein gerichteter Graph G := (K,E) aus einer • Menge von Knoten K = {v}, den neuronalen Einheiten, und einer • Menge von Kanten E  KxK, den Verbindungen zwischen den Einheiten. Rüdiger Brause: Adaptive Systeme, Institut für Informatik

11. y = SB(z) := y = SB(z) := Heavyside-Funktion Ausgabefunktionen • Binäre Ausgabefunktionen z.B. Kodierung von qual.Merkmalen rot = 1, braun = 0 Rüdiger Brause: Adaptive Systeme, Institut für Informatik

12. Formale Neuronen • Anwendung binäre Funktion: log. Gatter x x 2 1 x 3 w 2 w w 1 3 z y w1 = ½ w2 = ½ w3 = -⅓ z = w1x1+w2x2+w3x3 • Veränderung: w3 = -⅓ → -⅔ : log. Gatter = ? Schwellwertveränderung: Wechsel der Funktionalität! Rüdiger Brause: Adaptive Systeme, Institut für Informatik

13. y = SL(z,s) := y = SL(z,s) := k=zmax/s k=zmax/2s Ausgabefunktionen • Begrenzt-lineare Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik

14. Kosinus-Quetschfunktion SF(z) := SC(z) := ST(z) := 2SF(z)-1 = = tanh(kz) Ausgabefunktionen • Sigmoidale Ausgabefunktionen Fermi-Funktion, logistische Funktion K=const sowie hyperb. Tangens Rüdiger Brause: Adaptive Systeme, Institut für Informatik

15. Visualisierung z(t) A A0 t t+1 t´ Formale Neuronen • Zeitmodellierung Ann.: Abfluss der Ladung aus dem Zellkörper -z/t mit sinkender Spannung proportional geringer -z/t ~ –z(t) oder -z/t = –z(t) * Rechnung * Rüdiger Brause: Adaptive Systeme, Institut für Informatik

16. Schichten • DEF Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik

17. y = = W·x Matrix-Multiplikation Lineare Transformation mit NN • lineare Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik

18. Affine Transformationen • Erweiterung des Eingaberaums (homogene Koordinaten) w1x1 +w2x2 + … + wnxn w1x1 +w2x2 + … + wnxn+ wn+11 wTx =(w1,…,wn)(x1…,xn)T  (w1,…,wn,wn+1)(x1…,xn,1)T=wTx (Skalierung, Rotation)  (Skalierung, Rotation, Verschiebung) • Verschiebungeines Vektors = Rüdiger Brause: Adaptive Systeme, Institut für Informatik

19. Affine Transformation mit NN • Affine Transformation 2-dimensional • Drehung • Skalierung • Shift Wrot= Wscal= Wshift=  Wrot  Wscal= Wshift W = Affine Transformation Rüdiger Brause: Adaptive Systeme, Institut für Informatik