Adaptive Systems Introduction - WS 2011 | Adaptive System Modelling

1. AdaptiveSysteme-2 Prof. Rüdiger Brause WS 2011

2. Organisation • „Einführung in adaptive Systeme“ B-AS-1, M-AS-1 • Vorlesung Dienstags 10-12 Uhr, SR9 • Übungen Donnerstags 12-13 Uhr, SR 9 • „Adaptive Systeme“ M-AS-2 • Vorlesung Donnerstags 10-12 Uhr, SR9 • Übungen Donnerstags 13-14 Uhr, SR 9 • Gemeinsames Übungsblatt, unterteilt in 2 Teile Ausgabe: Dienstags, Abgabe: Dienstags Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

3. Vorschau Themen • Einführung und Grundlagen • Lernen und Klassifizieren • Merkmale und lineare Transformationen • Lokale Wechselwirkungen: Konkurrentes Lernen • Netze mit RBF-Elementen • Rückgekoppelte Netze • Zeitdynamik und Lernen • Fuzzy-Systeme, Evolutionäre und genetische Algorithmen • Simulationstechnik Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

4. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

5. Das Vorbild: Gehirnfunktionen • Lineares Modell • Zell-Potential ~ Eingabe-Spikefrequenz • Ausgabe-Spikefrequenz ~ Zellstrom  Ausgabe-Freq. y ~ Eingabe-Freq. x • Problem: Reizähnlichkeit Ähnlich zu a) ? Ähnlich zu a) ? Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

6. Das Vorbild: Gehirnfunktionen • Kodierungsbeispiel: Neuron Nr.12, Grashüpfer Creutzig et al, J.Neurosci., 29(8), 2575-2580, 2009 • Zirp-Identifikation von Männchen einer Spezies • Keine Konstanz von Pausen- und Silbenlänge, • Verhältnis Silben / Pausen ist entscheidend Temperatur 1 Temperatur 2 • Lösung: Längere Intervalle produzieren mehr spikes, • Verhältnis bleibt invariant Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

7. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

8. x = (x1, ... ,xn) Eingabe(Dendriten) Dendriten x x Zell 2 Synapsen 1 x 3 körper w 2 w w Gewichte (Synapsen) 1 3 Akti-vierung w = (w1, ... ,wn) z Ausgabe(Axon) y Axon squashing function radial basis function y = S(z) z = = wTx Modellierung formaler Neuronen Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

9. Modellierung eines Neurons • Input-Output Formalisierung X={x}, Y = {y}, W = {w} DEF Transferfunktion • F: X  W  Y • F: X DEF Lernfunktion DEF formales Neuron Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

10. Modellierung von Netzen • DEFNeuronales Netz • Ein neuronales Netz ist ein gerichteter Graph G := (K,E) aus einer • Menge von Knoten K = {v}, den neuronalen Einheiten, und einer • Menge von Kanten E  KxK, den Verbindungen zwischen den Einheiten. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

11. y = SB(z) := y = SB(z) := Heavyside-Funktion Ausgabefunktionen • Binäre Ausgabefunktionen z.B. Kodierung von qual.Merkmalen rot = 1, braun = 0 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

12. Formale Neuronen • Anwendung binäre Funktion: log. Gatter x x 2 1 x 3 w 2 w w 1 3 z y w1 = ½ w2 = ½ w3 = -⅓ z = w1x1+w2x2+w3x3 • Veränderung: w3 = -⅓ → -⅔ : log. Gatter = ? Schwellwertveränderung: Wechsel der Funktionalität! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

13. y = SL(z,s) := y = SL(z,s) := k=zmax/s k=zmax/2s Ausgabefunktionen • Begrenzt-lineare Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

14. Kosinus-Quetschfunktion SF(z) := SC(z) := ST(z) := 2SF(z)-1 = = tanh(kz) Ausgabefunktionen • Sigmoidale Ausgabefunktionen Fermi-Funktion, logistische Funktion K=const sowie hyperb. Tangens Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

15. Visualisierung z(t) A A0 t t+1 t´ Formale Neuronen • Zeitmodellierung Ann.: Abfluss der Ladung aus dem Zellkörper -z/t mit sinkender Spannung proportional geringer -z/t ~ –z(t) oder -z/t = –z(t) * Rechnung * Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

16. Schichten • DEF Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

17. y = = W·x Matrix-Multiplikation Lineare Transformation mit NN • lineare Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

18. Affine Transformationen • Erweiterung des Eingaberaums (homogene Koordinaten) w1x1 +w2x2 + … + wnxn w1x1 +w2x2 + … + wnxn+ wn+11 wTx =(w1,…,wn)(x1…,xn)T  (w1,…,wn,wn+1)(x1…,xn,1)T=wTx (Skalierung, Rotation)  (Skalierung, Rotation, Verschiebung) • Verschiebungeines Vektors = Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

19. Affine Transformation mit NN • Affine Transformation 2-dimensional • Drehung • Skalierung • Shift Wrot= Wscal= Wshift=  Wrot  Wscal= Wshift W = Affine Transformation Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

20. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

21. Klassenbildung heute Objekte werden durch Merkmale beschrieben z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett, ...) quantitativMensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7, ...) Idee = Form = „Klassenprototyp“ Trennung von Klassen Blütensorte 1 Blütensorte 2 Muster eines Objekts  (Breite, Höhe) = x Höhe Klassenprototyp c 1 c 2 Breite Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c1,c2. - 21 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

22. Höhe x2 Mit z = = wTx c 1 c 2 Klassenentscheidung y = S(z) = Breite x1 Klassentrennung Klassentrennung durch Trenngerade mit f(x1) = x2= w1x1+w3 z<0 z=0 bzw. z = w1x1+w2x2+w3x3 = 0 z>0 mit x3 := 1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

23. Trennung mehrerer Klassen • DEF Lineare Separierung Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2 des Musterraums  = 12 mit 12 =  heißen linear separierbar, falls eine Hyperebene {x*} existiert mit g(x*) = wTx* = 0, so daß für alle x1 gilt g(x)<0 und für alle x2 gilt g(x)>0. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

24. x1 x2 SB(z) y = 0: Klasse 1 y = 1: Klasse 2 x3 ... xn-1 Klassenentscheidung y = SB(z) = 1 z = = wTx Klassentrennung durch formales Neuron Klassentrennung durch binäres Neuron z =wTx Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

25. WIE erhalten wir die richtigen Gewichte, d.h. die richtige Klassifizierung ? Lernen ! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

26. Assoziativ-speicher

27. Neuro-Modell des Assoziativspeichers Funktion: Jede Komp.ist lin. Summe zi = wix Nichtlin. Ausgabe: yi = SB(zi) = Lernen von W ? - 27 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

28. Lernen im Assoziativspeicher y = Wxr = z =rLr(xr)Txr + • Speichern aller N Muster mit Hebbscher Regel • Auslesen eines Musters r assoziierte Antwort + Übersprechen von anderen Mustern • Orthogonale Muster xr: Übersprechen = 0, exakte Reproduktion. • Nicht-orthogonale Muster: Schwellwerte nötig zum Unterdrücken des Übersprechens. - 28 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

29. Trennung mehrerer Klassen Erinnerung: Lineare Separierung 1 Neuron: 1 Trennlinie (Ebene) x2 xr (1,1) 2 Neurone: 2 Trennlinien (Ebenen) xq xp (0,1) • Bereiche trennbar (1,0) (0,0) xk x1 - 29 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

30. Trennung mehrerer Klassen Problem: Klassenentscheidung über Korrelationsgröße x2 xq xp x1 Entscheidung über x: Klasse p: xxp > xxq Klasse q: xxp < xxq Frage: x = xp: In welche Klasse? Antwort: in Klasse q ! Lösung (x-y)2 = x2 -2xy +y2 ist minimal  xy ist maximal genau dann, wenn Konstante Länge c = |x|=|y| (normierte Musteraktivität) - 30 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

31. Trennung mehrerer Klassen Erweiterung der Mustertupel x X‘ = (x0 , x1, x2, ..., xn)mit |x‘|= const weilx20= c2 – |( x1, x2, ..., xn)|2> 0(!)  Einbettung in den Hyperraum Beispiel: 2-dim 3-dim x3 c Entscheidung durch cos (a)= =c–2 xTxr cos(a) monoton fallend  Winkel als Distanzmaß min a max Korrelation x xr xp a x2 xq xk x1 - 31 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

32. Assoziativspeicher: Speicherkapazität M Tupel (x,y) gegeben: Wie viele können zuverlässig gespeichert werden? x1= x2 =...= xM: nur ein Muster speicherbar. y1= y2 =...= yM: beliebig viele Muster speicherbar, da Antwort y immer richtig. Problem der Kodierung der Muster ! Sei |x| = a. • Maximaler Musterabstand • max d(xp,xq) = min xpxq = 0 bei orthogonalen Mustern • Reelle Komponenten: n Dimensionen n orthogonale Basisvektoren • Binäre Komponenten: • Mmax = z.B. n=100, a=10, also max M=10 • Mittlere Abstand maximal  z.B. n = 100 max M  2n/n-0.5 1029 - 32 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

33. Assoziativspeicher: Binärspeicher Spärliche Kodierung Binäre Muster Konstante Zahl von 1 durch eine Leitung pro Eingabecode Speichern: wij = Vp yipxjp = maxp yipxjp Kapazität: HB = ln 2 = 0,693 Bit pro SpeicherzellePalm 1980 vergleichbar mit CAM-Speicher Kodierung k = ax = ld m j = ay = O(log n) CAM vs. Ass.matrix - 33 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011