1 / 33

Adaptive Systeme-2

Adaptive Systeme-2. Prof. Rüdiger Brause WS 2011. Organisation. „Einführung in adaptive Systeme“ B-AS-1, M-AS-1 Vorlesung Dienstags 10-12 Uhr, SR9 Übungen Donnerstags 12-13 Uhr, SR 9 „Adaptive Systeme“ M-AS-2 Vorlesung Donnerstags 10-12 Uhr, SR9

dick
Télécharger la présentation

Adaptive Systeme-2

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. AdaptiveSysteme-2 Prof. Rüdiger Brause WS 2011

  2. Organisation • „Einführung in adaptive Systeme“ B-AS-1, M-AS-1 • Vorlesung Dienstags 10-12 Uhr, SR9 • Übungen Donnerstags 12-13 Uhr, SR 9 • „Adaptive Systeme“ M-AS-2 • Vorlesung Donnerstags 10-12 Uhr, SR9 • Übungen Donnerstags 13-14 Uhr, SR 9 • Gemeinsames Übungsblatt, unterteilt in 2 Teile Ausgabe: Dienstags, Abgabe: Dienstags Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  3. Vorschau Themen • Einführung und Grundlagen • Lernen und Klassifizieren • Merkmale und lineare Transformationen • Lokale Wechselwirkungen: Konkurrentes Lernen • Netze mit RBF-Elementen • Rückgekoppelte Netze • Zeitdynamik und Lernen • Fuzzy-Systeme, Evolutionäre und genetische Algorithmen • Simulationstechnik Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  4. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  5. Das Vorbild: Gehirnfunktionen • Lineares Modell • Zell-Potential ~ Eingabe-Spikefrequenz • Ausgabe-Spikefrequenz ~ Zellstrom  Ausgabe-Freq. y ~ Eingabe-Freq. x • Problem: Reizähnlichkeit Ähnlich zu a) ? Ähnlich zu a) ? Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  6. Das Vorbild: Gehirnfunktionen • Kodierungsbeispiel: Neuron Nr.12, Grashüpfer Creutzig et al, J.Neurosci., 29(8), 2575-2580, 2009 • Zirp-Identifikation von Männchen einer Spezies • Keine Konstanz von Pausen- und Silbenlänge, • Verhältnis Silben / Pausen ist entscheidend Temperatur 1 Temperatur 2 • Lösung: Längere Intervalle produzieren mehr spikes, • Verhältnis bleibt invariant Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  7. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  8. x = (x1, ... ,xn) Eingabe(Dendriten) Dendriten x x Zell 2 Synapsen 1 x 3 körper w 2 w w Gewichte (Synapsen) 1 3 Akti-vierung w = (w1, ... ,wn) z Ausgabe(Axon) y Axon squashing function radial basis function y = S(z) z = = wTx Modellierung formaler Neuronen Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  9. Modellierung eines Neurons • Input-Output Formalisierung X={x}, Y = {y}, W = {w} DEF Transferfunktion • F: X  W  Y • F: X DEF Lernfunktion DEF formales Neuron Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  10. Modellierung von Netzen • DEFNeuronales Netz • Ein neuronales Netz ist ein gerichteter Graph G := (K,E) aus einer • Menge von Knoten K = {v}, den neuronalen Einheiten, und einer • Menge von Kanten E  KxK, den Verbindungen zwischen den Einheiten. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  11. y = SB(z) := y = SB(z) := Heavyside-Funktion Ausgabefunktionen • Binäre Ausgabefunktionen z.B. Kodierung von qual.Merkmalen rot = 1, braun = 0 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  12. Formale Neuronen • Anwendung binäre Funktion: log. Gatter x x 2 1 x 3 w 2 w w 1 3 z y w1 = ½ w2 = ½ w3 = -⅓ z = w1x1+w2x2+w3x3 • Veränderung: w3 = -⅓ → -⅔ : log. Gatter = ? Schwellwertveränderung: Wechsel der Funktionalität! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  13. y = SL(z,s) := y = SL(z,s) := k=zmax/s k=zmax/2s Ausgabefunktionen • Begrenzt-lineare Ausgabefunktionen Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  14. Kosinus-Quetschfunktion SF(z) := SC(z) := ST(z) := 2SF(z)-1 = = tanh(kz) Ausgabefunktionen • Sigmoidale Ausgabefunktionen Fermi-Funktion, logistische Funktion K=const sowie hyperb. Tangens Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  15. Visualisierung z(t) A A0 t t+1 t´ Formale Neuronen • Zeitmodellierung Ann.: Abfluss der Ladung aus dem Zellkörper -z/t mit sinkender Spannung proportional geringer -z/t ~ –z(t) oder -z/t = –z(t) * Rechnung * Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  16. Schichten • DEF Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  17. y = = W·x Matrix-Multiplikation Lineare Transformation mit NN • lineare Schicht Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  18. Affine Transformationen • Erweiterung des Eingaberaums (homogene Koordinaten) w1x1 +w2x2 + … + wnxn w1x1 +w2x2 + … + wnxn+ wn+11 wTx =(w1,…,wn)(x1…,xn)T  (w1,…,wn,wn+1)(x1…,xn,1)T=wTx (Skalierung, Rotation)  (Skalierung, Rotation, Verschiebung) • Verschiebungeines Vektors = Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  19. Affine Transformation mit NN • Affine Transformation 2-dimensional • Drehung • Skalierung • Shift Wrot= Wscal= Wshift=  Wrot  Wscal= Wshift W = Affine Transformation Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  20. Klassifizierung Grundlagen Modellierung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  21. Klassenbildung heute Objekte werden durch Merkmale beschrieben z.B. qualitativ Mensch = (groß, braune Augen, dunkle Haare, nett, ...) quantitativMensch = (Größe=1,80m, Augenfarbe=2, Haarfarbe=7, ...) Idee = Form = „Klassenprototyp“ Trennung von Klassen Blütensorte 1 Blütensorte 2 Muster eines Objekts  (Breite, Höhe) = x Höhe Klassenprototyp c 1 c 2 Breite Klassifizierung = Ermitteln der Geradengleichung bzw Parameter c1,c2. - 21 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2009 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  22. Höhe x2 Mit z = = wTx c 1 c 2 Klassenentscheidung y = S(z) = Breite x1 Klassentrennung Klassentrennung durch Trenngerade mit f(x1) = x2= w1x1+w3 z<0 z=0 bzw. z = w1x1+w2x2+w3x3 = 0 z>0 mit x3 := 1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  23. Trennung mehrerer Klassen • DEF Lineare Separierung Seien Muster x und Parameter w gegeben. Zwei Klassen 1 und 2 des Musterraums  = 12 mit 12 =  heißen linear separierbar, falls eine Hyperebene {x*} existiert mit g(x*) = wTx* = 0, so daß für alle x1 gilt g(x)<0 und für alle x2 gilt g(x)>0. Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  24. x1 x2 SB(z) y = 0: Klasse 1 y = 1: Klasse 2 x3 ... xn-1 Klassenentscheidung y = SB(z) = 1 z = = wTx Klassentrennung durch formales Neuron Klassentrennung durch binäres Neuron z =wTx Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  25. WIE erhalten wir die richtigen Gewichte, d.h. die richtige Klassifizierung ? Lernen ! Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  26. Assoziativ-speicher

  27. Neuro-Modell des Assoziativspeichers Funktion: Jede Komp.ist lin. Summe zi = wix Nichtlin. Ausgabe: yi = SB(zi) = Lernen von W ? - 27 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  28. Lernen im Assoziativspeicher y = Wxr = z =rLr(xr)Txr + • Speichern aller N Muster mit Hebbscher Regel • Auslesen eines Musters r assoziierte Antwort + Übersprechen von anderen Mustern • Orthogonale Muster xr: Übersprechen = 0, exakte Reproduktion. • Nicht-orthogonale Muster: Schwellwerte nötig zum Unterdrücken des Übersprechens. - 28 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  29. Trennung mehrerer Klassen Erinnerung: Lineare Separierung 1 Neuron: 1 Trennlinie (Ebene) x2 xr (1,1) 2 Neurone: 2 Trennlinien (Ebenen) xq xp (0,1) • Bereiche trennbar (1,0) (0,0) xk x1 - 29 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  30. Trennung mehrerer Klassen Problem: Klassenentscheidung über Korrelationsgröße x2 xq xp x1 Entscheidung über x: Klasse p: xxp > xxq Klasse q: xxp < xxq Frage: x = xp: In welche Klasse? Antwort: in Klasse q ! Lösung (x-y)2 = x2 -2xy +y2 ist minimal  xy ist maximal genau dann, wenn Konstante Länge c = |x|=|y| (normierte Musteraktivität) - 30 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  31. Trennung mehrerer Klassen Erweiterung der Mustertupel x X‘ = (x0 , x1, x2, ..., xn)mit |x‘|= const weilx20= c2 – |( x1, x2, ..., xn)|2> 0(!)  Einbettung in den Hyperraum Beispiel: 2-dim 3-dim x3 c Entscheidung durch cos (a)= =c–2 xTxr cos(a) monoton fallend  Winkel als Distanzmaß min a max Korrelation x xr xp a x2 xq xk x1 - 31 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  32. Assoziativspeicher: Speicherkapazität M Tupel (x,y) gegeben: Wie viele können zuverlässig gespeichert werden? x1= x2 =...= xM: nur ein Muster speicherbar. y1= y2 =...= yM: beliebig viele Muster speicherbar, da Antwort y immer richtig. Problem der Kodierung der Muster ! Sei |x| = a. • Maximaler Musterabstand • max d(xp,xq) = min xpxq = 0 bei orthogonalen Mustern • Reelle Komponenten: n Dimensionen n orthogonale Basisvektoren • Binäre Komponenten: • Mmax = z.B. n=100, a=10, also max M=10 • Mittlere Abstand maximal  z.B. n = 100 max M  2n/n-0.5 1029 - 32 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

  33. Assoziativspeicher: Binärspeicher Spärliche Kodierung Binäre Muster Konstante Zahl von 1 durch eine Leitung pro Eingabecode Speichern: wij = Vp yipxjp = maxp yipxjp Kapazität: HB = ln 2 = 0,693 Bit pro SpeicherzellePalm 1980 vergleichbar mit CAM-Speicher Kodierung k = ax = ld m j = ay = O(log n) CAM vs. Ass.matrix - 33 - Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2011

More Related