1 / 23

Jordan-Netze und Elman-Netze

30.11.2005. Jordan-Netze und Elman-Netze. 2. Inhalt. 1. Zeitreihenprognose1.1. Begriffsklrung1.2. Mglichkeiten2. Jordan-Netz2.1. Architektur2.2. Eigenschaften2.3. Funktionsweise3. Elman-Netz3.1. Architektur3.2. Eigenschaften3.3. Funktionsweise4. Lernverfahren5. Bei

moshe
Télécharger la présentation

Jordan-Netze und Elman-Netze

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

    1. Jordan-Netze und Elman-Netze 30. November 2005

    2. 30.11.2005 Jordan-Netze und Elman-Netze 2 Inhalt 1. Zeitreihenprognose 1.1. Begriffsklrung 1.2. Mglichkeiten 2. Jordan-Netz 2.1. Architektur 2.2. Eigenschaften 2.3. Funktionsweise 3. Elman-Netz 3.1. Architektur 3.2. Eigenschaften 3.3. Funktionsweise 4. Lernverfahren 5. Beispiel XOR-Problem

    3. 30.11.2005 Jordan-Netze und Elman-Netze 3 1. Zeitreihenprognose 1.1. Begriffsklrung (Zeitreihe) Musterfolge, bei der die Reihenfolge der Muster von der Zeit beeinflusst wird Muster kann nicht mehr isoliert betrachtet werden, sondern im zeitlichen Kontext mit anderen Mustern (wichtig ist die Position im gesamten Musterkontext) Ausgabe des Netzes hngt nicht nur von der aktuellen Eingabe ab, sondern auch von vorangegangenen (bzw. nachfolgenden) Mustern z.B. wirtschaftliche Kenndaten (Aktienmarkt), Kontrollsignale (Fahrzeugsteuerung),

    4. 30.11.2005 Jordan-Netze und Elman-Netze 4 Mglichkeiten Es gibt 2 Anstze zur Reprsentation der Zeit Zeitfenster Partiell rekurrente Netze Es knnen auch beide kombiniert werden

    5. 30.11.2005 Jordan-Netze und Elman-Netze 5 Mglichkeiten Zeitfenster Eingabe einer Teilfolge von n Mustern (statt des einzelnen Musters) Somit Zugriff auf ein Teilfenster der Lnge n Fr jedes neue Muster wird das Teilfenster um eine Position nach hinten verschoben Dieses Sliding window erlaubt Verwendung einfacher feedforward-Netze (Training mit Backpropagation) Nachteile: Grsse des Eingabefensters durch Netztopologie definiert / nur relative Position eines Musters im Eingabefenster relevant -> absolute Postion bleibt unbercksichtigt

    6. 30.11.2005 Jordan-Netze und Elman-Netze 6 Mglichkeiten Partiell rekurrente Netze Beispiel: Vorhersage des nchsten Wertes eines Kurvenverlaufs

    7. 30.11.2005 Jordan-Netze und Elman-Netze 7 Mglichkeiten Architektur ermglicht, dass die zeitliche Reihenfolge der Eingabedaten Einfluss auf das Ergebnis hat Informationen aus dem Verarbeitungsschritt werden in den Verarbeitungsschritt bernommen d.h., die Zeit wird im neuronalen Netz reprsentiert Abgeleitet aus feed-forward-Netzen -> trainierbar durch modifizierte Lernverfahren der feed-forward-Netze

    8. 30.11.2005 Jordan-Netze und Elman-Netze 8 Jordan-Netz Architektur

    9. 30.11.2005 Jordan-Netze und Elman-Netze 9 Jordan-Netz Eigenschaften Feedforward Netze mit Kontextzellen, um den Ausgabezustand zu speichern Eingabezellen und Kontextzellen liefern Eingabe an den hidden Layer, dessen Ausgabe an die Ausgabezellen weiterpropagiert wird Ausgabewerte werden nach auen weitergegeben und dienen weiterhin, ber 1:1 Rckkopplungsverbindungen mit festen Gewichten als Input an Kontextzellen Kontextzellen besitzen direkte Rckkopplungen mit Strke , nicht trainierbar, Aktivierungsfunktion: Identitt Anzahl der Kontextzellen = Anzahl der Ausgabezellen Nur Verbindungen zur verdeckten Schicht und zur Ausgabeschicht sind trainierbar

    10. 30.11.2005 Jordan-Netze und Elman-Netze 10 Jordan-Netz Funktionsweise Ausgabe des Netzes zum Zeitpunkt t: O(t) Zeitabhngiger interner Zustand: Vektor S(t) Externe Eingabe zum Zeitpunkt t: I(t) Ausgabefunktion F bergangsfunktion G

    11. 30.11.2005 Jordan-Netze und Elman-Netze 11 Jordan-Netz Funktionsweise Die Aktivierungsfunktion der Zustandszellen ist die identische Abbildung. Ausgehend von einem Startzustand ergibt sich dann fr den Zustandsvektor S zur Zeit t:

    12. 30.11.2005 Jordan-Netze und Elman-Netze 12 Jordan-Netz Funktionsweise Mit den Vereinfachungen, dass der Initialkontext der Nullvektor ist und die Rckkopplungsverbindungen von der Ausgabe zu den Kontextzellen alle den Wert besitzen, reduziert sich die Gleichung zu Diese bergangsfunktion ist eine gewichtete Summe aller bisherigen Ausgaben

    13. 30.11.2005 Jordan-Netze und Elman-Netze 13 Jordan-Netz Funktionsweise steuert das Erinnerungsvermgen des Netzes Wert liegt im Bereich [0,1] Kleiner Wert: weiter zurckliegende Zustnde werden nur noch minimal bercksichtigt, die letzten dagegen relativ stark (Netzwerk vergisst schnell, reagiert aber flexibel auf neuere nderungen) Wert nahe 1: Einfluss lterer Ausgaben wichtiger Extremfall Wert=1: Aufsummierung aller bisherigen Ausgaben

    14. 30.11.2005 Jordan-Netze und Elman-Netze 14 Jordan-Netz Nachteile: Oft wird kleiner Wert fr bentigt und groer Wert fr nahe 1.0 erwnscht Kontextzellen knnen nur Ausgaben speichern, nicht internen Zustand der verdeckten Schicht

    15. 30.11.2005 Jordan-Netze und Elman-Netze 15 Elman-Netz Architektur

    16. 30.11.2005 Jordan-Netze und Elman-Netze 16 Elman-Netz Eigenschaften Feedforward Netze mit Kontextzellen, um den Zustand der verdeckten Zellen zu speichern Modifikation der Jordan-Netze Rckkopplung aus der verdeckten Schicht keine direkte Rckkopplung der Kontextzellen Anzahl der Kontextzellen = Anzahl der verdeckten Zellen Rckkopplungsverbindung mit festem Gewicht 1 Aktivierungsfunktion: Identitt Kontextzellen enthalten letzten Zustand der verdeckten Schicht, erlaubt zeitlichen Bezug

    17. 30.11.2005 Jordan-Netze und Elman-Netze 17 Funktionsweise Aktivierungen der Kontextzellen auf definierten Wert setzen Nach Eingabe des 1.Musters werden verdeckte Zellen von Eingabe und Kontextzellen aktiviert Neuer Zustand Kontextzellen=Kopie der Ausgabe der verdeckten Zellen (Identitt) Verdeckte Zellen geben Ausgabe an Ausgabezellen weiter (Ausgabe nach aussen) Nchstes Muster: Kontextzellen enthalten nun die Aktivierungen der verdeckten Zellen des vorherigen Musters -> So kann ein zeitlicher Bezug zu frheren Mustern hergestellt werden Aufgabe der verdeckten Zellen: externe Eingabe und gespeicherter interner Zustand auf gewnschte Ausgabe abbilden Elman-Netz

    18. 30.11.2005 Jordan-Netze und Elman-Netze 18 Elman-Netz Funktionsweise Ausbildung einer internen Reprsentation in den verdeckten Zellen durch Training, die die zeitlichen Eigenschaften der Eingabesequenz in geeigneter Weise wiederspiegelt -> Die Zeit ist in den internen Zustnden der verdeckten Zellen kodiert Vorteil gegenber Jordan-Netzen: Eignung des Netzes ist nicht direkt von der zu erzeugenden Ausgabesequenz abhngig Erweiterbar auf hierarchische Elman-Netze: mehrere verdeckte Schichten, direkte Rckkopplungen -> unterschiedliches Speicherverhalten durch Wahl unterschiedlicher Parameter

    19. 30.11.2005 Jordan-Netze und Elman-Netze 19 Lernverfahren Partiell rekurrente Netze knnen mit einer leicht abgewandelten Form des Backpropagation-Lernverfahrens trainiert werden Man lsst alle rekurrenten Verbindungen weg und erhlt so ein reines Feedforward-Netzwerk, bei dem die Kontextzellen zustzliche Eingabezellen sind Das funktioniert, da der Zustandsvektor der Kontextzellen durch eine feste bergangsfunktion definiert ist (feste Gewichte, nicht vernderbar)

    20. 30.11.2005 Jordan-Netze und Elman-Netze 20 Lernverfahren Backpropagation-Algorithmus zum Training partiell rekurrenter Netze 1. Initialisierung der Kontextzellen 2. Fr jedes Trainingsmuster wird folgendes durchgefhrt Anlegen des Eingabemusters und Vorwrtspropagierung bis zur Ausgabe (ohne Beachtung der rekurrenten Verbindungen) Vergleich der tatschlichen Ausgabe mit der gewnschten und Berechnung des Fehlersignals fr jede Ausgabezelle Rckwrtspropagierung der Fehlersignale von den Ausgabezellen bis zu den Eingabezellen Berechnung der Gewichtsnderungen mit Hilfe der Fehlersignale

    21. 30.11.2005 Jordan-Netze und Elman-Netze 21 Lernverfahren Anpassung der Gewichte Berechnung des Folgezustands der Kontextzellen gem ihrer Eingangsverbindungen. Dies ist der einzige Schritt bei dem die rekurrenten Verbindungen beachtet werden

    22. 30.11.2005 Jordan-Netze und Elman-Netze 22 Beispiel XOR-Problem Eingabe: Blocke von 3 binren Werten Die ersten beiden Werte sind zufllig Der dritte Wert ist die XOR-Verknpfung der ersten beiden Aufgabe des Netzes: Voraussage des nchsten zu erwartenden Wertes Dies kann es fr die zweite zufllige Eingabe erreichen, indem es zusammen mit der Eingabe des ersten Zeitschrittes die Eingabe des dritten Zeitschrittes berechnet. Um dieses Verhalten zu erreichen, wird die Eingabe um einen Zeitschritt nach vorn versetzt und als Zielwert (durch Backpropagation) eingelernt

    23. 30.11.2005 Jordan-Netze und Elman-Netze 23 Beispiel XOR-Problem Es zeigt sich, dass der Erkennungsfehler bei dem jeweiligen zweiten Wert abnimmt Das Netz erlernt also die XOR-Verknpfung und kann dort wo es mglich ist den Wert berechnen Mit Hilfe der vorausgegangenen Eingaben kann das Netz also die nchste Eingabe vorrausbestimmen

    24. 30.11.2005 Jordan-Netze und Elman-Netze 24 Ende Das wars ;-) Vielen Dank fr die Aufmerksamkeit

More Related