1 / 65

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe. Perceptrony proste nieliniowe. Pojedynczy perceptron nieliniowy. Perceptrony proste nieliniowe. Stosowane funkcje aktywacji. nieliniowe różniczkowalne z łatwo obliczalnymi pochodnymi względem sygnału pobudzenia.

dinos
Télécharger la présentation

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe Perceptrony proste nieliniowe Pojedynczy perceptron nieliniowy

  2. Perceptrony proste nieliniowe Stosowane funkcje aktywacji nieliniowe różniczkowalne z łatwo obliczalnymi pochodnymi względem sygnału pobudzenia Przykład: funkcje sigmoidalne - funkcja sigmoidalna logarytmiczna (niesymetryczna): - funkcja sigmoidalna tangensa hiperbolicznego (symetryczna)

  3. Perceptrony proste nieliniowe Funkcja sigmoidalna logarytmiczna (niesymetryczna): Pochodna funkcji sigmoidalnej logarytmicznej

  4. Perceptrony proste nieliniowe Funkcja sigmoidalna tangensa hiperbolicznego (symetryczna) Pochodna funkcji sigmoidalnej tangensa hiperbolicznego

  5. Perceptrony proste nieliniowe Perceptrony proste nieliniowe - warstwa Konwencje notacji: jak poprzednio

  6. Perceptrony proste nieliniowe Reguła uczenia perceptronów nieliniowych – reguła delty Sposób wyprowadzenia jak dla perceptronów liniowych bazujący na błędzie średnim kwadratowym Podobnie też rozważamy pojedynczy neuron

  7. Perceptrony proste nieliniowe Funkcjonał jakości działania sieci w procesie uczenia Błąd średni kwadratowy gdzie: E[ ] oznacza wartość średnią (oczekiwaną) zmiennej losowej. Wartość oczekiwana liczona jest po wszystkich zbiorach par uczących. Zakładamy przy tym, że wybory kolejnych par uczących są niezależne od siebie

  8.  wartość oczekiwaną kwadratu błędu  kwadratem błędu w k-tej iteracji (po pokazaniu sieci k-tej pary uczącej) Perceptrony proste nieliniowe Poszukiwanie iteracyjne najlepszych wartości wag sieci nieliniowej prostej Zastępujemy (estymujemy)

  9. Podobnie jak dla perceptronu prostego liniowego, będziemy poszukiwać minimum metodą iteracyjną gradientu prostego; musimy zatem określić Perceptrony proste nieliniowe 1. kierunek gradientu (kierunek zmian x) 2. wielkość zmiany x w kierunku gradientu (wielkość kroku w kierunku gradientu)

  10. Perceptrony proste nieliniowe Ogólna postać gradientu jest taka jak perceptronu liniowego, inne jest wyliczenie wyrażeń oraz wynoszą one teraz

  11. Perceptrony proste nieliniowe

  12. Perceptrony proste nieliniowe Otrzymaliśmy Ostatecznie możemy napisać wyrażenie na gradient miary jakości

  13. Perceptrony proste nieliniowe Wyrażenie nazywane jest deltą (błędem) i-tego neuronu przy pokazaniu k‑tego wzorca sieci perceptronów prostych nieliniowych Metoda gradientu prostego daje nam regułę zmiany wartości wag i progów po pokazaniu sieci k-tej pary wzorców uczących

  14. Perceptrony proste nieliniowe Podstawiając uzyskane wyniki (postać gradientu kwadratu błędu) do iteracyjnej formuły gradientu prostego otrzymamy lub Ostatnie zależności noszą nazwę reguły uczenia delty

  15. Perceptrony proste nieliniowe Uogólnienie reguły delty dla warstwy

  16. Sieci wielowarstwowe jednokierunkowe Struktura i wielkości związane

  17. Sieci wielowarstwowe jednokierunkowe

  18. Sieci wielowarstwowe jednokierunkowe

  19. Sieci wielowarstwowe jednokierunkowe Dwie stosowane notacje Szczegóły: DODATEK 1

  20. Sieci wielowarstwowe jednokierunkowe Przetwarzanie realizowane przez sieć Obliczanie odpowiedzi sieci (wzorców wyjściowych rzeczywistych) Dla m-tej warstwy możemy napisać lub gdzie: możemy traktować jako nieliniowy operator wektorowy Będziemy zakładali, że są identyczne dla całej warstwy i używali dla elementów wektora oznaczenia Szczegóły: DODATEK 2

  21. Sieci wielowarstwowe jednokierunkowe Przetwarzanie realizowane przez sieć Przedstawione zależności ukazują: Odpowiedzi poszczególnych neuronów m-tej warstwy kształtowane są całkowicie przez aktualne wartości wag i progów związanych tylko z danym neuronem oraz przez wartości docierających aktualnie do warstwy sygnałów

  22. Sieci wielowarstwowe jednokierunkowe Wyjście sieci (wyjście M-tej warstwy) Notacja 1 czyli

  23. Sieci wielowarstwowe jednokierunkowe Notacja 2 czyli

  24. Sieci wielowarstwowe jednokierunkowe Przedstawione zależności ukazują: Na wartości docierających do m-tej warstwy sygnałów wpływ mają wartości wag i funkcje przetwarzania wszystkich poprzednich warstw

  25. Sieci wielowarstwowe jednokierunkowe Fakty Przy podaniu na wejście sieci pewnego wektora wejściowego p wektor wyjścia a zależy od wszystkich macierzy wag oraz wszystkich wektorów progów , lub inaczej od wszystkich Przy podaniu na wejście sieci pewnego wektora wejściowego p sygnał wyjścia im - tego neuronu m‑tej warstwy sieci zależy bezpośrednio od wartości wag tworzących im  - ty wiersz macierzy wag oraz od wartości progu znajdującego się w im - tym wierszu wektora progów , lub inaczej od im - tego wiersza macierzy

  26. Sieci wielowarstwowe jednokierunkowe Jak możemy popatrzeć na perceptron wielowarstwowy? Zbudujmy przykładową sieć perceptronową , przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Elementarna komórka jednowarstwowa (dwuwarstwowa)

  27. Sieci wielowarstwowe jednokierunkowe Elementarna komórka dwuwarstwowa (trójwarstwowa)

  28. Sieci wielowarstwowe jednokierunkowe Połączenie komórek elementarnych . . .

  29. Sieci wielowarstwowe jednokierunkowe Uproszczenia i wynik końcowy . . Sieć dwuwarstwowa (trójwarstwowa) Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcji?

  30. Sieci wielowarstwowe jednokierunkowe Przykład Weźmy dwuwarstwową (trójwarstwową) sieć o strukturze 1-2-1 Liczba wejść Liczba neuronów warstwy 1 Liczba neuronów warstwy 2 – liczba wyjść Funkcje aktywacji kolejnych warstw są następujące

  31. Sieci wielowarstwowe jednokierunkowe Struktura sieci

  32. Sieci wielowarstwowe jednokierunkowe Bieżące wartości wag i progów Zakres zmian wejścia sieci

  33. Sieci wielowarstwowe jednokierunkowe Składowe odpowiedzi sieci

  34. Sieci wielowarstwowe jednokierunkowe ? Punkt środkowy funkcji sigmoidalnej pojedynczych neuronów ? Neuron 1, warstwa 1 Neuron 2, warstwa 1

  35. Sieci wielowarstwowe jednokierunkowe Zmiany wartości wag i progów i odpowiedź sieci

  36. Sieci wielowarstwowe jednokierunkowe Przykłady – funkcje jednej zmiennej; a funkcje większej liczby zmiennych? x2 x1

  37. Sieci wielowarstwowe jednokierunkowe x2 x1

  38. Sieci wielowarstwowe jednokierunkowe Właściwości aproksymacyjne perceptronów wielowarstwowych Odpowiednio skonstruowane sieci wielowarstwowe są uniwersalnymi aproksymatorami ! Podam twierdzenie, które zapewnia, że standardowa sieć wielowarstwowa z pojedynczą warstwą ukrytą składającą się z skończonej liczby neuronów jest uniwersalnym aproksymatorem

  39. Sieci wielowarstwowe jednokierunkowe W 1989r. Funahashi udowodnił następujące twierdzenie będzie niestałą, ograniczoną i monotonicznie rosnącą funkcją. Niech Niech ponadto będzie zbiorem zwartym i Wówczas dla dowolnej . będzie rzeczywistowartościową funkcją na wartości takie, że istnieją stała oraz stałe rzeczywiste spełnia

  40. Sieci wielowarstwowe jednokierunkowe Sieć neuronowa Funahashi

  41. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje

  42. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Konwencje oznaczeń  liczba warstw w sieci M; indeks numeru warstwy przebiega zbiór  liczba neuronów w m-tej warstwie ; indeks numeru wyjścia warstwy m-tej przebiega zbiór ; wejście sieci jest traktowane jako wyjście otoczenia, przyjmuje się zatem Wyjście ostatniej warstwy jest wyjściem sieci

  43. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje  w sieci wielowarstwowej wyjście jednej warstwy staje się wejściem warstwy następnej; Można by zrezygnować z wprowadzania oddzielnego oznaczania indeksu wejścia warstwy m-tej, bowiem Dla odróżnienia jednak, kiedy indeks przebiega wejścia a kiedy wyjścia będziemy używali indeksu j dla wejść poszczególnych warstw; przyjmiemy zatem Liczba wejść m-tej warstwy ; indeks numeru wejścia warstwy m‑tej przebiega zbiór ; zachodzi oczywiście równość

  44. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje  wielkości związane z poszczególnymi warstwami będziemy oznaczali stosowanymi dotąd symbolami z indeksem górnym określającym numer warstwy  wektor wejść sieci

  45. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Możemy też używać terminu wektora wejść w odniesieniu do każdej warstwy. Wówczas wektor wejść m-tej warstwy

  46. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Zachodzi oczywiście:

  47. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Z wszystkich wektorów wejść uczących tworzymy macierz Czasem będziemy utożsamiali zapisy: ; dla dowolnego wektora wejściowego będziemy stosowali też symbol p

  48. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Czasem będziemy utożsamiali zapisy: ; dla dowolnego wektora wejściowego będziemy stosowali też symbol z

  49. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje Operując pojęciem wektora wejść dla poszczególnych warstw będziemy mieli

  50. Sieci wielowarstwowe jednokierunkowe DODATEK 1 - Notacje

More Related