Uczenie konkurencyjne.

1. Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2. Mapy w mózgu Samoorganizacja Sieci SOM Kohonena Co było

3. Mapy ekwiprobabilistyczne Zwycięzca bierze wszystko Gaz neuronowy Demonstracje w Javie Co będzie

4. Mapy ekwiprobabilistyczne Dla 1 wymiaru można pokazać, że uporządkowanie jest prawidłowe, ale p(Wi)  p(X)2/3 w granicy ciągłego rozkładu. Stosowanie lokalnych funkcji błędu prowadzi do p(Wi)  p(X)1/3 SOM przecenia rejony mało prawdopodobnych danych i niedocenia rejony o dużym prawdopodobieństwie. Powstają neurony bezużyteczne; jak wykorzystać całą sieć? Conscience Learning (DeSieno 1988; Hecht-Nielsen 1988). fi - częstość wygrywania neuronu i, C - stała. Zasada jednakowego zniekształcenia: każdy neuron powinien mieć podobny wkład do końcowego błędu kwantyzacji (klasyfikacji).

5. Maksymalizacja entropii Kwantyzator maksymalizujący entropię (MEQ): w każdym przedziale takie samo prawdopodobieństwo. Można to osiągnąć maksymalizując entropię: Jak znaleźć optymalne przedziały by osiągnąć ekwiprobabilistyczny podział?

6. BAR Reguła Adaptacji Granic, Boundry Adaptation Rule. Jeśli P(Hi) jest za duże (zbyt często pojawiają się wektory z tego przedziału) to wielkość przedziału należy zmniejszyć. Przedział w 1D określony jest przez wagi. Jeśli dane są z przedziału Hi to Wi przesuwamy w lewo (zmniejszamy przedział Hi), jeśli z Hi+1 to w prawo (zmniejszamy przedział Hi+1). Zmiany ustają gdy mamy ekwiprobabilistyczny podział:

7. Konstruktywny SOM Growing Cell Structures (Fritzke 1993). Początkowa topologia: k-wymiarowy sympleks (k=1, 2, 3). Dodaje się nowe neurony i usuwa stare. Algorytm SOM, ale bez zmniejszania sąsiedztwa i adaptacji dokonuje się tylko dla zwycięzcy i bezpośrednich sąsiadów. • Znajdź neuron-zwycięzcę c. • Popraw jego wagi: DWc=hs(X-Ws). • Popraw wagi sąsiadów DWs=hs(X-Ws). • Zwiększ licznik częstości Dtc=1, zmniejsz wszystkie Dtc=-atc. • Policz zrenormalizowane częstości fi = ti/Sjtj • Po ustalonej liczbie epok L znajdź neuron o największej częstości i wstaw pomiędzy ten neuron i najdalszego sąsiada nowy neuron tworząc lokalny sympleks; nowy wektor weź z interpolacji.

8. Rozwój GCS

9. GCS - 2 obszary Sytuacja w 3-wym. przestrzeni danych - 2 oddzielone skupienia. Sieć GCS rosnąca w dwóch wymiarach - odpowiednia topologia.

10. Voronoi i Delaunay Punkty granice decyzji Triangulacja danych Voronoia Delaunaya Obszary Voronoia - neuron zwycięża konkurencję. Zbiór Voronoia - zbiór wektorów wewnątrz obszaru Voronoia. Łącząc neurony, których obszary Voronoia mają wspólną krawędź otrzymujemy traingulację Delaunaya.

11. WTA Uczenie konkurencyjne - WTA, Winner Takes All. Nazywane też Hard Competitive Learning. Jeden zwycięzca, dane pojedynczo (on-line) lub wszystkie (batch). Mogą powstawać bezużyteczne neurony - konieczna incjalizacja zgodna z rozkładem danych. • Algorytm LBG typu WTA: • przypadkowa inicjalizacja; • Powtarzaj aż ustaną zmiany: • pokaż wszystkie dane i znajdź zbiory Voronoia; • przesuń wagi neuronu do centrum obszaru • Wariant LBG-U: przesuń mało użyteczne (zerowy zbiór Voronoia) neurony w lokalne minima błędu.

12. Gas neuronowy Wariant uczenia konkurencyjnego (Schulten i Martinez 1991) • Algorytm NG typu SOM: • przypadkowa inicjalizacja N wektorów; t=0; • Wybierz przypadkowy wektor V • Zrób ranking wag najbliższych V; k=1..N Zastosuj regułę adaptacji: zmniejszając eksponencjalnie obszar l i stałą uczenia e(t).

13. Wizualizacja Systemy rozmyte i neurorozmyte. Podstawy teoretyczne CI. Inspiracje statystyczne. Drzewa decyzji. Metody oparte na podobieństwie. Uczenie maszynowe, indukcja reguł logicznych. Zastosowania. Co dalej?

14. Koniec wykładu 6 Dobranoc !