Extrakcia fuzzy znalostí zo sietí typu RBF

1. Technická univerzita Košice Fakulta elektrotechniky a informatiky Katedra kybernetiky a umelej inteligencie Extrakcia fuzzy znalostí zo sietí typu RBF R i c h a r d K a c i a n riki29a@gmail.com

2. RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF RBF siete Extrakcia znalostí z neurónovej siete Experimenty Záver 1/17

3. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Charakteristika RBF sietí V prírode môžeme nájsť niekoľko príkladov neurónov s funkciou lokálnej odozvy Dopredné siete, s priamym šírením signálu, Využívajú kontrolované aj nekontrolované učenie Obsahujú len jednu skrytú vrstvu Prenosové funkcie skrytých neurónov sú typu Radial Basis Function (Radiálne Funkcie) 2/17

4. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Radiálne funkcie Gaussovská funkcia Multikvadratická funkcia Inverzná multikvadratická funkcia 3/17

5. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Najčastejšie používané radiálne funkcie Gaussovská funkcia Multikvadratická funkcia Inverzná multikvadratická funkcia 3/17

6. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Štruktúra RBF siete RBF sú trojvrstvové siete Štruktúru siete ktorá má n vstupov, m skrytých neurónov a 1 výstup môžeme znázorniť nasledujúco: Výstupná vrstva Skrytá vrstva Vstupná vrstva 4/17

7. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Štruktúra neurónu skrytej vrstvy Zložky vstupného vektora x sú cez váhy cij privedené do vstupnej časti j-teho neurónu V j-tom neuróne je vypočítaná norma (najčastejšie Euklidovská) Transformačná funkcia neurónu je typu RBF 5/17

8. Charakteristika RBF sietí Radiálne funkcie Štruktúra RBF siete Učenie RBF siete RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Učenie RBF siete Učenie u RBF sietí je dvojstupňový proces. Pomocou nekontrolovaného učenia sa snažíme určiť vhodnú štruktúru RBF siete. - počet centier - polomery centier - pozície centier Kontrolované učenie spočíva v trénovaní váh medzi skrytou a výstupnou vrstvou 6/17

9. Extrakčné algoritmy RULEX mRex Projekcia RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Extrakčné algoritmy Pre každý skrytý neurón je vytvorené jedno pravidlo. Štruktúra pravidla je následovná : AK Príznak1 je > Xdolný& Príznak1 < XhornýA AK Príznak2 je > Xdolný& Príznak2 < XhornýA ... AK Príznaknje > Xdolný& Príznakn< Xhorný POTOM Triedax. 7/17

10. Extrakčné algoritmy RULEX mRex Projekcia Algoritmus : RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF RULEX Vstup: Pozícia centier skrytých neurónov μ Šírka RBF funkcie  Strmosť S Predchodca = [Xdolný; Xhorný] Pripoj predchodcu pomocou A Pridaj označenie triedy Výstup: Jedno pravidlo na každý skrytý neurón Xdolný = μi - i - S Xhorný = μi + i + S AK Príznak1je < Xdolný & Príznak1> Xhorný A AK Príznak2je < Xdolný & Príznak2> Xhorný A ... AK Príznaknje < Xdolný & Príznakn> Xhorný Potom Triedax. 8/17

11. Extrakčné algoritmy RULEX mRex Projekcia Algoritmus : RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF mREX Vstup: Pozícia centier skrytých neurónov μ Šírka RBF funkcie  Strmosť S Výstup: Jedno pravidlo na každý skrytý neurón Predchodca = [Xdolný; Xhorný] Pripoj predchodcu pomocou A Pridaj označenie triedy Xdolný = μi - i * S Xhorný = μi +i * S AK Príznak1je < Xdolný & Príznak1> Xhorný A AK Príznak2je < Xdolný & Príznak2> Xhorný A ... AK Príznaknje < Xdolný & Príznakn> Xhorný Potom Triedax. 9/17

12. Extrakčné algoritmy RULEX mRex Projekcia Algoritmus : RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Projekcia Vstup: Pozícia centier skrytých neurónov μ Vstupné trénovacie vzorky X Xdolný = min X Xhorný= max X Predchodca = [Xdolný; Xhorný] Pripoj predchodcu pomocou A Pridaj označenie triedy Výstup: Jedno pravidlo na každý skrytý neurón AK Príznak1je < Xdolný & Príznak1> Xhorný A AK Príznak2je < Xdolný & Príznak2> Xhorný A ... AK Príznaknje < Xdolný & Príznakn> Xhorný Potom Triedax. 10/17

13. Dátové množiny IRIS Experimenty Wine Experimenty Ecoli Experimenty RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Dátové množiny IRIS - počet príkladov : 75 - rozmer dát : 4 - počet tried : 3 WINE - počet príkladov : 178 Klasifikačné dáta - rozmer dát : 13 - počet tried : 3 ECOLI - počet príkladov : 138 - rozmer dát : 7 - počet tried : 4 11/17

14. Dátové množiny IRIS Experimenty Wine Experimenty Ecoli Experimenty RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF IRIS - experimenty Parametre siete: Výsledky : 12/17

15. Dátové množiny IRIS Experimenty Wine Experimenty Ecoli Experimenty RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Wine - experimenty Parametre siete: Výsledky : 13/17

16. Dátové množiny IRIS Experimenty Wine Experimenty Ecoli Experimenty RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Ecoli - experimenty Parametre siete: Výsledky : 14/17

17. Analýza experimentov Zhodnotenie RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Analýza experimentov Porovnanie : 15/17

18. Analýza experimentov Zhodnotenie RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Zhodnotenie Najlepšie výsledky dosahuje vo všetkých prípadoch metóda mREX Tvar funkcie príslušnosti nemá pre mREX a RULEX vplyv Optimálny počet vyextrahovaných pravidiel závisí od charakteru dát Výhodou použitých metód je, že získané pravidlá sú jednoduché a ľahko zrozumiteľné 16/17

19. RBF siete Extrakcia znalostí Experimenty Záver Richard Kacian Extrakcia znalostí zo sietí typu RBF Ďakujem za pozornosť 17/17

20. Richard Kacian Extrakcia znalostí zo sietí typu RBF Odpovede na otázky recenzenta 1. V čom spočíva dôležitosť extrakcie fuzzy pravidiel z neurónový sietí pre prax? • umožňuje využiť vyextrahované pravidlá ako báza znalostí pre fuzzy regulátor, • umožňuje analyzovať neznáme a skryté vzťahy v dátach, čo je využiteľné pri objavovaní znalostí v dátach, • na základe vyextrahovaných znalostí je možné spätne inicializovať neurónovú sieť z podobnej domény. 2. Aké sú výhody a slabé miesta Vášho algoritmu „Projekcia“? • Výhody: • jednoduchosť algoritmu, • nízka výpočtová náročnosť, • pomerne dobré výsledky dosiahnuté touto metódou extrakcie. Slabé miesta: - vyextrahované tvary jednotlivých funkcií príslušnosti nezodpovedajú štandardným tvarom funkcií príslušnosti (napr. v Matlabe).