1 / 38

SVM, kernel módszerek

SVM, kernel módszerek. Szabó Zoltán. Tartalomjegyzék. Példák, szemlélet Definíciók: margin, support vektor pozitív definit, Gram-mtx, kernel RKHS, feature leképezés regularizációs feladat (spec: SVM), QP Reprezentációs tétel Kernelek jellemzése Kapcsolat más feladatosztályokkal

totie
Télécharger la présentation

SVM, kernel módszerek

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SVM, kernel módszerek Szabó Zoltán

  2. Tartalomjegyzék • Példák, szemlélet • Definíciók: • margin, support vektor • pozitív definit, Gram-mtx, kernel • RKHS, feature leképezés • regularizációs feladat (spec: SVM), QP • Reprezentációs tétel • Kernelek jellemzése • Kapcsolat más feladatosztályokkal • Gyűjtőoldal: http://www.kernel-machines.org/

  3. Példa I. ? • Osztályozás:

  4. Hipersík tanfolyam {x: <w,x>+b=0} w {x: <w,x>=0} w |b| / ||w|| Origó {x: <w,x>+b<0} {x: <w,x>+b>0}

  5. Elválasztó hipersík marginja • d+: H-hoz legközelebbi pont táv-a a + osztályból • d-: uígy • Margin: d=d++d- H1 w H2 + osztály d+ d- - osztály H={x: <w,x>+b=0}

  6. SVMC alapgondolata: large margin elv • Tanítóminta: (xi,yi), i=1…l, yi: +/- 1 • Cél: szétválasztó hipersík [(w,b) pár], amely jól általánosít • SVMC: • Halmazok közti választóvonalat keres, amely mindkét halmaztól ugyanolyan távol van. • Az ilyenek közül a legnagyobb marginnal rendelkezőt választja.

  7. Nagy margin elv rajzban ?

  8. support vektor (SV) Formálisan I/a. Hopt • Fix w irány mellett, (w,b) alkalmas ,,felszorzásával’’ elérhető, hogy • d+ = d- = 1/||w||, így margin = 2 / ||w||  max • Maximumot minimalizálásra cserélve, a feladat:

  9. Formálisan I/b • Idáig lineárisan szétválasztható problémával foglalkoztunk • Az általános esetben ún. soft margin megoldásokhoz folyamodhatunk: • törekvés a helyes osztályozásra • az eltérést büntetjük • Példa:

  10. Formálisan I/c. • Tanítóminta: (xi,yi), i=1…l, yi: +/- 1 • f[w,b](x)=<w,x>+b=<(w,b),(x,1)> • Cél (minimalizálandó költség): 0, ha yi=1 esetén f(xi) >= +1, yi=-1-re f(xi) <= -1 |x|+

  11. Példa II. • Fourier köntösű SVM: • Közelítő függvény család: • Trigonometrikus fg-ek: • (x)=( ,sin(x),cos(x),…sin(Nx), cos(Nx)) • Cél (klasszikus SVM feladat): |x|  - 

  12. A Fourier trafó • F: Fourier transzformáció [pl: L1(R)  L(R)] • Művelettartó leképezés

  13. Példa III. • Közelítés polinomokkal: • Interpoláció: f(xi)=yi, i=1,… • avagy más alakban: f(x)=<w,(1,x,…,xn)>=<w, (x)> xi

  14. Formálisan III. • A pontos közelítés (interpoláció) helyett: • Cél: • Emlék:

  15. Idáig • Feature leképezés: •  : x  X (minta tér)  [H (feature tér),<.,.>] • Közelítő fg osztály: • f(x)=<w, (x)> + b, ahol w  H • Feladat: az (xi,yi), i=1…l mintán • Lesz: • <(x),(y)>=k(x,y) kernel (implicit megadás) • (x)=k(.,x)

  16. Kvadratikus programozás (QP) • Feladat: • Matlab: quadprog pl QP-megoldó megoldás feladat

  17. Klasszikus SVM feladat (regresszió) • Közelítés formája: f(x)=<w,(x)>+b • Minimalizálandó funkcionál: • Átskálázva ekvivalens forma:

  18. Primál-duál program • Primál QP: • Duál QP: KKT

  19. A kernel trükk • Ha van egy algoritmus, ami megfogalmazható pusztán skalárszorzat segítségével, az kernelesíthető. • Például: kernel PCA, -ICA, -hebbi tanulás, … • A kernel trükk: • Ha X euklideszi tér: alg. H-ra való nem-lin. ált.-a • Ha X halmaz: • Skalárszorzat-vért = hasonlóság az Input-térre

  20. Szövegeken hasonlósági mérték • Alkalmazás: DNS, szövegkategorizálás • ABC: ={A,T,G,C} bázis, ={a,…z} • Szavak (sztringek): * DNS • Feature leképezés, ami  : u*  H • (u)=(… , (u=v), …), ahol v  * • L:={b1,…,bn} lexikon (szavak/szótagok): (u)=(…,si * |biu| ,…), i=1…n, si súlyok explicit megadás

  21. Döntési felület (osztályozás) • Döntési felület: D(w)={x  X: <w,(x)>=0} H: feature tér X: minta tér w  + + - + - {y  H: <w, y>=0} Minta térben nem (feltétlenül) lineáris Feature térben lineáris

  22. Döntési felület: példa • R2 = X  x=(x1,x2)  (x)=(x1,x22,x1x2)T • Ekkor D(w), ahol w=(w1,w2,w3)T, a másodfokú egyenlet megoldó képlete szerint:

  23. Feature leképezés helyett: RKHS • Pozitív definit (k: XX-n): • X: tetsz. nem-üres halmaz (pl: [0,1], Rm) • k(x,y) valós értékű, szimmetrikus • ~, ha n,  (x1,…xn)  Xn esetén G=[k(xi,xj)] mtx pozitív szemidefinit. Más nevén kernel. • Asszociáció: • k: pozitív definit  H=H(k) RKHS. Ez X-en értelmezett valós értékű fg-ekből áll.  feature tér

  24. H RKHS definíciója • Fg-ek az X-n alkossanak H Hilbert teret. Ekkor a k(x,y) (ahol x,y  X) szimmetrikus függvényt reprodukáló kernelnek hívjuk H-n, ha • k(.,x) fg-ek H (bármely x  X-re) • f(x)=<f(.),k(.,x)>, bármely x  X, f  H esetén. • Reprodukáló tulajdonság • Ekkor H-t RKHS-nek nevezzük.

  25. H=H(k): RKHS konstrukciója • k(.,x), x  X fg-ek az építőelemek. Ezek véges lineáris kombinációinak a skalárszorzat által indukált norma szerinti teljessé tétel lesz H.

  26. RKHS példa • Legyen (x)=x, ahol (X,<.,.>) Hilbert tér. Ekkor k(x,y)=<(x),(y)>=<x,y>. • Uez a tér k felől megkonstruálva: • k(.,x)=< . ,x> • Véges lineáris kombinációk: • f(.)=i ai <. ,xi> (xi  X) • Skalárszorzat: [<.,x>,<.,y>]=k(x,y)=<x,y> • Az x  <. ,x> 1-1 értelmű művelettartó leképezés, és X teljes, ezért H-n nincs szükség teljessé tételre.

  27. Reprezentációs tétel • Adott: • mintahalmaz, X (mintatér), k(ernel), • g: [0,) R U{} monoton növő. • Ekkor az fH(k) regularizált funkcionált minimalizáló fg-nek van alakú reprezentációja.

  28. Következmény • Elég: által megparaméterezett formában keresni az optimális megoldást. • Speciálisan: RBF-háló f[w](x)=<w, (x)>

  29. RBF kernel: érdekesség • Az RBF kernel egy végtelen dimenziós egységgömb felületére képez • Egységgömbre, hiszen:

  30. Kernelek konstruálása • Tfh.: ki kernelek. Ekkor az alábbiak is azok: • k(x,y)=k1(x,y)+k2(x,y) • k(x,y)=c*k(x,y) • k(x,y)= k1(x,y)+c • k(x,y)=k1(x,y)*k2(x,y) • k(x,y)=limn->kn(x,y) • k(x,y)=i [ki(xi,yi)] • k(x,y)=i [ki(xi,yi)] • k(x,y)=f(x)*f(y), bármely f: X  R fg-re • ahol c: nem-negatív szám. kúp spec. Rn szorzattér ()

  31. Következmény • Teljes polinomális kernel analógiájára: • Exponensbe rakható: • Normalizálás a feature térben ( nélkül!):

  32. Kapcsolatok SVM, kernel módszerek Regularizáció Ritka reprezentáció Bayesi keretben (MAP becslés) Gauss folyamatok (GP)

  33. http://www.kernel-machines.org/ • Irodalom: • bevezetések, publikációk • könyvek (ingyen is) • Szoftver: • Témák: • SVM, GP, mixture models, LP, QP • Nyelvek: • Matlab ( ), C(++), FORTRAN

  34. Gauss folyamatok (GP) I. • z(x): (xX) 0 várható értékű, gauss folyamat • k(x,y)=E[z(x)z(y)]: kovariancia k(x,y) x y X

  35. GP II. • F(k):= ezen sztochasztikus folyamat által feszített Hilbert tér, azaz véges lineáris kombinációk és ezek limeszei a skalárszorzat által indukált norma értelmében.

  36. Izometrikus izomorfia tétel • Parzen tétel: létezik M izometrikus izomorfia H(k) és F(k) közt, azaz másszóval művelet-, skalárszorzattartó, 1-1 értelmű leképezés (X: fix).

  37. Ritka reprezentáció • Girosi: • Feltételek: • zajtalan adatok: f(xi)=yi,c   • < f,1>=0, ahol f  H a közelítendő célfg • Ekkor ekvivalensek: • Ritka feladat: • SVM (duálja): |x|

More Related