Predstavljanje znanja

1. Predstavljanje znanja Temeljne cjeline za predstavljanje i obradbu znanja mrežnim modelima Implikacijske mreže (Bayesove, Probabilističke). Definicijske mreže i Ontologije. Mreže izjava i Koncepcijski grafovi. Izvodljive mreže (Petrijeve mreže). Mreže generirane učenjem (Umjetne neuronske mreže). Hibridne mreže (UML). Predstavljanje znanja na webu.

2. Bayesove mreže Sinonimi: Implikacijske mreže (engl. implication networks) Probabilističke mreže(engl. Probabilistic networks) Bayesove mreže(engl. Bayesian networks) Uzročne mreže(engl. Causal networks) Mreže vjerovanja (engl. Belief networks) . . . Dio materijala preuzeto sa: Stanford University, CS 228, Knowledge Representation and Reasoning Under Uncertainty.

3. Bayesove mreže KLASIČNI EKSPERTNI SUSTAVI - obilježja Modeliranje eksperta. Logika, nekoherentno računanje nesavršenog znanja. Zamjena eksperta. BAYESOVE MREŽE - obilježja Modeliranje domene. Klasična teorija vjerojatnosti, teorija korisnosti (engl. utility) i teorija odlučivanja. Vjerojatnosti - u što bi agent trebao vjerovati (na temelju dokaza). Korisnost - što agent dobije (koja je korist) određene akcije Odlučivanje - što bi agent trebao učiniti (temeljem vjerojatnosti i korisnosti). Pomoć ekspertu.

4. Bayesove mreže Prikaz domene sadrži: Skup slučajnih varijabli (varijable i pridružene funkcije razdiobe uvjetnih vjerojatnosti). Znanje oovisnostima/neovisnostima u promatranom skupu varijabli. Grafički prikaz povezanosti varijabli (izravan prikaz ovisnosti ili neovisnosti pojedinih varijabli). Rasuđivanje u Bayesovoj mreži: Pretpostavka je da su poznate početne uvjetne lokalne razdiobe vjerojatnosti svake varijable. Računa se bezuvjetna ili marginalna vjerojatnost svake varijable u povezanom skupu (to nisu početne uvjetne vjerojatnosti u skupu) . Ako neki skup varijabli zauzme poznata i vidljiva stanja (vjerojatnost toga stanja svake varijable = 1), računaju se promijenjenevjerojatnosti svih ostalih varijabli u skupu.

5. Slučajne varijable i uvjetne vjerojatnosti Vjerojatnost: Vjerojatnost je broj u intervalu [0, 1] koji izražava izglednost nastupanja nekog događaja ("da će se dogoditi"). Frekvencijska interpretacija vjerojatnosti Vjerojatnost je obilježje skupa sličnih događaja. Na temelju ponavljanja eksperimenta predviđamo nastupanje događaja A. P(A) = NA / S NA - skup događaja koji obuhvaćaju događaj A S - skup svih događaja točnije: P(A) = lim (nA / n), kad n . nA - broj nastupanja događaja A n - broj izvođenja eksperimenta

6. Slučajne varijable i uvjetne vjerojatnosti Subjektivistička interpretacija vjerojatnosti Vjerojatnost je broj u intervalu [0, 1] koji izražava stupanj vjerovanja u nastupanje događaja A ili istinitost logičkog iskaza (npr. u slučajevima kada se eksperiment ne može ponoviti). Primjer: P(Dinamo će biti prvak Hrvatske) = 0.75 Vjerojatnost (mjera) ovisi o poznavanju domene, iskustvu i dokazima (evidenciji). Matematička okosnica za računanje s vjerojatnostima je jednaka za obje interpretacije.

7. Slučajne varijable i uvjetne vjerojatnosti Aksiomatska definicija vjerojatnosti A - događaj koji promatramo  - skup svih događaja (prostor stanja) P(A) - vjerojatnost pojave događaja A (vjerojatnost da će se A dogoditi). Aksiomi: 1. A  : P(A)  0 (nenegativnost) 2. P() = 1. (normiranost) 3. Ako su A1, A2, ... , Ak međusobno isključivi događaji (bez zajedničkog presjeka, t.j. ni jedan podskup ne može nastupiti zajedno), vjerojatnost da nastupi barem jedan od njih (može i više) je suma individualnih vjerojatnosti (aditivnost). Iz 1. i 2. slijedi: A  : 1  P(A)  0 ako P(A) = 0, A se neće dogoditi ako P(A) = 1, A će se sigurno dogoditi Ako označimo A: svi događaji osim A, slijedi: A A = , t.j. skup svih događaja Prema 3. aksiomu P(A) + P(A) = P( A A) = P() = 1, odnosno: P(A) = P(A) - 1

8. Slučajne varijable i uvjetne vjerojatnosti Slučajne varijable i razdiobe vjerojatnosti Slučajna varijabla je varijabla koja može poprimiti vrijednosti iz skupa isključivih i potpunih vrijednosti (prostora vrijednosti ili stanja, engl. sample space) s određenom vjerojatnošću. Npr. neka X označuje istinitost logičkog iskaza. X može poprimiti vrijednosti istinit ili neistinit {T, F} = X. Skup je isključiv i potpun. Slučajna varijabla je diskretna i binarna. U ovom prikazu razmatrat će se samo diskretne slučajne varijable. Oznake: X - slučajna varijabla x- (mali) vrijednost slučajne varijable X - prostor vrijednosti Pretpostavljamo konačan prostor vrijednosti (diskretan). Konjunkcija slučajnih varijabli (zajednički skup, zajedničko nastupanje) slučajnih varijabli X i Y označimo kao novu varijablu: Z = (X, Y) Prostor vrijednosti nove varijable Z je produkt: Z = X·Y

9. Slučajne varijable i uvjetne vjerojatnosti Npr. neka je: X = Y = {T, F}, pa je Z = {(T,T), (T,F), (F,T), (F,F)} Općenito za skup slučajnih varijabli {X1, X2, ..., Xn}, prostor vrijednosti je n-dimenzionalan: ( X1·X2·... ·Xn) = ni=1Xi Razdiobu vjerojatnosti definiramo preko konačnog prostora vrijednosti: x X: 0  P(X=x)  1, x P(X=x) = 1 Npr. za jednu diskretnu binarnu slučajnu varijablu X: X = {T, F}: razdioba vjerojatnosti: P(X=T) = 0.7 P(X=F) = 0.3  = 1 (konzistentnost) Za konjunkciju (zajednički skup, zajedničko nastupanje) dviju varijabli A i B, razdioba vjerojatnosti P(A,B) je dvodimenzinalna:  = 1 (konzistentnost) Za n varijabli potrebno je poznavati 2n vrijednosti !

10. A  B B A Slučajne varijable i uvjetne vjerojatnosti Uvjetna vjerojatnost Def. P(A | B) = vjerojatnost da će se dogoditi A ako se dogodio B. P(A | B) = P(A  B) / P(B) ili uobičajeno: P(A | B) = P(A, B) / P(B) gdje je: P(A, B) vjer. istodobnog pojavljivanja A i B P(B) vjer. pojavljivanja B P(A | B) = 1 je analogno B  A (implikacija) Ako su A i B diskretne binarne slučajne varijable uz A,B= {T, F}, računamo npr.: P(A=T | B=T) = P(A=T  B=T) / P(B=T)

11. Slučajne varijable i uvjetne vjerojatnosti Temeljem definicije uvjetne vjerojatnosti izvodi se lančano pravilo : Def. uvjetne vjerojatnosti: P(A | B) = P(A, B) / P(B) Zajednička razdioba je: P(A, B) = P(A | B) P(B) P(A, B, C) = P(A | B,C) P(B,C) = P(A | B,C) P(B | C) P(C) ... Indukcijom zaključujemo (uz obrnuti redoslijed): P(X1, …, Xn ) = = P(Xn | Xn-1 , …, X1 ) P(Xn-1 | Xn-2 , …, X1) … P(X2 | X1 ) P(X1 ) = i=n…1P(Xi | Xi-1 , Xi-2 , …, X2 , X1) Rastavljanjem zajedničke razdiobe na faktore uvjetnih vjerojatnosti smanjuje se dimenzionalnost (N-dim. svodi na N-1).

12. Slučajne varijable i uvjetne vjerojatnosti Marginalne ili rubne razdiobe Neka je poznata zajednička razdioba P(A, B, C) skupa od 3 slučajne varijable. Marginalna ili rubna razdioba je razdioba nekog fiksiranog podskupavrijednosti tih varijabli, odnosno razdioba toga podskupa bez obzira na vrijednosti u ostatku skupa. Razdiobu (vjerojatnost da će podskup poprimiti te fiksirane vrijednosti) računamo sumiranjem (marginaliziranjem) preko svih ostalih vrijednosti osim fiksiranih u podskupu. Npr_1: Neka je fiksirani podskup A=a, aA, B=b, bB. Marginalna razdioba tog podskupa je (sumacija ili marginaliziranje preko C) : P(A=a, B=b) = c P(A=a, B=b, C=c) Najčešće pišemo: P(A, B) = c P(A=a, B=b, C=c) - vjer. da će A=a i B=b Npr_2: Fiksiramo C=c. U tom slučaju marginalna razdioba je dvostruka sumacija ili marginaliziranje preko ostatka skupa t.j. preko A i B: P(C) = ab P(A=a, B=b, C=c)

13. Slučajne varijable i uvjetne vjerojatnosti Marginalne ili rubne razdiobe Primjer: Neka je dana zajednička razdioba dviju slučajnih diskretnih varijabli P(A, B), gdje svaka varijabla može poprimiti tri vrijednosti (aiodnosno bj) s definiranim vjerojatnostima (suma svih vjer. = 1): Marginalna razdioba za A iznosi: P(A=a1) = 0.05 + 0.06 + 0.09 = 0.2 (sumiramo/marginaliziramo po bj ) P(A=a2) = 0 + 0 + 0.3 = 0.3 P(A=a3) = 0 + 0.3 + 0.2 = 0.5 Analogno možemo računati razdiobu za fiksiranu varijablu B. Te se vrijednosti (novi stupac ili novi redak) bilježe “na marginama” tablice. Vjerojatnosti da će A poprimiti vrijednosti ai neovisno o vrijednostima bj . To je bezuvjetna vjerojatnost A. Vjer. da će A=a1 i B=b1

14. Slučajne varijable i uvjetne vjerojatnosti Veza između marginalnih razdioba i uvjetnih vjerojatnosti – pravilo zbrajanja Neka je dana zajednička razdioba dviju diskretnih binarnih varijabli: P(A, B). Marginalna razdioba u odnosu na A iznosi: P(A=a) = b P(A=a, B=b) Kako iz definicije uvjetne vjerojatnosti slijedi: P(A=a, B=b) = P(A=a | B=b) P(B=b) To marginalnu razdiobu možemo računati preko uvjetne vjerojatnosti: P(A=a) = b P(A=a | B=b) P(B=b) To je pravilo zbrajanja (engl. addition rule).

15. Slučajne varijable i uvjetne vjerojatnosti Bayesovo pravilo Iz definicije uvjetne vjerojatnosti slijedi: P(A | B) = P(A, B) / P(B) a također i: P(B | A) = P(A, B) / P(A) Ako izraze izjednačimo po zajedničkom članu P(A, B) slijedi: P(B | A) P(A) P(A | B) = -------------------- P(B)

16. Slučajne varijable i uvjetne vjerojatnosti Sažetak: Vjerojatnost i slučajne varijable. P(A, B) = zajednička razdioba Uvjetna vjerojatnost: P(A | B) = P(A, B) / P(B) slijedi: P(A, B)=P(A | B) P(B) Marginalne (rubne) razdiobe. Uz P(A, B) poznato, računamo razdiobu fiksiranog (odabranog) podskupa varijabli (ovdje A): P(A) = b P(A, B=b), vjer. da A poprimi fiksiranu vrijednost Bayesovo pravilo: P(A | B) = P(B | A) P(A) / P(B) Lančano pravilo: P(X1, … , Xn) = i P(Xi | Xn-1, …, X1) Pravilo zbrajanja. Uz P(A, B) poznato, računamo razdiobu fiksiranog (odabranog) podskupa varijabli (ovdje A): P(A) = b P(A, B=b) = b P(A | B=b) P(B=b)

17. Probabilističko rasuđivanje Primjer baze znanja o životinjama (svaki red je apriorno znanje): (P)tica (L)etač (M)lado Vjerojatnosti,  pi = 1 T T T 0 T T F 0.2 T F T 0.04 T F F 0.01 F T T 0.01 F T F 0.01 F F T 0.23 F F F 0.5 Upit: Koja je vjerojatnost da nije ptica ako leti i nije mlado ? P(P=F | L=T, M=F) = P(P=F, L=T, M=F) / P(L=T, M=F) = (uvjetna vjerojatnost) P(P=F, L=T, M=F) 0.01 1 = ---------------------------------------------------- = ----------- = -------- P(P=T, L=T, M=F) + P(P=F, L=T, M=F) 0.2 + 0.01 21 Koristeći izraze za izračunavanje marginalnih razdioba može se izračunati vjerojatnost bilo kojeg upita vezanog za te 3 varijable. Problem: potrebno je poznavati 2n apriornih vjerojatnosti !

18. Temelji Bayesovih mreža Primjer 1: Dva događaja, diskretne, binarne slučajne varijable. PDF – zajednička razdioba M: Mira predaje AI. S: Dan je sunčan. PDF: za 2 varijable potrebno je 4 vjerojatnosti (ustvari 3 jer =1) Uvodimo znanje o domeni: Događaji M i S su nezavisni !! P(M | S) = P(M) P(S | M) = P(S) P(M, S) = P(M) x P(S) U tom slučaju dovoljne su samo dvije vjerojatnosti !! Npr.: P(M) = 0.6 P(S) = 0.3, pazi:  1 Time su određene sve vjerojatnosti iz zajedničke PDF ( = 1): P(M, S) = 0.6 x 0.3 = 0.18 P(M, S) = 0.6 x 0.7 = 0.42 P(M, S) = 0.4 x 0.3 = 0.12 P(M, S) = 0.4 x 0.7 = 0.28 sada  = 1

19. Temelji Bayesovih mreža Primjer 2: Tri događaja, diskretne, binarne slučajne varijable Binarne vrijednosti varijabli: A: Ante kasni na predavanje (kasni ili ne). B: Branko kasni na predavanje (kasni ili ne). K: Promet je koma. (koma ili normalno stanje). Znanje o domeni: a) Ništa nije poznato o K. Razmišljanje: Ako A kasni, vjerojatno je promet u komi, te će B kasniti. Povećanje izvjesnosti A kreira povećanje izvjesnosti B. A i B su povezani (zavisni su ako ne znam K). b) Tajnica dolazi i kaže: promet nije koma, ide normalno (dakle poznato je stanje prometa K). Ako A kasni to mi ništa ne omogućuje da rasuđujem o B. Ne znam zašto B kasni. A i B nisu povezani (nezavisni su ako znam K).

20. Temelji Bayesovih mreža Primjer 2: Grafički prikazujemo neposredne kauzalne (uzročne) veze: K K djeluje na A i na B. A B U ovom slučaju potrebno je poznavati samo 5 (umjesto (8 – 1) vjerojatnosti): P(K) = 0.6 P(A | B, K) = P(A | K) = 0.085 pazi  1, jer P(A | B, K) = P(A | K) = 0.17 P(A | K) + P(A | K) = 1 P(B | A, K) = P(B | K) = 0.3 P(B | A, K) = P(B | K) = 0.6 Ako K, A i B su nezavisni. 1 Temeljem 5 danih vrijednosti, može se izračunato bilo koja vjerojatnost (od 8): Npr.: P(A, B, K) = P(A | B, K)  P(B, K) - lančano pravilo = P(A | K)  P(B | K)  P(K) nezavisnost - iz def. uvjetna vjer. Naravno da  svih 8 mogućih vjerojatnost = 1.

21. Temelji Bayesovih mreža Temeljne definicije Bayesovih mreža: Def.1: definicija Bayesove mreže Bayesova mreža je usmjereni acikličkigraf G = (V, E), gdje su: V = čvorovi, slučajne varijable E = lukovi, pokazuju izravnu uzročnu vezu (lokalnu zavisnost varijabli) Ako su u grafu dva čvora Xi, Xk usmjereno povezani: Xi  Xk to ima slijedeće značenje: Xiutječe (uzrokuje) Xk (gleda se utjecaj u smjeru strelice). Xk (kao evidencija) dijagnosticiraXi(gleda se utjecaj obrnuto od smjera strelice).

22. Prethodnici Sljedbenici Xi-1 Xi Xi-2 Roditelji: Si Temelji Bayesovih mreža Temeljne definicije Bayesovih mreža: Def.2: Markovljeva uvjetna nezavisnost Promatramo jedan čvor Xi : Ako je skup roditelja Si poznat (poznate su vjerojatnosti svih vrijednosti), tada za Xi : P(Xi | Xi-1 , Xi-2 , …, X2 , X1 ) = P(Xi | Si ) t.j. vjer. Xine ovisi o ostalim prethodnicima. Vjer.Xi samolokalna uvjetna vjerojatnost. Zajednička razdioba cijele mreže dana je lančanim pravilom: P(X1 , . . . , Xn ) = P(Xn | Xn-1 , …, X1 ) P(Xn-1 | Xn-2 , …, X1 ) … P(X2 | X1 ) P(X1 ) = i=n..1 P(Xi | Xi-1 , Xi-2 , …, X2 , X1 ) = i=n..1P(Xi | S(Xi )) Opažamo redukciju kompleksnosti i zajednička razdioba je produkt lokalnih uvjetnih razdioba.

23. Temelji Bayesovih mreža Postupak oblikovanja Bayesove mreže 1. Odaberi skup slučajnih varijabli koje opisuju domenu problema. 2. Uredi skup varijabli (povlačenjem lukova) tako da najprije odrediš najranije prethodnike (varijable koje nemaju roditelja), a zatim varijable na koje one izravno utječu (neposredne lokalne uzročne veze). 3. Ponavljaj postupak pod točkom 2 do krajnjih varijabli (djece). 4. Definiraj tablice lokalnih uvjetnih vjerojatnosti svake varijable (vjerojatnosti te varijable uz uvjet da njeni roditelji zauzmu svoje vrijednosti). Pri tome broj roditelja neke varijable određuje dimenzionalnost njene lokalne tablice vjerojatnosti. U slučaju diskretnih binarnih varijabli za m roditelja potrebno je poznavati 2mvjerojatnosti.

24. P(P=T)= 0.001 P(Z=T)= 0.002 Provala Zemljotres Alarm Ivan _zove Miro_zove P P(A | P,Z) T T 0.95 T F 0.94 F T 0.29 F F 0.001 A P(M | A) T0.7 F 0.001 A P(I | A) T0.9 F0.05 Oblikovanje Bayesovih mreža Primjer Bayesove mreže (5 binarnih slučajnih varijabli, vrijednosti [T, F]): Provala i Zemljotresmogu aktivirati Alarm. Aktivacija alarma uzrokuje da Ivan i Miro eventualno zovu vlasnika kuće. Ukupno je potrebno poznavati 10 uvjetnih vjerojatnosti (umjesto 25= 32). Za varijablu bez roditelja jedna vjerojatnost Pazi: Vjer(A=F | P,Z=T) = 0.05 Alarm ima 2 roditelja pa je potrebno poznavati 22 uvjetnih vjerojatnosti. Za n roditelja potrebno je poznavati 2n uvj. vjer. Za varijablu s jednim roditeljem dvije uvjetne vjerojatnosti

25. Rasuđivanje u Bayesovim mrežama 1. Temeljem tablica lokalnih uvjetnih vjerojatnosti varijabli, mogu se izračunati bezuvjetne (marginalne) razdiobe svih varijabli. 2. Uz poznate vrijednosti skupa evidencijskih varijabli {Ee } (engl. evidence variables). Može se odrediti vjerojatnosti skupa upitnih varijabli {Qq } (engl. query variables). Tipovi upita: 0. Koja je bezuvjetna (marginalna) vjerojatnost da Ivan zove. 1. Dijagnostika (Qq Xi Ee ): “Ako je Ivan zvao, koja je vjerojatnost provale ?” (što je uzrok) 2. Uzročno rasuđivanje (Ee Xi Qq ): “Ako je provala, koja je vjerojatnost da Ivan zove ?” (kako uzrok utječe) 3. Međuuzročno rasuđivanje: (Qq Xi Ee ) “Ako alarm i zemljotres, koja je vjerojatnost provale ?” 4. Miješano rasuđivanje (dijagnostičko i uzročno) (Ee Qq Ee ): “Ako Ivan zovei nema zemljotresa, koja je vjerojatnost alarma ?” Cilj ispitivanja mreže: Donošenje odluka. Određivanje dodatnih evidencijskih varijabli. Objašnjenje rezultata probabilističkog rasuđivanja.

26. Z linearan E Z u E Z divergira Y Z X Z X Y Z X Y Z konvergira Z i sljedbenici nisu u E Znanje o jednom uzroku ne govori o drugom. Mogući utjecaji varijabli u Bayesovoj mreži Definicije općenezavisnosti(J.Pearl 1988) Neka je dana mreža sa skupovima čvorova: X, Y, E (poznati). E skup je evidencija, poznato stanje, fiksiran čvorovi. Def.: X i Y su nezavisni akko ih (poznati) Ed-separira, t.j. neusmjereni put je blokiran. U mreži to su slučajevi: Ovo je slučaj u ranijem Primjeru 2

27. Rasuđivanje u Bayesovim mrežama - primjer Primjer iz domene medicine Liječnik treba odrediti dijagnozu. Opcije su tuberkuloza, rak pluća ili bronhitis. Pacijent je možda pušač i možda je boravio u Aziji. Liječniku na raspolaganju stoje rentgentski pregled i ispitivanje poteškoće u disanju. Slučajne varijable koje opisuju domenu: Tuberkuloza (engl. Tuberculosis) Rak pluća (engl. Lung cancer) Bronhitis (engl. Bronchitis) Pušač (engl. Smoking) Posjet_Aziji (engl. Visit_to_Asia) Rentgen_test (engl. X-Ray) Poteškoće_disanja (engl. Dyspnea)

28. Prvi korak: varijable i njihov utjecaj • Mreža predstavlja strukturu znanja i modelira odnos između mogućih bolesti, njihovih uzroka, informacija o pacijentu i dijagnostičkih testova. Visit to Asia Smoking Patient Information Tuberculosis Lung Cancer Bronchitis Medical Difficulties Tuberculosis or Cancer XRay Result Dyspnea Diagnostic Tests

29. Tuber Present Present Absent Absent Lung Can Present Absent Present Absent Tub or Can True True True False Dyspnea Medical Difficulties Tub or Can True True False False Bronchitis Present Absent Present Absent Present 0.90 0.70 0.80 0.10 Absent 0.l0 0.30 0.20 0.90 Drugi korak: Tablice lokalnih uvjetnih vjerojatnosti • Znanje o odnosima između varijabli modelira se uzročnim vezama i lokalnim razdiobama uvjetnih vjerojatnosti. Visit to Asia Smoking Patient Information Tuberculosis Lung Cancer Bronchitis Tuberculosis or Cancer XRay Result Dyspnea Diagnostic Tests

30. Treći korak: Propagacija vjerojatnosti • Propagacijski algoritam procesira informacije o odnosima varijabli što rezultira u bezuvjetnim ili marginalnim razdiobama vjerojatnosti svakog čvora. • Bezuvjetne ili marginalne vjerojatnosti čvora predstavljaju funkciju vjerovanja toga čvora. Dijagnoza nije sa sigurnošću uspostavljena.

31. Četvrti korak: Unošenje evidencije • Kako se unosi evidencija, to se kao posljedica propagacijskog algoritma mijenjaju vjerovanje u relevantno povezane čvorove (zavisne). • Razgovor s pacijentom rezultira u promjeni “Visit to Asia” u “Visit”. • Ta informacija propagira kroz mrežu i mijenja funkcije vjerovanja nekoliko zavisnih čvorova. Dijagnoza još uvijek nije nedvosmisleno uspostavljena.

32. Peti korak: Unošenje evidencije • Daljnji razgovor s pacijentom rezultira u promjeni čvora “Smoking” u “Smoker”. • Ta informacija propagira kroz mrežu i mijenja vjerovanja zavisnih čvorova. • Dijagnoza još uvijek nije nedvosmisleno potvrđena. Vjerojatno pacijent nema tuberkulozu ni rak pluća, ali bronhitis je upitan.

33. Šest korak: Laboratorijski test (evidencija) • Nakon razgovora s pacijentom slijede laboratorijski dijagnostički testovi. • Liječnik započinje s rentgenskim pregledom. To rezultira u promjeni toga čvora u “Normal”. Informacija propagira kroz mrežu. • Informacija o rentgenskom testu propagira unatrag i unaprijed po lukovima mreže. Dilema oko bronhitisa ostaje.

34. Sedmi korak: Laboratorijski test (evidencija) • Liječnik je ustanovio da pacijent ima poteškoća s disanjem. To u čvoru “Dyspnea” rezultira s “Present”. Informacija propagira kroz mrežu. • Liječnik sada može zaključiti da pacijent nema tuberkulozu (vjer = 0.998), da nema rak pluća (vjer. = 0.996) te da ima bronhitis (vjer. = 0.992).

35. Propagacija u Bayesovim mrežama Primjer: 2 diskretna binarna čvora (A uzrokuje B, B dijagnosticira A) A B Mreža je definirana jednim lukom i uvjetnim vjerojatnostima: P(A=T) = … P(B=T | A=T) = … P(B=T | A=F) = … 1. Računamo bezuvjetne (marginalne) razdiobe vjerojatnosti čvorova. Čvor A: P(A=T) = … (to je bilo odmah zadano) Čvor B: P(B=T) = a P(B=T | A=a) P(A=a) a = {T, F} Računamo marginalnu razdiobu za fiksirani B=T. Sumacija se obavlja po vrijednostima za čvor A.

36. Propagacija u Bayesovim mrežama Primjer: 2 diskretna binarna čvora (A uzrokuje B, B dijagnosticira A) A B 2. Uzročna veza (A šalje poruku prema B, da je A u T) P(A=T) = 1, t.j. ako je poznato (vidljivo, evidentno) stanje A, kako to mijenja naše vjerovanje u B ? Poznato P(A=T) je uzrok koji propagira do B. P(B=T | A=T) = ?, Vrijednost možemo očitati izravno iz zadane tablice. Ta vjerojatnost je različita od ranije izračunate bezuvjetne vjerojatnosti. Saznanjem da je A=T primijenilo se naše vjerovanje u B.

37. Propagacija u Bayesovim mrežama Primjer: 2 diskretna binarna čvora (A uzrokuje B, B dijagnosticira A) A B 3. Dijagnostička veza (B šalje poruku prema A, da je B u T) P(B=T) = 1, t.j. ako je poznato (vidljivo, evidentno) stanje B, kako to mijenja naše vjerovanje u A ? P(A=T | B=T) = ? Bayes: P(A=T | B=T) = P(B=T | A=T) P(A=T) / P(B=T) P(B=T | A=T) i P(A=T) očitamo iz zadanih tablica uvj. vjerojatnosti. Za nazivnik: P(B=T) = a P(B=T, A=a) = a P(B=T | A=a) P(A=a) računamo marginalnu razdiobu pravilom zbrajanja. Saznanje da je B=T mijenja naše ranije bezuvjetno vjerovanje u A.

38. Propagacija u Bayesovim mrežama Primjer: 3 diskretna binarna čvora (T=istinito, F=neistinito) O Neka je zadano početnih pet vjerojatnosti: P(O=T) = 0.4 [P(O=F) = 0.6] L C P(L=T | O=T) = 0.6 [P(L=F | O=T) = 0.4] P(L=T | O=F) = 0.1 [P(L=F | O=F) = 0.9] P(C=T | O=T) = 0.8 [P(C=F | O=T) = 0.2] P(C=T | O=F) = 0.3 [P(C=F | O=F) = 0.7] Zanima nas vjerojatnost P(C=T | L=T), t.j. kako se promijenilo naše vjerovanje u P(C=T) kada smo opazili L=T (evidencija). Prvo računamo bezuvjetnu (marginalnu) vjerojatnost čvora C, t.j. P(C=T), (sumiramo po svim vrijednostima O=o, ne ovisi o L): P(C=T) = o P(C=T | O=o) P(O=o) = pravilo zbrajanja = P(C=T | O=T) P(O=T) + P(C=T | O=F) P(O=F) = (0.8 x 0.4) + (0.3 x 0.6) = 0.5

39. Propagacija u Bayesovim mrežama Primjer: 3 diskretna binarna čvora O L C Neka sad opazimo da je L=T. L šalje dijagnostičku potporu u čvor O. Računamo novu vjerojatnost za čvor O, t.j. P(O | L=T): P(L=T) – marginalna razdioba P(O=T | L=T) = Bayes = P(L=T | O=T) P(O=T) / o P(L=T | O=o) P(O=o) = = (0.6 x 0.4) / [(0.6 x 0.4) + (0.1 x 0.6)] = 0.24 / 0.3 = 0.8 Također: P(O=F | L=T) = 0.2

40. Propagacija u Bayesovim mrežama Primjer: 3 diskretna binarna čvora O L C Nakon toga, čvor O šalje uzročnu potporu u čvor C. Umjesto ranijih P(O=T) i P(O=F) u bezuvjetnoj (marginalnoj) razdiobi za P(C=T), sada, koristimo: P(O=T | L=T) i P(O=F | L=T). P(C=T | L=T) = o P(C=T | O=o) P(O=o | L=T) = = P(C=T | O=T) P(O=T | L=T) + P(C=T | O=F) P(O=F | L=T) = (0.8 x 0.8) + (0.3 x 0.2) = 0.64 + 0.06 = 0.7 Zaključak: Nakon evidencije L=T, vjerovanje u C promijenilo se od početnih 0.5 na 0.7.

41. P(X | E+, E-1, …, E-k-1, E-k+1, …, E-n) P(Z | E+) Y1 Yk X Yn Z P(E-1, …, E-n | Z) P(E-k | X) Algoritmi rasuđivanja u Bayesovim mrežama Složenost postupaka rasuđivanja (uzročne i dijagnostičke propagacije vjerojatnosti) ovisi o topologiji mreže. Za topologiju jednostruko povezanih čvorova (polistablo), gdje postoji najviše jedan put između dva čvora (uvijek samo jedan roditelj), moguće je oblikovati točan proračunski algoritam polinomske složenosti. Primjer:

42. Algoritmi rasuđivanja u Bayesovim mrežama U primjeru s prethodne slike pojedinačne propagacije mijenjaju vjerojatnost svakog čvora konzistentno zakonima teorije vjerojatnosti. Svaki čvor vodi zapis o zadnjoj potpori od n djece i jednog roditelja. Ako se nova potpora razlikuje, X čvor računa i šalje novu dijagnostičku potporu jedinom roditelju i novu uzročnu potporu k-tom djetetu. Algoritam za polistablo: Procedura: Propagiraj dijagnostičku potporu od djeteta c prema roditelju p. Ako potpora neizmjenjena ili p korijenski čvor, završeno. inače: upiši novu vrijednost potpore u p, propagiraj dijagnostiku roditelju od p i uzročnu djeci osim c. Procedura: Ppropagiraj uzročnu potporu od roditelj p do djeteta c. Ako uzročna potpora neizmjenjena, ili c terminalski čvor, završeno. inače: upiši novu vrijednost u c, i propagiraj svakom djetetu od c.

43. Algoritmi rasuđivanja u Bayesovim mrežama U općem slučaju topologije Bayesove mreže (višestruko povezani čvorovi), postupak izračunavanja vjerojatnosti pojedinih čvorova je NP-težak problem. Tehnika spojenih stabala (engl. junction trees) - HUGIN Egzaktna tehnika izračuna vjerojatnosti. Tehnika se temelji na transformacijama grafa uz očuvanje bitnih obilježja. Iz mreže se izluči neusmjereni triangulirani graf, te se konstruira novi stablasti graf u kojem su čvorovi klike trianguliranog grafa. Započinjemo s tipičnom mrežom:

44. Mor. Kord Mor. Algoritmi rasuđivanja u Bayesovim mrežama Tehnika spojenih stabala – nastavak Graf "moraliziramo", t.j. spojimo roditelje i odbacimo smjer na lukovima. Zatim trianguliramo moralni graf (dodaju se lukovi tako da svaki ciklus duljine 4 ili više ima najmanje jedan kord - luk koji spaja nesusjedne čvorove).

45. Algoritmi rasuđivanja u Bayesovim mrežama Tehnika spojenih stabala – nastavak Formiramo klike - maksimalne skupove međusobno potpuno povezanih (svaki sa svakim) čvorova.

46. Algoritmi rasuđivanja u Bayesovim mrežama Tehnika spojenih stabala – nastavak Organiziramo sustav kao stablo, ali (za sada) bez smjerova lukova. Svaka klika ima pridružen produkt tablica uvjetnih vjerojatnosti (svijet vjerovanja - engl. belief universe, BU). Za svaki par klika postoje zajednički čvorovi – separatori (d-separiraju graf u dva uvjetno nezavisna dijela). Npr. za klike C1 i C4 to je T (čvor Tuberculosis).

47. Algoritmi rasuđivanja u Bayesovim mrežama Tehnika spojenih stabala – nastavak Algoritam propagacije vjerojatnosti (analogno kao u stablima): Klika u kojoj je tražena varijabla, npr. C2 za P(X-ray), je korijen. Sve klike šalju poruke prema C2 (unosimo smjer lukova). Ci šalje poruku min do Cn . Klika množi poruku mki za sve k  n sa svojom BU i marginalizira varijable osim u separatoru. Poruke putuju u svim smjerovima (analogno kao u stablima). Npr., poruke od C1 do C2: prva poruka: m1 = v P(v) P(t | V) marginaliziramo, T - separator druga poruka: t P(a |l, t) m1 (t) marginaliziramo A,L separator slijedeća poruka: . . .

48. HUGIN

49. Stohastički algoritmi rasuđivanja u Bayesovim mrežama Mreža: A  B P(A=t) P(B | A=t) P(B | A=f) Tražimo bezuvjetnu (marginalnu ) razdiobu P(B=t) = ? Uspostavimo brojilo koje inkrementiramo svaki puta kada “pogodimo” da je B=t. U početku #(B=t) = 0. Također zapisujemo ukupan broj iteracija (“pogađanja”). Neka je taj broj m. Generiramo dva slučajna broja: p, q [0, 1] u svakoj iteraciji. Ako p < P(A=t), dobili smo da je A=tu toj iteraciji (slučajnom “pogađanju”). Ako u istoj iteraciji q < P(B | A=t), slijedi da je B=t, pa inkrementiramo brojilo: #(B=t) = #(B=t) + 1 Ako pak u toj iteraciji p  P(A=t), dobili smo da je A=f. Ako u istoj iteraciji dobijemo q < P(B | A=f) slijedi da je B=t, inkrementiramo: #(B=t) = #(B=t) + 1 Ostali slučajevi ne inkrementiraju #(B=t); odbacuju se. Nakon m iteracija: est P(B=t) = #(B=t)/m

50. P(S)=0.3 P(M)=0.6 M S R L T P(L|M,S)=0.05 P(L|M,S)=0.1 P(L|M,S)=0.1 P(L|M,S)=0.2 P(R|M)=0.3 P(R|M)=0.6 P(T|L)=0.7 P(T|L)=0.3 Stohastički algoritmi rasuđivanja u Bayesovim mrežama Neka je zadana Bayesova mreža kao na slici. Sve slučajne varijable su Booleove s lokalnim uvjetnim vjerojatnostima kao u tablicama. • Stanje svake varijable “pogađamo” generiranjem slučajnog broja i usporedbom s njenom zadanom vjerojatnosti. • Započinje se od krajnjih roditelja. • Dobivena slučajna vrijednost varijable koristi se u daljnjem napredovanju kroz mrežu. • Za statistički relevantan zaključak potrebno je mnogo “prolaza” kroz mrežu.