Talteknologi (vt04): Sannolikhetslära och markovmodeller

Talteknologi (vt04): Sannolikhetslära och markovmodeller Leif Grönqvist GSLT, MSI@VxU, Ling@GU

Sannolikhetsteori • Vad är sannolikhetsteori? • Teori för att hantera osäkerhet • Beräkna värden på hur troligt det är att något inträffar • Definition genom relativ frekvens • Vad behöver vi det till? • Bra för att modellera allt för komplexa proceser: språk! • Eller för att bli bättre på Roulette, Black Jack, Poker…

Viktiga begrepp • Experiment/Försök (experiment/trial): processen med vilken en observation görs. Exempel: • Kasta tärning och se vad det blev • Titta ut genom fönstret varje dag klockan 12 tills den dag det regnar och se hur många dagar det tog • Utfall (basic outcome): ett resultat av ett försök. Exempel: • ”femma”, ”trea” • 8 dagar, 0 dagar • Utfallrum (sample space): mängden av alla utfall (Ω). Exempel: • {”etta”, ”tvåa”, ”trea”, ”fyra”, ”femma”, ”sexa”} • {0, 1, 2, …}

Utfallsrummet • Egenskaper hos utfallsrummet: • Diskret / kontinuerlig • Ändligt / oändligt

Fler begrepp • Händelse (event): en delmängd av utfallsrummet. Exempel: • {“femma”, “sexa”} • {1, 2, 3} • Händelserum (event space): mängden av alla delmängder av utfallsrummet (potensmängden av Ω), benämns 2Ω • Hur stort är händelserummet för tärningsexemplet?

Fler begrepp • Frekvensfunktion (probability function): P(x) = P(X=x), exempel: • P({“femma”, “sexa”}) = 1/3 • Täthetsfunktion (för kontinuerliga sannolikheter), exempel: • P(20<X<40) = ytan under kurvan från 20 till 40 • Några axiom: • P(Ω) = 1 • P(x) = 0 omm “x inträffar aldrig” • P(x) = 1 omm “x inträffar alltid” • 0≤P(x)≤1 för alla händelser x

Räkneregler • AB =   P(A B) = P(A)+P(B) • Exempel: A={“etta”, tvåa”}, B={“fyra”, “femma”} • Exempel från boken • Kasta ett mynt tre gånger. Hur stor chans är det att vi får exakt två “klavar” [på tavlan]

Betingade sannolikheter • Kallas också beroende sannolikheter eller a posteriori-sannolikheter (att jämföra med a priori-sannolikheter • Definition: • Kallas multiplikationsregeln

Bayes regel • Ur multiplikationsregeln följer Bayes regel: • Bra att ha om P(A|B) är lättare än P(B|A) att beräkna

Exempel med Bayes regel • S: Har stel nacke • M: Har Meningitis (farlig sjukdom) P(S|M) = ½, P(M) = 1/50000, P(S) = 1/20 • Bör man vara orolig om man är stel i nacken?

Bayes regel i datalingvistiken • Ofta vill man beräkna P(A|B) men P(B|A) är mycket lättare att beräkna: • Vi kanske vill hitta B så att P(A|B) maximeras:

Bayes regel i datalingvistiken, forts. • Eftersom A är konstant under maximeringen kan vi förenkla: • Denna formel är grunden för en vanlig form av ordklasstaggning, taligenkänning, maskinöversättning

Stokastiska variabler • Lite förvillande benämning eftersom de faktiskt är funktioner: • X : Ω  R (R är de reella talen) • En diskret stokastisk variabel: • Y : Ω  S (S är en uppräknerlig delmängd av R) • Exempel: kasta två tärningar och summera: • Ω={”11”, ”12”, ”21”, …, ”66”} • S={2, 3, …, 12} • pmf: en funktion som ger sannolikheten för elementen i S, benämns ofta p(x) • Exempel: två tärningar [på tavlan]

Väntevärde • Definieras: • Skrivs ofta µ • Exempel: en tärning [på tavlan] • Vad är det egentligen? Jo ett medelvärde!

Varians • Var(X) = E((X- µ)2) eller: • µ, dvs E(X) är medelvärdet • Var(X) är ett mått på hur mycket X varierar • Ett ofta använt mått är standaravvikelse: • Var(X) skrivs ofta 2 • Exempel: två klassers tentaresultat [på tavlan]

Fördelningar • Sättet “sannolikhetsmassan” är fördelad över Ω • Likformig fördelning (uniform distribution) • Alla element i Ω har samma sannolikhet • P(x)=1/| Ω| • Exempel: en tärning. • Normalfördelning (normal distribution) • Gauss ”Klockkurva” – resultatet av många små avvikelser • Exempel: släpp en boll från ett flygplan • Beräknas med parametrarna: µ och 

Kombinatorik • Sannolikhetsteori för likformiga fördelningar • Enkelt att beräkna sannolikhet som antalet gynnsamma utfall delat med totala antalet utfall • En vanlig modell: • En urna med kulor (eventuellt numrerade, olikfärgade) • Tag upp ett antal kulor och notera deras nummer/färg • Lägg tillbaka kulan eller inte • Notera ordningen de dras i eller inte • Resulterar i fyra kombinationer

Kombinatorik, fyra fall • Med återläggning, notera ordningen • Stryktips • Utan återläggning, notera inte ordningen • Lotto • Med återläggning, notera inte ordningen • Utan återläggning, notera ordningen

De fyra fallen • Räkna antalet sätt att välja k kulor ur en urna med n

En Markovmodell • En tillståndsmaskin • S={s1, s2, …, sN}: en mängd tillstånd • ={S1, S2, …, SN}: initialsannolikheter • A={aij}, i,j tas från S: transitionssannolikheter • X är en tillståndssekvens • Man kan beräkna • Sannolikheten för en tillståndssekvens X • Troligaste tillstånd i tidpunkt t • … • Ett exempel [på tavlan]

En dold Markovmodell (HMM) • Vi lägger till observerade symboler tagna ur ett alfabet K = {k1, k2, …, kM} • Sannolikheter för att emittera en given symbol: B={bijk}, i,j tas från S, k från K • O är en sekvens av symboler • Samt tänker oss att tillståndssekvensen är osynlig • Tre viktiga uppgifter kan urskiljas: • Beräkna sannolikheten för en symbolsekvens O givet en modell • Beräkna den troligaste tillståndssekvensen givet en symbolsekvens O (Viterbi-algoritmen!) • Givet en symbolsekvens O, ta fram sannolikheter som bäst förklarar O

HMM-exempel • En observationssekvens: • Alfabetet: K={får, man, tacka, “.”} • Tillstånd: S={nn, vb, pn, dl} • Transitionssannolikheter: anndl=0,29, … [OH] • Emmisionssannolikheter: annfår=1.2e-4, … [OH]

Talteknologi (vt04): Sannolikhetslära och markovmodeller