Hidden Markov Modelle und ihre Anwendung in der Spracherkennung

1. Hidden Markov Modelle und ihre Anwendung in der Spracherkennung Konstantin Postlep Jannick Schatz Viet Long Pham

2. Andrei Andrejewitsch Markov * 14. Juni 1856 in Rjasan � 20. Juli 1922 in Petrograd Mathematiker, der wesentliche Beitr�ge zur Wahrscheinlichkeitstheorie und Analysis beisteuerte. Markov ist vor allem f�r die Theorie der stochastischen Prozesse bekannt

3. Markov Ketten

4. Markov Ketten Wie gro� ist die Wahrscheinlichkeit einer Wetterprognose der n�chsten 5 Tage von SRRWS wenn am ersten Tag die Sonne scheint?

5. Markov Ketten Wie gro� ist die Wahrscheinlichkeit einer Wetterprognose der n�chsten 5 Tage von SRRWS wenn am ersten Tag die Sonne scheint? ? P(SRRWS | Model) = P(S) ? P(R|S) ? P(R|R) ? P(W|R) ? P(S|W) = ?S ? aSR ? aRR ? aRW ? aWS = 1 ? 0,25 ? 0,375 ? 0,675 ? 0,375 = 0,0237

6. Hidden Markov Model Ein Hidden Markov Model ist ein stochastisches Modell, das sich durch zwei Zufallsprozesse beschreiben l�sst Der erste Zufallsprozess entspricht dabei einer Markov-Kette Die Zust�nde der Kette sind von au�en jedoch nicht direkt sichtbar (sie sind verborgen) Stattdessen erzeugt ein zweiter Zufallsprozess zu jedem Zeitpunkt beobachtbare Ausgangssymbole gem�� einer zustandsabh�ngigen Wahrscheinlichkeitsverteilung

7. Erweiterung auf ein HMM

8. Erweiterung auf ein HMM

9. Formale Definition Ein HMM ist Formal definiert als ein 5-Tupel ?=(S,V,A,B,?) mit S = {S1,S2,�,SN}, der endlichen Anzahl der Zust�nde V = {V1,V2,�,VM}, dem Ausgabealphabet A={aij} , der �bergangswahrscheinlichkeitsmatrix, wobei aij die Wahrscheinlichkeit angibt, dass Zustand Si in Zustand Sj wechseln wird. 1 = i,j = N B={bj(k)}, der Matrix der Ausgabewahrscheinlichkeiten. 1 = j = N, 1 = k = M. ?i, der Anfangswahrscheinlichkeitsverteilung 1 = i = N

10. Matrizendarstellung des HMM Anfangswahrscheinlichkeit Vorgegebene Werte, z.B. aus statistischen Daten ? = ( ?1 , ?2 , ?3 ) = (0.63 , 0.17 , 0.2 ) Zustands�bergangswahrscheinlichkeitsmatrix Sonne Wolken Regen Sonne 0,5 0,25 0,25 A = { aij } = Wolken 0,375 0,125 0,375 Regen 0,125 0,675 0,375 Ausgabewahrscheinlichkeitsmatrix Trocken Eher Trocken Eher Feucht Feucht Sonne 0,6 0,2 0,15 0,05 B = { bj(k) } = Wolken 0,25 0,25 0,25 0,25 Regen 0,05 0,1 0,35 0,5

11. Grundlegende Aufgaben auf einem HMM Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen? (Evaluation) Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden? (Dekodierung) Wie lassen sich die Parameter eines HMM justieren, um P(O| ?) zu maximieren? (Training)

12. Grundlegende Aufgaben auf einem HMM Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen? (Evaluation) ? Forward Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden? (Dekodierung) ? Viterbi Algorithmus Wie lassen sich die Parameter eines HMM justieren, um P(O| ?) zu maximieren? (Training)

13. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

14. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen? Initialisierung : a1(i) = ?ibi(O1) 1= i = N Induktion : at+1(j) = [ at(i) aij ] bj(Ot+1) 1 = t < T 1 = j = N Terminierung : P(O|?) = aT(i) ? at(i) ist die Wahrscheinlichkeit die Folge O1�Ot zu emittieren und dabei im Zustand i zu enden.

15. Beispiel

16. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

17. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

18. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

19. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

20. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

21. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

22. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

23. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

24. Der Forward Algorithmus Wenn wir eine Beobachtungsfolge O zu einem Modell ? haben, wie l�sst sich die Wahrscheinlichkeit P(O| ?) berechnen?

25. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung) Wir definieren uns �hnlich dem Forward-Algorithmus eine Variable dt(i), die die Wahrscheinlichkeit der wahrscheinlichsten Folge von Zust�nden ist, die in i endet und O1�Ot emittiert. Um den eigentlichen Pfad herauszufinden, speichern wir in ?t(i) den letzten Zustand dieser Folge vor dem Zustand i.

26. Der Viterbi Algorithmus Initialisierung : d1(i) = ?ibi(O1) 1= i = N ?1(i) = 0 Rekursion : dt(j) = max [dt-1(i)aij]bj(Ot) 2 = t = T, 1 = j = N ?t(j) = argmax [dt-1(i)aij] 2 = t = T, 1 = j = N Terminierung : P* = max [dt(i)] qT* = argmax [dt(i)] Pfad (Zustandssequenz) Backtracking : qt* = ?t+1(q*t+1) t = T-1,T-2,�,1

27. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

28. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

29. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

30. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

31. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

32. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

33. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

34. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

35. Der Viterbi Algorithmus Wie l�sst sich zu der Beobachtung die Sequenz der wahrscheinlichsten verborgenen Zust�nde finden (Dekodierung)

36. Ein Spracherkennungssystem

37. Bearbeitung des Sprachsignals

38. Subworterkennung

39. Isolierte Worterkennung mit HMMs

40. Isolierte Worterkennung mit HMMs

41. Isolierte Worterkennung mit HMMs

42. Syntaktische �berpr�fung

43. Semantische �berpr�fung

44. Quellen: �A Tutorial in Hidden Markov Models and Selected Applications in Speech Recognition� Lawrence R. Rabiner, Fellow, IEE Februar 1989 http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/main.html http://wwwuser.gwdg.de/~mherrma/v0/node76.html http://www.ikp.uni-bonn.de/dt/lehre/Milca/mmk/content/mmk_s121.xhtml

45. Sch�nen Dank f�r die Aufmerksamkeit