SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

Implementing Viterbi Algorithm for Parameter Estimation in HMMs with Pseudocounts

kalkin avatar
kalkin
3 diapositives · 170 Views · Jul 13, 2014

This document outlines the steps to initialize emission and transition probabilities with random values for a Hidden Markov Model (HMM) using the Viterbi algorithm. It details the process of decoding state paths, saving parameters for comparison, and re-estimating parameters using pseudocounts. The algorithm focuses on optimizing the parameters through repeated iterations, ensuring convergence when differences are minimal. Special emphasis is placed on calculating transition probabilities and emission probabilities, using logarithmic space to handle computational challenges.

#implementing viterbi algorithm for parameter estimation in hmms with pseudocounts #implementing viterbi algorithm for parameter estimation in hmms with pseudocounts ppt #powerpoint #presentation
Implementing Viterbi Algorithm for Parameter Estimation in HMMs with Pseudocounts - slide 1
01 / 3Implementing Viterbi Algorithm for Parameter Estimation in HMMs with Pseudocounts
1 / 17

Télécharger la présentation

Implementing Viterbi Algorithm for Parameter Estimation in HMMs with Pseudocounts
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. Viterbi training Initialize emission and transition probabilities to random numbers. while (true) Do Viterbi decoding using current parameters Save current parameters as previous parameters. Re-estimate emission and transition parameters from the state path decoded by Viterbi. (add pseduocounts, see next page). if sum of absolute difference between current and previous parameters is tiny (e.g., < 0.00001), break; end print current parameter and P(sequence, viterbi path) Repeat the above procedure several times (with different random seed), and compare P(sequence, viterbi path). Report the parameters learned that give the largest P.

  2. Re-estimate parameters with pseudocounts • Count number of transitions, n_xy, where x, y = {a, b} • t_xy = (n_xy+c) / sum_x(n_xy+c) • e.g. t_ab = (n_ab +1) / (n_ab + n_aa + 2) • Count number of symbols in each state, N_aX and N_bX, where X = A, C, G, T • e_aX = (N_aX + 1) / (sum_X N_aX + 4) • e_bX = (N_bX + 1) / (sum_X N_bX + 4) Pseudocount

  3. Backward-Forward algorithm:Compute sum of probabilities in log space • Two probabilities x and y, x < y • lx = log(x), ly = log(y), (lx < ly) • z = x + y = y (1 + x/y) lz = log(z) = log(x+y) = log(y) + log(1 + x/y) = ly + log(1 + exp(log(x)-log(y)) = ly + log(1 + exp(lx – ly)) Also see page 4 in this doc: http://cs.utsa.edu/~jruan/teaching/cs5263_fall_2007/proj1.pdf and page 77 of the handouts.