Cadenas de Markov

1. Cadenas de Markov Proceso estocástico Cadena de Markov Estado Transición

2. Probabilidad de transición Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en el estado i. P{ X t + 1 = j / X t = i }

3. Probabilidades estacionarias de un paso Si para cada i y j se cumple: P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i } entonces, se dice que las probabilidades de un paso son estacionarias Notación: Pij

4. Probabilidad de transición en n pasos P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i } Notación: Pij(n)

5. Propiedades de Pij(n) • Pij(n) ≥ 0 para todo i, j y n = 0, 1, 2, … • S Pij(n) = 1para todo i, j de 0 a M, y n = 0, 1, 2, …

6. Notación matricial, P (n)

7. Ecuaciones de Chapman - Kolmogorov Permite calcular la probabilidad de transición en n pasos • Pij(n) = S Pik(m) Pkj(n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M

8. La matriz de probabilidades de transición de n pasos se pueden obtener a partir de la matriz de probabilidades de transición de un paso • P(n) = P * P * P * …. * P = P(n-1) * P

9. Clasificación de estados • Definiciones: Accesibles Comunicados • Si dos estados se comunican, pertenecen a la misma clase • Si todos los estados pertenecen a la misma clase, entonces la cadena es irreducible

10. fii = probabilidad de que el proceso regrese al estado i, dado que comienza en el estado i. • Estado recurrente: fii = 1 • Estado transitorio: fii < 1 • Estado absorbente: pii = 1

11. Tiempos de primera pasada • El número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez, es el tiempo de primera pasada • Cuando j = i, se habla de tiempo de recurrencia para el estado i

12. mij = tiempo esperado de primera pasada • mij = infinito, si S fii (n) < 1 • mij = S n * fii (n), si S fii (n) = 1

13. Cuando S fii (n) = 1, se satisface la ecuación: • mij = 1 + S { pik * mkj } donde la sumatoria varía para todo k distinto de j • Cuando i = j, mij se llama tiempo esperado de recurrencia

14. Probabilidades de Estado Estable • Es la probabilidad de que le sistema se encuentra en el estado j, independiente del estado inicial • pj = lim pij(n) , con n tendiendo al infinito • pi = 1 / mii

15. Ecuaciones de estado estable • pj = S pj * pij para j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, M • S pj = 1

16. Estados Absorbentes • Si k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción • Notación: fik

17. Ecuaciones: fik = S pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a: • fkk = 1 • fik = 0, si el estado i es recurrente, y además i es distinto de k