第 6 章 马尔可夫预测

1. 第6章 马尔可夫预测 马尔可夫预测是应用随机过程中马尔可夫链的理论和方法，研究分析有关现象的变化规律并借此对未来进行预测的一种方法。 • 马尔可夫链的基本概念 • 马尔可夫预测方法及应用

2. 6.1 马尔可夫链的基本概念

3. 6.1 马尔可夫链的基本概念 一、马尔可夫链

4. 6.1 马尔可夫链的基本概念 一、马尔可夫链 马尔可夫过程指满足无后效性的随机过程

5. ——随机过程 6.1 马尔可夫链的基本概念 一、马尔可夫链 马尔可夫过程指满足无后效性的随机过程 定义1参数集 （随机变量）

6. ——随机过程 6.1 马尔可夫链的基本概念 一、马尔可夫链 马尔可夫过程指满足无后效性的随机过程 定义1参数集 （随机变量） • 无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。

7. ——随机过程 6.1 马尔可夫链的基本概念 一、马尔可夫链 马尔可夫过程指满足无后效性的随机过程 定义1参数集 （随机变量） • 无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。 定义2如若T 为离散集（设 ）， 同时 的取值也是离散的，则称 为离散型随机过程。

8. 设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。

9. 设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。设有一离散型随机过程，它所有可能处于的状态的集合为：S={1，2，…，N}，称其为状态空间。 若对任意 ，恒有： 则称离散型随机过程 为马尔可夫链。

10. 二、状态转移概率矩阵

11. 二、状态转移概率矩阵 当系统由一种状态变为另一种状态时，称为状态转移。

12. 二、状态转移概率矩阵 当系统由一种状态变为另一种状态时，称为状态转移。 定义3一步状态转移概率

13. 几个概念：

14. 几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

15. 几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

16. 几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。 概率向量

17. 几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。 概率向量 概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。

18. 概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。

19. 概率矩阵的性质：如果A、B 皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。 一步状态转移概率矩阵 假设： 与n无关 （齐次性）

20. 例1设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。

21. 例1设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。 设 则状态转移概率矩阵：

22. 0.4 0.5 0.5 1 2 0.6

23. k步状态转移概率 称 为k步状态转移概率， 为k步状态转移概率矩阵，

24. 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。

25. 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。 全概率公式

26. 马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。 全概率公式 P—— 一步状态转移概率矩阵 —— k步状态转移概率矩阵

27. 例2设一步状态转移概率矩阵为 则两步状态转移概率矩阵为

28. 例2设一步状态转移概率矩阵为 则两步状态转移概率矩阵为

29. 初始状态概率向量

30. 初始状态概率向量 记 为过程的开始时刻， 则称 为初始状态概率向量。

31. 初始状态概率向量 记 为过程的开始时刻， 则称 为初始状态概率向量。 如果已知齐次马尔可夫链的状态转移概率矩阵 以及初始状态概率向量 ，则任一时刻的状态概率分布可以确定。

32. 其中：

33. 例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。

34. 例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。 以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。 0.3 1 2 0.9

36. 含义？

37. 含义？ 如已知初始概率向量 P(0)： 0.3 0.1 0.7 0.9

38. 含义？ 如已知初始概率向量 P(0)： 0.3 0.1 0.7 0.9

45. P(1)=(0.74 0.26)

46. P(1)=(0.74 0.26) 问题：当k不断增大时， 的变化趋势如何？

47. 三、平稳分布与稳态分布

48. 三、平稳分布与稳态分布 1. 平稳分布

49. 三、平稳分布与稳态分布 1. 平稳分布 如 为一状态概率向量，P为状态转移概率矩阵。若 则称 X 为马尔可夫链的一个平稳分布。

50. 三、平稳分布与稳态分布 1. 平稳分布 如 为一状态概率向量，P为状态转移概率矩阵。若 则称 X 为马尔可夫链的一个平稳分布。 若随机过程某时刻的状态概率向量为平稳分布，则称过程处于平衡状态。 一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，即，过程一旦处于平衡状态后将永远处于平衡状态。