马尔柯夫过程.pptx

马尔柯夫过程潘尔顺副教授上海交通大学工业工程与管理系5/12/2020主要内容基本概念马尔柯夫过程马尔柯夫状态转移图马柯夫转移矩阵5/12/2020基本概念随机过程(RandomProcess)—随机事件的变化过程。随机过程无确定的变化形式及必然的变化规律,因而不可能用精确的数学关系式来表达,但可用随机函数来描述。随机函数X(t)在时间t1时的取值,称为X(t)在t=t1时的状态,它也是随机变量,而t则称为过程参数。两者所有可能值的集合,分别称为“状态空间”和“参数空间”5/12/2020基本概念当系统完全由定义状态的变量值来描述时,则称这个系统处于一种状态。当描述系统的变量从一种状态的特定值变化到另一种状态的特定值时,则称改系统实现了状态的转移。马尔柯夫过程就是研究系统的“状态”与“状态”间的相互转移关系的。状态转移图-图15-45/12/2020马尔柯夫过程在系统可靠性的研究中,值得注意的一种性质就是随机变量X(t)在任意时刻tn时的状态X(tn)与过去所有时刻ti(1in-1)时的状态X(ti)间的关系。对于这一性质,可用下述条件概率来描述:当随机过程中出现的系统状态已定时,则出现下一个系统状态X(tn)=xn的条件概率为 则称5/12/2020马尔柯夫过程当条件概率为 时,则称X(tn)与过去历史无关,即为独立随机过程当条件概率为时,则称X(tn)仅与前一状态X(tn-1)有关而与更前的状态无关。这一随机过程就是最简单的马尔柯夫过程,称为“一步马尔柯夫过程”或“简单马尔柯夫过程”5/12/2020马尔柯夫过程将上述过程推广到一般,则马尔柯夫过程是这样一种随机过程,即其随机变量在任意时刻tn时的状态X(tn),仅与其前有限次数之内的状态X(tn-i-1),X(tn-i-2),…,X(tn-i)有关,而与以前的状态无关。马尔柯夫过程所具有的这种更以前的各种状态不影响现状态X(tn)的性质,称为“马氏性”或“无后效性”,“无记忆性”。而马尔柯夫过程又称为“无记忆过程”。5/12/2020马尔柯夫过程为了方便,现将状态X(tn)记为j,X(tn-1)记为i,则式可写为 条件概率Pij称为过程从状态i到状态j的转移概率。如果马尔可夫过程从一个给定状态向另一个状态转移的概率仅与两状态的相对时间有关,而与观测时刻无关,或具体观测时间变化时其转移概率值仍不变,即则称为“稳态马而可夫过程”,“平稳~”,“齐次~”。5/12/2020马尔柯夫状态转移图马尔可夫的状态转移,可用马尔可夫状态转移图来说明例:一台可修复的设备存在着正常运行状态i和故障状态j间的状态转移问题。如果该设备在运行了一段时间后处于状态i的概率为2/3,则它转移到状态j的概率为1-2/3=1/3。简记为Pii=2/3,Pij=1/3。反之,如果该设备处于状态j而经过维修后转移到状态i的概率是3/4,那么它处于状态j的概率则为1-3/4=1/4,简记为Pji=3/4,Pjj=1/45/12/2020马尔柯夫状态转移图用马尔可夫状态转移图可以简单而清晰地反映这一过程。因此,在用马尔可夫过程求解系统或设备的状态概率时,应首先作出相应的状态转移图,并填入有关概率值,则会一目了然并方便求解。ij图2马尔可夫状态转移图5/12/2020