马尔可夫过程离散时间马尔可夫链

如题所述


以青蛙跳跃的荷花池为例,我们考虑的状态空间E,即荷叶的编号集合。马尔可夫性意味着在任意时间点n,青蛙的跳跃概率仅依赖于当前的位置,即


P[x(n)=in|x(0)=i0,x(1)=i1,...,x(n-1)=i(n-1)] = P[x(n)=in|x(n-1)=i(n-1)]


这里,n和m的区别在于,转移概率只与前一步相关,而非前n步。如果随机变量序列Xn满足这个条件,我们称之为马尔可夫链。如果转移概率与步数无关,即为齐次马尔可夫链,其转移概率可以用转移矩阵P来描述。每个齐次马尔可夫链的动态可以通过一步转移矩阵来刻画,P的元素非负且每行和为1,这样的矩阵称为随机矩阵。


例如,考虑一个具有反射壁的随机游动,质点在0到M的整数点上移动,每步向右或左移动一个单位。转移矩阵P确定了质点的移动概率。若将P的第一行设为(1,0,...,0),则0为吸收壁,质点一旦到达则停止移动。


为了深入研究,马尔可夫链的状态被分类。状态i和j之间的直接转移记为i→j,如果还存在j到i的转移,则记作i凮j。图形可以直观地表示链的运动轨迹,如闭集C中的状态会永远在C中循环,而常返状态i有100%的概率回到自身。


状态空间E可分解为非常返状态集合E0和不可约常返闭集Eα的并。马尔可夫链的运动特点是,要么在E0中无限转移,要么进入一个常返类Eα后永远循环。马丁边界理论深入研究了链在E0中的行为,它引入了距离概念,使得Xn在概率1下收敛于这个距离下的极限。



扩展资料

一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性:在已知目前状态 (现在)的条件下,它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程。关于该过程的研究,1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程,奠定了马尔可夫过程的理论基础。

温馨提示:答案为网友推荐,仅供参考
相似回答