马尔科夫性质的具体内容是什么?

马尔科夫性质的具体内容是什么?

马尔可夫性质指的是一种随机过程的无记忆性,即该过程的未来演变只取决于当前状态,而与过去的历史无关。如果一个随机过程具有马尔可夫性质,那么该过程未来状态的基于过去和现在的值的条件概率分布仅依赖于当前状态,即在已知现在的情况下,未来与过去无关。

最典型的一个满足马尔可夫性质的随机过程就是离散时间马尔可夫链。我们可以用数学语言来表述和证明马尔可夫链的马尔可夫性质。令一个有限或可数集合 为状态空间,并令 为平凡 -代数。一个马尔可夫链的转移矩阵 满足 和 。令 (轨迹空间)和 (积 -代数)。定义马尔可夫链的轨迹 给定可测空间 上的一个概率测度 ,存在可测空间 上的唯一概率测度 ,使得 也就是说,在 下, ,且 。概率测度 定义了一个离散时间马尔可夫链。

令 为前 个轨迹生成的 -代数,并令 为位移算子。下面我们就陈述并证明离散时间马尔可夫链的马尔可夫性质。

定理(马尔可夫性质)对于任意 , 上的任意概率测度 和任意 ,有 这里 ,且 ,这里 是在 的狄拉克测度.

证明 等价于 我们去掉了条件期望,因为它和 -可测的函数相乘,故可以应用塔法则. 由于 中的所有集合都是柱集 的有限不交并集, 等价于 这里我们可以用 代替 .

令 这是一个单调类,即若 ,且 或 ,则 . 根据单调类定理,若 包含一个生成 的代数 ,则 . 柱集的有限不交并集构成一个代数 柱集的有限不交并集的补集和有限并集仍是柱集的有限不交并集. 若我们可以对于任意 证明 ,则我们可以对于任意 证明 . 事实上,我们只需要考虑 是一个柱集的情况.

令 和 . 我们有 . 那么, 在第四行和第五行,我们用到了马尔可夫链的定义。在最后一行,我们用 代替 .