§ 3. Равенство Маркова

Обозначим через Р_ij(п) вероятность того, что в результате п шагов (испытаний) система перейдет из состояния i в состояние j. Например, Р₂₅(10)—вероят­ность перехода за 10 шагов из второго состояния в пятое. Подчеркнем, что при п = 1 получим переходные веро­ятности

Р_ij(1)=p_ij.

Поставим перед собой задачу: зная переходные веро­ятности Р_ij, найти вероятности Р_ij(п) перехода системы из состояния i в состояние j за п шагов. С этой целью введем в рассмотрение промежуточное (между i и j) состояние r. Другими словами, будем считать, что из первоначального состояния i за т шагов система перей­дет в промежуточное состояние r с вероятностью Р_ir(т), после чего за оставшиеся п—т шагов из промежуточного состояния r она перейдет в конечное состояние j с веро­ятностью Р_rj(п—т).

По формуле полной вероятности,

(*)

Эту формулу называют равенством Маркова.

Пояснение. Введем обозначения: A—интересую­щее нас событие (за п шагов система перейдет из началь­ного состояния i в конечное состояние j), следовательно, P(A)=P_ij(n); В_r(r = 1, 2, ..., k)—гипотезы (за т шагов система перейдет из первоначального состояния ( в про­межуточное состояние r), следовательно, Р(В_r)=Р_ir(m); Р_Br(A)—условная вероятность наступления А при усло­вии, что имела место гипотеза В_r (за п—т шагов система перейдет из промежуточного состояния r в конечное состояние j), следовательно, Р_Br(A)= Р_rj(п—m). По формуле полной вероятности,

,

или в принятых нами обозначениях

,

что совпадает с формулой (*) Маркова.

Покажем, что, зная все переходные вероятности р_ij=Р_ij(1), т. е. зная матрицу τ₁ перехода из состояния в состояние за один шаг, можно найти вероятности Р_ij(2) перехода из состояния в состояние за два шага, следо­вательно, и саму матрицу перехода τ₂ по известной матрице τ₂, можно найти матрицу τ₃ перехода из состоя­ния в состояние за 3 шага, и т.д.

Действительно, положив n=2, m=1 в равенстве Маркова

,

получим

или

(**)

Таким образом, по формуле (**) можно найти все вероятности Р_ij(2), следовательно, и саму матрицу τ₂. Поскольку непосредственное использование формулы (**) оказывается утомительным, а матричное исчисление ведет к цели быстрее, напишем вытекающее из (**) соотноше­ние в матричной форме:

τ₂=τ₁ τ₁=τ₂²

Положив n=3, m =2 в (*), аналогично получим

τ₃=τ₁τ₂=τ₁τ₁²=τ₁³.

В общем случае

τ_n=τ₁ⁿ

Пример.Задана матрица переходаНайти матрицу перехода

Решение. Воспользуемся формулой: τ₂= τ₁²:

Перемножив матрицы, окончательно получим

Задачи

1. Задана матрица перехода Найти матрицу перехода τ₂.

Отв.

2. Задана матрица перехода Найти матрицу перехода τ³.

Отв.