21052012 Лекция 15 Марковские процессы с непрерывным временем

Для Марковских процессов с непрерывным временем, когда переходы их одного состояния в другое возможны в любой момент времени, то вероятность перехода из состояния Е_i в состояние Е_j точно в момент времени t не может быть задано, поскольку такая вероятность равна 0. Вместо этого можно определить вероятность соответствующего перехода на интервале времени (t, t+t), определяемая как

p_ij (t, t +t)=Pr {g (t+t)=E_j | g (t)=E_i}, i, j=0,n.

При этом , i, j=0,n.

Отсюда, в случае Марковской цепи с непрерывным временем для описания переходов используются не вероятности переходов, а интенсивности переходов. Интенсивность перехода из состояния E_i в состояние E_j в момент времени t, обозначаемая через q_ij(t), определяется следующим образом:

q_ij(t)= , ij; (*)

q_ii(t)= . (**)

Так как всегда (t,t+t)=1, то из равенств (*) и (**) следует, что

(t)=0, i=0,n. (***)

Если вероятности переходов p_ij(t,t+t), а, значит, и интенсивности переходов q_ij(t), не зависят от времени t (p_ij(t,t+t)p_ij(t) и q_ij(t) q_ij), то Марковский процесс называется однородным, в противном случае - неоднородным. Далее, рассматривая Марковские случайные процессы с непрерывным временем, будем считать их однородными.

Интенсивности переходов q_ij, i,j=0,n, можно задать в виде квадратной матрицы Q размерности (n+1)(n+1):

называемая матрицей интенсивностей переходов. Элементы матрицы переходов Q удовлетворяют условию (***) (сумма элементов строки равна нулю), и такая матрица называется дифференциальной.

Вспомним задачу определения вероятностей МСП с непрерывным временем. Вероятность того, что МСП в момент времени t+t окажется в состоянии E_i, определяется как

P

(15)

_i(t+t) = (t)p_ji(t), i=0,n.

Если вычесть P_i(t) от обоих сторон равенства (15), а затем разделить на t и определить соответствующие пределы при t0, то получим:

, i=0,n

или в векторном виде:

При заданном векторе начальных состояний можно решить данную систему дифференциальных уравнений.

В случае эргодичности марковского случайного процесса существуют предельные (при t) вероятности состояний P_i, i=0,n, и они не зависят от начальных условий и временного параметра. Тогда производные dP_i(t)/dt=0, i=0,n, и система дифференциальных уравнений для стационарного режима превращается в систему линейных алгебраических уравнений:

, i=0,n

или в векторном виде

PQ=0.

Система совместно с нормировочным условием дает единственное решение для стационарных вероятностей P_i, i=0,n.

Пример:

Определить вероятности состояний равновесия МСП с четырьмя возможными состояниями Е0, Е1, Е2, Е3 и матрицей интенсивностей Q:

В диаграмму не включены петли. λ – интенсивность перехода в следующее состояние, µ - интенсивность перехода в предыдущее состояние.

*Рисунок – это прихоть преподавателя

Составим систему уравнений:

Если по матрице – то по столбику, если по рисунку – то рисуем контур и пишем уравнение из «входящие = исходящие».

Первые четыре уравнения полученной системы являются линейно зависимыми, и любое из них можно исключить из системы, а остальные три уравнения и нормировочное условие определяют единственное решение для вероятностей состояний равновесия. Если  = 2 и  = 1, то P₀=1/19, P₁=2/19, P₂=4/19 и P₃=12/19.

Применение принципа равенства потоков вероятностей к отдельным состояниям дает такую же систему уравнений. Так, например, для состояния E₃ P₁+P₂=P₃, что соответствует четвертому уравнению приведенной выше системы.