Раздел I. Марковские процессы

Глава 1. Марковские процессы с дискретным временем (цепи Маркова).

Т = { 0, 1, 2, … } – момент времени (дискрет.) случайный процесс

{  ( t ), t  Т } = { ₀, ₁, …} = n, n ≥ 0} – последовательность случайных величин.

Множество состояний Х = { 0, 1, 2, … } – дискретно (конечное или счетное).

Х – множество состояний процесса или его фазовое пространство.

Лекция № 4

{  _n = _n ( ω ), n ≥ 0} – процесс с дискретным временем.

Х – множество состояний, _n  Х, n ≥ 0, Х = { 0, 1, 2, … }.

Определение 1. Последовательность {  _n } будет называться цепью Маркова, если выполнено следующее условие:

Р ( _{n +1} = i _n+1 /  ₀ = i₀,  ₁ = i₁, …,  _n = i _n) = P ( _{n +1} = i _n+1 /  _n = i _n)

при всех i₀, …, i _n, i _n+1  Х, для которых соответствующие условия вероятности определены, n ≥ 1

будущее

─┬─┬──┬─┬─┬─┬─ При известном настоящем будущее

0 1 2 n-1 n n+1 не зависит от прошлого.

прошлое

настоящее

Определение 2. (Вариант марковского свойства)

Последовательность Р ( n, n + 1 ) называется цепью Маркова, если для  значения момента времени n ≥ 1, i  Х имеет место соотношение:

Р ( А В |  _n = i ) = Р ( А |  _n = i ) P ( В |  _n = i ),

где А – произвольное событие, связанное с траекторией процесса до момента n – 1

включительно ( 0, 1, …, n – 1) – прошедшее.

В – произвольное событие, связанное с траекторией процесса на отрезке (n +1, n +2, …), т.е. с будущим.

Это соотношение иногда называют условной независимостью двух произвольных событий.

Характеристика процесса

Определение. Переходными вероятностями (вероятности перехода) будут называть следующие вероятности:

Р_{i j} ( n, m) = Р (  _m = j |  _n = i ), m > n, i, j  Х.

Вероятность перехода за дин шаг:

Р_{i j} ( n, n + 1 ) = Р (  _n+1 = j |  _n = i )

Свойства вероятностей перехода:

1) 0 ≤ Р_{i j} ( n, m) ≤ 1, n < m, i, j  Х.

2) ∑ Р_{i j} ( n, m) = 1 (условия нормировки)

^jХ

Представление конечномерного распределения марковской цепи через вероятности перехода

Р ( ₁ = i₁ ,  ₂ = i ₂, …,  _n = i _n |  ₀ = i₀) = P ( ₁ = i |  ₀ = i ₀) x

x Р ( ₂ = i ₂ | ,  _i = i₁ ), … P ( _n = i _n |  _n-1 = i _n-1)

произведение вероятностей перехода за один шаг.

Доказательство.

Р (  ₁ = i₁ ,  ₂ = i ₂, …,  _n = i _n |  ₀ = i₀ ) = {условная вероятность} =

_═ Р (  ₀ = i ₀,  ₁ = i₁ , …,  _n = i _n ) _{═ { будем} делить и умножать на одну и ту же

Р (  ₀ = i ₀ ) величину} =

_═ Р (  ₀ = i ₀,  ₁ = i ₁ ) Р (  ₀ = i ₀,  ₁ = i ₁ , …,  ₂ = i ₂ ) _…

Р (  ₀ = i ₀ ) Р (  ₀ = i ₀ ,  ₁ = i ₁)

_… Р (  ₀ = i ₀,  ₁ = i₁ , …,  _n-1 = i _n-1 ,  _n = i _n ) _{═ { к} каждому применим условную

Р (  ₀ = i ₀ , …,  _n-1 = i _n-1 ) вероятность} =

Р ( ₁ = i₁ |  ₀ = i₀ ) P ( ₂ = i ₂ |  ₀ = i _0,  ₁ = i₁)… Р (  _n = i _n |  ₀ = i₀ , …,  _n-1 = i _n-1 ) =

= { по определению 1 цепи Маркова} =

= Р ( ₁ = i₁ |  ₀ = i₀ ) P ( ₂ = i ₂ |  ₁ = i₁)… Р (  _n = i _n |  _n-1 = i _n-1 )

Можно записать:

Р ( ₁  В₁ ,  ₂  В₂ , …,  _n  В_n |  ₀ = i ₀ ) =

= ∑ ∑ … ∑ Р ( ₁ = i₁,  ₂ = i ₂ , …,  _n = i _n |  ₀ = i ₀ ),

^{i1B1 i 2B2 i nBn}

где В₁ , …, В_n с Х

т.е. все можно записать в виде условных вероятностей за один шаг.

Два подхода к заданию марковской цепи.

1. Необходимо задать систему вероятностей перехода за один шаг, в виде матриц:

Р ( n, n + 1 ) = ( P_{i j} (n, n + 1), где i, j  Х), n ≥ 0, и начальное состояние фиксированное  ₀ = i ₀, в этом случае произвольное конечномерное распределение цепи зависит от начального состояния и выражается через вероятности перехода за один шаг.

2. Необходимо задать ту же самую систему вероятностей перехода за один шаг

Р ( n, n + 1 ), n ≥ 0, и начальное распределение P_i ^{( 0 )} (  ₀ = i ), i  Х. В этом случае конечномерное распределение можно усреднить по начальному распределению.

Р ( n, m) = - матрица вероятностей перехода за время n, m.

= ( P_{i j} (n, m ), i, j  Х).

Уравнение Колмогорова - Чепмена

P_{i j} (n, m) = ∑ Рi _k ( n, s ) Рk _j ( s, m ), n < s < m, i, k, j  Х.

^kX

s - промежуточный момент времени.

k - произвольное состояние.

В момент s процесс проходит через  произвольное состояние Х

Соотношение Колмогорова – Чепмена следует из формулы полной вероятности и марковского свойства.

В матричной форме уравнение Колмогорова – Чепмена можно переписать:

P (n, m) = Р ( n, s ) Р ( s, m ), n < s < m.

P (n, m) = Р ( n, n+1) … Р (m – 1, m) = … = Р ( n, n+1 ) Р ( n+1, n+2 ) …Р (m – 1, m) (1)

произведение матриц.