Тема 6. Марковские случайные процессы

1. Марковский случайный процесс с дискретными состояниями и дискретным временем. Матрица вероятностей переходов.

2. Марковский случайный процесс с дискретными состояниями и непрерывным временем. Уравнения Колмогорова для вероятностей состояний.

3.Граф состояний.

4. Предельные вероятности состояний.

Пусть некоторая система может находится в одном из n состояний и в дискретные моменты времени может переходить из состояния в состояние. Обозначим через состояния системы в момент времени , , и через условную вероятность перехода системы из состояния , в котором она находилась в момент времени , в состояние в момент времени :

.

Говорят, что в системе протекает Марковский процесс (определена цепь Маркова), если не зависит от того, в каком состоянии система находилась в предыдущие моменты времени . При этом цепь Маркова называется однородной, если не зависит от , т.е. условная вероятность перехода из в не зависит от того, в какой момент времени это происходит.

Матрица

(6.1)

называется матрицей вероятностей перехода.

Зная матрицу , можно построить граф состояний системы:

1) количество вершин графа равно числу состояний ;

2) если , то вершины и соединяются дугой, помеченной :

.

Матрица (6.1) задает условные вероятности перехода из состояния в состояние за 1 шаг: . При этом матрица условных вероятностей перехода из состояния в состояние за шагов находится по формуле .

Если задана матрица-строка вероятностей состояний в начальный момент времени, то вектор

(6.2)

задает вероятности состояний системы через шагов.

Марковский процесс называется регулярным, если система может перейти в любое состояние из любого другого за конечное число шагов, т.е. если такое, что все элементы матрицы строго положительны.

Если Марковская цепь регулярна, то при она независимо от начального состояния будет функционировать в установленном режиме, т.е. вероятности состояний системы в этом режиме не зависят от начального состояния. Такие вероятности, называются предельными или финальными и могут быть найдены из системы уравнений

или

, (6.3)

где

- единичная матрица.

Для нахождения решают систему (6.3) с дополнительным условием .

Пример 6.1. Заданы матрица вероятностного перехода цепи Маркова и вектор начального распределения вероятностей.

.

Требуется: 1) построить граф состояний системы; 2) найти вектор распределения вероятностей состояний системы через 2 шага; 3) найти финальные вероятности.

Решение. 1) Система может находиться в одном из трех состояний: , при этом элемент матрицы задает вероятность перехода из состояния в за один шаг. Поэтому граф состояний системы имеет вид

0,4

0,1 S₁ 0,1

0,2 0,4

S₂ 0,1 S₃

0,8 0,7

0,2

2) Вектор распределения вероятностей состояний системы через 2 шага находится по формуле (6.2): . Применяя правило умножения матриц, получим:

=

.

3) Для нахождения финальных вероятностей решим систему уравнений (6.3)

;

;

.

Умножая матрицы, получим систему

При этом необходимо учесть дополнительное условие .

Отбросим третье уравнение, т.к. оно является следствием двух первых (сумма двух первых уравнений дает третье). Получим систему

Умножая первое уравнение на -10, а второе на 5, получим:

Решим систему по правилу Крамера, получим:

Поэтому вектор финальных вероятностей

EMBED Equation.DSMT4 .