6.2 Цепи Маркова с непрерывным временем

Краткие теоретические сведения.

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени. Время наступления событий часто предсказать заранее невозможно.

Условие нормировки , где вероятность того, что в момент времени система будет находиться в состоянии .

Для процесса с непрерывным временем вместо переходных вероятностей используются плотности вероятностей перехода , где - вероятность того, что система, пребывавшая в момент времени t в состоянии , за время перейдет в состояние .

1. Уравнение Колмогорова

Уравнение Колмогорова составляют по размеченному графу состояний системы, пользуясь правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Для решения системы уравнений Колмогорова необходимо задать начальное распределение вероятностей

2. Финальные вероятности состояний системы.

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном (финальном) поведении вероятностей при , т.е.

,

Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояния в состояние, но вероятности состояний уже не меняются во времени.

Финальные вероятности системы получаются путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятности функции состояний в правых частях уравнений заменить на неизвестные финальные вероятности . Для нахождения их точных значений к уравнениям добавляют нормировочное уравнение

Получаемые в результате предельные вероятности представляют собой среднее относительное время пребывания системы в каждом из состояний.

Задачи.

1. С истема s может находиться в одном из четырех состояний , размеченный граф которых имеет вид

Требуется:

а) Записать для данной системы уравнения Колмогорова;

б) Получить систему алгебраических уравнений для определения вероятностей состояний системы в стационарном режиме (финальных вероятностей);

в) Оценить вероятности состояний системы в стационарном режиме при

2. Среднее время безотказной работы компьютера равно , поток отказов (сбоев) – простейший с параметром . При сбоях компьютер останавливается и неисправность устраняется. Среднее время устранения неисправности равно ; поток восстановления компьютера – также простейший с параметром . Определить вероятность того, что компьютер в момент времени t будет работать, если он в момент работал.

3 . Техническое устройство состоит из двух узлов и может находиться в следующих состояниях:

S₀ – оба узла исправны;

S₁ – первый узел ремонтируется, второй - исправен;

S₂ – второй узел ремонтируется, первый - исправен;

S₃ – оба узла ремонтируются.

Граф состояний системы имеет вид

Требуется:

а) написать систему уравнений для финальных вероятностей;

б) решить систему для ;

в) оценить время нахождения системы в состояниях ;

г) оценить среднюю эффективность работы системы, если в полностью исправном состоянии система приносит в единицу времени доход 8 у.е., в состоянии - 3 у.е., в состоянии - 5 у.е. и в состоянии - вообще не приносит.

4. Данные, полученные при исследовании рынка ценных бумаг, показали, что рыночная цена одной акции акционерного общества А открытого типа может колебаться в пределах от 1 до 10 д.е. включительно. Рассматривая в качестве системы S одну акцию этого акционерного общества, будем интересоваться следующими четырьмя состояниями этой системы, характеризующимися рыночной ценой акции:

- от 1 до 4 д.е.,

- от 4 до 7 д.е.,

- от 7 до 9 д.е.,

- от 9 до 10 д.е. включительно.

Замечено, что рыночная цена акции в будущем существенно зависит от ее цены в текущий момент времени, при этом в силу случайных воздействий рынка изменение рыночной цены акции может произойти в любой случайный момент времени. Переходы системы S из состояние в состояние происходят со следующими плотностями переходов, не зависящими от времени и описывающимися матрицей:

Требуется:

а) составить долгосрочный прогноз рыночной цены акции;

б) выяснить, стоит ли приобретать акции общества А по цене 7 д.е. за акцию?

5. Система представляет собой счетчик банкнот, который может находиться в трех состояниях:

- счетчик исправен, но не эксплуатируется;

- счетчик исправен и эксплуатируется;

- счетчик не эксплуатируется по

причине неисправности.

Граф состояний счетчика имеет вид:

Найти вероятности состояний счетчика в момент , если в начальный момент он был исправен, но не эксплуатировался.