Финальные вероятности состояний системы
Если
процесс, протекающий в системе, длится
достаточно долго, то имеет смысл говорить
о предельном поведении вероятностей
при
.
В некоторых случаях существуют финальные
(предельные) вероятности состояний:
,
.,
не зависящие от того, в каком состоянии
система находилась в начальный момент.
Говорят, что в системе устанавливается
предельный стационарный режим,
при котором она переходит из состояния
в состояние, но вероятности состояний
уже не меняются во времени.
Система, для которой существуют финальные
состояния, называется эргодической,
а соответствующий случайный процесс –
эргодическим.
Финальные
вероятности системы могут быть получены
путем решения системы линейных
алгебраических уравнений,
которые получаются из дифференциальных
уравнений Колмогорова, если приравнять
производные к нулю, а вероятностные
функции состояний
в правых частях уравнений Колмогорова
заменить на неизвестные финальные
вероятности
.
Таким
образом, для системы с
состояниями получается система
линейных однородных алгебраических
уравнений с
неизвестными
,
которые можно найти с точностью до
постоянного множителя. Для нахождения
их точных значений к уравнениям добавляют
нормировочное условие
,
пользуясь которым можно выразить любую
из вероятностей через другие и отбросить
одно из уравнений.
Р
ассмотрим
следующий пример. Имеется размеченный
граф состояний системы
(рис.2). Необходимо составить систему
дифференциальных уравнений Колмогорова
и записать начальные условия для решения
этой системы, если известно, что в
начальный момент система находилась в
состоянии
.
Решение. Согласно приведенному выше мнемоническому правилу, система дифференциальных уравнений Колмогорова имеет вид:
Начальные
условия при
:
.
При
функции
стремятся к предельным (финальным)
вероятностям состояний системы. Поскольку
финальные вероятности не зависят от
времени, в системе дифференциальных
уравнений Колмогорова все левые части
принимаем равными нулю. При этом система
дифференциальных уравнений превратится
в систему линейных алгебраических
уравнений вида:
Решая
ее с учетом условия
,
получим все предельные вероятности.
Эти вероятности представляют собой
среднее относительное время пребывания
системы в каждом из состояний.
Финальные состояния марковской системы с непрерывным временем существуют при следующих условиях:
плотности вероятности всех переходов не должны зависеть от времени
;из любого состояния системы возможен переход в любое другое состояние за конечное число шагов.
Например, для системы, изображенной на рис. 3, финальные вероятности не существуют.
В заключение рассмотрим одну из наиболее простых и часто встречающихся на практике разновидностей дискретных марковских цепей с непрерывным временем – так называемую схему гибели и размножения.
Схема гибели и размножения
Марковский
процесс с дискретными состояниями
называется процессом гибели и
размножения, если все состояния
можно вытянуть в цепочку, в которой
каждое из промежуточных состояний
может переходить только в соседние
состояния, а крайние состояния
переходят лишь в состояния
и
соответственно. Граф состояний такой
системы приведен на рис.4.
Название
схемы взято из биологических задач, где
состояние популяции
означает наличие в ней
особей.
На рис.4
переход вправо соответствует увеличению
популяции, влево – ее уменьшению. Таким
образом, можно определить
как интенсивности размножения, а
– как интенсивности гибели. Используется
следующее соглашение: буквам
и
приписывается индекс того состояния,
из которого выходит стрелка.
Марковским процессом гибели и размножения с непрерывным временем называется такой случайный процесс, исследуемый параметр которого может принимать только целые неотрицательные значения. Изменения рассматриваемого параметра могут происходить в любой момент времени, т.е. в любой момент времени он может либо увеличиться, либо уменьшиться на единицу.
Процессом чистого размножения называется такой процесс, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой «гибели» называется процесс, у которого равны нулю интенсивности всех потоков размножения.
Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:
В качестве примера решения системы уравнений схемы гибели и размножения рассмотрим эксплуатацию автомобилей в крупной транспортной фирме.
Интенсивность
поступления автомобилей на предприятие
равна
.
Каждый поступивший на предприятие
автомобиль списывается через случайное
время
.
Срок службы автомобиля
распределен по показательному закону
с параметром
.
Процесс эксплуатации автомобилей
является случайным процессом.
– число автомобилей данной марки,
находящихся в эксплуатации в момент
времени
.
Рассмотрим два случая: 1) нет ограничений на число эксплуатируемых автомобилей, 2) на предприятии может эксплуатироваться не более автомобилей.
Если в
начальный момент
на предприятии не было ни одного
автомобиля, то решать систему уравнений
нужно при начальных условиях:
.
Аналогично, если при эксплуатировалось автомобилей, то начальные условия имеют вид:
Решение системы дифференциальных уравнений Колмогорова при произвольном виде функции не может быть найдено в аналитическом виде. Однако при постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система в этом случае является простейшей эргодической системой.
Если интенсивности потока поступления и списания автомобилей постоянны, то оказываются справедливы формулы:
1. Максимальное число автомобилей не ограничено:
.
2. Математическое ожидание (среднее значение) числа эксплуатируемых автомобилей:
;
При ограниченном
В этом случае математическое ожидание равно:
