5. Понятие о непрерывном Марковском процессе,

Уравнения Колмогорова

Пусть в некоторой системе происходит марковский случайный процесс с дискретными состояниями

Если переходы системы из одного состояния в другое состояние происходят в случайные моменты времени, а не в заданные (фиксированные) моменты , (что часто на практике встречаются), то такой процесс называютмарковским процессом с дискретными состояниями и непрерывным временем.

Марковские с.п. указанного типа используются, в частности, для исследования реальных систем массового обслуживания (СМО); в них процессы протекают в непрерывном времени.

Под состоянием системыпонимаетсяколичество заявок (требований) на обслуживание даннойсистемы.

Будем считать, что переходы системы из состояния в состояниеосуществляется под воздействием пуассоновского потока событий (см.16.2) с интенсивностью

Граф состояний системы с проставленными у стрелок интенсивностями называют размеченным (см. рис.).

Рис. 69 (из Письменного)

Переходы системы из состояния впроисходят в момент, когда наступает первое событие потока.

Вероятность события, когда система в момент временинаходится в состоянии, обозначается через. Тогда по определению, при этом выполняется

.

Для нахождения этих вероятностей состояний системынужно решит систему дифференциальных уравнений следующего вида

(53)

с начальными условиями

(54)

и условием нормировки .

Система обыкновенных дифференциальных уравнений (53) с начальными условиями (54), называется уравнением Колмогорова.

При составлении системы уравнений Колмогорова удобно пользоваться размеченным графомсостояний системы.

Алгоритм (правило) составления уравнений Колмогорова следующее:

- в левой части каждого из уравнений стоит производная вероятности , состояния системы в момент времени, т.е.; а в правой части стоит сумма произведений вероятностейвсех состояний (когда стрелка ведёт в данное состояние) на интенсивности соответствующих потоков,

- минус вероятность данногосостояния, умноженная на суммарную интенсивность, всех потоков (когда стрелка ведёт из данного состояния см. рис.)

Рис. 70. Письменный

Например, для системы , размеченный граф состояний которой показан нарис 70, система дифференциальных уравнений будет следующее

Кроме того, выполняется нормированное условие .

При интегрировании такой системы следует учесть состояние системы в начальный момент, т.е. при К примеру, если в этот момент система была в состояниито полагают, если

Замечание. Случайный процесс, устанавливающийся в системе при(так называемыйпредельный стационарный режим), характеризуют так называемые предельные вероятности состояний, т.е. вероятностипри.

Предельные вероятности существуют, если число состояний конечно, «состояний без выхода» (из них невозможен переход ни в какое другое состояние) нет, потоки событий стационарны ().

Предельная вероятность состояния показываетсреднее относительное время пребывания системы в этом состоянии.

Для нахождения предельных вероятностей в уравнениях Колмогорова полагают, все производные равными нулю и решают систему однородных алгебраических уравнений

с условием нормировки

Пример 6. Найти предельные вероятности для системыпредставленный на рисунке.

Рис. 71.(Письменный)

Решение.Составляем дифференциальные уравнения Колмогорова:

Тогда система алгебраических уравнений, описывающих стационарный режим системы , принимает вид

Решая эту систему находим, т.е. системав среднем 70,6% будет находиться в состоянии17,6% - в состоянии11,8% - в состоянии.