Балансовое уравнение
Pi ∙ Pij – поток вероятностей, переводящий систему из состояния Si в состояние Sj.
Полная вероятность перевода системы S из всех состояний i ( i ≠ j) в состояние j: , с другой стороны эта вероятность равна сумме вероятностей перехода из состояния j во все другие состояния:
i≠j
Правило балансового условия для Sj:
Для стационарного режима одинарный поток вероятностей, переводящий систему S в состояние Sj из других состояний равен суммарному потоку вероятностей, выводящему систему S из состояния Sj.
i≠j
Марковские процессы с непрерывным временем
Переход осуществляется под воздействием пуассоновского потока интенсивностью λij(t). Если все потоки, переводящие систему из состояния в состояние пуассоновские, то процесс будет Марковским. Как только в системе произошло событие, то система переходит из одного состояния в другое.
Найдем вероятность того, что система за время Δt перейдет из состояния Si в состояние Sj:
;
P(t, t + Δt) = λij(t) Δt.
Найдем распределение вероятностей для состояний в любой момент времени t.
Зная все λij(t) можно составить систему дифференциальных уравнений (система уравнений Маркова):
Pi(t) = P{S(t) = Si}
Найдем Pi(t + Δt), вероятность того, что в момент времени t + Δt система находится в состоянии Si, пусть это будет событие A = {S(t + Δt) = Si},
Событие B – система была в состоянии Si и осталась в нем;
Событие С – система была в состоянии Sj и за время t перешла в Si.
А = В + С, Р(А) = Р(В) + Р(С).
P{S(t + Δt) = Si / S(t) = Si}– вероятность того, что за Δt система не выйдет из состояния i.
P(B) = Pi(t)∙P{S(t + Δt) = Si / S(t) = Si}
- вероятность того, что за Δt произошел какой-либо переход из состояния i в j
P(B) = Pi(t)∙(1 - )
Сj = P{S(t + Δt) = Si / S(t) = Sj}
Р(А) = Р(В) + Р(С).
Pi(t + Δt) = Pi(t)∙(1 - ) +
уравнение Колмогорова
Чтобы решать задачу Коши для этой системы, зададим начальные условия.
Чтобы получить уравнения, пользуются размеченным графом состояний.
Вершины – состояния
Ребра – интенсивности потоков, переводящих систему из состояния в состояние.
Уравнение Колмогорова составляется по мнемоническому правилу:
Производная вероятности любого состояния равна сумме потоков вероятностей, переводящих систему в это состояние минус сумма потоков вероятностей, выводящих систему из этого состояния.
Если все интенсивности не зависят от времени λij(t) = λij, то Марковский процесс называется однородным, и для этого процесса в уравнениях Колмогорова все коэффициенты будут постоянными.
Пример. Система S представляет собой техническое устройство (ТУ), которое может находиться в одном из двух состояний:
S1 – ТУ исправно (работает),
S1 – ТУ неисправно (находится в ремонте).
На ТУ, находящееся в состоянии S1, действует поток отказов с интенсивностью λ(t), переводящий ТУ в состояние S2. На ТУ, находящееся в состоянии S2, действует поток восстановлений с интенсивностью μ(t); оба потока – пуассоновские, независимые. Написать уравнение Колмогорова для вероятностей состояний и решить их, считая, что в начальный момент при t=0 ТУ исправно.
Начальные условия: P1(0) = 1, P2(0) = 0.
Решая это линейное дифференциальное уравнение, получим:
Рассмотрим частный случай, когда интенсивности λ(t), μ(t) не зависят от времени:
λ(t) = λ = const, μ(t) = μ = const.
, получим: откуда
при t→∞: .
, если выполняется это условие, то вероятности будут называться финальными или предельными, а процесс называется эргодическим марковским процессом. Для эргодического случайного марковского процесса вероятность того, что система будет находиться в i-м состоянии не зависит от того сколько времени прошло от начала процесса и не зависит от того в каком состоянии система находилась в начальный момент времени.
Теорема Маркова: Любой транзитивный однородный Марковский процесс с конечным числом состояний обладает эргодическим свойством.
Условия стационарности:
Множество состояний эргодично
Все потоки простейшие
Конечное число состояний.
Система, в которой протекает такой процесс, называется простейшей эргодической системой. В простейшей системе вероятности от времени не зависят: Уравнение Колмогорова примет следующий вид: .