5

4

1/2

10

3

1/6

15

5

1/5

20

4

1/7

25

3

3/7

30

5

0,1

4.6. Марковские процессы с непрерывным временем и дискретным множеством состояний

Пусть переходы процесса из состояния в состояние происходят под

воздействием каких-то потоков событий(поток отказов, восстановлений и

т.д.). Будем считать, что переход процесса из состоянияЕi в состояние Ej

происходит

под

воздействием

пуассоновского

потока

событи

интенсивности lij (t) , т.е. как только первое событие потока произошло,

тотчас

произошел

и

переходЕi ® E j

.

В

этих условиях вероятность

перехода из состояния Еi

в состояние Ej

за малый промежуток времени Dt

равна lij (t)Dt .

Если

все потоки

событий, переводящих

процесс

из

состояния в состояние, пуассоновские, то процесс переходов будет

марковским.

состоянияЕi,

Суммарный поток

событий,

выводящих

процесс из

n

ij

тоже

будет

пуассоновским

с

å

(t),

i ¹ j.

Тогда

интенсивностьюl

j=1

вероятность покинуть состояние Еi

за малый промежуток времени Dt

равна

n

Рij = ålij (t)Dt,

i ¹ j,

j=1

авероятность сохранить состояниеЕi за малый промежуток времениDt равна 1 – Рij .

Выведем уравнения для вероятностей состояний процессаРi (t) . В момент t + Dt процесс будет находиться в состоянииЕi (вероятность чего равна Рi (t + Dt) ), если в момент t он находился в состоянии Еi (вероятность

чего равна Рi (t) ) и в течении времениDt оставался	в этом	состоянии
n
(вероятность чего равна1 – ålij (t)Dt , i ¹ j ), или	процесс	в момент
j=1

времени t находился в любом другом состоянии(с вероятностью Рj (t) ) и

за время Dt перешел	в состояниеЕi	(вероятность чего равнаl ji (t)Dt,
i ¹ j ). Символическая запись этой длинной фразы имеет вид
	n	n
Рi (t + Dt)	=Рi (t)[1 – ålij (t)Dt] + åPj (t) lij (t)Dt.
	j=1	j=1

Если перегруппировать слагаемые, разделить равенство на Dt , то при Dt ® 0 получим систему уравнений

335

n	n
Рi¢(t) = åPj (t)l ji (t) - Pi (t)ålij (t), =i 1, 2,3,¼, n.		(4.6.1)
j=1	j=1

Это система уравнений Колмогорова А..НДля решения системы нужно задать начальные условия, а вместо одного из уравнений можно использовать условие нормировки

n

åPj (t) =1.

j=1

Пример 4.34. На рис. 4.6.1 дан граф состояний некоторого объекта. Интенсивности переходов из состояния в состояние указаны на этом же рисунке. Записать систему уравнений для вероятностей состояний объекта. При постоянных l, m, n и p найти предельные (финитные) вероятности его состояний.

Рис. 4.6.1

Система уравнений Колмогорова(4.6.1) в рассматриваемом случае имеет вид

Р1¢(t) Р2¢(t) Р3¢(t)

= Р (t)n(t) + P (t)p(t) – P (t)l(t),
2	3	1
= – Р (t)[n(t) + m(t)] + P (t)l(t),
2		1

= – Р3 (t)p(t) + Р2 (t)m(t).

Вместо одного из уравнений(например, вместо второго) можно

воспользоваться условием нормировки P (t) + Р (t) + Р (t) =1.
1	2	3
Если l(=t) l , m(=t) m, n(=t) n,	то	существуют стационарные

вероятности, для которых все Рi¢(t) = 0 и система уравнений принимает вид

–lP + nР + pP = 0,
	1	2	3
lP – (n + m)Р = 0,
	1	2
P + Р + Р =1.
1	2	3

Эта система имеет решение

P = (np + mp) / (np + mp + lp + ml),

1

P2 = lp / (np + mp + lp + ml), P3 = ml / (np + mp + lp + ml).

Задача 4.34. На рис. 4.6.2 изображен граф состояний и возможных переходов частицы при случайном блуждании. На графе указаны и

336

интенсивности переходов для соответствующих пар вершин. Например, λ5 ––

интенсивность переходов E1 ® E5 и E5 ® E1			(вероятность любого из этих
переходов за малый промежуток времени Dt			равна l5Dt + о(Dt) ). Запишите
систему	уравнений	Колмогорова(4.6.1)	и	найдите	стационарные

вероятности положений частицы. (См. пример 4.34 и исходные данные.)

								Рис. 4.6.2
	Исходные данные к задаче 4.34.
№	λ1	λ2	λ3	λ4	λ5	№	λ1	λ2	λ3	λ4	λ5	№	λ1	λ2	λ3	λ4	λ5
1	1	1	2	1	1	11	1	1	1	1	2	21	1	2	1	2	2
2	1	1	1	2	2	12	2	1	1	1	2	22	2	1	1	2	1
3	2	1	2	2	1	13	1	1	2	2	1	23	1	2	1	2	1
4	1	2	1	1	1	14	2	2	1	1	2	24	1	2	1	1	2
5	2	1	2	1	1	15	1	1	2	2	2	25	2	2	1	2	1
6	1	2	2	2	1	16	1	1	2	1	3	26	2	1	2	1	2
7	1	2	2	1	1	17	1	1	1	2	1	27	1	2	1	1	3
8	1	1	2	2	2	18	2	2	1	1	1	28	2	1	1	1	3
9	1	1	1	1	3	19	2	2	2	1	1	29	1	3	1	1	2
10	2	1	1	1	1	20	2	1	1	2	2	30	1	1	1	1	1

Пример 4.35. В некотором механизме могут происходить отказы
двух типов.	Пусть вероятность отказа			первого типа в интервале			времени
(t,t + h) равна l1h + o(h) , а			вероятность отказа		второго	типа	в	том же
интервале	равна l2h + o(h) .		В состоянии отказа производится ремонт,
длительность		которого	имеет	экспоненциальное		распределение			с
параметром,		зависящим от	типа отказа. Пусть m1		и m2 ––	значения		этих
параметров. Требуется найти долю времени, в течение которой механизм
будет работать безотказно.

Решение. Обозначим через E0 –– рабочее состояние механизма, через Ei –– состояние i-го отказа. Тогда граф состояний механизма имеет вид, изображенный на рис. 4.6.3.

337

Рис. 4.6.3

Система уравнений (4.6.1) для этого случая имеет вид

Р0¢(t) Р1¢(t) Р2¢(t)

= –(l1 + l2 )Р0 (t) + n1

= l Р (t) - n P (t),
1	0	1	1

= l2 Р0 (t) - n2 P2 (t).

P (t) + n P (t),
1	2	2

Условия существования стационарных вероятностей марковского

процесса выполнены.

Поэтому

при t ® ¥

вероятности Рi (t) ® Рi

––

постоянные

величины, а

Рi¢(t) ® 0 .

Для

стационарных вероятностей

получаем систему

)Р + n P + n =P 0,

–(l

1

+ l

2

0

1

1

2

2

l Р - n P = 0,

1

0

1

1

l2 Р0 - n2 P2 = 0.

l1

Из второго

и третьего

уравнений

находим соответственноР =

P

и

n

1

0

1

Р2 = l2 P0 . Вместо первого уравнения используем условие нормировки: n2

l

l

2

æ

l

l

2

ö

Р + Р + Р = Р +

1

P +

=P Р

1 +

1

+

= 1.

0

1

2

0

n1

0

0

0 ç

n1

÷

Откуда

n2

è

n2 ø

ö-1

Р0

æ

l

l

2

n n

= ç1 +

1

+

÷

=

1 2

.

n1

è

n2 ø

n1n2 + l1n2 + l2n1

Ответ. P(E0 ) =

n1n2

.

n1n2 + l1n2

+ l2n1

Задача 4.35. В некотором механизме могут происходить отказы трех

типов. Пусть вероятность отказаi-го

типа

в

интервале

времени(t,t + h)

равна li h + o(h),

i =1, 2,3.

В

состоянии

отказа

производится

ремонт,

длительность

которого

имеет

экспоненциальное

распределение

с

параметром,

зависящим

от

типа

отказа. Пусть mi

––

значения

этих

параметров. Найдите долю времени, в течение которой механизм будет

находиться в ремонте. (См. пример 4.35 и исходные данные.)

Исходные данные к задаче 4.35.

№

λ1

λ2

λ3

m1

m2

m3

№

λ1

λ2

λ3

m1

m2

m3

338