Курс_лекций_по_теории_случайных_процессов

§ 12. Скачкообразные марковские процессы

91

является искомым процессом.

Для завершения доказательства теоремы остается показать, что X(t) марковский процесс и что его МПВ совпадает с заданной. Эти утверждения составляют предмет упражнений 2 и 3 в конце параграфа.

Замечание 5. Приведенная теорема является фактически модификацией теоремы Колмогорова 2.2 для рассматриваемого класса процессов.

Таким образом, порождаемое семейством к.м.р. (12.4) распределение марковского процесса зависит от его начального распределения = fai; i 2 Eg и обозначается через P , а отвечающее ему математическое ожидание M . При начальном распределении, сосредоточенном в состоянии i : = i будем использовать обозначения: P i = Pi; M i = Mi.

12.4.Дополнения

Вопросы для контроля.

1.Дайте определение марковского процесса.

2.Что значит однородный марковский процесс и каково его определение?

3.Что называется переходной вероятностью марковского процесса и каковы ее свойства?

4.Выпишите уравнения Колмогорова-Чепмена для переходных вероятностей марковского процесса.

Упражнения.

1.Докажите соотношения (1) (4) теоремы 12.1.

2.Докажите, что построенный в теореме 12.2 процесс X(t) является марковским процессом.

3.Покажите, что МПВ процесса из теоремы 12.2 совпадает с заданной.

Библиографические замечания.

Изложенные в этом параграфе определения скачкообразного марковского процесса можно найти в любом учебнике по теории случайных процессов. Обсуждение эквивалентности различных форм определения марковских процессов см. в [3]. С обобщениями скачкообразного мароковского процесса на произвольное фазовое пространство можно познакомиться по [24].

92	Глава 4. Скачкообразные марк. и полумарк. процессы

§13. Стандартные марковские процессы

13.1.Матрица интенсивностей переходов

В предыдущем параграфе было показано, что марковский процесс полностью определяется своей МВП, причем последняя удовлетворяет полугрупповому свойству, из которого следует, в частности, что для любого n = 1; 2; : : :

P (t) = P n	n		;
		t

т.е. значение МВП для любого момента времени t определяется ее значением на сколь угодно малом интервале времени. Отсюда можно предположить, что она определяется своим поведением в сколь угодно малой окрестности нуля. Из свойства (4) теоремы 12.1 для МВП следует, что P (0) = I. Предположим, что существуют правосторонние производные переходных вероятностей в нуле

	ij = pij0 (0) = lim	ij pij(h)	:	(13.1)
		h
	h!+0

Определение 13.1. Величины ij называются интенсивностями переходов, а составленная из них матрица = [ ij]i;j2E матрицей интенсивностей переходов или инфинитезимальной матрицей.

Теорема 13.1 (Свойства интенсивностей переходов). Интенсивности переходов обладают следующими свойствами:

(1) 0 ij 1 j 6= i;

P

(2)ij = 0;

j2E

P

(3) 0 i 1; где i = ii = ij. i6=j

Доказательство провести самостоятельно, используя свойства переходных вероятностей (см. теорeму 12.1) в виде упражнения 1.

Предположение о дифференцируемости переходных вероятностей представляется на первый взгляд несколько сильным, во всяком случае, неоправданным. Однако, оказывается, что оно является следствием другого, более слабого и вполне естественного предположения. Действительно, в теореме 12.1 уже отмечалось, что P (0) = I. Естественным дополнительным требованием на процесс и его переходную матрицу является предположение о ее непрерывности в нуле

lim P (t) = P (0) = I:

t!+0

В противном случае у процесса будут иметь место “мгновенные”, т.е. физически ненаблюдаемые переходы из одного состояния в другое или в него самого.

Определение 13.2. Непрерывная в нуле переходная матрица и отвечающий ей марковский процесс называются стандартными.

Стандартные переходные матрицы обладают важными свойствами.

Теорема 13.2. Если P (t) = [pij(t)]i;j2E; t 0 стандартная переходная матрица, то для всех i; j 2 E и любого h > 0

jpij(t h) pij(t)j 1 pii(h):

Другими словами, модуль непрерывности функции pij(t) не превосходит модуля непрерывности функции pii(t) в нуле.

§ 13. Стандартные марковские процессы

93

Теорема 13.3. Если P (t) стандартная матрица, то для любого i 2 E существует (возможно бесконечная) правосторонняя производная

p0ii(0) = lim 1 pii(h) = ii = i 0:

h!0 h

Теорема 13.4. Если P (t) стандартная переходная матрица, то для всех i; j 2 E существуют и конечны правосторонние производные

p0ij(0) = lim pij(h) = ij 0:

h!0 h

Доказательства этих теорем, которые опираются на чисто аналитические рассуждения, мы опускаем и отсылаем читателя к специальной литературе, например, [32], стр. 188-193.

Ранее уже упоминалось, что соотношение (13.1) позволяет надеяться на возможность восстановления переходных вероятностей, а, следовательно, в силу теоремы Колмогорова 12.2, и самого марковского процесса по его матрице интенсивностей переходов. Рассмотрим этот вопрос подробнее.

13.2.Уравнения Колмогорова для переходных вероятностей

Напомним уравнения Колмогорова Чепмена (12.3)

P (s + t) = P (s)P (t):

Продифференцировав их по t и по s в точках t = 0 и s = 0 соответственно и сделав замену переменной s на t, получим

	dP (t)	= P (t) :	(13.2)
	dt
	dP (t)	= P (t);	(13.3)
	dt
Дополнив эти уравнения естественным начальным условием
	P (0) = I;		(13.4)

получим следующее утверждение.

Теорема 13.5 (Дифференциальные уравнения для переходных вероятностей). Переходные вероятности скачкообразного марковского процесса удовлетворяют системе уравнений (13.2, 13.3) с начальным условием (13.4).

Определение 13.3. Уравнения (13.2, 13.3) называются прямым и обратным дифференциальными уравнениями Колмогорова для переходных вероятностей.

В случае конечного пространства состояний эти уравнения всегда имеют единственное решение и, следовательно, матрица интенсивностей переходов наряду с начальным условием (13.4) задает соответствующий марковский процесс.

Теорема 13.6. Если пространство состояний конечно, jEj < 1, то уравнения (13.2 13.4) имеют единственное решение для любого t 0.

Доказательство. следует из теоремы о существовании и единственности решения задачи Коши для системы обыкновенных дифференциальных уравнений.

94	Глава 4. Скачкообразные марк. и полумарк. процессы
	Формально решение уравнений (13.2 13.4) можно записать в виде матричной функции
	1	ktk
	X
	P (t) = e t =	k!	;
	k=0

хотя, конечно, фактическое его вычисление по этой формуле затруднительно. Тем не менее теоретическое значение теоремы 13.6 значительно, так как она показывает, что поведение марковского процесса с конечным фазовым пространством полностью определяется его матрицей интенсивностей переходов.

Несколько сложнее обстоит дело в случае бесконечного (счетного) фазового пространства. Здесь требуется дополнительное исследование, которое мы отложим до раздела 14.3. (см. теорему 14.3), а в следующем разделе рассмотрим конструктивное описание марковского процесса.

13.3.Структура марковского процесса

Некоторые простые свойства марковских процессов можно исследовать с помощью уже имеющегося аппарата.

Распределение времени непрерывного пребывания в состоянии.

Обозначим через Ti случайное время непрерывного пребывания марковского процесса в состоянии i:

Ti = infft : X(t) 6= ig;

а через Qi(t) его условную функцию распределения при условии, что процесс отправляется из состояния i,

Qi(t) = PfTi tj X(0) = ig = PifTi tg:

Лемма 13.1. Случайное время пребывания марковского процесса в состоянии i имеет показательное распределение с параметром i,

Qi(t) = 1 e it:

(13.5)

Доказательство. Используя марковское свойство и существование производной у функции pii( ) в нуле для дополнительной функции имеем

Qi(t) = PifTi > tg = n!1 Pi X( n

= i; k = 1; ng =

lim

kt

t

n

t

n

;

= n!1 pii n

n!1 1 i n

= e

lim

=

lim

it

откуда следует соотношение (13.5).

Таким образом время непрерывного пребывания марковского процесса в каждом из своих состояний имеет показательное распределение. Заметим, что показательное распределение является единственным среди абсолютно непрерывных (и даже просто непрерывных), обладающим свойством “отсутствия памяти”, именно: если T показательно распределенная с.в., то (см. упражнение 2)

PfT > x + yj T > xg = PfT > yg

(13.6)

Незначительное усовершенствование рассуждений при доказательстве леммы 13.1 позволяют исследовать совместное распределение времени пребывания процесса в некотором состоянии и следующего скачка.

§ 13. Стандартные марковские процессы

95

Совместное распределение времени пребывания процесса в некотором состоянии и последующего состояния.

Обозначим через Qij(t) совместное условное распределение времени пребывания в некотором состоянии с последующим состоянием процесса.

Qij(t) = PfTi < t; X(Ti + 0) = j X0 = ig = PifTi < t; X(Ti + 0) = jg:

Лемма 13.2. Совместное распределение времени пребывания с последующим состоянием процесса имеет вид

Qij(t) =	ij	(1 e it):	(13.7)
	i

Доказательство. Обозначим через qij(x) плотность распределения вероятностей времени пребывания Ti в состоянии i, совместную с вероятностью состояния после скачка

qij(x)dx = Pifx Ti < x + dx; X(Ti + 0) = j X(0) = ig = = Pifx Ti < x + dx; X(Ti + 0) = jg:

Аналогично предыдущему имеем

qij(x)		n!1	i	n
	=	lim nP			X			kx
	=				x		n
		n!1 hpii ni						npij
		lim

Откуда, интегрируя, получим (17.6)

= i; k = 1; n X x + n

= j =

1

1

x

n

1

ix

=

1

i

n ij

= ije

:

n

n

n

t

Z

Qij(t) = ije ixdx = ij (1 e it):

i

0

Следствие 13.1. Вероятности переходов в моменты скачков имеют вид

pij =	ij	:			(13.8)
	i
Доказательство. Следует из соотношения
pij = Qij(1) =			ij	:
			i

Условное распределение вероятностей состояний в моменты скачков.

Вычислим теперь условное распределение вероятностей состояний процесса после скачка при условии, что он имеет место. Формализуем сначала введенное понятие. Обозначая введенную величину через qij имеем

qij = PfXt+0 = j Xt 0 = i; Xt+0 6= ig:

Лемма 13.3. Справедливо представление

qij =	ij	:	(13.9)
	i

Доказательство. Действительно, для любого начального состояния i0 величину qij можно представить в виде

qij = lim Pi0 fXt+h = j Xt h = i; Xt+h 6= jg:

h!0

96	Глава 4. Скачкообразные марк. и полумарк. процессы

Тогда используя марковское свойство и формулу условной вероятности события при двойном условии PfABjCg = PfAjBCgPfBjCg найдем

qij = lim	pij(2h)	=	ij2h		=	ij	:
	P		P
h!0	pik(2h)		ik2h			i
	k6=i		k6=i

Таким образом, видим, что условное распределение вероятностей состояний процесса в момент скачка совпадает с безусловным.

Приведенные выше леммы можно резюмировать в виде следующего конструктивного описания поведения марковского процесса (см. рис. 13.1). Стартуя из некоторого состояния i0 процесс проводит в нем показательно распределенное с параметром i0 время Ti0 , после чего с вероятно-

стью

i0i1

переходит в состояние i1, где остается показательно распределенное с параметром i1

i

0

i1i2

время Ti1 , после чего с вероятностью

переходит в состояние i2 и т.д.

i

X(t)

1

CC

i1

r

Ti1

X

i0i1

i1i2

Ti0 X

i0

i1

i0

i2

: : :

X

t

Рис. 13.1. Конструктивное описание поведения марковского

процесса.

Таким образом, траектории процесса совершают скачки в моменты

n

X

S0 = 0; Sn = Tik ;

k=1

оставаясь постоянными между моментами этих скачков

X(t) = ik

при

Sk < t Sk+1:

Значение траекторий в моменты скачков не определяются интенсивностями переходов и их можно доопределять либо как непрерывные слева, либо как непрерывные справа. Из некоторых соображений их удобнее определять как непрерывные справа, что мы и будем делать.

Более того, приведенные леммы показывают, что последовательность Yn = X(Sn) состояний марковского процесса X(t) по моментам его скачков Sn является марковской цепью и часто используется при анализе марковских процессов.

Определение 13.4. Марковская цепь Yn = X(Sn) называется вложенной марковской цепью процесса X(t).

В следующем параграфе обратимся к дальнейшему анализу поведения марковских процессов.

§ 13. Стандартные марковские процессы

97

13.4.Дополнения

Вопросы для контроля.

1.Дайте определение интенсивностей переходов марковского процесса.

2.Приведите свойства интенсивностей переходов марковского процесса.

3.Дайте определение стандартного марковского процесса.

4.Приведите достаточные условия дифференцируемости переходных вероятностей марковского процесса.

5.Поясните, что представляет собой не стандартный марковский процесс.

6.Выпишите дифференциальные уравнения Колмогорова для переходных вероятностей стандартного марковского процесса.

7.Как выражаются распределение времени пребывания марковского процесса в своих состояниях через его интенсивности переходов?

8.Как выражается вероятности переходов марковского процесса в моменты скачков через его интенсивности переходов?

9.Опишите конструктивно поведение скачкообразного марковского процесса.

Упражнения.

1.Докажите теорему 13.1.

2.Докажите утверждение 13.6

Библиографические замечания.

Стандартные марковские процессы являются естественной моделью исследования прикладных проблем. Уравнения Колмогорова (13.2 13.4) были предложены впервые в [20]. Обоснование дифференцируемости переходных вероятностей исходя из их непрерывности (доказательства теорем 13.2 13.4) см. в [32].

98	Глава 4. Скачкообразные марк. и полумарк. процессы

§ 14. Классификация состояний. Устойчивость

14.1.Классификация состояний

Введенные в § 7 гл. 3 отношения следования ) и связности , и вытекающая из них классификация состояний марковских цепей легко переносятся на случай процессов с непрерывным параметром. Это можно сделать несколькими способами. Здесь мы предложим независимую классификацию состояний марковских процессов. В разделе 14.3. будет предложен другой подход, опирающийся на связь марковских процессов с марковскими цепями.

Пусть X = fX(t); t 2 R+g марковский процесс cо счетным фазовым пространством E. Распространим на процесс с непрерывным временем понятия следования и связности гл. 3.

Определение 14.1. Будем говорить, что состояние j следует за i и писать i ) j, если существует t такое, что pij(t) > 0, но pji(t) = 0 для всех t 0. Состояния i и j сообщаются, если i ) j и j ) i.

Аналогично результатам § 7 гл. 3 отношение следования ) определяет частичный порядок на множестве состояний, а отношение связности , является отношением эквивалентности.

Лемма 14.1. Отношения следования является отношением частичного порядка, т.е. оно

(а)	антисимметрично и
(б)	транзитивно,
а отношение связности является отношением эквивалентности, т.е. оно
(а)	симметрично,
(б)	транзитивно и
(в)	рефлексивно.
Доказательство провести самостоятельно в качестве упражнения 1.

Результатом решения этого упражнения является возможность перенесения классификации состояний марковских цепей на марковские процессы. В частности, отношение связности , позволяет разбить все состояния на непересекающиеся классы сообщающихся состояний, отношение следования ) позволяет выделить подмножество несущественных состояний.

Заметим, однако, что все состояния стандартного марковского процесса апериодичны, т.к. из непрерывности pii(t) в нуле и соотношения

pii(t) = pii	nn		= piin	n
		t			t

следует, что pii(t) > 0 для любого t > 0.

Как и ранее достаточно отдельно изучить поведение процесса на множестве несущественных состояний, вероятности перехода из несущественных в замкнутые классы и поведение процесса в отдельном классе сообщающихся состояний.

Определение 14.2. Процесс называется неразложимым, если его фазовое пространство состоит из единственного класса сообщающихся состояний.

Аналогично обобщаются понятия возвратности и положительности состояния. С этой целью

^

обозначим через Ti время первого достижения состояния i (при выходе из состояния i эта величина определяется как время первого достижения состояния i после выхода из него, или время первого возвращения), а через Fii(t) функцию распределения времени первого возвращения, и через Fij(t) функцию распределения времени первого достижения состояния j из состояния i.

f ^ g f ^ j g

Fij(t) = Pi Tj t = P Tj t X(0) = i :

§ 14. Классификация состояний. Устойчивость

99

Напомним, что аналогичные характеристики для марковских цепей обозначались через lij(n). Очевидно, Fij(1) имеет смысл вероятности достижения состояния j из состояния i (аналог величины

lij).

^

В качестве упражнения 2 предлагается выписать функционал, определяющий с.в. Ti. Обозначим через

11

ZZ

^	Fii(t)) dt
fii = MiTi = tdFii(t) = (1

00

^

условное математическое ожидание величины Ti.

Определение 14.3. Состояние i называется возвратным, если распределение Fii( ) собствен-

ное, т.е. если lim F (t) = Fii(1) = 1 и невозвратным в противном случае, т.е. если lim F (t) =

t!1 t!1

Fii(1) < 1. Возвратное состояние называется положительным, если среднее время возвращения конечно, fii < 1:

Аналогично марковским цепям имеют место критерии проверки возвратности и положительности состояния. Для доказательства этих критериев потребуются формулы разложения по первому и последнему моментам достижения, которые представляют и самостоятельный интерес, поэтому приводятся здесь вместе.

Лемма 14.2. Для любых состояний i; j произвольного стандартного марковского процесса с дискретным фазовым пространством справедливы формулы

		ije it + Z0	t
pij(t)	=		dFij(u)pjj(t u);	(14.1)
		ije it + Z0	t
pij(t)	=		pij(t u)dFjj(u);	(14.2)

первая из которых называется формулой разложения по первому, а вторая по последнему моментам достижения и аналогичны формулам (8.6–8.7) раздела 7.3..

Доказательство этих формул провести самостоятельно в качестве упражнения 3 опираясь на формулу полной вероятности в непрерывном случае, где в качестве полной группы событий используются моменты первого, соответственно последнего достижения состояния.

Теперь можно перейти к доказательству критериев возвратности и положительности.

Лемма 14.3. Среднее время, проведенное процессом в возвратном состоянии при t ! 1 бесконечно, а в невозвратном конечно. Другими словами, возвратными являются те и только те состояния, в которых процесс проводит в среднем бесконечное время,

11

ZZ

Mi 1i(X(t)) dt = pii(t) dt = 1

(14.3)

00

Доказательство. Для доказательства леммы переходя к преобразованию Лапласа в формуле (14.1) разложения по первому моменту достижения найдем

p~ii(s) = 1 + f~ii(s)~pii(s);i

откуда

1

p~ii(s) = (s + i)(1 f~ii(s))

100	Глава 4. Скачкообразные марк. и полумарк. процессы
и, следовательно,
1	pii(t) dt = p~ii(0) = i(1 f~ii(0))		= i(1 Fii(1)):
Z
	1		1
0

Таким образом, последнее выражение обращается в 1 тогда и только тогда, когда Fii(1) = 1, т.е. когда состояние i возвратно.

Для доказательства следующей леммы рассмотрим вложенный по моментам возвращения в некоторое состояние i процесс восстановления, функцию восстановления которого обозначим через

Hi(t).

Лемма 14.4. Состояние положительно тогда и только тогда, когда существует положительный предел,

lim pii(t) = i > 0:	(14.4)
t!1

Доказательство. Для доказательства воспользуемся формулой разложения по последнему моменту достижения (14.2) при j = i. Заметим, что эта формула представляет собой уравнение восстановления относительно pii(t), решение которого согласно теореме 5.2 имеет вид

pii(t) = e it + Z0					t
					dHi(u) s i(t u) du:
Используя теорему восстановления из последнего соотношения найдем
t!1			fii		1			fii i
	ii				Z0
lim p		(t) =	1		e		iu du =	1	:

Таким образом, если среднее время возвращения fii конечно fii < 1, то предел существует и

положителен, если же состояние нулевое, то соответствующий предел равен нулю.
Аналогично случаю марковских цепей имеет место

Теорема 14.1 (Солидарности). Все состояния одного и того же класса сообщающихся состояний марковского процесса относятся к одному типу: любо они все невозвратны, либо возвратны и нулевые, либо положительно возвратны.

Доказательство. Заметим, что из условия сообщаемости любых двух состояний i и j вытекает неравенство

pii(s + u + t) pij(s)pjj(u)pjj(t) pjj(u)

и аналогично

pjj(s + u + t) pji(s)pii(u)pij(t) pii(u):

Откуда следует, что асимптотическое поведение вероятностей pii(t) и pjj(t) одинаково и, следо-

11

RR

вательно, pii(t) и pjj(t) сходятся и расходятся одновременно. С другой стороны, используя

00

критерий возвратности (лемма 14.3), получаем, что состояния i и j возвратны или невозвратны одновременно.

Доказательство второго утверждения теоремы получим с помощью критерия положительности состояний (лемма 14.4) аналогично предыдущему случаю опираясь на идентичность асимптотического поведения переходных вероятностей сообщающихся состояний.