Sluchaynye_protsessy

Министерство образования Республики Беларусь

Учреждение образования БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И

РАДИОЭЛЕКТРОНИКИ

_______________________________________________________________

Кафедра информационных технологий автоматизированных систем

В. С. Муха

Случайные процессы

Минск 2011

УДК 519.72 (075.8) ББК 22.172 я 73

М 92

Рецензент: профессор кафедры высшей математики БГУИР, кандидат физико- математических наук А.А. Карпук

Муха В.С.

М 92 Случайные процессы: Учеб. пособие / В.С. Муха. – Мн.: БГУИР, 2011. – 81 с.: ил.

ISBN-985-444-581-Х

В учебном пособии излагаются основы теории случайных процессов. Приводятся сведения из теории множеств, рассматриваются некоторые вопросы теории вероятностей. Даются основные определения теории случайных процессов. Рассматриваются различные классы случайных процессов с непрерывным и дискретным временем, непрерывными и дис- кретными значениями (состояниями). Изучаются свойства выборочных функций и динамические преобразования случайных процессов.

Пособие рассчитано на студентов технических специальностей выс- ших учебных заведений.

УДК 519.72 (075.8) ББК 22.172 я 73

М 92

ISBN-985-444-581-Х	© Муха В.С., 2011
	© БГУИР, 2011

2

ПРЕДИСЛОВИЕ

Вучебном пособии излагаются основы теории случайных процессов. Предполагается, что читатель изучил теорию вероятностей в определенном объеме и на определенном уровне.

Первый раздела пособия под названием «Некоторые вопросы теории вероятностей» пред- ставляют собой своего рода «философские тетради» автора в области теории вероятностей. Они могут быть полезны тем, кто пожелает повторно пробежаться по теории вероятностей для восстановления знаний в этой области, возможно, не некотором более высоком уровне.

Выбор тем для рассмотрения отражает предпочтения автора. Например, в пособии не рас- сматриваются случайные последовательности типа авторегрессии–скользящего среднего и подобные им ввиду того, что теория этих процессов, по мнению автора, не имеет преиму- ществ перед корреляционной теорией случайных процессов.

Впособии представлен достаточно широкий набор классов случайных процессов: с не- прерывным и дискретным временем, с непрерывными и дискретными состояниями, стацио- нарные случайные процессы, марковские случайные процессы. Изучаются свойства выбо- рочных функций и динамические преобразования случайных процессов. Эта коллекция во-

просов представляется изначально необходимой для возможности совершения дальнейшего путешествия в область случайных процессов.

При изложении материала автор исходил из того, что при изучении дисциплины подле- жит усваиванию не только набор фактов и теоретических положений, но и доказательный инструментарий дисциплины. Поэтому изложение сопровождается доказательствами. Одна- ко в случаях, когда существующие доказательства, по мнению автора, оказывались громозд- кими или выходящими по сложности за определенный уровень знаний, предпочтение отда- валось изложению только фактического материала.

При написании пособия использовались литературные источники, приведенные в списке литературы. Однако конкретные ссылки по отдельным вопросам в пособии не приводятся.

Пособие предназначено для студентов технических специальностей высших учебных за- ведений. Оно может быть полезным также магистрантам, аспирантом и преподавателям.

3

1.НЕКОТОРЫЕ ВОПРОСЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

1.1.Операции над множествами

Воснове теории вероятностей и, как следствие, теории случайных процессов лежит тео- рия множеств. Приведем некоторые сведения из теории множеств и теории вероятностей, на которые нам придется в дальнейшем опираться. При изложении материала будем исходить из того, что читатель изучал курс теории вероятностей в том или ином объеме с той или иной степенью строгости, например, в рамках учебного пособия [9].

Пусть A, B , C , …, Ai , i =1,2,..., – произвольные множества. Объединением множеств Ai называется множество B , каждый элемент которого x B принадлежит хотя бы одному их множеств Ai (рис 1.1). Обозначается объединение следующим образом:

B = U Ai = A1U A2 U... .

i

Рис. 1.1. Объединение множеств

Пересечением множеств Ai называется множество B , каждый элемент которого x B принадлежат каждому из множеств Ai , i =1,2,... (рис 1.2). Обозначается пересечение сле-

дующим образом:

B = I Ai = A1I A2 I... .

i

Рис. 1.2. Пересечение множеств

4

Операции объединения и пересечения по своему определению коммутативны, т.е.

A1U A2 = A2 U A1 , A1I A2 = A2 I A1 ,

и ассоциативны:

(AU B)UC = A(BUC),

(AI B)IC = AI(BIC).

Кроме того, они взаимно дистрибутивны:

(AU B)IC = (AIC)U(BIC),

(AI B)UC = (AUC)I(BUC).

Разностью множеств A и B называется множество C = A \ B , каждый элемент которого x C принадлежит A и не принадлежит B (рис. 1.3).

Рис. 1.3. Разность множеств A и B

Симметрической разностью множеств A и B называется объединение разностей множе- ство A \ B и B \ A (рис. 1.4). Обозначается симметрическая разность как A B и по опре-

делению равна

C = A B = (A \ B)U(B \ A).

Рис. 1.4. Симметрическая разность множеств A и B

5

В теории вероятностей рассматриваются не произвольные множества, а подмножества не- которого основного множества Ω, Ai Ω . В этом случае множество C = Ω \ A называет-

ся дополнением множества A (до множества Ω) и обозначается как A , так что A = Ω \ A.

Рис. 1.5. Дополнение множества A до Ω

Для подмножеств некоторого множества Ω важную роль играет так называемый принцип двойственности, определяемый следующими двумя соотношениями:

1. Дополнение объединения равно пересечению дополнений

	= I		.
U Ai		Ai		(1.1)
i	i

2. Дополнение пересечения равно объединению дополнений

I Ai = U Ai .

i i

Смысл принципа двойственности состоит в том, что из любой теоремы, относящейся к под- множествам фиксированного множества Ω, автоматически может быть получена другая – двойственная – теорема путем замены в исходной теореме всех рассматриваемых множеств их дополнениями, объединений – пересечениями, а пересечений – объединениями.

Приведем доказательство равенства (1.1). Пусть X = U Ai . Это означает, что x не явля-

		i
		, а потому x I		. Пусть теперь	x I		,
ется элементом ни одного из дополнений	Ai		Ai			Ai
		i			i

т.е. является элементом каждого из множеств Ai . Тогда x не является элементом ни одного

из Ai и их объединения U Ai . Значит,	x является элементом дополнения	U Ai	. Равенство
i		i

(1.1) доказано. Аналогично доказывается равенство (1.2), а также другие равенства, относя- щиеся к множествам.

1.2. Мощность множества

Два множества A и B называются эквивалентными, если между их элементами можно установить взаимно-однозначное соответствие.

Множество называется конечным, если содержит конечное число элементов. В противном случае оно называется бесконечным. Простейшим из бесконечных множеств является счет- ное множество. Множество называется счетным, если его элементам можно поставить в со-

6

ответствие элементы множество натуральных чисел N = {1,2,...}, иначе говоря, можно про-

нумеровать натуральными числами.

Для характеристики количества элементов множества применяется понятие мощности множества. Мощность конечного множества определяется как количество его элементов. Счетное множество имеет бесконечную мощность. Существуют множества с большей чем счетное множество мощностью. Такие множества называются несчетными. Примером не- счетного множества является отрезок [0,1] действительной прямой. Говорят, что множество

[0,1], а также любое эквивалентное ему множество, имеет мощность континуума. Любое та- кое множество называется континуумом. Континуумом является, помимо отрезка [0,1], вся действительная прямая, а также любой промежуток действительной прямой.

1.3. Упорядоченные множества. Точная верхняя грань множества

Множество M называется упорядоченным, в нем задано отношение порядка, т.е. прави- ло, позволяющее установить, какой элемент за каким следует. В упорядоченном множестве для двух его элементов a,b M имеет смысл запись вида a ≤ b , что означает, что элемент

a предшествует элементу b, или что a не больше b. Примером упорядоченного множества является множество действительных чисел R с естественным порядком чисел в нем.

Пусть A – подмножество упорядоченного множества Ω. Верхней гранью подмножества A Ω называется такой элемент b Ω , что любой элемент a A не превосходит b Ω , a ≤ b . Если множество верхних граней подмножества A имеет наименьший элемент c , то c называется точной верхней гранью подмножества A Ω и обозначается sup A или

sup a (от латинского supremum – наивысшее). Аналогично точная нижняя грань подмноже- aΩ

ства A Ω – наибольший из элементов a Ω , за которым следуют все элементы A. Точ-

ная нижняя грань обозначается как inf A или inf a (от латинского infimum – наинизшее).
aΩ
Если точная верхняя грань подмножества A Ω принадлежит	A, то она называется
максимумом подмножества A и обозначается max A или max a .	Если точная нижняя
a A

грань подмножества A Ω принадлежит A, то она называется минимумом подмножества

A и обозначается min A или min a . a A

1.4. Системы множеств

Системой множеств или множеством множеств называется множество, элементы которо- го сами являются какими-либо множествами. Для теории вероятностей важны системы мно- жеств, каждое из которых является подмножеством некоторого фиксированного множества

Ω.

Итак, пусть Ω – произвольное множество. Непустая система U некоторых его подмно-

жеств A Ω , B Ω , … называется кольцом множеств, если объединение и разность лю- бых двух множеств этой системы также принадлежат этой системе, т.е. для любых A U и B U выполняются условия

AU B U , A \ B U .

Иначе говоря, кольцо – это система множеств, замкнутая относительно операций объедине- ния и разности двух множеств. Легко показать, что кольцо – это система множеств, замкну-

7

тая также относительно операции пересечения любых двух множеств. Для этого достаточно воспользоваться очевидной из рис. 1.2 формулой

AI B = A \ (A \ B) .

Если A U , B U , то по определению кольца A \ B U , A \ (A \ B) U , следовательно и AI B U , что требовалось доказать. Таким образом, кольцо является системой, замкну-

той относительно любой операции над двумя множествами системы, т.е. в результате вы- полнения любых операций над двумя множествами системы мы получим множества, не вы- ходящие из этой системы. По индукции легко показать, что кольцо – это система, замкнутая относительно операций объединения и пересечения любого конечного числа множеств. Это значит. что если Ai U , i =1,2,...,n , то и

n	n
U Ai U , I Ai U .
i =1	i =1

Если кольцо подмножеств Ai Ω включает и Ω, то такая система называется алгеброй множеств.

Пример 1.1. Для любого непустого множества Ω система U = {Ο/,Ω}, состоящая из пус-

того множества Ο/ и самого Ω, является алгеброй множеств. В самом деле,

ΩUΟ/ = Ω U , Ω \ Ο/ = Ω U , Ω U .

Пример 1.2. Система всех промежутков действительной прямой вида [a,b) и конечных

объединений таких непересекающихся промежутков является кольцом.

На рис. 1.6 изображены два подмножества A и B действительной прямой, представляю- щие собой конечные объединения непересекающихся промежутков вида [a,b) , а также их

объединение AU B и разность B \ A. Видно, что множества AU B и B \ A также пред- ставляют собой конечные объединения непересекающихся промежутков вида [a,b) . Следо- вательно, определенная в примере 1.2 система множеств образует кольцо множеств. Эта сис- тема будет алгеброй, если допустить a = −∞ , b = ∞ .

Рис. 1.6. Кольцо и алгебра множеств на действительной прямой

В ряде случаев приходится рассматривать объединения и пересечения не только конечно- го, но и счетного числа множеств. В этих случаях мы приходим к понятиям σ -кольца и σ - алгебры множеств (сигма-кольца и сигма алгебры).

Непустая система F подмножеств Ai Ω некоторого множества Ω называется σ - кольцом, если из того, что Ai F , i =1,2,... , следует, что

8

∞

U Ai F ,. Ai \ Aj F . i =1

Можно показать, что σ -кольцо замкнуто также относительно операции пересечения счетно- го количества множеств, т.е.

∞

IAi F .

i=1

Сигма-кольцо, включающее Ω, называется σ -алгеброй множеств Ai Ω .

Понятно, что σ -кольцо и σ -алгебра определяются для бесконечного множества Ω. Пример 1.3. Совокупность всех подмножеств бесконечного множества Ω является σ -

алгеброй.

Сигма-алгебра может быть построена на основе произвольно выбранной системы под- множеств некоторого множества. Подтверждается это следующей теоремой.

Теорема 1.1 (о минимальной σ -алгебре над системой множеств). Для любой непустой системы множеств U существует σ -алгебра σ(U ), содержащая U и содержащаяся в лю-

бой σ -алгебре, содержащей U . Эта σ -алгебра σ(U ) называется минимальной над систе- мой U .

Доказательство. Рассмотрим объединение всех множеств Ai Ω , входящих в исход-

ную систему множеств U ,

X = U Ai .

Ai U

Совокупность всех подмножеств множества X является, как известно, σ -алгеброй (см. пример 1.3). Обозначим ее σ(X ) . Пусть V – совокупность всех σ -алгебр Ri , содержащих-

ся в σ(X )	и содержащих U . Пересечение	IRi и будет искомой σ -алгеброй σ(U ). До-
	Ri V
казательство закончено.		произвольной системы множеств U
Теорема	1.1 позволяет множества

(U = {Ai Ω, i = 1,2,...}) считать элементами σ -алгебры σ(U ).

В теории вероятностей рассматривается так называемая σ -алгебра борелевских множеств (борелевская σ -алгебра). Сигма-алгеброй борелевских множеств на действительной прямой называется минимальная сигма-алгебра над системой всех полуоткрытых промежутков (на- пример, промежутков вида [a,b) ). Борелевскую σ -алгебру, грубо говоря, можно себе пред-

ставить как совокупность множеств, полученных из указанных промежутков с помощью счетного числа операций объединения, пересечения и взятия разностей. Это весьма богатый класс множеств, заведомо достаточный для практических целей. Например, наряду с проме- жутками [a,b) он содержит также одноточечные множества {a} и множества [a,b] , (a,b],

(a,b) ( a и b могут принимать также бесконечные значения). Элементы борелевской σ - алгебры называются борелевскими множествами.

Вn -мерном действительном пространстве Rn , элементами которого являются точки

x= (x1, x2 ,...,xn ) , также можно рассматривать борелевскую σ -алгебру. Множество точек

(x , x	2	,..., x	n	) в Rn	, координаты которых удовлетворяют неравенствам a	j	≤ x	j	< b	j	,
1

j =1,n , называется полуоткрытым интервалом в Rn . Сигма-алгебра, минимальная над сис-

темой всех полуоткрытых интервалов в Rn , называется борелевской σ -алгеброй в Rn .

9

Иногда приходится рассматривать бесконечномерное действительное пространство R∞ , которое является множеством точек с бесконечным числом координат x = (x1, x2 ,...). Полу-

открытый интервал в R∞ представляет собой множество точек x = (x1, x2 ,...), координаты которых удовлетворяют конечному числу неравенств a j ≤ x j < bj , j =1,n . Как и раньше,

борелевской σ -алгеброй в R∞ является σ -алгебра, минимальная над указанными интерва- лами.

10