Курс_лекций_по_теории_случайных_процессов
.pdfРоссийский университет дружбы народов
В.В. Рыков
ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
Конспект лекций
Москва, 2008
2
Настоящее издание представляет собой конспект лекций, читавшихся в течение ряда лет студентам специальности “Прикладная математика и компьютерное моделирование” Российского государственного университета нефти и газа им. И.М. Губкина и студентам специальности “Теория вероятностей и математическая статистика” Российского университета дружбы народов.
Материал основан на традиционных курсах теории случайных процессов. Некоторой особенностью данного курса, ориентированного на студентов специальности “Прикладная математика и информатика” является замена полных доказательств некоторых фундаментальных теорем их комментариями, позволяющими уяснить особенности доказательства и обойти сложные громоздкие вычисления и показать наличие “тонких мест”, но не исследовать их досконально.
Основной единицей курса является параграф, поэтому нумерация формул, рисунков, таблиц, теорем и т.п. своя внутри каждого параграфа. При ссылках на формулы из других параграфов используется двойная нумерация. В конце каждого параграфа приведены вопросы для самоконтроля, упражнения, задачи и краткие библиографические комментарии.
Часть задач подготовлена В.А. Кокотушкиным, которому выражаю свою признательность. В подготовке и оформлении текста большую помощь мне оказал Д.В. Козырев, которому приношу свою особую признательность.
Глава 1.
Введение
§1. Основные понятия
1.1.Предмет теории случайных процессов. Примеры
Многие физические, технические, экономические, социальные и другие явления подвержены случайным изменениям. Поэтому наблюдения за ними - это наблюдения случайных величин или случайно изменяющихся состояний. Аналогично теории вероятностей, теория случайных функций (или процессов) является математической дисциплиной, занимающейся изучением случайных явлений, однако в отличие от первой она исследует эти явления в динамике, как изменяющиеся во времени, пространстве или ином процессе. Как и в теории вероятностей динамические случайные явления исследуются с помощью математической модели ( ; F; P), где пространство элементарных событий !, F семейство наблюдаемых событий и P вероятностная мера. Однако в отличие от теории вероятностей элементарные события (или исходы эксперимента) являются наблюдениями за динамически развивающимися случайными явлениями и первоначально возникают как абстракция непосредственных наблюдений за изучаемым явлением или возможных состояний рассматриваемого объекта. Примерами таких наблюдений могут служить (в приводимых ниже примерах и далее через R обозначается числовая прямая R = ( 1; 1)):
последовательность ! = fxn; n = 1; 2; : : : g наблюдений за пробегом автомобиля, расходом электроэнергии некоторого предприятия, дебитом нефтяной или газовой скважины и т.п.;
моменты ! = fti; i = 0; 1; 2; : : : g отказов некоторого технического устройства;
число запросов ! = fn(t); t 2 Rg, ожидающих обработки в АСУ в зависимости от времени;
мощность отраженного радиосигнала ! = fx(t); t 2 Rg в дальней космической связи или отраженного импульса ! = fy(t; x); t 2 R; x 2 R3g при геофизических исследованиях, измеренная в различных точках x = (x1; x2; x3) пространства R3 и времени t 2 R;
расположение частиц некоторой системы (например, центров месторождений полезных ископаемых) ! = fxi = (x1i ; x2i ; x3i ); i = 1; 2; : : : g в пространстве и.т.п.
Проблемы фактического задания случайных процессов и построения вероятностного пространства произвольного случайного процесса или, как говорят, его канонического вероятностного пространства будут рассмотрены в конце настоящего параграфа, в следующем разделе будет дано формальное определение случайных функций, приведены их первичная классификация, терминология и введены основные обозначения.
1.2.Определение и классификация случайных функций. Терминология и обозначения
В отличие от теории вероятностей в теории случайных функций (с.ф.) изучаются семейства случайных величин (с.в.) X = fX(t); t 2 T g, заданных на одном и том же вероятностном пространстве ( ; F; P) и зависящих от некоторого параметра t, принимающего значения в данном множестве T .
4 |
Глава 1. Введение |
Определение 1.1. Семейство с.в. X = fX(t); t 2 T g, заданных на одном и том же вероятностном пространстве ( ; F; P), зависящих от некоторого параметра t из заданного множества T , и принимающих значения в некотором другом фиксированном множестве E, называется случайной функцией (с.ф.), при этом множество T называется параметрическим множеством, а множество
E множеством значений с.ф.
Это определение оправдывается тем соображением, что если множество значений с.ф. совпадает с действительной прямой, E = R, то при заданном элементарном событии ! 2 отображение x = X(!) : T ! R представляет собой функцию x = fx(t); t 2 T g в обычном смысле, которая называется реализацией случайной функции X = fX(t); t 2 T g.
Параметр t 2 T может принимать числовые значения из счетного или непрерывного множества и иметь смысл времени, местоположения или принимать значения в более сложных множествах. В связи с этим используются различные специальные понятия для случайных функций. Если множество T = N = f0; 1; 2; : : : g представляет собой множество натуральных чисел, то X = fX(n); n 2 Ng называется случайной последовательностью и обозначается X = fXn; n 2 Ng. Если T является действительной прямой T = R = ( 1; +1) или ее интервалом вида (a; b), [a; b),
(a; b] или [a; b], 1 a < b +1, и интерпретируется как время, то с.ф. X = fX(t); t 2 T g называется случайным процессом (с.п.), при этом ее реализация называется траекторией с.п. Если параметрическое множество T представляет собой многомерное, скажем, евклидово пространство T = Rd или его подмножество, например, единичный куб T = [0; 1]d, то fX(t); t 2 T g называется случайным полем. Возможны также параметрические множества более сложной структуры, например, T может быть системой всех борелевских подмножеств. d-мерного евклидова пространства T = Rd. Счетно-аддитивная с.ф. X = fX(B); B 2 Rdg с -алгеброй в качестве параметрического множества называется случайной мерой.
Если c.в. X(t); t 2 T принимают значения в d-мерном евклидовом |
пространстве Rd, то |
|||||||||
X = |
f |
X(t); t |
2 |
T |
g называется случайной вектор-функцией (соответственно, |
случайной векторной |
||||
|
|
|
|
(1) |
(t); X |
(2) |
(t)), то |
|||
последовательностью, процессом, полем, мерой). В частности, если X(t) = (X |
|
|
с.ф. fZ(t); t 2 T g с Z(t) = X(1)(t) + iX(2)(t) называется комплекснозначной (или комплексной) с.ф.
В дальнейшем мы ограничимся в основном изучением случайных последовательностей и процессов, т.е. будем предполагать, что T = N = f0; 1; : : : g; T = R+1 = [0; 1), T = R1 = ( 1; 1).
Приведенное в начале данного раздела определение не конструктивно и мало что дает для конкретного задания с.п. В следующем разделе рассмотрим один из способов конкретного задания с.п., конструктивное его построение, а в следующем параграфе приведем основной способ его конкретного задания с помощью построения его канонического вероятностного пространства.
1.3.Конструктивное построение случайных функций
Определение 1.2. Конструктивно заданной будем называть с.ф., функционально или алгоритмически определенную на заданном вероятностном пространстве ( ; F; P). Для пояснения этого понятия рассмотрим два примера.
Пример 1. Время жизни (исправной работы) сложного технического устройства зависит от многих факторов и может рассматриваться как случайная величина X. Если отказаться от исследования зависимости свойств с.в. X от различных производственных и эксплуатационных факторов и предположить функцию распределения (ф.р.) F ( ) с.в. X известной (например, из статистических данных), то в качестве вероятностного пространства этой модели можно рассмотреть множество неотрицательных действительных чисел = R+ с борелевской -алгеброй R на нем в качестве измеримых множеств F = R и вероятностной мерой P, определяемой как продолжение меры, задаваемой на полуинтервалах = [0; x) соотношением
P( ) = P([0; x)) = F (x):
При этом с.в. X, определяемая тождественным отображением X(!) = X(x) = x, имеет исходное
§ 1. Основные понятия |
5 |
распределение,
FX(x) = PfX < xg = P([0; x)) = F (x):
Построенное таким образом вероятностное пространство ( ; F; P) назовем вероятностным пространством (или вероятностной моделью) с.в. X. Обозначим через X(t) остаточное время жизни устройства, которое уже эксплуатируется в течение времени t. С.п. X = fX(t); t 2 T g, определенный на T = R+ = [0; 1) соотношением
|
|
|
0; |
если t > X; |
X(t) = |
X |
|
t; |
если t X; |
является конструктивно заданным и играет важную роль в теории надежности.
Пример 2. Рассмотрим затухающее колебание
f(x; y) = |
ye #x cos( x) |
при x 0; |
|
0 |
при x < 0; |
где > 0; # > 0 параметры, имеющие смысл частоты и декремента затухания рассматриваемого процесса. Пусть (X; Y ) двумерный случайный вектор, заданный своим распределением F (x; y). Например, X может быть случайным временем отклика сейсмического импульса, а Y его случайной амплитудой. Тогда с.п.
X(t) = f(t X; Y )
описывает изменение во времени отклика на единичный сейсмический импульс.
1.4.Дополнения
Вопросы для контроля.
1.Чем занимается теория с.п.?
2.Приведите собственные примеры элементарных событий при наблюдении за с.п.
3.Дайте определения:
а) |
случайной функции, |
б) случайной последовательности, |
в) |
случайного процесса, |
г) комплексной случайной функции, |
д) |
случайной меры, |
е) случайного поля. |
4.Что такое реализация с.ф. и траектория с.п. и чем они отличаются?
5.Что значит конструктивно построить с.ф.?
Упражнения.
1.Нарисуйте траектории с.п. X из примера 1.
2.Вычислите распределение остаточного времени жизни в момент t; Ft(x) = PfX(t) < xg:
3.Нарисуйте траектории процесса X в примере 2.
4.Вычислите распределение числа пересечений заданного уровня a процессом X из примера
2.
5.Пусть вероятностным пространством ( ; F; P) является единичный отрезок с борелевской
-алгеброй и мерой Лебега, = [0; 1]; F = B[0; 1]; P = , а множество значений параметра также есть отрезок T = [0; 1]. Пусть с.ф. X = fX(t; !)g задана на этом вероятностном пространстве соотношениями:
а) X(t) = 1ft !g, |
б) X(t) = t1ft !g, |
в) X(t) = t1ft !g, |
г) X(t) = (t 1)1ft<!g, |
6 |
Глава 1. Введение |
д) X(t) = jt 1j1ft<!g, |
е) X(t) = (t !)2. |
Нарисуйте реализации этих с.ф.
6. Пусть с.в. X задана своим распределением F (x); X 2 F (x). Постройте траектории, вычислите ф.р. времени первого достижения заданного уровня c и числа пересечений этого уровня за определенное время t для функций из предыдущего упражнения, если:
а) F (x) равномерное на отрезке [a; b] распределение,
б) F (x) показательное распределение с параметром ,
в) F (x) нормальное распределение с параметрами ; 2.
7. ([23]) Пусть с.п. X(t) задан на вероятностном пространстве ( ; F; P), где = f1; 2g, F множество всех подмножеств , а P приписывает вероятности 1/2 множествам {1} и {2}. Пусть множество значений параметра t есть отрезок [0, 1] и X(t) = !t. Найдите:
а) все реализации процесса X(t);
б) одномерное и n мерные распределения процесса X(t).
8.([23]) Пусть Y с.в. с ф.р. F (x); t 2 R. Найдите все конечномерные распределения с.п.
X(t) = Y + t.
9.Нарисуйте траектории с.п. X(t) = Y sgn (cos Y t) для с.в. Y из предыдущего упражнения.
Задачи.
1. С.п. X(t) определен формулой X(t) = min(Y; t); t > 0; Y с.в., распределение которой задано. Требуется:
1)описать множество траекторий;
2)найти ф.р. Ft(x) = PfX(t) < xg;
3)найти числовые характеристики случайного процесса X(t) (математическое ожидание MX(t) и дисперсию DX(t)), если:
а) С.в. Y имеет равномерное распределение на [0; a].
б) С.в. Y имеет экспоненциальное распределение с параметром .
в) Плотность распределения (п.р.) с.в. Y равна
Y |
(a2+x2) |
; x > 0: |
|
p (x) = |
0; |
x 6 0; |
|
|
2a |
|
|
г) П.р. с.в. Y равна |
; x > 0: |
||
pY (x) = |
a2xe ax |
||
|
0; |
x 6 0; |
(В п. 3 ограничиться нахождением MX(t)).
д) Плотность распределения с.в. Y равна
pY (x) = |
(m 1)x m; x > 1; m > 1: |
|
|
0; |
x 6 1; |
(В п. 3 ограничиться нахождением MX(t)).
е) Плотность распределения с.в. Y равна
8 |
0; |
x 6 0; |
< |
0; |
x > a; a > 0: |
pY (x) = |
2 |
|
xa2 ; 0 < x 6 a; |
:
§ 1. Основные понятия |
7 |
2. Случайный процесс X(t) определен формулой X(t) = ln(1 + Y t), t > 0; Y с.в., распределение которой задано (функция распределения Y равна GY (y). Требуется:
1)описать множество траекторий;
2)найти ф.р. Ft(x) = PfX(t) < xg;
3)найти математическое ожидание MX(t) и дисперсию DX(t),
если случайная величина Y имеет равномерное распределение на отрезке [0, 1].
Библиографические замечания.
С основными понятиями теории случайных процессов можно познакомиться в любом учебнике (см., например, [1] [4], [16]). Изложение материала заимствовано отчасти из [13], [14].
8 |
Глава 1. Введение |
§2. Каноническое вероятностное пространство
2.1.Конечномерные распределения
В этом пункте ограничимся для простоты исследованием случайных процессов, то есть случайных функций, заданных на прямой, T = R1, с действительными значениями, E = R1 = R. Общий случай анализируется аналогичным образом. Решение вопроса о построении с.п. в рассматриваемом случае начнем с анализа понятия с.п. Пусть задан с.п. X = fX(t); t 2 Rg. Это значит, что для любых n, набора моментов времени t1; t2; : : : ; tn и любых борелевских множеств B1; B2; : : : ; Bn можно вычислить (по крайней мере, в принципе) совместное распределение вектора (X(t1); : : : ; X(tn)),
Pt1;:::;tn (B1; : : : ; Bn) = PfX(ti) 2 Bi; i = 1; ng
Определение 2.1. Семейство распределений Pt1;:::;tn (B1; : : : ; Bn) при всевозможных значениях n; t1; : : : ; tn и B1; : : : ; Bn называется семейством конечномерных распределений (к.м.р.) процесса. К.м.р. определяют конечномерные функции распределения (к.м.ф.р.):
Ft1;:::;tn (x1; : : : ; xn) = Pt1;:::;tn (( 1; x1); : : : ; ( 1; xn)) :
Как функции распределения, функции Ft1;:::;tn (x1; : : : ; xn) монотонны по каждому из аргумен-
тов xi; i = 1; n, непрерывны справа по этим аргументам и принимают значения из отрезка [0; 1]. Кроме того, они обладают свойствами, содержащимися в следующей теореме.
Теорема 2.1. К.м.ф.р. с.п. обладают свойствами:
(1) |
симметрии: для любой подстановки индексов (i1; i2; : : : ; in) |
|
||
|
|
Fti1 ;:::;tin (xi1 ; : : : ; xin ) = Ft1;:::;tn (x1; : : : ; xn) |
|
|
|
и |
|
|
|
(2) |
согласованности: |
|
|
|
|
Ft1 |
;:::;tn (x1; : : : ; xn 1; 1) = |
lim |
; xn) = |
|
xn!1 Ft1;:::;tn (x1; : : : ; xn 1 |
|||
|
|
= Ft1;:::;tn 1 (x1; : : : ; xn 1): |
|
|
Доказательство провести самостоятельно в качестве упражнения 1. |
|
Замечание 1. К.ф.м.р. играют для с.п. ту же роль, что и ф.р. для с.в., они содержат в себе, как станет видно из дальнейшего, всю информацию о процессе.
Определение 2.2. С.п., к.м.р. которых совпадают называются эквивалентными.
2.2. Теорема Колмогорова
Основной способ задания с.п. состоит в построении его канонического вероятностного пространства и опирается на теорему Колмогорова.
Теорема 2.2. [Колмогоров, [18]] Для всякого семейства ф.р., удовлетворяющих условиям симметрии и согласованности, существует вероятностное пространство ( ; F; P) и с.п. X = fX(t) t 2 T g на нем такие, что заданные функции являются его семейством к.ф.м.р. Другими словами, всякое семейство симметричных согласованных ф.р. определяет с.п. однозначно с точностью до эквивалентности.
§ 2. Каноническое вероятностное пространство |
9 |
Комментарий. Строгое доказательство использует ряд фундаментальных фактов теории меры (таких, как теорему о продолжении меры); его можно найти в учебнике А.Д. Вентцеля [3], стр. 89-91. Здесь приведем лишь схему рассуждений.
В качестве пространства элементарных событий рассмотрим множество всех функций ! = fx(t)g : R ! R, так что = RR; определим -алгебру F как -замыкание цилиндрических множеств Ct1;:::;tn (1; : : : ; n) вида:
Ct1;:::;tn (B1; : : : ; Bn) = f! = x( ) : x(ti) 2 Bi; ti 2 R; Bi 2 B; i = 1; ng:
Определим меру “простых цилиндров”
Ct([a; b)) = f! = x( ) : a xt < bg
соотношением P(Ct([a; b))) = Ft(b) Ft(a); распространим ее “естественным образом” на алгебру всех цилиндрических множеств и определим вероятностную меру P на F как продолжение этой меры.
Процесс X = fX(t); t 2 T g, задаваемый координатным отображением X(t; !) = X(t; x( )) = x(t), обладает указанными в теореме свойствами.
Определение 2.3. Построенное в теореме вероятностное пространство ( ; F; P) называется каноническим вероятностным пространством с.п. Вычисленные по мере P математическое ожидание и дисперсия обозначаются через M и D соответственно. Функции
(t) |
= |
M[X(t)]; 2(t) = D[X(t)] и |
C(s; t) |
= |
M[(X(s) (s))(X(t) (t))] |
называются функциями математического ожидания, дисперсии и ковариационной функцией процесса соответственно.
Чтобы продемонстрировать применение теоремы Колмогорова рассмотрим в качестве примера гауссовский случайный процесс.
2.3.Пример: гауссовский процесс
Важную роль во многих прикладных вопросах играют случайные функции, для которых семейство конечномерных распределений состоит из гауссовских (нормальных) распределений. Напом-
ним, что векторная с.в. X = (X1; : : : ; Xn)0 имеет гауссовское распределение, если ее характеристическая функция f(s) = f(s1; : : : ; sn) = Meis0 X представима в виде
f(s) = Meis0 X = expfi~0 s) 12s0Csg;
|
n |
где s = (s1; : : : ; sn)0; ~ = M[X] n-мерные вектора и s0 |
jP |
X = sjXj обозначает скалярное |
|
|
=1 |
произведение векторов s и X. Здесь ~ = ( 1; : : : ; n)0 2 Rn вектор математических ожиданий векторной с.в. X, а C = [cjk] его ковариационная матрица, которая является неотрицательно определенной вещественной симметричной матрицей с элементами
cjk = M[(Xj j)(Xk k)] = MXjXk j k:
Если ковариационная матрица C гауссовского случайного вектора X невырождена, то плотность его распределения p(x) = p(x1; : : : ; xn) можно записать в виде:
p(x) = |
|
(2 )n det C exp |
2 |
(x )0C 1(x ) |
; |
||
|
1 |
|
1 |
|
|
||
|
p |
|
|
|
|
|
|
где det C определитель матрицы C, а C 1 матрица, обратная C.
10 |
Глава 1. Введение |
Определение 2.4. Вещественная случайная функция X = fX(t); t 2 Rg называется гауссовской, если все ее к.м.р. являются гауссовскими. При этом функция (t) = MX(t) называется его
функцией математического ожидания, а функция C(s; t) = M[(X(s) (s))(X(t) (t))] его ковариационной функцией.
В упражнениях 4, 5 следующего раздела предлагается доказать существование гауссовского процесса и показать, что он задается двумя функциями функцией математического ожидания(t) и ковариационной функцией C(s; t).
2.4.Дополнения
Вопросы для контроля.
1.Дайте определение к.м.р. и к.м.ф.р.
2.Сформулируйте свойства к.м.ф.р.
3.Что такое эквивалентные с.п.?
4.Сформулируйте теорему Колмогорова.
5.Дайте определение гауссовского с.п.
Упражнения.
1.Докажите теорему 2.1.
2.Постройте вероятностную модель для процесса X из примера 1.2.
3.Вычислите меру двумерных цилиндров с прямоугольными основаниями в теореме Колмогорова.
4.Выпишите конечномерные плотности распределения гауссовского процесса по его функции математического ожидания и ковариационной функции.
5.Проверьте условие симметрии и согласованности к.м.ф.р. гауссовского процесса.
6.Докажите существование гауссовских процессов.
7.Вычислите все двумерные распределения процесса для примера 1.1.
Задачи.
1. Пусть Y1, Y2, . . . , Yn совместно нормально распределенные с.в. Докажите, что с.п. X(t) =
P
Yi'i(t), где 'i(t) неслучайные функции, является гауссовским.
1 i n
2.Докажите, что существует гауссовский процесс X = fX(t); t > 0g, у которого MX(t) = 0
иcov(X(s); X(t)) = min(s; t). Запишите двумерную плотность распределения этого с.п., который называется стандартным винеровским процессом или процессом броуновского движения.
3.Для процесса X(t), определенного в задаче 2, найдите распределение приращений X(t)
X(s).
4. Для процесса X(t), определенного в задаче 2, докажите, что приращения X(t) X(s) и X(u) X(v) независимы при u < v < s < t.
5. Найдите n-мерную п.р. стандартного винеровского процесса, определенного в задаче 2.
Библиографические замечания. Теорема Колмогорова, которая и положила, фактически, начало теории случайных процессов, была опубликована впервые в его книге “Основные понятия теории вероятностей” в 1933 году (третье издание см. [18]). Теперь изложение этой теоремы содержится в любом учебнике по курсу теории случайных процессов (см., например, Вентцель [3] и др.).