Васюков В_Н_ Теория электрической связи_

3.1. Случайные величины и их характеристики

113

чального момента) возможно только в том случае, если вся «вероятностная масса» сосредоточена в точке x 0 . Таким образом,

роль нулевого вектора в рассматриваемом пространстве играет случайная величина, которая принимает значение 0 с вероятностью

1 (ПРВ такой случайной величины равна (x) ).

Норма случайной величины определяется через скалярное про-

изведение, как x (x, x) x2 , а метрика задается через норму

d(x, y) x y (x y)2 .

Итак, множество случайных величин, определенных на общем пространстве элементарных событий, становится гильбертовым пространством. К нему применимы все ранее введенные для гильбертова пространства понятия, такие, как базис, ортонормальный базис, ортогонализация Грама – Шмидта, равенство Парсеваля и т.п.

В следующем примере предполагается, что математическое ожидание случайных величин равно нулю, тогда средний квадрат

совпадает с дисперсией, а корреляционный момент – с ковариационным (вторым смешанным центральным моментом).

Пример 3.3. Задача оптимальной фильтрации состоит в том,

чтобы по наблюдаемому колебанию z(t) наилучшим образом оценить полезный (случайный) сигнал x(t) . И наблюдаемый, и полез-

ный сигналы здесь будем понимать, как наборы случайных величин – отсчетов сигнала (их множество может быть несчетным, т.е. «сплошным»). Оптимальный линейный фильтр – это линейный

оператор {}, вырабатывающий на основе колебания z(t) оценку, такую, что дисперсия ошибки оценивания [x(t) {z(t)}]2 мини-

	мальна.
	Результат	воздействия	на сигнал
	z(t) линейного оператора – это, нестро-			xt()		[xt()– {z()}]t
	го говоря, линейная комбинация всех
	отсчетов сигнала. Поэтому оценка
	принадлежит линейной оболочке отсче-			{z()}t
	тов сигнала	z(t) , или подпространст-
	ву, натянутому на эти отсчеты (кото-
	рые представляют собой		случайные	Рис. 3.4. Геометрическая
	величины, т.е. векторы). Полезный сиг-
				интерпретация		принципа
	нал x(t) в общем случае лежит вне это-			оптимального		линейного
	го подпространства (рис. 3.4) .			оценивания

114	3. СЛУЧАЙНЫЕ ПРОЦЕССЫ

Из геометрических соображений ясно, что СКО ошибки оцени-

вания (норма ошибки) будет минимально в том случае, если вектор ошибки будет ортогонален этому подпространству (ошибка не

коррелирована с наблюдаемым сигналом в произвольный момент времени ), отсюда условие оптимальности оператора

[x(t) {z(t)}]z( ) 0 .

Учитывая, что линейный оператор выражается интегралом, для оптимальной линейной оценки получаем

		h(t,	)z( )d			,
	x(t)			z( ) 0

где h(t, ) – весовая функция (ядро оператора), имеющая смысл

отклика фильтра в момент времени t на значение наблюдаемого сигнала в момент ; – переменная, имеющая размерность времени. Раскрывая скобки и выполняя усреднение, получаем

x(t)z( ) h(t, )z( )z( ) d 0 ,

откуда следует уравнение Винера – Хопфа

h(t, )kzz ( , )d	kxz (t, ) ,

где kzz ( , ) z( )z( ) – второй смешанный момент отсчетов слу-

чайного процесса z(t) в моменты времени

и , называемый

функцией автокорреляции процесса z(t) , а kxz (t, ) x(t)z( ) –

второй смешанный момент отсчетов различных процессов, называемый функцией взаимной корреляции процессов x(t) и z(t)

(см. п. 3.2).

Характеристика h(t, ) оптимального линейного устройства

оценивания находится, как решение уравнения Винера – Хопфа (подробнее см. разд. 10).◄

3.2.СЛУЧАЙНЫЕ ПРОЦЕССЫ И ИХ ОПИСАНИЕ

Втеории связи большую роль играют случайные процессы, являющиеся математическими моделями как сигналов, так и помех. Случайный процесс – это колебание, принимающее в любой заданный момент времени значение, которое невозможно точно

3.2. Случайные процессы и их описание

115

предсказать. Таким образом, можно понимать случайный процесс как упорядоченную последовательность случайных величин, следующих друг за другом в порядке возрастания некоторой переменной (чаще всего времени). Перейти от описания случайной величины к описанию случайного процесса можно, рассматривая совместные распределения двух значений процесса в различные моменты времени, трех значений и т.д. В частности, рассматривая

процесс в n временных сечениях (при t t1,...,tn ), получаем n -мер-

ные совместные функцию распределения и плотность распределения вероятностей случайных величин x(t1),… x(tn ) , определяемые

выражением

P	1 x1,...,	x1	xn	w(x1,..., xn )dx1...dxn .
		n xn F(x1,..., xn )	...

Здесь и далее зависимость от времени явно не указана для упрощения записи. Для n -мерной ПРВ выполняется условие нормировки

... w(x1,..., xn )dx1...dxn 1.

Случайный процесс считается полностью определенным, если для любого n можно записать его совместную ПРВ при любом

выборе моментов времени t1,...,tn . Следует отметить, что на прак-

тике это удается сделать крайне редко53.

Часто при описании случайного процесса можно ограничиться совокупностью его смешанных начальных моментов (если они существуют, т.е. сходятся соответствующие интегралы)

m

x k1

...x

kn w(x ,..., x )dx ...dx

(3.6)

...k

...

k

n

1

n

1

n

1

n

1

и смешанных центральных моментов

M

(x

m

)k1 ...(x

m

)kn w(x ,..., x )dx ...dx

(3.7)

k

...k

...

x

x

n

1

n

n

1

n

1

n

1

1

при целых неотрицательных k1,...,kn и целом n .

53Исключение составляют гауссовские и марковские процессы, а также процессы с распределением Гиббса.

116	3. СЛУЧАЙНЫЕ ПРОЦЕССЫ
В частности, полагая в (3.6)	k1 1, k2 ... kn 0 , получаем

первый начальный момент (математическое ожидание) при t t1 ; при k1 2, k2 ... kn 0 выражение (3.6) определяет средний

квадрат, а выражение (3.7) – дисперсию в соответствующем сечении. Если под случайным процессом подразумевается сигнал в форме напряжения, то математическое ожидание имеет смысл его среднего значения («медленной» составляющей), средний квадрат – полной мощности, а дисперсия – мощности флюктуационной («быстрой») составляющей.

В общем случае моменты совместной ПРВ зависят от расположения сечений на оси времени и называются моментными функ-

циями. Чаще всего используют второй смешанный центральный момент

M11 Rx (t1, t2 ) (x1 mx1 )(x2 mx2 )w(x1, x2 )dx1.dx2

(x1 mx1 )(x2 mx2 ) ,

называемый функцией автокорреляции или автокорреляционной функцией54 (АКФ). Напомним, что здесь и далее явно не указана зависимость от времени, в частности, функциями времени являют-

ся mx1 mx1 (t1) и mx2 mx2 (t2 ) .

Можно рассматривать совместно два случайных процесса x(t) и y(t) , которые в общем случае не являются независимыми в веро-

ятностном смысле; такое рассмотрение предполагает их совместное описание в виде совместной многомерной ПРВ, а также в виде совокупности всех моментов, в том числе смешанных. Наиболее часто при этом используют второй смешанный центральный момент

Rxy (t1, t2 ) (x1 mx1 )(y2 my2 )w(x1, y2 )dx1dy2

(x1 mx1 )(y2 my2 ) ,

54Ни в коем случае не следует путать понятия АКФ для случайных процессов и для детерминированных сигналов, которые имеют совершенно разный смысл!

3.2. Случайные процессы и их описание

117

называемый взаимно корреляционной функцией Rxy (t1, t2 ) . Как и

АКФ, взаимно корреляционная функция (ВКФ) является функцией двух переменных.

Среди всех случайных процессов выделяют СП, для которых совместная n -мерная ПРВ не изменяется при одновременном из-

менении (сдвиге) всех моментов времени на одну и ту же величину. Такие процессы называются стационарными в узком смысле,

или строго стационарными.

Чаще всего на практике ограничивают рассмотрение случай-

ными процессами с ослабленным условием стационарности. СП называется стационарным в широком смысле, если при одновре-

менном сдвиге сечений не изменяются лишь его моменты не выше второго порядка. Практически это означает, что СП x(t) стациона-

рен в широком смысле, если он имеет постоянные среднее (математическое ожидание mx ) и дисперсию Dx , а АКФ зависит только

от разности моментов времени, но не от их положения на временнóй оси:

1)mx (t) mx ,

2)Rx (t1, t2) Rx (t2 t1) Rx ( ) .

Заметим, что Rx (0) Dx , откуда и следует постоянство диспер-

сии.

Нетрудно убедиться, что процесс, стационарный в узком смысле, стационарен и в широком смысле. Обратное вообще неверно, хотя существуют процессы, для которых стационарность в широком смысле означает и стационарность в узком смысле.

Пример 3.4. Совместная n -мерная ПРВ отсчетов x1,..., xn гауссовского процесса, взятых в моменты времени t1,...,tn , имеет вид

1

n n

(x

m ) (x j m j )

1

Aij

i

i

2|r|

i

j

w(x1, x2

,...., xn )

(2 )n / 2 1 2....

n | r |1/ 2

e

i

1 j

1

,

(3.8)

где r – определитель квадратной матрицы, составленной из попарных коэффициентов корреляции отсчетов; Aij – алгебраическое дополнение элемента rij этой матрицы.

Как видно из выражения (3.8), совместная ПРВ полностью определяется математическими ожиданиями, дисперсиями и коэффи-

118	3. СЛУЧАЙНЫЕ ПРОЦЕССЫ

циентами корреляции отсчетов. Таким образом, зная моментные функции не выше второго порядка, при любом n можно записать

совместную ПРВ. Если процесс стационарен в широком смысле, то все математические ожидания одинаковы, все дисперсии (а значит, и СКО) равны друг другу, а коэффициенты корреляции опре-

деляются только тем, насколько моменты времени t1,...,tn отстоят

друг от друга. Тогда, очевидно, ПРВ (3.8) не изменится, если все моменты t1,...,tn сдвинуть влево или вправо на одну и ту же вели-

чину. Отсюда следует, что гауссовский процесс, стационарный в широком смысле, стационарен и в узком смысле (строго ста-

ционарен). ◄

Среди стационарных случайных процессов часто выделяют более узкий класс эргодических случайных процессов. Для эргодиче-

ских процессов моменты, найденные усреднением по ансамблю,

равны соответствующим моментам, найденным усреднением по
времени55	единственной реализации			(t) :
	k		1 T				k
	mk x(t)	lim					(t) dt ,
		T T 0
	k			1 T			k
	Mk x(t) m	lim					(t) m dt
		T T 0

(здесь – символическое обозначение оператора усреднения по

времени).

В частности, для эргодического процесса математическое ожидание, дисперсия и АКФ равны соответственно:

m x(t)

D x(t) m 2

R( ) x(t) m x(t

lim 1 T

T T 0

		1 T
lim				(t)dt ,
T T			0
		1 T				2
lim						(t) m dt ,
T T			0
) m		x(t)x(t ) m2

(t) (t )dt m2.

55Строгое определение эргодичности выходит за рамки учебника (см.,

напр., [7]).

3.2. Случайные процессы и их описание

119

Эргодичность представляет собой весьма желательное свойство, так как дает возможность практически измерять числовые характеристики случайного процесса. Дело в том, что обычно наблюдателю доступна лишь одна (хотя, возможно, достаточно длинная) реализация случайного процесса. Эргодичность означает, по существу, то, что эта единственная реализация является полноправным представителем всего ансамбля.

Пример 3.5. Измерение характеристик эргодического процесса может быть выполнено при помощи простых измерительных уст-

ройств; так, если процесс представляет собой напряжение, зависящее от времени, то вольтметр магнитоэлектрической системы

измеряет его математическое ожидание (постоянную составляющую), вольтметр электромагнитной или термоэлектрической системы, подключенный через разделительную емкость (для исключения постоянной составляющей), – его среднеквадратическое значение (СКО). Устройство, структурная схема которого показана на рис. 3.5, позволяет измерить значения функции автокорреляции

при различных значениях задержки .

Рис. 3.5. Измерение автокорреляционной функции эргодического процесса

Фильтр нижних частот играет здесь роль интегратора, конденсатор выполняет центрирование процесса, так как не пропускает

постоянную составляющую тока. Это устройство называется кор-

релометром.◄

Достаточными условиями эргодичности стационарного случайного процесса служат условие стремления АКФ к нулю

lim R( ) 0 ,

а также менее сильное условие Слуцкого

	1 T
lim		R( )d	0 .
T T		0

120	3. СЛУЧАЙНЫЕ ПРОЦЕССЫ

3.3.КОРРЕЛЯЦИОННО-СПЕКТРАЛЬНАЯ ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

Точное решение задач, связанных с анализом случайных процессов и их воздействия на ЛИС-цепи, сопряжено с большими трудностями, так как предполагает отыскание совместной n -мерной

ПРВ для выходного процесса. Значительно проще решается задача анализа, если интересоваться только моментными характеристиками первого и второго порядка, которые определяют свойство стационарности в широком смысле. Учитывая, что большинство реально наблюдаемых процессов удовлетворительно описываются гауссовской моделью, а гауссовские процессы полностью определяются моментными характеристиками не выше второго порядка, во многих случаях ограничиваются анализом на уровне математических ожи-

даний (средних) и корреляционных функций.

Рассмотрим вещественный стационарный случайный процесс x(t) с нулевым средним. Его реализация, как детерминированная

функция, может быть представлена обратным преобразованием Фурье

(t)	( f )e j 2 ft df ,

где ( f ) – спектральная плотность реализации. (Следует иметь в

виду, что почти все56 реализации стационарного СП не принадлежат пространству сигналов конечной энергии L2 , поэтому их

спектральные плотности можно рассматривать лишь в терминах обобщенных функций, так как соответствующие интегралы в клас-

сическом смысле расходятся. Однако, поскольку нас будут интересовать лишь усредненные величины и функции, важна лишь интегрируемость соответствующих математических ожиданий.)

Случайный процесс x(t) можно записать в виде

x(t) X ( f )e j 2 ft df ,

где X ( f ) – также случайный процесс (в соответствии с природой

преобразования Фурье – это тот же процесс, представленный в другом «базисе»). Выясним, что это за процесс.

56Заметим, что здесь выражение «почти все» понимается в строгом вероятностном смысле и означает «с вероятностью единица».

3.3. Корреляционно-спектральная теория cлучайных процессов

121

Поскольку x(t)

– случайный

процесс с нулевым средним,

X ( f ) также имеет нулевое среднее:

e j 2 ft df 0

0 .

x(t)

X ( f )

X ( f )

Автокорреляционная функция вещественного процесса x(t)

R ( )

x*(t)x(t )

x(t)x(t )

x

X

*( f )X ( )e j 2

fte j 2

te j 2 dfd

dfd .

W ( f ) ( f )e j 2

x

Последнее равенство записано на том основании, что АКФ не зависит от переменной t , а это может быть только при том усло-

вии, что f , т.е.

	X*( f )X (	) W ( f )		( f ) .	(3.9)
			x
С учетом стробирующего свойства				-функции можно записать
	R ( )		W ( f )e j 2	f df ,	(3.10)
	x		x

а следовательно,

W ( f )		R (	)e j 2 f	d .	(3.11)
x		x

Выражения (3.10) – (3.11) составляют запись теоремы Винера – Хинчина57.

При 0 из выражения (3.10) следует

Rx (0) Wx ( f )df ,

57Александр Яковлевич Хинчин (1894 – 1959) – русский математик, известен своими трудами в области теории вероятностей, теории функций, теории массового обслуживания и др.

122	3. СЛУЧАЙНЫЕ ПРОЦЕССЫ

а поскольку Rx (0) Dx – мощность случайного процесса (с нулевым средним), функция Wx ( f ) называется спектральной плотно-

стью мощности (СПМ). Очевидно, СПМ – неотрицательная функ-

ция. Если процесс имеет ненулевое математическое ожидание m ,

то к СПМ добавляется слагаемое m2 ( f ) .

Для вещественного процесса АКФ – четная вещественная

функция, тогда СПМ – тоже четная вещественная. Поэтому иногда используется односторонняя СПМ:

Rx ( ) Nx ( f )cos(2 f )df .

0

Очевидно, Nx ( f ) 2Wx ( f ), f 0.

Иногда нет необходимости знать точный вид АКФ и СПМ и можно ограничиться числовыми характеристиками, в роли кото-

рых выступают интервал корреляции и эффективная ширина спектра. Интервал корреляции определяют по-разному, в частности,

известны следующие определения.

1. Интервал корреляции – такое значение , при котором АКФ

спадает до заданного уровня, например до 1/10 максимального значения (рис. 3.6, а).

2. Интервал корреляции – основание прямоугольника, имеющего площадь, равную площади под графиком АКФ (рис. 3.6, б).

Эффективную ширину спектра определяют по спектральной плотности мощности способами, аналогичными показанным на рис. рис. 3.6, а и 3.6, б.

Очень часто используют следующие две модели стационарных случайных процессов.

Rx (τ)

к

а

Rx (τ)

τк

б

Рис. 3.6. К определению интервала корреляции