Теория вероятностей и математическая статистика

Поскольку

W (x) = ∞∫W (x, y)dy; W ( y) = ∞∫W (x, y)dx ,

		−∞			−∞
	то
	W	(x) =	W (x, y)		; W ( y) =	W (x, y)			.
			∞
	y				x	∞
			∫W (x, y)dx			∫W (x, y)dy
			−∞			−∞
			Wy (x) =	W (x)Wx ( y)			;
				∞
				∫W (x)Wx ( y)dx
				−∞
			Wx ( y) =	W ( y)Wy (x)				.
				∞
				∫W ( y)Wy (x)dy
				−∞
			W (x) = ∞∫W ( y)Wy (x)dy;
				−∞
			W ( y) = ∞∫W (x)Wx ( y)dx.
				−∞

(Это формулы Байеса и формулы полной вероятности для случайных величин)

8.1.2. Зависимость и независимость случайных величин

Для независимых случайных величин

Wy (x) =W (x);

Wx ( y) =W ( y);

W (x, y) =W (x)W ( y)

Безусловные и условные моменты (отдельных случайных величин):

8.2. Факторизация законов распределения

Факторизация плотности вероятности	Факторизация функции распределения
W (x, y) =W (x)W ( y)	F (x, y) = F (x)F( y)

41

Контрольные вопросы к 8 лекции

1.Отличаются ли размерности условной и безусловной плотности вероятности?

2.Является ли сечение плотности вероятности двумерной величины W(x,y)

плоскостью x = const условной плотностью вероятности величины Y при условии X = x?

3.Что является аналогом гипотез в формулах полной вероятности для случайных величин?

4.В каком случае условные и безусловные моменты случайных величин эквивалентны (равны)?

5.Означает ли факторизация законов распределения независимость случайных величин и наоборот? Почему?

6.Означает ли независимость двух случайных величин равенство нулю их коэффициента корреляции?

7.Означает ли равенство нулю коэффициента корреляции двух величин их независимость?

8.Приведите примеры зависимых и независимых случайных величин.

42

Лекция 9

9. Многомерное нормальное распределение. Понятие о функциях случайных величин

9.1. Многомерное нормальное распределение

•Матрично-векторная запись n-мерной нормальной плотности вероятности

W (x) =W

(x

, x

,...x ) =

1

exp− 1 [(x −m

)T

M−1

(x −m

)] =

1

2

n

(2π)n / 2

det M

2

x

x

1

1

n

n

xi

−mx xk

−mx

k

=

exp −

∑∑Rik

i

(2π)

n / 2

σ1,...σn det R

σi

σk

2det R i=1

k =1

•Случайный вектор x

ивектор средних mx

•Ковариационная матрица (матрица вторых центральных моментов)

		σ2	σ σ r	...	σ σ r					1	r	...	r
		1	1 2 12		1 n	1n					12		1n
M =		σ σ r	σ2	...	σ σ r			; R =		r	1	...	r
		2 1 21	2	...	2 n	2n				21			2n
		...	...		...					... ... ... ...
		σ σ r	σ σ r	...	σ2					r	r	...	1
		n 1 n1	n 2 n2		n					n1	n2

где rik = rki - нормированные коэффициенты корреляции,

Rik - алгебраическое дополнение элемента rik в определителе det R , обратная матрица M−1 состоит из элементов Rik /σiσk det R

Пример статистической модели смеси сигнала с шумом в двухканальном приемнике

Возможная схема входных цепей двухканального приемника

43

Векторная диаграмма сигналов и шумов в двухканальной системе

Случайный вектор на входе приемника в один момент времени

Предположения	•	Аддитивная смесь сигнала и шума
	•	Распределение квадратурных составляющих
		шума – нормальное с нулевым средним
	•	Идентичность каналов (по шумам)
	•	Коэффициент корреляции одноименных
		квадратурных составляющих в каналах = 0,5
		(Причина: _____________________________
		______________________________________)
Плотность распределения
случайного вектора

Вектор средних значений и корреляционная матрица

44

9.2.Двумерная нормальная плотность вероятности

			1				−1				(x	− m )		2	(x	− m )(x	− m )		(x	− m )			2
W (x1	, x2 ) =													− 2r
						exp					1	2	1		1	1 2	2	+	2		2	2
		2πσ σ		1	− r2		2(1− r	2												σ
			2						)			σ1				σ1σ2					2
	1

• При r = 0 плотность вероятности факторизуется, это доказывает эквивалентность корреляции и зависимости в нормальной системе

Эллипс равных плотностей вероятности

(x −m )2	−2r	(x −m )(x −m )		+	(x −m )2	= const
1 1		1 1	2 2		2 2
σ2		σ σ	2		σ2
1		1			2

9.2. Понятие функции случайных аргументов

			•	Однозначные и монотонные
	Y =ϕ( X ); YG =ϕ( XG)
Если аргумент случайный, то и
функция случайна.
Следует всегда обращать внимание на			•	Неоднозначные
однозначность и монотонность
функций. Некоторые выводы
справедливы только для таких
функций.
			•	Немонотонные

45

Контрольные вопросы к 9 лекции

1.Чем многомерное нормальное распределение принципиально отличается от многомерного не нормального распределения?

2.Сколько параметров имеет двумерное и n-мерное нормальные распределения?

3.В каком случае эллипс равных плотностей вероятности двумерного нормального вектора превращается в окружность?

4.Как можно записать плотность распределения n- мерного нормального случайного вектора с некоррелированными составляющими?

5.Придумайте примеры однозначной монотонной, неоднозначной и немонотонной функций случайной величины и запишите соответствующие выражения.

6.Как могут быть записаны обратные функции для случаев предыдущего пункта?

46

Лекция 10

10.Статистические характеристики функций случайных аргументов

10.1.Общий метод вычисления моментов функций случайных аргументов

M [ϕ(xG)] = ∞∫... ∞∫ϕ(xG)W (xG)dxG

−∞ −∞

Ср. с формулами для вычисления моментов случайной величины.

10.2.Теоремы о числовых характеристиках.

10.2.1.Математическое ожидание линейной функции случайных аргументов

M (c) = c

n

M{∑(ai Xi +bi )} =

i=1

∞∞ n

=∫... ∫∑(ai xi +bi )W (x1...xn )dx1...dxn =

−∞ −∞ i=1

=∑{ai M ( Xi ) +bi}.

i=1n

Следствия:

M (aX ) = aM (X )

M ( X1 +... + Xn ) = M ( X1) +...M ( Xn )

47

10.2.2. Дисперсия линейной функции случайных аргументов

n
D{∑(ai Xi +bi )} =
i=1
	n	n
= M{∑(ai Xi +bi ) − M ∑(ai Xi +bi )}2 =
	i=1	i=1
	n	n
= M{∑(ai Xi +bi ) −∑[ai M ( Xi ) +bi ]}2 =
	i=1	i=1
	n
= M{∑(ai Xi )}2 =
	i=1
	n	n
= M{∑∑aiaj Xi X j} =
	i=1 j=1
n	n
= ∑∑aiaj M (Xi X j ) =
i=1	j=1

nn

=∑∑aiaj kij = i=1 j=1

=∑ai2 Di + 2∑aiaj kij .

i=1

i≠ j

Следствие 1

В случае попарно некоррелированных величин

n	n
D{∑(ai Xi +bi )} = ∑ai2 Dxi ;
i=1	i=1
n	n
D{∑Xi} = ∑D( Xi ).
i=1	i=1

Следствие 2

D(aX ) = a2 D( X );

σax = a σx .

Следствие 3

D(X +b) = D( X )

48

Следствие 4

D(c) = 0

О законе больших чисел

Для некоррелированных величин с

Выводы:

равными дисперсиями дисперсия

среднего арифметического равна

n

∑Xi

1

n

i=1

D

=

D

∑Xi

=

n

n

2

i=1

= nD( X )

=

D( X ) ;

n2

n

n

∑Xi

σ

σ

i=1

=

x

n

n

10.2.3. Математическое ожидание и дисперсия произведения двух случайных величин

Математическое ожидание произвольных случайных величин:

M (XY ) = M[(X + mx )(Y + my )] =

=M ( XY + Xmy +Ymx + mxmy ) =

=mxmy + kxy .

Для некоррелированных величин:

M ( XY ) = mxy = mxmy

49

Дисперсия произведения

некоррелированных случайных величин

D(XY ) = M[( XY −mxy )2 ] =

=M ( XY )2 −2mxy2 + mxy2 =

=M ( X 2 )M (Y 2 ) −mx2my2.

Учитывая, что

M (X )2 =D(X ) + mx2 , M (Y )2 =D(Y ) +my2 ,

получим:

D(XY ) =[D(X ) + mx2 ][D(Y ) + my2 ] −mx2my2 =

= D(X )D(Y ) + mx2 D(Y ) + m2y D(X ).

Если случайные величины не только

некоррелированы, но и имеют нулевые средние значения (ортогональны), то

D( XY ) = D( X )D(Y )

10.3. Корреляция, регрессия и линейная зависимость

Точки на плоскости x0y – диаграмма разброса.

Можно каким-либо способом нарисовать кривую, вокруг которой группируются точки.

Кривая может иметь несколько параметров: n-параметрические кривые.

Выбор параметров аппроксимирующей функции методом наименьших квадратов.

50