romanovskiy_romanovskaya_elementy_teorii_veroyatnostey

в непрерывном случае

∞ ∞

cov (x1, x2) = ∫ ∫ (x - a1 )( y - a2 ) f (x, y)dxdy . (23)

−∞−∞

Укажем основные свойства ковариации.

10. cov (ξ, ξ) = Dξ.

20. cov (ξ1, ξ2) = M [ξ1, ξ2]-а1а2.

30. Если ξ1, ξ2 независимы, то cov (ξ1, ξ2)=0. 40. |cov (x1, x2) | ≤ s1· s2 .

50. Если в 40 имеет место равенство: |cov(x1,x2)| =s1· s2, то между x1,x2 имеется линейная функциональная связь:

Аx1 + Вx2 + С = 0 при некоторых А,В,С. Геометрически это означает, что реализации случайной

точки (x1, x2) с достоверностью ложатся на прямую Ах + By +

С = 0.

Докажем свойства 10 – 4 0.

1.cov (x, x)= M [(x – a) (x – a)]= Dξ.

2.cov (x1, x2) = M [(x1x2– a1x2 – a2x1 + a1a2] =M [x1·x2] –

a1M [x2] – a2M [x1] + a1 · a2 = M [x1 · x2] – a1 · a2 – a2· a1 + a1 · a2 = M [x1 · x2] – a1 · a2.

3. Из независимости x1,x2 следует независимость случайных величин x1– a1, x2– a2. Так как математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий, то имеем

cov (x1, x2) = M (x1 – a1) M (x2 – a2)=(M[x1]– a1) (M[x2]– a2)=

=(a1 – a1)( a2 – a2)=0.

4. Доказательство этого свойства проведем для непрерывного случая. Представим указанную в начале параграфа интегральную формулу для ковариации в виде

cov(ξ1 ,ξ 2 ) = ∫∫ϕ1 (x, y) ×ϕ2 (x, y)dxdy,

где обозначено

ϕ1 (x, y) = (x - a1 ) f (x, y), ϕ2 (x, y) = (x - a2 ) f (x, y)

(для удобства записи пределы интегрирования опущены).

61

Воспользуемся известным фактом математического анализанеравенством Буняковского: для любых непрерывных φ1, φ2 и любой области D

∫∫ϕ1ϕ2 dxdy £ ∫∫ϕ12 dxdy ×						∫∫ϕ22 dxdy.
D			D			D
Отсюда следует:
cov(ξ1 ,ξ2 ) £	∫∫(x - a1 )2		f (x, y)dxdy ×			∫∫( y - a2 )2 f (x, y)dxdy.
Имеем:			∞		∞
2
			∫ (x - a1 )2 dx ×		∫ f (x, y)dy =
∫∫(x - a1 ) f (x, y)dxdy		=
		−∞			−∞
∞
= ∫ (x - a1 )2 f1 (x)dx = Dξ1			= σ 12 .
−∞

В этом вычислении учтено свойство 50 плотности вероятности f(х,у) и определение дисперсии непрерывной случайной величины. Аналогично найдем

∫∫( y - a) 2	f (x, y)dxdy = σ 22 .
Таким образом
cov(ξ1 ,ξ 2 ) £			×		= σ 1 ,σ 2 ,
		σ 12		σ 22

что и требовалось.

2. На практике при изучении совместных свойств случайных величин, как правило, пользуются нормированной ковариацией или коэффициентом корреляции:

r =	cov(ξ1 ,ξ2 )	.	(24)
	σ 1σ 2

Из свойств ковариации вытекают следующие свойства

коэффициента корреляции. 10. -1 ≤ r ≤ 1.

20. Если r = ± 1, то между x1, x2 имеется линейная функциональная связь (рис.26). Уравнение прямой

62

вычисляется по параметрам (а1, а2, σ1, σ2, r).

ξ2		ξ2
		y
0	ξ1	0	ξ1
r=1. Прямая связь		r= - 1. Обратная связь
рис. 26 а			рис. 26 б

30. Если ξ1, ξ2 независимы, то r = 0.

Замечание 1. Из 10-30 следует, что коэффициент корреляции (и, соответственно, ковариации) является некой мерой связи между ξ1, ξ2. Более подробные рассмотрения показывают следующее. Если ׀r׀ ≈ 1, то связь между ξ1, ξ2 близка к линейной функциональной: реализации случайной точки (ξ1,ξ2) с практической достоверностью ложатся вблизи заранее прогнозируемой прямой Ах + By + С = 0. Если r ≈ 0, то либо ξ1, ξ2 независимы, либо связь между ними имеется, но далека от линейной связи.

Помнить: коэффициент корреляции является мерой линейной связи между случайными величинами.

Замечание 2. В силу свойства 30 из независимости случайных величин ξ1,ξ2 следует r=0. Обратное утверждение неверно: имеются примеры, когда r=0 и при этом ξ1, ξ2 зависимы. Укажем важный частный случай, когда из r = 0 следует независимость ξ1, ξ2. Будем говорить, что случайные величины ξ1,ξ2 имеют совместное нормальное распределение с параметрами (а1, σ1, а2, σ2, r), если плотность вероятности случайной точки (ξ1, ξ2) дается формулой

f (x, y) =		1				−	1	q( x, y )
						e 2			,	(25)
	2πσ σ
		2	1 − r 2
1

63

где

1

- a1

2

y - a

2

2

2

q(x, y) = -

x

- 2r

x - a1

+

y - a

.

2

2(1 - r

σ 1

σ 1

σ 2

σ 2

)

Можно показать, что а1, а2 –

математические ожидания, σ1,

σ2 – СКО

случайных

величин

x1,

x2,

r- коэффициент

корреляции.

f (x, y) = f1 (x) f 2 ( y),

(26)

где

1

−

( x−a1 )2

1

−

( y −a2 )2

2σ

2

2

f1 (x) =

e

1 ,

f 2 ( y) =

e

2σ 2 .

σ 2 2π

σ 2

2π

Нетрудно показать, используя свойство 50 плотности

вероятности f(x,y), что f1(x),

f2(y)

–

плотности вероятности

случайных величин x1, x2; поэтому в силу свойства 60

f(x,y)

x1, x2 независимы.

Помнить: в нормальном случае коэффициент

корреляции является точной мерой связи между x1, x2.

Замечание 3. Числа (а1, σ1, а2, σ2, r) называются

числовыми характеристиками случайной точки (x1, x2). Пары

(а1, σ1), (а2, σ2) характеризуют отдельно x1, x2; r является

мерой связи между x1, x2. В непрерывном случае параметр r

вычисляется по формулам (23), (24), остальные параметры –

по формулам

∞ ∞

∞ ∞

a1 = ∫ ∫ xf (x, y)dxdy,

a2

= ∫ ∫ yf (x, y)dxdy,

−∞−∞

−∞−∞

(27)

∞ ∞

∞ ∞

σ 12 = ∫ ∫ (x - a1 )2

f (x, y)dxdy, σ 22

= ∫ ∫ ( y - a2 )2

f (x, y)dxdy.

−∞−∞

−∞−∞

Пример 1. Найти числовые характеристики случайной

точки (x1, x2) в ситуации примера на стр.57.

Решение. Имеем

a = a

= 1×

1

+ 2 ×

1

+ 3 ×

1

= 2;

2

1

3

3

3

64

D = D		= (1 - 2)2	×	1	+ (2 - 2) 2 ×	1		+ (3 - 2)2 ×					1	= 1×	1	+1×	1	=	2	;
	2
1			3		3			3						3		2		3
					s1 = s2 =					2	.
								3

Коэффициент корреляции найдем по формулам (22), (24) с учетом свойства 20 для ковариации. Имеем

m	n
M [x1 · x2] = ∑∑ pij xi y j =
i=1	j=1

=0×1×1+1×3×1+1×3×1+1×1×2+0×2×2+1×2×3+1×3×1+1×3×2+0×3×3=11,

6	6				6			6			6	6	3
откуда
			11		- 4
	r =	3						= -	1	.
					2
								2
					3

Пример 2. Найти числовые характеристики случайной точки (x1, x2) в ситуации примера на стр. 60.

Решение. Имеем

					а1 = а2 = 1, D1			= D2					=		1		, s1 = s2 =												1			.
																													2
													2
	Коэффициент корреляции найдем по формулам (23), (24)
						cov (x1, x2) =				2		∫∫ (x -1)( y -1)dxdy =
										9
		2	3			3− x		2		3										y	2						3− x
	=			∫ (x −1)dx ∫ ( y −1)dy =																									=
		9						9			∫ (x −1)dx									2			− y
			0			0				0																	0
		2 3				(3 − x) 2								2 3 (3 − x)
	=			∫									=				∫							−1 (x −1)(3 − x)dx =
					(x −1)		− (3 − x) dx
		9	0			2							9				0				2
				1	3				1																3 = −								1
	= −				∫ (x −1) 2 (3 − x)dx = −						(5x 2 − x 3 − 7 x + 3)																							,
			9		0			9																	0				4

65

¶x1¶x2 .....¶xn

откуда

	−		1
						1	.
r =	4				= −
		1			2
	2

§4. Совместное распределение нескольких случайных величин. Многомерный нормальный закон

Пусть с испытанием связаны n случайных величин x1, x2,…., ξn. Укажем кратко, как введенные в этой главе понятия переносятся на этот случай.

1. Совместной функцией распределения случайных величин x1, x2,…., ξn называется функция

F (x1 , x2 ,...., xn ) = P(ξ1 < x1 ,ξ2 < x2 ,....,ξn < xn ).

Совместной плотностью вероятности случайных величин x1,

x2,….,	ξn называется функция
f (x , x			,...., x		) =	lim		P(x1 < ξ1	< x1 + Dx1 ,..., xn < ξn < xn + Dxn )	.
		2		n
1					x1	,..., xn	→0		Dx1 ×....... × Dxn

Имеет место равенство

f (x1 , x2 ,..., xn ) = ¶n F (x1 , x2 ,..., xn ) .

2. Обозначим аi, σj математическое ожидание и СКО случайной величины ξi, кij – ковариацию случайных величин ξi, ξj:

kij = cov(ξi ,ξ j ) = M [(ξi - ai )(ξ j - a j )].

Матрица

	k		k	...	k
		11	12	...		1n
D =	k21		k22		k2n
	..............................
			kn 2	...	knn
	kn1

называется дисперсионной матрицей случайных величин x1, x2,…., ξn. Отметим следующие свойства матрицы D.

66

10. Элементы главной диагонали матрицы D – дисперсии случайных величин ξ1, ξ2,…., ξn:

k	ii	= D[ξ	] = σ 2	, i = 1,2,..., n.
		i	i

20. Матрица D симметрическая: kij=kji.

30. Собственные числа матрицы D неотрицательны. Свойства 10, 20 очевидны. Предлагаем читателю

проверить свойство 30 для частного случая n=2. В этом случае матрица D имеет вид

	2	rσ 1σ				(28)
D = σ	1			2	,
rσ σ		2	σ	2
	1			2

где r – коэффициент корреляции случайных величин ξ1, ξ2. 3. В §3 этой главы было введено понятие совместного

нормального распределения случайных величин ξ1, ξ2 – см.формулу (25). Это понятие обобщается следующим образом. Говорят, что случайные величины ξ1, ξ2,…., ξn имеют совместное нормальное распределение, если совместная плотность вероятности дается формулой

				) =	1			1						q ( x1	, x2	,...,xn ) ,
f (x , x	2	,..., x	n									e	2
						n
1					(2π )			1
						2		D
									2

где D - определитель дисперсионной матрицы D,

n

q(x1 , x2 ,..., xn ) = ∑cij (xi − ai )(x j − a j ),

i, j =1

сij – элементы матрицы C=D-1.

Нетрудно проверить, что в частном случае n=2 это определение совпадает с определением (25); для этого нужно воспользоваться формулой (28) для матрицы D и формулой обращения матрицы второго порядка с отличным

от нуля определителем:		−1
a	b		1 d		− b
		=
c	d		ad − bc − c		a

(предлагаем читателю выполнить проверку самостоятельно).

67

Справедливы утверждения: если x1, x2,…., ξn имеют совместное нормальное распределение, то каждая из них отдельно также нормальна; если каждая ξi нормальна и при этом x1, x2,…., ξn независимы, то их совместное распределение также нормально, и имеет место формула

f (x1 , x2 ,..., xn ) = f1 (x1 ) × f 2 (x2 ) ×... × f n (xn ),

где fi(x) – плотность вероятности ξi. В общей ситуации из нормальности каждой отдельно ξi не вытекает нормальность совместного распределения.

Понятие совместного нормального распределения играет важную роль в приложениях теории вероятностей.

Глава 5. Закон больших чисел. Предельные теоремы

Под законом больших чисел понимают закономерности в массовых случайных явлениях, когда взаимодействие большого числа случайных факторов приводит к неслучайному результату. Пример закономерности такого типа приведен во введении: доля наступления случайного события в длинной серии независимых одинаковых испытаний практически неслучайна. Другой замечательный пример: оказывается, в ряде случаев закон распределения суммы большого числа случайных слагаемых не зависит от законов распределения слагаемых и может быть предсказан! Назначение предельных теорем теории вероятностей: дать строгие формулировки и обоснования различных форм закона больших чисел. В этой главе мы кратко рассмотрим результаты такого типа.

§1. Закон больших чисел в форме Чебышева

На практике хорошо известна следующая закономерность, которую можно сформулировать так: среднее арифметическое большого числа независимых однотипных случайных факторов практически неслучайно. Например, среднее

68

арифметическое большого числа измерений одной и той же величины практически не отличается от истинного значения этой величины; средняя кинетическая энергия большого числа хаотически движущихся молекул практически неслучайна и характеризует температуру тела.

Методы теории вероятностей позволяют дать строгую математическую формулировку этого закона.

Пусть имеется бесконечная последовательность случайных величин

ξ1, ξ2, … , ξn, … (29)

Будем кратко называть случайные величины (29) однотипными, если они имеют одно и тоже математическое

ожидание а и одну и туже дисперсию D.

Теорема. Пусть случайные величины (29) однотипны и независимы, тогда имеет место соотношение

			ξ+ ξ+ K + ξ
P			1 2	n	− a		< ε	→ 1	при n	→ ∞, (30)
			n
где а = М [ξk], k = 1, 2, …,					ε – любое как угодно малое
положительное число.

Это означает: при достаточно большом n с практической достоверностью (с вероятностью ≈ 100%) выполняется равенство

ξ1 + ξ2 + K + ξn ≈ a . n

Эта теорема впервые была доказана русским математиком П.Л. Чебышевым. Доказательство теоремы основано на трех леммах.

Лемма 1. Пусть случайная величина η≥ 0. Тогда справедливо неравенство

Р (η≥ ) ≤ mη , (31)

где – любое положительное число.

Доказательство проведем для непрерывной случайной

69

величины. Плотность вероятности случайной величины h f (х) = 0 при х < 0, так как h≥ 0.

По определению математического ожидания имеем:

∞	∞	∞	∞
mη = ∫ xf (x)dx = ∫ xf (x)dx ≥ ∫ xf (x)dx ≥ ∫ D × f (x)dx =
−∞	0
∞
= D∫ f (x)dx = D × P(ηÎ[D, ¥)) = D × P (h≥ D),

откуда следует неравенство (31).

Лемма 2. Пусть x –

случайная величина с числовыми

характеристиками (а, D), тогда справедливо неравенство:

Р (| x – a| <ε ) ≥ 1 –

D

.

ε 2

Доказательство. Имеем

2

2

M [(ξ- a)2 ]

D

Р (| x – a| ≥ ε ) = P ((x – a)

≥ ε

) ≤

=

.

ε 2

ε 2

Здесь использовано неравенство (31) при h = (x –

a)2,

D = ε 2.

Из полученного неравенства следует

Р (| x – a| <ε ) = 1 – Р (| x – a| ≥ ε ) ≥ 1 –

D

.

ε 2

Лемма

3. Пусть

x1, x2,

…, xn

- независимые

однотипные

случайные

величины

с

числовыми

характеристиками (а, D). Тогда при любом e>0 справедливо неравенство

ξ+ ξ+ K + ξ

< ε

D

1

2

n

- a

≥ 1 –

2 .

(32)

P

n

nε

где ε –

любое

положительное число,

a = M [xi],

D = D [xi],

i = 1, 2, …, n..

Неравенство (32) называется неравенством Чебышева.

Доказательство. Обозначим

ξ+ ξ+K + ξ

= ξ.

1

2

n

n

70