Савельев Элементарная теория вероятностей 1

Такая счетная аддитивность следует из равенств

P (A) ¡

n

P (Ai) = Ap ¡

n

Aip =

ÃA ¡

n

Ai!p =

X

Z

X

Z

Z

X

i=1

i=1

n

i=1

Ai

°2

:

=

Z

ÃA ¡

Ai!2 p =

°A ¡

n

X

°

X

°

°

°

°

°

i=1

°

i=1

°

Здесь множества отождествлены со своими индикаторами и использована их идемпотентность.

3.5.3. Скалярное произведение позволяет измерять зависимость между квадратично интегрируемыми переменными как величину угла между векторами в евклидовом пространстве. Число

K (f; g) =	C (f; g)		=		E (fg) ¡ E (f) E (g)
	S (f) S (g)				pD (f)pD (g)

называется коэффициентом корреляции между квадратично интегрируемыми переменными f, g, для которых Df > 0, Dg > 0. Из определений следует, что

K (f; g) = -f0; g0®;

где

f0 = (f ¡ Ef) = kf ¡ Efk ; g0 = (g ¡ Eg) = kg ¡ Egk :

Для каждых векторов f, g евклидова пространства L2 верно неравенство Коши

jhf; gij 6 kfk kgk

и, следовательно,	°f0		°°g0		°
K (f; g) 6						= 1:
	°		°°		°
	140

Коэффициент корреляции симметричен:

K (f; g) = K (g; f) :

Если K (f; g) = 0, то переменные f, g называются некоррелированными или ортогональными. Равенство K (f; g) = 1 означает

стохастическую линейную зависимость между f и g.

3.6. Функция распределения

Функция F : R ! R со значениями
F (x) = Zx p (u) du	(x 2 R)
¡1

называется функцией распределения для плотности p.

С помощью функции распределения удобно вычислять вероятности интервалов:

Zb

P ([a; b[) = p (u) du = F (b) ¡ F (a) (¡1 6 a < b 6 1) :

a

Пример. Для равномерного распределения функция F имеет

значения			0;			(x < a) ;
F (x) =		8		x ¡ a		(a	6	x	6	b) ;
		> b a
		>
		<	¡
откуда		>1				(x > b) ;
		>
		:
P ([u; v[) =	v ¡ u						(a 6 u < v 6 b) :
	b ¡ a

Функция распределения F : R ! R непрерывна и дифференцируема в каждой точке x 2 R, в которой непрерывна плотность

141

p. Для ступенчатых плотностей функции распределения кусочно линейны.

Замечание. Понятие распределения случайной переменной на вероятностном пространстве (U; p), аналогичное описанному в 2.6 для дискретного пространства, входит за элементарные рамки.

3.7.Случайные векторы

Случайный вектор f = (f1; : : : ; fm) : U ! R составляется из случайных переменных fi : U ! R (i = 1; : : : ; m). Для эффективной теории в качестве множества исходов U нужно прямую R тоже заменить многомерным пространством Rn. Чтобы определить плотность p : Rn ! R и среднее значение E (f) случайного вектора f : Rn ! Rm, надо использовать кратные интегралы. Вместе с понятием распределения случайного вектора это выходит за элементарные рамки.

Отсутствие совместного распределения не позволяет ввести коэффициент информации для случайных переменных на непрерывных пространствах по аналогии с дискретными.

3.8.Условные средние и вероятности

Внепрерывных пространствах, как и в дискретных, условия могут описываться бесконечными разбиениями. Нужно только всюду проверять интегрируемость.

3.8.1. Рассмотрим непрерывное пространство (U; p) и разбиение B = (Bj) множества U на события Bj:

X

Bj = U;	P (Bj) 6= 0;	BjBk = ? (j 6= k) :
Разбиение B может	быть конечным	или бесконечным. Пусть

G=GL(B) подпространство векторного пространства L= L(U; p) интегрируемых по p переменных на U, составленное из интегрируемых по p переменных g = PyjBj .

142

Условным средним переменной f при условии B называется

переменная

X

E (f j B) = E (f j Bj) Bj:

Переменная g = E (f j B) принадлежит G и имеет то же среднее значение, что и f. В самом деле, благодаря счетной аддитивности и линейности среднего E,

X

E (g) = E (E (f j Bj) Bj) =

= XE (f j Bj) E (Bj) = X¡E (fBj) ± P (Bj)¢P (Bj) =

X ³ X ´

= E (fBj) = E f Bj = E (f) :

Каждая ограниченная переменная f на U имеет условное среднее при любом B.

Переменная

P (A j B) = E (A j B)

называется условной вероятностью события A µ U. Рассмотрим переменную h со счетным множеством значений

z. Если разбиение B составлено из прообразов Bz = h¡1 (z) значений z переменной h на U, которые предполагаются событиями, то вместо E (f j B) пишут также E (f j h):

X

E (f j h) = E (f j h = z) h¡1 (z);

E (f j h = z) = E ¡f ¢ h¡1 (z)¢ ± P ¡h¡1 (z)¢:

Для события f = A это равенство превращается в

X

P (f j h) = P (A j h = z) h¡1 (z):

143

3.8.2. Условное среднее для интегрируемых переменных на непрерывных пространствах имеет те же свойства, что и для переменных на дискретных пространствах:

E (f j B) = f (f 2 G) ;	E (E (f j B) j B) = E (f j B) ;
E (E (f j C) j B) = E (f j B) ;

если разбиение C мельче разбиения B;

E (f1 + f2 j B) = E (f1 j B) + E (f2 j B) ; E (hf j B) = hE (f j B)

при f; f1; f2 2 L и h 2 G;
E (f j B) > 0	( f 2 L; f > 0 ) :

Условное среднее E (¢ j B) есть положительный линейный оператор, проектирующий L на GL (B).

3.8.3. Для непрерывных пространств верны формула полной вероятности и формула Байеса, аналогичные описанным в 2.9 для дискретных пространств. Доказательства тоже идентичны.

Рассмотрим непрерывное вероятностное пространство (U; p) и разбиение B = (Bj) множества U на события Bj. Для каждого события A µ U верна формула полной вероятности

X

P (A) = P (A j Bj) P (Bj) :

Верна также формула Байеса

X

P (Bj j A) = P (A j Bj) P (Bj) = P (A j Bk) P (Bk) :

С помощью этих формул решаются задачи, аналогичные описанным в 1.9.1 и 1.9.3.

144

3.9.Классические предельные теоремы

Доказываются несколько классических предельных теорем теории вероятностей. Формально они описывают пределы некоторых последовательностей функций и их интегралов. В доказательствах используются формула Тейлора для гладких функций

иформула Стирлинга о приближении факториала ([3], [11]).

3.9.1.Пусть: ® 2]0; 1[, ¯ = 1¡®; j = 0; 1; 2; : : : ; k; k = 1; 2; : : :; l = k ¡ j; ¹ = k®, ¾ = pk®¯; u (j) = ¾¡1 (j ¡ ¹);

					k	¶®j¯k¡j			при j < k;
	b (u (j) ; k) =				<0
					8µj				при j 6 k;
	g (u) =	1		e:¡u2=2			(u	2 R	) ;
		p2¼

¡ 1 < t < v < 1:

Для простоты записей зависимость рассматриваемых переменных от k не всегда указывается явно. В частности, ¾ = ¾ (k).

Лемма о локальном приближении.

b (u; k) = g (u) ¢ ¾¡1 ¡1 + c (u) ¢ ¾¡1¢

при всех u = u (j) 2 [t; v] и некоторых M > 0, c (u) : jc (u)j 6 M.

¤ Заметим, что j = u¾ + ¹ и t 6 u 6 v,

t¾ + ¹ 6 j 6 v¾ + ¹ , k ¡ (v¾ + ¹) 6 l 6 k ¡ (t¾ + ¹) :

Применяя формулу Стирлинга

p

n! = 2¼nnne¡neµ(n)

µ0 < µ (n) < 12n¶		;
1

145

получаем (jµ (j; k; l)j 6

1

¡j¡1 + k¡1 + l¡1¢):

12

k!

1

s

k

µ

k®

¶

j

µ

k¯

¶

l

b (u; k) =

®j¯l =

p

¢ eµ(j;k;l):

j!l!

jl

j

l

2¼

Как легко проверить, равенство j l=k = ¾2

1 + c (u) ¢ ¾¡1

выпол-

няется при всех u = u (j)

2

[t; v] и некоторых M

1

> 0, c

1

(u) таких,

¡

¢

что jc1 (u)j 6 M1. по формуле Тейлора для 1=p

1 + x

отсюда вы-

текает, что

s

k

=

1

µ1 + c2 (u) ¢

1

¶

jl

¾

¾

при всех u = u (j) 2 [t; v] и некоторых M2 > 0, c2 (u) таких, что

jc2 (u)j 6 M2.

Применяя формулу Тейлора для ln (1 + x), получаем:

k®

k¯

l

1

1

1

1

ln Ã

µ

¶

! = ¡(k® + ¾u)

µ¯u

¡

¯2u2

+ c3(u)

¶¡

j

l

¾

2

¾2

¾3

1

1

1

1

1

¡ (k¯ ¡ ¾u) µ¡®u

¡

®2u2

+ c4 (u)

¶ = ¡

u2 + c5 (u) ¾

¾

2

¾2

¾3

2

при всех u = u (j) 2

[t; v] и некоторых Mi

> 0, ci (u) таких, что

jci (u)j 6 Mi (i = 3; 4; 5). Используя формулу Тейлора для ex, находим:

µ j		¶	j	µ l	¶	l	= e¡u	=2 ¢	µ1 + c6	(u) ¾ ¶
	k®			k¯			2			1

при всех u = u (j) 2 [t; v] и некоторых M6 > 0, c6 (u) таких, что

jc6 (u)j 6 M6.

Снова применяя формулу Тейлора, получаем:

eµ(j;k;l) = 1 + c7 (u) ¾1

146

при всех u = u (j) 2 [t; v] и некоторых M7 > 0, c7 (u) таких, что jc7 (u)j 6 M7.

Из полученных соотношений вытекает, что						¶µ1 +	7¾	¶ =
b (u; k) = p2¼ e¡u		=2 ¾ ¢ µ1 +	2¾	¶µ1 +	6¾
1	2	1	c (u)		c (u)		c (u)

= g (u)	µ1 + c (u) ¾ ¶
	1

при всех u = u (j) 2 [t; v] и некоторых M > 0, c (u) таких, что jc (u)j 6 M. ¥

По определению x (k) » y (k) , x (k) =y (k) ! 1 (k ! 1). Из полученных результатов следует

Теорема Муавра (1732).
b (u; k) »	1	(n ! 1)
	¾ (k)g (u)

равномерно по u = u (j) 2 [t; v].

¤ Используя лемму о локальном приближении, получаем, что b (u; k) = ¡¾¡1g (u)¢ = 1 + c (u) ¾¡1 при всех u = u (j) 2 [t; v] и

некоторых M > 0, c (u) таких, что jc (u)j 6 M. Вместе с тем

¾ = ¾ (k) = (k®¯)¡1=2 ! 0 (k ! 1). ¥

Теорему Муавра называют локальной предельной теоремой.

3.9.2. Пусть:

B (v; k) = u(j)<v b (u (j) ; k) ;				G (v) =	Zv	g (u) du;
	X				¡1
gk (u) =	g (u (j)) (u [u (j) ; u (j + 1) [) ;
	(0	(u 2 R	n	[u (0) ; u (k + 1) [) ;
		2

kfk = supfjf (u)j : u 2 Rg:

147

Докажем несколько вспомогательных утверждений.

1

2

1

Лемма 1.

Z

e¡u =2du 6

p

(k > 3).

k

p

ln k

¤ Заметим, что t = p

> 1 при k > 3. Поэтому

ln k

e¡t

6 e¡t =2

= e¡(pln k)

=2 = ³el ln k´¡

= k :

t2=2

2

2

1=2

1

Отсюда следует доказываемое неравенство. ¥

Лемма 2. kg ¡ gkk 6 2¼¾ (k)

Ãk > k (0) >

¡

®2

¢

!.

1

1 + p¯

2

¤ Заметим, что

jg (u) ¡ gk (u)j =

e¡1=2

1

= jg (u) ¡ g (u (j))j 6 jg (u (j + 1)) ¡ g (u (j))j 6

6

2¼¾

2¼¾

при u 2 [u (j) ; u (j + 1) [. Пусть k > k (0) > ¡1 + p¯¢2 =®2. Тогда

u (0) =

¡k®

p

p

6

u (k) =

(k ¡ 1) ®

ln k;

ln k

¾

6 ¡

¾

и, следовательно,

p

1

1

jg (u) ¡ gk (u)j 6 g (u) 6 g (u (0)) 6 g(¡

ln k) =

p

6 p

2¼k

2¼¾

(u 2] ¡ 1; u (0) [) :

Вместе с тем

6 g (u (k)) 6 g(pln k) =

jg (u) ¡ gk (u)j 6 g µu ¡ ¾ ¶

1

1

6

1

=

p

p

(u 2 [u (k + 1) ; 1[) : ¥

2¼k

2¼¾

148

Пусть M число, фигурирующее в лемме о локальном приближении (3.9.1). Тогда верна

Лемма 3.

B (v; k) = Zv	gk (u) du + R (v) ;	jR (v)j 6 (M + 1) ¾¡1 (k) :
¡1
¤ Определим j (v) условием v		2]u (j (v)) ; u (j (v) + 1)] и пусть

r (u) = c (u) g (u) ¾¡2, jc (u)j 6 M. Из леммы о локальном приближении следует, что

b (u (j) ; k) =

1 +

r (u (j)) =

B (v; k) =uX(j(v)+1)

Xg (u (j)) ¾¡

v X

=

Z

gk (u) du +

r (u (j)) = Z

gk (u) du + R (v) ;

¡1

X

¡1

u(j(v)+1)

R (v) =

Z

gk (u) du +

r (u (j))

(j 6 j (v)) :

¡1

X

Заметим, что jgkj 6 jgj 6 1=p

6 1 и поэтому

2¼

¯ u(j(v)+1)gk (u) du¯ 6

k

gk

k

¾¡1

6 ¾¡1;

¯

Z

¯

¯

¡1

¯

¯

¯

¯

¯

u(j+1)

¯

¯

¯

¯

Z

r (u (j)) 6 M¾¡1

gk (u) du 6

¯X

¯

X u(j)

¯

¯

¯

¯

u(j(v)+1)

Z

2

6 M¾¡1

gk (u) du 6 M¾¡1

p

6 M¾¡1:

2¼

¡1

149