Савельев Элементарная теория вероятностей 1

2.9.3.Для примера рассмотрим композицию биномиального

ипуассоновского распределений, описанную в 2.8.3, и вычислим вероятность P (h = n j f = m) того, что вторым элементом пары

(u; n) является n, если известно, что в строке u ровно m единиц. В 2.8.3 было доказано, что

P (f = m j h = n) = b (m; n; a) ; P (h = n) = p (n; ¸) ; P (f = m) = p (m; ¸a) :

Следовательно,

P (h = n j f = m) = P (f = m j h = n) P (h = n) P (f = m) =

n!

n

m!

m

n m

¸ ¸

¸a

±

=

a

(1 ¡ a)

¡

e¡

e

=

m! (n

¡

m)!

n!

(¸a)m

(¸ (1 ¡ a))n¡m

= e¡¸(1¡a)

= p (n

¡

m; ¸ (1

¡

a)) :

(n

¡

m)!

Заметим, что распределение Пуассона p (n; ¸) с параметром ¸ имеет наибольшее значение при n = [¸]. В самом деле, неравенства p (n; ¸) > p (n ¡ 1; ¸), p (n; ¸) > p (n + 1; ¸) эквивалентны неравенствам ¸ ¡ 1 < n 6 ¸. Таким образом, наиболее вероятно, что вторым элементом пары (u; n), где в строке u ровно m единиц, является n = m + [¸ (1 ¡ a)].

2.10.Усиленный закон больших чисел

Неравенство Чебышева и следующий из него закон больших чисел, описанные в 1.10 для конечных пространств, верны и для дискретных. Более сильные результаты можно получить с помощью неравенства Колмогорова. Для бесконечных дискретных пространств можно сформулировать законы больших чисел Чебышева и Бернулли в предельной форме.

Из неравенства Чебышева следует, что
P fu :	¯	¯	> "g ! 0	(n ! 1) :
	¯n¡1	Xfj (u) ¡ a¯
	¯	¯
		120

Это закон	больших чисел Чебышева в предельной форме. Эк-
вивалентная форма:				< "g ! 1			(n ! 1) :
P fu :	¯n¡1	Xfj (u) ¡ a¯
	¯		¯
Из неравенства¯			Бернулли следует,¯		что при каждом " > 0
P fu :	¯		¯				(n ! 1) :
	¯n¡1	Xsj (u) ¡ a¯ > "g ! 0
Это закон	¯больших чисел Бернулли¯					в предельной форме. Эк-
вивалентная форма:				< "g ! 1			(n ! 1) :
P fu :	¯n¡1	Xsj (u) ¡ a¯
	¯		¯
	¯		¯

2.10.1. Рассмотрим евклидово пространство L20 = L20 (U; p) квадратично суммируемых переменных с нулевыми средними. По определению

hf; gi = E (fg) ; kfk2 = E ¡f2¢ = D (f)

¡f; g 2 L02¢:

Пусть fj (1 6 j 6 n) попарно ортогональные (некоррелированные) переменные из L20 и

XX

gk =		fj;			hk =	fj	(hn = 0) ;
16j6k					k<j6n		X
g = max g					¾2 = D (g	) =		):
			kj	;			D (f
1 k	nj				n		j
6 6							16j6n

Возьмем еще число " > 0 и рассмотрим событие

A = (g > ") = fu : g (u) > "g:

Докажем неравенство

P (A) 6 ¾0="2:

121

Для каждого k = 1; : : : ; n положим:

Ak = fu : jgk (u)j > "; jgj (u)j < " (1 6 j < k)g:

Ясно, что

AkAl = ? (k =6 l) ; gn = gk + hk;

Из попарной ортогональности fj

Akhk:

E (Akgk ¢ Akhk) = 0;

X

A = Ak;

Akgn = Akgk + Akhk:

следует ортогональность Akgk,

Akgk?Akhk:

Используя теорему Пифагора, линейность и монотонность среднего E, получаем:

kAkgnk2 = kAkgkk2 + kAkhkk2 > kAkgkk2 =

= E ¡Akgk2¢ > E ¡"1Ak¢ = "2P (Ak) :

А так как fj попарно ортогональны, то благодаря этому неравенству

Xj

D (fj) = Xj

kfjk2 = kgnk2 = E ¡gn2¢ > E ¡Agn2¢ =

= E Ã

Akgn2!

=

E Akgn2

¢

> "2

X

P (Ak) = "2P (A) :

X

X ¡

k

k

k

Отсюда сразу следует доказываемое неравенство.

Перепишем его в исходных обозначениях:

@

¯

X

¯

A

P

max

f

¯ >

"

1

6

¾2

="2:

(K1)

01

k

n¯

j

6 6

¯

j k

¯

¯1

¯

¯

6 6

¯

122

Это и есть неравенство Колмогорова. При n = 1 и f1 = f ¡ Ef из него получается неравенство Чебышева.

Можно рассматривать попарно некоррелированные перемен-

ные f0

с произвольными средними значениями E f0

= aj. То-

j

j

центрирован-

гда неравенство Колмогорова нужно применять к³

´

ным переменным fj = fj0 ¡ aj, имеющим те же дисперсии:

P 01

6

k

n¯

j

k

j

¡

j

¯

> 1 6

6

¯1

¡

¯

@

¯

X

¢¯

A

max

¯

f0

a

¯

¾2="2:

¯

¯

¯

6 6

¯

2.10.2. Доказанное неравенство (K1) оценивает вероятность P (A) сверху. Другое неравенство Колмогорова оценивает P (A) снизу. Предположим дополнительно, что рассматриваемые переменные fj равномерно ограничены постоянной c > 0: jfj (u)j 6 c

для всех j = 1; : : : ; n и u 2 U. Тогда верно неравенство

@

¯ X

¯

A

P

max

f

¯

>

"

1

>

1

(c + ")2 =¾2:

(K2)

01

6

k

6

n¯

j

¡

¯1 j

k

¯

¯

¯

¯

6 6

¯

Всамом деле, так как A+A0 = U, AA0 = ?, то Agn +A0gn = gn

иAgn?A0gn. Поэтому

Agn

2

=°

gn

2

A°0gn

2k

gn

2

°"2P

°A0

=

kgnk2

= Agn + A0gn

°

2

=

Agnk2

+

°

A0gn

°

2 ;

k k

°

k k ¡

°

°

>

k k ¡

¡ ¢

°

°

= kgnk2 ¡ "2 + "2P (A) :

Вместе с тем по определению множества Ak верно неравенство jAkgk¡1j < " и поэтому

jAkgkj = jAk (gk¡1 + fk)j 6 jAkgk¡1j + jAkfkj 6 " + c:

123

А так как Ak определяется переменными fj с номерами j 6 k, а hk переменными fj с номерами j > k, то Ak?hk и

kAkhkk2 = E ¡akhk2¢ = E (Ak) E ¡hk2¢ = P (A)

°hk2

°:

Кроме того, Ak

Al при k = l и

°

°

?

6

A = XAk;

khkk2 = kgnk2 ¡ kgkk2 6 kgnk2 :

Используя все это, получаем:

kAgnk2 = °

Akgn

°2 = kAkgnk2 = kAkgk + Akhkk2 =

° k

°

k

k

X

X

X

=

°

2

+

°

2

E A g

2

+ E A h

2

X

A °

°

X

¢

¢

X

¡

X

¡

k

g

°k

A

h

kk

=

k k

k k 6

k°kk

k

k

k

X

k

X

k

6 (" + c)2

P (Ak) + kgnk2

k

k

P (Ak) =

= ³(" + c)2 + kgnk2´P (A) :

Сравнивая полученные для kAgnk2 неравенства, находим:

				³	´
		kgnk2 ¡ "2 + "2P (A) 6 (" + c)2 + kgnk2 P (A) ;
	откуда
	P (A)		kgnk2 ¡ "2	= 1		(" + c)2
		> kgnk2 ¡ "2 + (" + c)2			¡ kgnk2 ¡ "2 + (" + c)2 >
						> 1 ¡ (" + c)2 ± kgnk2 :

³´

Неравенство (K2) доказано kgnk2 = ¾2 .

Это неравенство успешно применяется в теоретических рассуждениях.

124

2.10.3. По определению

ps X

¾ = D (gn) =		D (fj)
		16j6n
есть стандарт для суммы gn =	16Pj6n fj, измеряющий ее отклоне-

ние от среднего значения E (gn) = 0. Его удобно использовать в качестве единицы масштаба для измерения этого отклонения.

Пусть t > 0 и " = t¾. Тогда неравенство Колмогорова (K1)

имеет вид:	µ16k6nj	kj >		¶ 6 1=t
P					:
	max g		t¾	2

Его можно переписать в эквивалентной форме:

µ¶

P	max g	kj	< t¾		>	1	¡	1=t2	:
	16k6nj
В частности	µ16k6nj		kj		¶ >
P				< 3¾			0:88:
	max g

Отклонения, меньшие 3¾, можно считать удовлетворительными, а отклонения, большие 3¾, маловероятными.

Подчеркнем, что неравенство max jgkj < " означает выполне-

16k6n

ние всех неравенств jg1j<"; : : : ; jgkj<". А неравенство max jgkj>"

16k6n

выполнение хотя бы одного из неравенств jg1j > "; : : : ; jgkj > ".

2.10.4.Рассмотрим последовательность Бернулли с параметрами n, a. Пусть как и прежде переменная sj описывает по-

явление единицы на j-м месте: sj (u) = uj для u = u1 : : : un и j = 1; : : : ; n. Тогда E (sj) = a и D (sj) = a (1 ¡ a). Введем кроме обычной частоты еще взвешенные частоты появления единиц:

¡	¢	X	X
º (k; n) = kn¡1	k¡1	sj = n¡1	sj (k = 1; : : : ; n) :
		16j6k	16j6k
		125

Из неравенства Колмогорова следует усиленное неравенство

Бернулли		¶ 6 a (1 ¡ a) = ¡n"		¢
P µ16k6nj	¡ j >		2		:
max º (k; n)	a	"

Оно оценивает вероятность того, что хотя бы одно отклонение jº(k; n) ¡ aj > " взвешенной частоты º (k; n) от вероятности a больше ". (В частности, и отклонения jº (k; n) ¡ aj > " для частоты º (n; n), вероятность которого оценивает обычное неравенство

Бернулли из 1.10.3.)

£

¡

¢¤

¡

. Из

Пусть ® > 0 и n (") =

a (1 ¡ a) = ®"2

целая часть числа

a (1 a) =

®"2

усиленного неравенства Бернулли следует, что

при всех

n > n (")

вероятность отклонения j

º (k; n)

¡

a

j >

"

для

¡

¢

хотя бы одного k меньше ®.

Из усиленного неравенства Бернулли следует, что при каждом

" > 0	µ16k6nj					¶
P		º (k; n)	¡		j >		!	0	(n ! 1) :
	max			a		"

Это усиленный закон больших чисел в форме Бернулли. Он уточняет связь между частотой появления данного события в последовательности независимых испытаний, произведенных в одинаковых условиях, и вероятностью этого события. Вероятность события служит мерой его реализуемости.

126

3.Непрерывные вероятностные пространства

Вэтих пространствах множеством исходов служит множество U = R вещественных чисел, а роль элементарной вероятности играет положительная нормированная интегрируемая функция p : U ! R, называемая плотностью. Элементарным такое пространство предлагается называть в связи с использованием элементарного математического аппарата.

Основная цель главы показать аналогию между дискретным и непрерывным случаями. Поэтому она написана бегло. Общий случай подробно рассматривается в [7]. Он опирается на общую теорию меры и интеграла.

3.1.Плотность

Плотность является основным понятием элементарного вероятностного пространства.

3.1.1. Будем называть плотностью каждую положительную интегрируемую функцию p : U ! R такую, что

Z

p (u) du = 1

(u 2 U) :

Множество U = R вещественных чисел и плотность p : U ! R составляют элементарное вероятностное пространство (U; p). Если p (u) > 0 для всех u 2 U, то плотность p и пространство (U; p)

называют невырожденными.

Выделяются ступенчатые плотности, тесно связанные с элементарными вероятностями.

Рассмотрим последовательность чисел an 2 R и последовательность попарно непересекающихся ограниченных интервалов

127

Xn µ R. Они определяют на R ступенчатую функцию

X ³ X ´ f = anXn; f (u) = an (u 2 Xn) ; f (u) = 0 u 2= Xn :

Ступенчатая функция не имеет сложных разрывов и может быть интегрируема.

Обозначим ¢ (Xn) длину интервала Xn. Если ряд (an¢ (Xn)) суммируем, то функция f интегрируема и

ZX

f =	an¢ (Xn) :
Если	Xan¢ (Xn) = 1;
an > 0;

то функция f является плотностью.

Выпуклую комбинацию ®p + ¯q (® > 0, ¯ > 0, ® + ¯ = 1) плотности p и плотности q условимся называть их смесью.

3.1.2. Рассмотрим примеры. Для ступенчатых плотностей они являются модификациями примеров 1 – 4 дискретных распределений из 2.1.2.

Пример 1. Ступенчатое геометрическое распределение с параметром a 2]0; 1[ описывается плотностью p, имеющей значения

p (u) = a (1 ¡ a)n		(u 2 [n; n + 1[) ; p (u) = 0 (u < 0) ;
и интеграл	Z p =	Xp (n) = a X(1 ¡ a)n = 1:

Пример 2. Ступенчатое распределение Паскаля с параметрами a 2]0; 1[, m 2 N описывается плотностью p, имеющей значения

m	¡	1	¶am(1 ¡ a)n (u 2 [n; n + 1[); p (u) = 0 (u < 0);
p (u) = µn + n
			128

и интеграл

Z p = Xp (n) = am Xµ¡m¶(¡ (1 ¡ a))n = 1:

n n

Пример 3. Ступенчатое логарифмическое распределение с

параметром a 2]0; 1[ описывается плотностью p, имеющей значения

p (u) = ¡ (1 ¡ a)n	(n log a) (u 2 [n; n + 1[); p (u) = 0 (u < 1);
и интеграл	±

Z X X

p = p (n) = ¡ ((1 ¡ a)n =n) = log a = log a= log a = 1:

Пример 4. Ступенчатое распределение Пуассона с параметром a > 0 описывается плотностью p, имеющей значения

p (u) = (an=n!) e¡a (u	2	[n; n + 1[) ; p (u) = 0 (u < 0) ;
и интеграл
Z p = Xp (n) = e¡a X(an=n!) = e¡aea = 1:

Пример 5. Равномерное распределение на отрезке [a; b] µ R

(a < b) задается плотностью p, имеющей значения

p (u) =		1		(u 2 [a; b]) ;	p (u) = 0 (u 2= [a; b]) :
	(b	¡	a)

Данное распределение также ступенчатое. Описывается равномерное распределение единицы массы на отрезке [a; b].

Пример 6. Треугольное распределение на отрезке [a; b] µ R

(a < b) задается плотностью p, имеющей значения

p (u) = (b

¡

a) µ1 ¡

(b

¡

a)

¯a

2

¡ u¯¶

(u 2 [a; b]) ;

¯

+ b

¯

p (u) = 0

4

1

¯

¯

(u = [a; b]) :

¯

¯

2

129