gumen_kurs / Теория / mono_a4 / MONO_A4

5.6Теорема Пуассона для схемы Бернулли

Предположим, нам нужна вероятность получить не менее десяти успехов в 1000 испытаний схемы Бернулли с вероятностью успеха 0.003. Вероятность этого события равна любому из следующих выражений:

1000			9
X	(0:003)k (0:997)1000 k = 1		X	(0:003)k (0:997)1000 k;
Ck			Ck
1000			1000
k=10			k=0

и вычисление даже одного слагаемого в каждом из этих выражений весьма проблематично.

Сформулируем теорему о приближенном вычислении вероятности какого-либо числа успехов в большом числе испытаний схемы Бернулли с маленькой вероятностью успеха. Термин «большое число» должен означать n ! 1. Если при этом p = pn 6!0, то, очевидно, вероятность получить любое конечное число успехов при растущем числе испытаний стремится к нулю. Необходимо чтобы вероятность успеха p = pn ! 0 одновременно с ростом числа испытаний. Но от испытания к испытанию вероятность успеха меняться не может (см. определение схемы Бернулли).

Поэтому рассмотрим «схему серий»: есть

одно испытание		с вероятностью успеха p1
два испытания	,	с вероятностью успеха p2
: : :	, : : : ,	: : :
n испытаний		с вероятностью успеха pn
: : :		: : :

Вероятность успеха меняется не внутри одной серии испытаний, а от серии к серии, когда меняется общее число испытаний. Обозначим через n число успехов в n-й серии испытаний.

Теорема 16 (Теорема Пуассона).

Пусть n ! 1, pn ! 0 òàê, ÷òî npn ! > 0. Тогда для любого k > 0 вероятность полу- чить k успехов в n испытаниях схемы Бернулли с вероятностью успеха pn стремится

к величине k e : k!

P(

= k) = Ck pk

(1

p

)n k

!

k

e

ïðè n

! 1

; p

!

0

òàê, ÷òî np

n !

> 0:

k!

n

n n

n

n

Доказательство.

Положим n = n pn ! > 0. По свойству 4, Cnk

nk

при фикси-

k!

рованном k и при n ! 1. Тогда

n k

k

Ck pk

(1

p

)n k = Ck

nk

1

n

6nk

nk

1

n

n

1

n

k

e : (8)

n

k! nk

n

n

!

k!

n n

n

n nk

6

|

{z

}|

{z

}

#

#

e

1

В (8) мы использовали свойства nk ! k è 1

n

n

! e . Докажем последнее свой-

n

ñòâî:

n

n

n

n

n2

ln 1

= n ln 1

= n

+ O

! :

n

n

n

n2

Для доказательства теоремы осталось в формуле (8) воспользоваться свойством 5.

30

Определение 23. Пусть > 0 — некоторая постоянная. Набор чисел

k
k! e ; k = 0; 1; 2; : : :

называется распределением Пуассона с параметром .

Пользуясь теоремой 16, можно приближенно посчитать вероятность получить не менее десяти успехов в 1000 испытаний схемы Бернулли с вероятностью успеха 0.003, с вычисления которой мы начали. Поскольку n = 1000 «велико», а pn = 0:003 «ìàëî», òî, âçÿâ = npn = 3, можно написать приближенное равенство

9

9

3k

1

3k

X

X

X

1

Ck

(0:003)k (0:997)1000 k

1

e 3 =

e 3

=

1000

k!

k=10

k!

k=0

k=0

=

табличное значение

3(10) 0; 001: (9)

Осталось решить, а достаточно ли n = 103 «велико», а pn = 0:003 «мало», чтобы заме-

нить точную вероятность P( n = k) на приближенное значение k e . Для этого нужно уметь оценивать разницу между этими двумя вероятностями. k!

Следующую очень полезную теорему мы докажем в конце курса.

Теорема 17 (Теорема Пуассона с оценкой погрешности).

Пусть A f0; 1; 2; : : : ; ng — произвольное множество целых неотрицательных чисел, n — число успехов в n испытаниях схемы Бернулли с вероятностью успеха p, = n p. Тогда

P( n 2 A)

k!

e

=

Cnk pk (1 p)n k

k!

e

6 np2 = n

:

k A

k

k A

k A

k

2

X

X

X

2

2

2

Таким образом, теорема 17 предоставляет нам возможность самим решать, достаточно ли n «велико», а p «мало», руководствуясь полученной величиной погрешности. Какова же погрешность в формуле (9)?

1

3k

9

!

1 3k

P( 1000 > 10)

e 3

=

1

C1000k (0:003)k (0:997)1000 k

e 3

6

k!

k=10

k!

k=10

k=0

X

X

X

2

np

= 0;009

:

6

Погрешность не более 0,009 (при вероятности около 0,001 :-) ). Во всяком случае, можно утверждать, что искомая вероятность никак не больше, чем 0,01=0,001+0,009.

31

Раздел 6. Случайные величины и их распределения

6.1Случайные величины

Мы уже видели, что для очень многих экспериментов нет никаких различий в под- счете вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов. Поэтому пора во всех таких «похожих» экспериментах вместо самых разных элементарных исходов использовать, например, числа. То есть ввести соответствие (иначе говоря, отображение) между элементарными исходами и вещественными числами (с ними удобно работать).

Пусть имеется случайный эксперимент и задано вероятностное пространство h ; F; Pi.

Определение 24. Функция : ! R называется случайной величиной, если для любого x 2 R множество f < xg = f! : (!) < xg является событием, то есть принадлежит-алгебре событий F.

Замечание 9. Читатель, не желающий забивать себе голову абстракциями, связанными с -алгебрами событий и с измеримостью, может смело считать, что любое множество элементарных исходов есть событие, и, следовательно, случайная величина есть произвольная функция из в R. Никаких неприятностей на практике это обычно не влечет, так что все дальнейшее в этом параграфе можно пропустить. Полезно, тем не менее, помнить: каждая такая «уступка» себе существенно снижает ваши адаптивные способности к жизни.

Определение 25. Будем говорить, что функция : ! R является F-измеримой, если f! : (!) < xg принадлежит F для любого x 2 R.

Итак, случайная величина есть F-измеримая функция, ставящая в соответствие каждому элементарному исходу ! 2 число (!) 2 R.

Пример 23. Подбрасываем 1 раз кубик. Пусть = f1; 2; 3; 4; 5; 6g, и две функции из

в R заданы так: (!) = !, (!) = !2.

Если F есть множество всех подмножеств , то и являются случайными вели- чинами, поскольку любое множество элементарных исходов принадлежит F, в том числе и f! : (!) < xg или f! : (!) < xg. Можно записать соответствие между значениями случайных величин и и вероятностями принимать эти значения в виде «таблицы распределения вероятностей» или, коротко, «таблицы распределения»:

	1	2	3	4	5	6			1	4	9	16	25	36
P	1	1	1	1	1	1		P	1	1	1	1	1	1
	6	6	6	6	6	6			6	6	6	6	6	6

Здесь 16 = P( = 1) = : : : = P( = 6) = P( = 1) = : : : = P( = 36).

Пусть -алгебра событий F состоит всего из четырех множеств:

F = ; ?; f1; 3; 5g; f2; 4; 6g ;

то есть событием является, кроме достоверного и невозможного событий, выпадение четного (соответственно, нечетного) числа очков. Убедимся, что при такой «бедной» -алгебре ни , ни не являются случайными величинами, так как эти функции не F-измеримы. Возьмем (например) x = 3;967. Видим, что f! 2 : (!) < 3;967g = f1; 2; 3g 62F и f! 2 : (!) < 3;967g = f1g 62F.

Упражнение. Описать класс всех функций, измеримых относительно -алгебры

F = ; ?; f1; 3; 5g; f2; 4; 6g .

32

Пусть -алгебра событий F есть тривиальная -алгебра : F = f ; ?g.

Доказать, что и не являются случайными величинами, так как эти функции не F-измеримы.

Доказать, что измеримы относительно тривиальной -алгебры только функции вида

(!) = c (постоянные).

Теперь попробуем понять, зачем нужна F-измеримость и почему требуется, чтобы f! : (!) < xg являлось событием.

Если задана случайная величина , нам может потребоваться вычислить вероятности типа P( = 5) = Pf! : (!) = 5g, P( 2 [ 3; 7]), P( > 3;2), P( < 0) (и вообще самые разные вероятности попадания в различные множества на прямой). Это возможно только если множества, стоящие под знаком вероятности, являются событиями (напомню, что вероятность есть функция из -алгебры событий в [0,1]).

Но если потребовать, чтобы Ax = f! : (!) < xg было событием при любом x, то мы

из свойств -алгебры сразу получим, что
è		x = f! : (!) > xg — событие, и f! : x1 6 (!) < x2g = Ax2 nAx1	— событие,
	A
	1
		n\
è	Bx = f! : (!) 6 xg = Ax+ n1 — событие,
	=1
è	f! : (!) = xg = BxnAx — событие,		(10)

и т.д., и т.п. (операции пересечения, объединения, дополнения событий не выводят из класса событий).

Можно потребовать в определении 24 чего-нибудь другого. Например, чтобы событием было попадание в любой интервал: f! : (!) 2 (a; b)g 2 F для любых a < b. Или чтобы f! : (!) > xg было событием для любого x. Любое такое определение эквивалентно исходному.

Замечание 10. Те, кто не поленился прочесть про борелевскую -алгебру в разделе 3.3, могут сформулировать все наши потребности так: мы хотим, чтобы попадание в любое борелевское множество являлось событием. Мы могли это потребовать в определении, но ограничились эквивалентным условием, чтобы попадание в любой открытый интервал ( 1; x) было событием. Эти условия эквивалентны, поскольку борелевская-алгебра порождается интервалами, что мы еще раз показали в формулах (10).

Опишем различные типы распределений случайных величин. Под распределением случайной величины мы будем понимать соответствие

«значение случайной величины $ вероятность принимать это значе-

íèå»,

ëèáî (÷àùå)

«множество на прямой $ вероятность случайной величине попасть в это множество».

6.2Дискретные распределения

Определение 26. Говорят, что случайная величина имеет дискретное распределение, если существует конечный или счетный набор чисел fa1; a2; : : : g такой, что:

		1
à) pi = P( = ai) > 0 äëÿ âñåõ i;	á)	P pi = 1.
		i=1

То есть случайная величина имеет дискретное распределение, если она принимает не более чем счетное число значений.

Определение 27. Если случайная величина имеет дискретное распределение, назовем таблицей распределения соответствие ai $ pi, которое чаще всего рисуют так:

33

a1 a2 a3 : : :

Pp1 p2 p3 : : :

Примеры дискретных распределений

Вырожденное распределение.

Говорят, что случайная величина имеет вырожденное распределение с параметром a, и пишут = Ia, если принимает единственное значение a с вероятностью

	1, то есть P( = a) = 1. Таблица распределения имеет вид		a
		P	1

Распределение Бернулли.

Говорят, что случайная величина имеет распределение Бернулли с параметром p, и пишут = Bp, если принимает значения 1 и 0 с вероятностями p и 1 p, соответственно. Случайная величина с таким распределением равна числу успехов в одном испытании схемы Бернулли с вероятностью успеха p (0 успехов

	или 1 успех). Таблица распределения имеет вид		0	1
		P	1 p	p

Биномиальное распределение.

Говорят, что случайная величина имеет биномиальное распределение с параметрами n и p, где 0 6 p 6 1, и пишут = Bn;p, если принимает значения 0; 1; : : : ; n с вероятностями P( = k) = Cnkpk(1 p)n k. Случайная величина с таким распределением имеет смысл числа успехов в n испытаниях схемы Бернулли с вероятностью успеха p.

Таблица распределения имеет вид
			1		: : :		k		: : :		n
		0
	P	(1 p)n	np(1 p)n 1		: : :		Cnkpk(1 p)n k		: : :		pn

Геометрическое распределение.

Говорят, что случайная величина имеет геометрическое распределение с пара-

метром p, где 0 6 p	6 1, и пишут = Gp, если принимает значения 1; 2; 3; : : :
с вероятностями P(	= k) = p(1 p)k 1. Случайная величина с таким распре-

делением имеет смысл номера первого успешного испытания в схеме Бернулли с вероятностью успеха p.

	Таблица распределения имеет вид		1	2	: : :	k	: : :
		P	p	p(1 p)	: : :	p(1 p)k 1	: : :

Распределение Пуассона.

Говорят, что случайная величина имеет распределение Пуассона с параметром ,

где > 0, и пишут = , если принимает значения 0; 1; 2; : : : с вероятностями

P( = k) = k e . k!

		0	1	: : :		k		: : :
Таблица распределения имеет вид						k
	P	e	e	: : :			e	: : :
						k!

Гипергеометрическое распределение.

Говорят, что случайная величина имеет гипергеометрическое распределение с

параметрами n, N и K, где K6N, n6N, если принимает целые значения от

Ck Cn k

maxf0; N K ng до minfn; Kg с вероятностями P( = k) = K N K . Случайная

CNn

величина с таким распределением имеет смысл числа белых шаров среди n шаров,

34

выбранных наудачу и без возвращения из урны, содержащей K белых шаров и N K

не белых.

Таблицу распределения читатель может нарисовать самостоятельно.

Заметьте, что со всеми этими распределениями мы уже хорошо знакомы.

Но распределения случайных величин далеко не исчерпываются дискретными распределениями. Так, например, если точка бросается наудачу на отрезок [0,1], то можно задать случайную величину, равную координате этой точки. Но число значений этой случайной величины не счетно, так что ее распределение дискретным не является. Да и вероятность этой случайной величине принять каждое из своих возможных значений (попасть в точку) равна нулю. Так что не только таблица распределения не существует, но и соответствие «значение величины $ вероятность его принять» ничего не говорит о распределении случайной величины.

Какими же характеристиками еще можно описать распределение?

35

Раздел 7. Функция распределения

Заметим, что на том же отрезке [0,1] вероятности попадания в множества положительной меры совсем не нулевые. И термин «наудачу» мы когда-то описывали как раз в терминах вероятностей попадания в множества.

Может быть, разумно описать распределение случайной величины, задав для любого множества вероятность принять значения из этого множества? Это действительно полная характеризация распределения, но уж очень трудно с ней работать — слишком много множеств на прямой.

Нельзя ли обойтись заданием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Оказывается, что можно ограничиться только вероятностями попадания в интервалы ( 1; x) для всех x 2 R, с помощью которых можно будет определить и вероятность попасть в любое другое множество.

Замечание 11. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы ( 1; x], или в (x; 1), или в [x; 1), или в (x1; x2). Впрочем, последних уже слишком много.

Определение 28.

Функцией распределения случайной величины называется функция F (x) : R ! [0; 1], при каждом x 2 R равная

F (x) = P( < x) = Pf! : (!) < xg:

Пример 24. Случайная величина имеет вырожденное распределение Ic. Тогда

				6F (x)
			1
F (x) = P( < x) = P(c < x) =	(1;	x > c:		q	b
	0;	x 6 c;
					cr		-x

Пример 25. Случайная величина имеет распределение Бернулли Bp. Тогда

							6F (x)
	>						b
F (x) = P( < x) =				p; 0 < x 6 1	1 p				r
	81								b
		0;		x 6 0;
	<1;			x > 1:			r	1		-
	>									x
	:

Пример 26. Будем говорить, что случайная величина имеет равномерное распределение на отрезке [a; b] и писать = Ua;b (“uniform”), если — координата точки, брошенной наудачу на отрезок [a; b] числовой прямой. Это распределение можно задать и с помощью функции распределения:

F (x) = P( < x) =	8x a			; a x b	1	6F (x)
	0;			x < a;
	> b a			6 6
	>
	<			x > b:					-
	>1;					a	b		x
	>
	:

Упражнение 8. Построить графики функций распределения для распределения Пуассона, биномиального и геометрического распределения.

36

7.1Свойства функции распределения

Теорема 18.

Функция распределения F (x) обладает следующими свойствами:

F1) Функция распределения F (x) не убывает: если x1 < x2; òî F (x1) 6 F (x2);

F2) Существуют пределы lim	F (x) = 0 è lim F (x) = 1.
x! 1	x!1
F3) Функция распределения	F (x) непрерывна слева:	F (x0 0) =
limx!x0 0 F (x) = F (x0).

Доказательство свойства (F1).

Åñëè x1 < x2, òî f < x1g f < x2g. Поэтому F (x1) = Pf < x1g 6 Pf < x2g = F (x2).

Доказательство свойства (F2).

Замечание 12. Если ряд, составленный из неотрицательных слагаемых ai, сходит-

			1	def		nlim	n	< 1, то «хвост» ряда стремится к нулю:
ся, то есть существует				ai	=		ai
	1		=1			!1	i=1
			iP				P
lim		ai = 0.
n	=n
	!1 iP
	Замечание 13. Существование пределов в свойствах (F2), (F3) вытекает из монотон-
ности		и ограниченности		функции F (x).				Òàê ÷òî	остается доказать равенства
	lim F (x) = 0, lim F (x) = 1 è					lim F (x) = F (x0).
x! 1		x!1			x!x0 0
	Замечание 14.		Если существует lim f(x), то для произвольной последовательности
						x!a
fxng такой, что xn ! a имеет место равенство xlim f(x) = nlim f(xn).
								!1	!1
	Ïî	замечанию	14, äëÿ	доказательства				lim F (x) =	0 достаточно доказать, что
							x! 1

F ( n) ! 0 ïðè n ! 1.

Представим событие f < 17g (например) как счетное объединение событий:

f < 17g = : : : [ f 20 6 < 19g [ f 19 6 < 18g [ f 18 6 < 17g =

1

[

= f i 1 6 < ig:

i=17

Используя -аддитивность вероятности, и помня, что Pf < 17g 6 1, получим:

1	1
iX	X
Pf < 17g = Pf i 1 6 < ig 6 1; и, по замечанию 12,	Pf i 1 6 < ig ! 0:
=17	i=n
Íî
1
X

Pf i 1 6 < ig = Pf < ng = F ( n);

i=n

и сходимость F (x) к нулю при x ! 1 доказана.

Итого: есть ряд, составленный из вероятностей, сумма которого тоже есть вероятность и, следовательно, конечна. А из того, что ряд сходится, по замечанию 12 вытекает сходимость «хвоста» ряда к нулю. Осталось посмотреть на этот хвост и убедиться,

37

что он равен как раз той вероятности, сходимость к нулю которой нам нужно доказать.

Точно так же докажем и остальные свойства.

По замечанию 14, для доказательства lim F (x) = 1 достаточно доказать, что F (n) !

x!1

1 ïðè n ! 1, èëè ÷òî 1 F (n) = P( > n) ! 0.

Представим событие f > 11g (например :-) как счетное объединение событий:

1

f > 11g = f11 6 < 12g [ f12 6 < 13g [ f13 6 < 14g [

i[

: : : =

fi 6 < i + 1g:

=11

В силу -аддитивности вероятности,

1

1

X

и, по замечанию 12,

Xi

< i + 1g ! 0:

Pf > 11g = Pfi 6 < i + 1g 6 1;

Pfi 6

i=11

=n

Íî

1

X

Pfi 6 < i + 1g = Pf > ng = 1 F (n);

i=n

и сходимость F (x) к единице при x ! 1 доказана.

Доказательство свойства (F3).

1

Согласно замечанию 14, достаточно доказать, что F x0

! F (x0) ïðè n ! 1. Èëè,

n

что то же самое, доказать, что

1

1

1

F (x0) F x0

= P( < x0) P

< x0

= P x0

6

< x0

! 0:

(11)

n

n

n

Представим событие f < x0g как счетное объединение событий:

f < x0g =

1

1

1

1

1

= f < x0 1g[ x0 1 6 < x0

[ x0

6 < x0

[ x0

6 < x0

[: : : =

2

2

3

3

4

= f < x0 1g [

1

1

6

1

:

i=1

x0 i

< x0 i + 1

В силу -аддитивности вероятности,

[

1

1

1

Pf < x0g = Pf < x0 1g + i=1 P

x0 i 6

< x0 i + 1 6 1;

поэтому снова

X

1

1

1

! 0:

i=n P

x0 i

6 < x0 i + 1

X

1

1

1

1

Íî

i=n P

x0

6

< x0

= P

x0

6 < x0

,

и эта вероятность, как мы

i

i + 1

n

только что видели, стремится к нулю с ростом n. Тогда, по (11), F

(x)

F

(x )

ïðè

P

!

0

x ! x0 0 (непрерывность слева).

Следующая теорема говорит о том, что три доказанных свойства полностью описывают класс функций распределения. То, что любая функция распределения ими обладает,

38

мы с вами доказали, а теорема утверждает, что любая функция с такими свойствами есть функция распределения.

Теорема 19. Если функция F : R ! [0; 1] удовлетворяет свойствам (F1)–(F3), òî F есть функция распределения некоторой случайной величины , то есть найдется вероятностное пространство h ; F; Pi и случайная величина на этом пространстве, что

F (x) F (x).

Эту теорему мы доказывать не станем. Хотя ее можно попробовать доказать конструктивно — предъявив то вероятностное пространство (проще всего отрезок = [0; 1] с -алгеброй борелевских множеств и мерой Лебега :-) и ту случайную величину, о существовании которых идет речь. Непременно попробуйте сделать это! Например, можно попробовать, не подойдет ли (!) = supfx : F (x) < !g.

Прочие полезные свойства функций распределения
F4) В любой точке x0 разница	F (x0+0) F (x0) равна					P( = x0):
	lim F	(x)		F	(x ) = P( = x		);	или, иначе,
F (x0+0) F (x0) = x x0+0					0	0
	!
F (x0+0) = lim	F (x) = F (x0) + P( = x0) = P( 6 x0):
x!x0+0

Упражнение 9. Докажите сами (точно так же, как мы доказывали (F2) è (F3)).

Заметим, что разница F (x0+0) F (x0) между пределом при стремлении к x0 справа и значением в точке x0 есть величина скачка функции распределения, и равна нулю, если функция распределения непрерывна (справа) в точке x0. Слева, напомню, функция распределения непрерывна всегда.

Следствие 4. Если функция распределения F (x) непрерывна в точке x0, òî

P( = x0) = 0:

F5) Для любой случайной величины имеет место равенство P(a 6 < b) = F (b) F (a).

Если же функция распределения F (x) непрерывна (для любого x, или только в точках a и b), то

P(a 6 < b) = P(a < < b) = P(a 6 6 b) = P(a < 6 b) = F (b) F (a):

Доказательство. Доказывать нужно только равенство P(a 6 < b) = F (b) F (a), поскольку все остальные равенства следуют из него с учетом следствия 4. Напомню, что этим равенством мы уже много раз пользовались, доказывая свойства (F2), (F3).

Заметим, что f < ag [ fa 6 < bg = f < bg, и первые два события несовместны. Поэтому

Pf < ag + Pfa 6 < bg = Pf < bg;

или F (a) + Pfa 6 < bg = F (b), что и требовалось доказать.

Функция распределения дискретного распределения

Мы уже видели, как выглядят функции распределения некоторых дискретных распределений.

Из свойств (F4), (F5) следует

39