gumen_kurs / Теория / mono_a4 / MONO_A4

достаточно доказать первое утверждение свойства 20 при c = 1, а второе утверждение

— ïðè c = 0.

p

Докажем второе утверждение, оставив первое читателю. Пусть n ! 0 è n ) . Докажем, что n + n ) . Пусть x0 — точка непрерывности функции распределения F (x). Требуется доказать, что тогда имеет место сходимость F n+ n (x0) ! F (x0). Зафиксируем достаточно маленькое " > 0 такое, что F (x) непрерывна в точках x0 ".

F n+ n (x0) = P( n + n < x0) = P( n + n < x0; j nj > ") + P( n + n < x0; j nj 6 ") = P1 + P2:

Оценим P1 + P2 сверху и снизу. Для P1 имеем: 0 6 P1 = P( n + n < x0; j nj > ") 6 P(j nj > "); и последняя вероятность может быть выбором n сделана сколь угодно малой.

Äëÿ P2, с одной стороны,

P2 = P( n + n < x0; " 6 n 6 ") 6 P( " + n < x0) = P( n < x0 + "):

Здесь первое неравенство следует из очевидного соображения:

если " 6 n и n + n < x0, то, тем более, " + n < x0. С другой стороны,

P2 = P( n + n < x0; " 6 n 6 ") > P(" + n < x0; " 6 n 6 ") >

> P(" + n < x0) P(j nj > ") = P( n < x0 ") P(j nj > "):

Здесь первое неравенство объясняется включением f" + n < x0g \ f " 6 n 6 "g f n + n < x0g \ f " 6 n 6 "g — просто заменим в событии f" + n < x0g число " на n, òàê êàê n 6 ". Второе неравенство следует из свойств:

P(AB) 6 P(B); поэтому P(AB) = P(A) P(AB) > P(A) P(B):

Итак, мы получили оценки снизу и сверху для P1 + P2, òî åñòü äëÿ F n+ n (x0):

P( n < x0 ") P(j nj > ") 6 F n+ n (x0) 6 P(j nj > ") + P( n < x0 + ");

èëè

F n (x0 ") P(j nj > ") 6 F n+ n (x0) 6 P(j nj > ") + F n (x0 + "):

Устремляя n к бесконечности, и вспоминая, что x0 " — точки непрерывности функции распределения F , получим

F (x0 ") 6 limF n+ n (x0) 6 limF n+ n (x0) 6 F (x0 + "):

И поскольку эти неравенства верны для любого достаточно малого ", а x0 — точка непрерывности функции F , то, устремив " к нулю, получим, что нижний и верхний пределы F n+ n (x0) при n ! 1 совпадают и равны F (x0).

Несколько содержательных примеров слабой сходимости мы рассмотрим в следующей главе. Но основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределений сумм независимых и одинаково распределенных случайных величин предоставляет нам

Ö Å Í Ò Ð À Ë Ü Í À ß Ï Ð Å Ä Å Ë Ü Í À ß Ò Å Î Ð Å Ì À

14.3Центральная предельная теорема

Мы будем называть следующее утверждение «ЦПТ А. М. Ляпунова» (1901), но сформулируем и докажем теорему Ляпунова только в частном случае — для последо-

80

вательности независимых и одинаково распределенных случайных величин.

Теорема 32 (ЦПТ).

Пусть 1; 2; : : : — независимые и одинаково распределенные случайные вели- чины с конечной и ненулевой дисперсией: 0 < D 1 < 1. Обозначим через Sn сумму первых n случайных величин: Sn = 1 +: : :+ n. Тогда последовательность

Sn n E 1

ñ. â. p слабо сходится к стандартному нормальному распределению. n D 1

Пользуясь определением и свойствами слабой сходимости, и заметив, что функция распределения a; 2 (x) любого нормального закона непрерывна всюду на R (почему?), утверждение ЦПТ можно сформулировать любым из следующих способов:

Следствие 19. Пусть 1; 2; : : : — независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией. Следующие утверждения эквивалентны друг другу и равносильны утверждению ЦПТ.

Для любых вещественных x < y ïðè n ! 1 имеет место сходимость

pn D 1

!

0;1

0;1

y

p2

Zx

P

x <

Sn n E 1

< y

(y)

(x) =

1

e

t2=2 dt;

Для любых вещественных x < y ïðè n ! 1 имеет место сходимость

6

pn D 1

6

!

0;1

0;1

y

p2

Zx

P

x

Sn n E 1

y

(y)

(x) =

1

e

t2=2 dt;

Для любых вещественных x < y ïðè n ! 1 имеет место сходимость

P	x 6	n pn	1	6 y
	S	n E

! 0;D 1	(y) 0;D 1		y	p2	e t	=2 dt;
		(x) = pD 1 Zx
		1		1	2

Если — произвольная с. в. со стандартным нормальным распределением, то

pn D 1			)		0;1				n
Sn n E 1				= N			p		Sn
						;		n

E 1	= Sn pn		1	) pD 1 = N0;D 1 :
		n E

Замечание 25. Еще раз напомним, что функция распределения стандартного нормального закона ищется либо по соответствующей таблице в справочнике, либо с помощью какого-либо программного обеспечения, но никак не путем нахождения первообразной.

Мы докажем ЦПТ и ЗБЧ в форме Хинчина несколькими главами позднее. Нам потребуется для этого познакомиться с мощным математическим инструментом, который в математике обычно называют «преобразованиями Фурье», а в теории вероятностей

— «характеристическими функциями».

14.4Предельная теорема Муавра — Лапласа

Получим в качестве следствия из ЦПТ предельную теорему Муавра — Лапласа (P. S. Laplace, 1812; A. de Moivre, 1730). Подобно ЗБЧ Бернулли, предельная теорема Муавра – Лапласа — утверждение только для схемы Бернулли.

81

(

1; если A произошло в i м испытании;

0; если A не произошло в i м испытании;

Теорема 33 (Предельная теорема Муавра — Лапласа).

Пусть A — событие, которое может произойти в любом из n независимых испытаний с одной и той же вероятностью p = P(A). Пусть n(A) — число

осуществлений события A â n испытаниях. Тогда

n(A) np

) N0;1. Иначе

x < y

n

np(1 p)

говоря, для любых вещественных

ïðè

! 1

p

P x 6 nnp(1 p) 6 y!

! 0;1

(y) 0;1(x) =

y

e t

=2 dt;

Z

p2

(A)

np

1

2

p

x

Доказательство. По-прежнему n(A) есть сумма независимых, одинаково распределенных с. в., имеющих распределение Бернулли с параметром, равным вероятности успеха p = P(A):

n(A) = 1 + + n; i = Ii(A) =

E 1 = P(A) = p; D 1 = P(A)(1 P(A)) = p(1 p):

Осталось воспользоваться ЦПТ.

14.5Примеры использования ЦПТ

Пример 50.

З а д а ч а из примера 48. Монета подбрасывается 10 000 раз. Оценить вероятность того, что частота выпадения герба отличается от вероятности более чем на одну сотую.

Р е ш е н и е. Требуется найти P n

2

> 0;01 , ãäå n = 104, n =

i=1 i = Sn —

n

1

P

n

число выпадений герба, а i — независимые

ñ.

в., имеющие одно и то же распределение

Бернулли с параметром 1/2. Домножим

обе части

неравенства под знаком вероятности

íà p

= 100 и поделим на корень из дисперсии p

= 1=2 одного слагаемого.

n

D 1

P n

2

> 0;01 = 1 P n 2

6 0;01

=

n

1

n

1

p

Sn

p

p

Sn

n

n

n

= 1

P

E

1

6 0;01

= 1

P

E 1

6 2 :

n

n

pD 1

pD 1

pD 1

Согласно ЦПТ или предельной теореме Муавра — Лапласа, последовательность

n

1

pn D 1

pD 1

pn Sn

E

=

Sn n E 1

слабо сходится к стандартному нормальному распределению. Рассмотрим произвольную с. в. , имеющую распределение N0;1.

1 P	pD					n	E 1 6 2
			1
		pn				n

1 P (j j 6 2) = 1 (1 2 0;1( 2)) = 2 0;1( 2) = 2 0:0228 = 0:0456:

Равенство P (j j 6 2) = 1 2 0;1( 2) следует из свойства 10.

82

Замечание 26. Центральной предельной теоремой пользуются для приближенного вычисления вероятностей, связанных с суммами большого числа независимых и одинаково распределенных величин. При этом распределение центрированной и нормированной суммы заменяют на стандартное нормальное распределение. Насколько велика ошибка при такой замене (погрешность приближения)?

Упражнение 28. Какие еще предельные теоремы для схемы Бернулли вы знаете? Что такое теорема Пуассона? Найти ее. Какова погрешность пуассоновского приближения? Вычислить ее. Объяснить, исходя из полученной величины, почему теорема Пуассона не применима в задаче из примера 50.

Âпримере 50 мы вычислили искомую вероятность тоже не точно, а приближенно

—взгляните на равенство « » и спросите себя: насколько мы ошиблись? Стоит ли доверять ответу «0.0456»? Что, если разница между вероятностями в приближенном равенстве « » превосходит ответ на порядок? Следующий результат позволяет оценить погрешность приближения в ЦПТ.

Теорема 34 (Неравенство Берри – Эссеена)´

.

В условиях ЦПТ для любого x 2 R (то есть равномерно по

x)

P

Sn n E 1

< x

(x)

6

C

E j 1

E 1j3

:

0;1

pn

pn D 1

pD 1

3

Замечание 27.

Про постоянную C известно, что:

а) в общем случае C не превышает 0:7655 (И. С. Шиганов),

б) погрешность приближения наиболее велика, если слагаемые i имеют распреде-
	p		+ 3
ление Бернулли, и C в этом случае не меньше, чем		10				0:4097 (C. G. Esseen,
	6p
				2

Б. А. Рогозин),

в) как показывают расчеты, можно смело брать в качестве C число 0:4 — даже для слагаемых с распределением Бернулли, особенно при малых n, когда и это значение постоянной оказывается слишком грубой оценкой.

Подробный обзор можно найти в монографии В. М. Золотарева «Современная теория суммирования независимых случайных величин», стр. 264–291.

Продолжение примера 50. Проверьте, что для с. в. 1 с распределением Бернулли

E j 1 E 1j3 = j0 pj3 P( 1 = 0) + j1 pj3 P( 1 = 1) = p3q + q3p = pq(p2 + q2):

Поэтому разница между левой и правой частями приближенного равенства « » в примере 50 ïðè n = 104 и p = q = 1=2 не превышает величины

pq(p2

+ q2)

p2 + q2

1

C

= C

p

p

6 0:4

= 0:004;

3

100

n

pq

pn ppq

1

> 0;01 не больше, чем 0:0456 + 0:004. Уместно

n

так что искомая вероятность P n

2

сравнить этот ответ с оценкой, полученной

с помощью ЗБЧ в примере 48.

83

Следующая проблема связана с распространеннейшим на ЭФ и ММФ НГУ заблуждением, которое можно образно передать афоризмом:

P	nn		< E 1 n!!1 P (E 1	< E 1) = 0; íî P	nn		6 E 1 n!!1 P (E 1 6 E 1) = 1:
		S				S

Пример 51.

З а д а ч а. Пусть 1; 2; : : : — независимые и одинаково распределенные случайные величины с конечной и ненулевой дисперсией, Sn = 1 + + n — сумма первых n случайных величин. При каких c имеет или не имеет место сходимость

	P	Sn	< c	! P (E 1 < c) ?
		n
	Р е ш е н и е. Согласно ЗБЧ, последовательность				Sn	сходится по вероятности (а,
					n

следовательно, и слабо) ê E 1.

Слабая сходимость означает, что последовательность функций распределения Fn(c) =

	P	Sn	< c сходится к функции распределения F (c) = P (E 1 < c), если F (x) непрерывна
		n
	в точке c (и ничего не означает, если F (x) разрывна в точке c). Но
			F (c) = P (E 1 < c) = (1;	c > E 1
			0;	c 6 E 1;

есть функция распределения вырожденного закона и непрерывна в любой точке c,

S
кроме c = E 1. Итак, первый вывод: сходимость P	n	< c ! P (E 1	< c) имеет место
	n

для любого c, кроме, возможно, c = E 1. Убедимся, что для c = E 1 такой сходимости

быть не может. Пусть = N0;1. Согласно ЦПТ,

P nn

< E 1 = P pD

nn E 1

< 0 ! P( < 0) = 0;1

(0) = 2

6= P (E 1 < E 1) = 0:

1

S

pn

S

1

S

1

Аналогично, кстати, ведет себя и вероятность P

n

6 E 1

. Она тоже стремится к

,

n

2

à íå ê P (E 1 6 E 1) = 1.

И изящное упражнение на ту же тему:

Упражнение 29. Доказать, что

0:999999n		(n 1)!
n!1	Z0
lim		1			yn		1e		y dy = 0;
n	(n 1)!y e dy = 2;
n!1 Z0
lim	1		n 1		y				1
1:000001n		(n 1)!y
n!1	Z0
lim		1			n		1e		y dy = 1:

У к а з а н и е. Каждый из интегралов равен функции распределения суммы независимых случайных величин с каким-то показательным распределением в некоторой точке. Вспомнить, что такое гамма-распределение и что такое «устойчивость относительно суммирования».

84

Раздел 15. Характеристические функции

p

Всюду в этой главе i = 1 — мнимая единица, t — вещественная переменная, eit = cos t+ i sin t — формула Эйлера, E( + i ) = E + i E — способ вычисления математи- ческого ожидания комплекснозначной случайной величины + i , если математические ожидания ее действительной ( ) и мнимой ( ) частей существуют.

÷òî	eit		= 1.	j	j	=	p
Как всегда, модулем комплексного числа z = x + iy называется				z			x2 + y2, òàê

Определение 53. Функция ' (t) = E eit называется характеристической функцией

случайной величины .

15.1Примеры вычисления

Пример 52. Пусть с. в. имеет распределение Бернулли с параметром p. Ее характеристическая функция (х. ф.) равна

' (t) = E eit = eit 0 P( = 0) + eit 1 P( = 1) = 1 p + peit:

Пример 53. Пусть с. в. имеет биномиальное распределение с параметрами n и p. Ее х. ф. равна

n	n	=
' (t) = E eit = eit k P( = k) =	eit k Cnk pk (1 p)n k
X	X
k=0	k=0

n

= XCnk peit k (1 p)n k = 1 p + peit n: k=0

Последнее равенство суть бином Ньютона.

Пример 54. Пусть с. в. имеет распределение Пуассона с параметром . Ее х. ф. равна

1

1

k

X

X

' (t) = E eit =

eit k P( = k) =

eit k

k!

e =

k=0

k=0

1

eit

k

it

= e k=0

k!

= e e e

= expf eit 1 g:

X

Пример 55. Пусть с. в. имеет показательное распределение с параметром . Ее

х. ф. функция равна

1

1

1

' (t) = E eit = Z0

eit x f (x) dx = Z0

eitx e x dx = Z0

e x( it) dx =

1

=

it;

= it e x( it) 0

поскольку при x ! 1 модуль

величины e

x(

it)

= e

x

e

itx

ê

íóëþ:

стремится

e x( it) = e x ! 0.

85

Пример 56. Пусть с. в. имеет гамма-распределение с параметрами , . Ее х. ф. равна

1
' (t) = E eit = Z0	eit x f (x) dx =

1

Z0

eitx

x 1 e x dx =

( )

1

x 1 e x( it) dx =

= 1

it

=

Z0

:

( )

it

Интеграл мы вычислили с помощью гамма-функции Эйлера:

1											1	(x( it)) 1 e x( it) dx( it) = ( ( it) :
Z x 1 e x( it) dx = ( it) Z
										1								)
0											0
Пример 57.				Пусть с. в.						имеет стандартное нормальное распределение.									Åå õ. ô.
равна
1			1			2
' (t) =	p		Z	eitx e x			=2 dx =
		2
			1				1									1
				= p2				e t		=2 e (x it)			=2 dx = e t	=2 p2			e (x it)	=2 d(x it) = e t		=2:
						Z										Z
				1				2				2	2	1			2		2
						1										1

Как всегда, при интегрировании мы выделили полный квадрат в показателе экспоненты

и вспомнили, чему равен интеграл по всей прямой от функции p1 e u2=2. А чему он

2

равен?

Самое время остановиться и спросить: "Ну и что? Зачем нам эти функции и какой от них прок?" Приглашаю читателя познакомиться с замечательными свойствами х. ф.

15.2Свойства характеристических функций

Ô1. Характеристическая функция всегда существует:

j' (t)j = jE eit j 6 E jeit j = E 1 = 1

Полезно вспомнить, что обычные математические ожидания существуют не у всех распределений.

Ô2. По характеристической функции однозначно восстанавливается распределение (функция распределения, а также плотность или таблица распределения). То есть если две с. в. имеют одинаковые х. ф., то и распределения этих с. в. совпадают.

Формулы, с помощью которых это делается, в анализе называют формулами «обратного преобразования Фурье». Например, если модуль х. ф. интегрируем на всей прямой, то у с. в. есть плотность распределения, и она находится по формуле (проверьте на примере примера 57)

1			e itx ' (t) dt:
f (x) = 2 Z
1
		1

Ни одна из формул обратного преобразования Фурье нам не понадобится.

86

Ô3. Характеристическая функция с. в. a + b связана с х. ф. случайной величины равенством

'a+b (t) = E eit(a+b ) = eita ' (tb):

	Пример 58. Вычислим х. ф.	случайной величины , имеющей нормальное распре-
	деление с параметрами a и 2.	Мы знаем, что у стандартизованной с. в. =				a
	характеристическая функция равна ' (t) = e t2=2.
			Тогда х. ф. случайной величины
	= a + равна
		2	=2 = exp ita	2 2	:
	' (t) = 'a+ (t) = eita ' (t ) == eita e (t )			t
				2

Ô4. Характеристическая функция суммы независимых с. в. равна произведению характеристических функций слагаемых: если с. в. и независимы, то, по свойству E6 математических ожиданий

' + (t) = E eit( + ) = E eit E eit = ' (t) ' (t):

Этим замечательным свойством мы сразу же воспользуемся, как обещали, для доказательства леммы 6, утверждающей устойчивость нормального распределения относительно суммирования.

Пример 59. Доказательство леммы 6.

Пусть случайные величины = Na1; 12 è = Na2; 22 независимы. Характеристическая функция суммы + равна

' + (t) = ' (t) ' (t) = exp ita1	t	2 2	exp ita2	t2 2	= exp it(a1 + a2)	t2( 2	+ 2)		:
		1		2		1		2
		2		2			2

То есть х. ф. суммы есть характеристическая функция нормального распределения с

параметрами a1 + a2, 2 + 2. Тогда + = N 2 2 по свойству 2.

1 2 a1+a2; 1+ 2

Пример 60. Докажем свойства устойчивости по суммированию биномиального распределения, распределения Пуассона и гамма-распределения (леммы 4, 5, 7), используя вычисленные в примерах 52–56 характеристические функции.

Для независимых с. в. с распределениями Пуассона и х. ф. суммы

' + (t) = ' (t) ' (t) = exp eit 1 exp eit 1 = exp ( + ) eit 1

равна характеристической функции распределения Пуассона с параметром + .

Для независимых с. в. с биномиальными распределениями Bn;p è Bm;p х. ф. суммы

' + (t) = ' (t) ' (t) = 1 p + peit n 1 p + peit m = 1 p + peit											n+m:
равна характеристической функции	биномиального				распределения					ñ	параметрами
n + m, p.
Для n независимых с. в. с показательным распределением E х. ф. суммы
' 1+ + n (t) = (' 1 (t))n =				n	= 1	it			n
		it

равна характеристической функции гамма-распределения с параметрами , n.

87

Ô5. Пусть существует момент порядка k = 1; 2; : : : случайной величины , то есть Ej jk < 1. Тогда ее характеристическая функция ' (t) непрерывно дифференцируема k раз, и ее k-я производная в нуле связана с моментом порядка k равенством:

(k)	(0) =	dk
'			E eit
		d tk

	=	E ik k eit		= ik E k:

t=0

t=0

Существование и непрерывность k-й производной, равно как и законность переноса производной под знак математического ожидания мы доказывать не будем.

Упражнение 30. Доказать, что для с. в. со стандартным нормальным распределе-

2k def

нием момент четного порядка 2k равен E = (2k 1)!! = (2k 1) (2k 3) : : : 3 1. Доказать по определению, что все моменты нечетных порядков стандартного

нормального распределения существуют и равны нулю.

Как только появились производные высших порядков, самое время разложить функцию в ряд Тейлора.

Ô6. Пусть существует момент порядка k = 1; 2; : : : случайной величины , то есть Ej jk < 1. Тогда ее характеристическая функция ' (t) в окрестности точки t = 0 разлагается в ряд Тейлора

k	tj	(j)	k	ijtj
Xj			X
	j!	'		j! E j + o(jtkj) =
' (t) = ' (0) +			(0) + o(jtkj) = 1 +
=1			j=1
						t2		iktk
			= 1 + it E				E 2 + : : : +		E k + o(jtkj):
						2		k!

Ряды Тейлора, как правило, возникают при предельном переходе. Следующее основное свойство характеристических функций потребуется нам для доказательства предельных теорем, и это свойство — последняя теорема, оставленная нами без доказательства.

Теорема 35 (Теорема о непрерывном соответствии). Случайные величины n слабо сходятся к с. в. тогда и только тогда, когда для любого t характеристические функции ' n (t) сходятся к характеристической функции ' (t).

Сформулированная теорема устанавливает непрерывное соответствие между классами hF ; ) i функций распределения со слабой сходимостью и h' ; !i характеристи- ческих функций со сходимостью в каждой точке. «Непрерывность» этого соответствия

— в том, что пределу в одном классе относительно заданной в этом классе сходимости соответствует предел в другом классе относительно сходимости, заданной в этом классе.

Осталось воспользоваться теоремой о непрерывном соответствии и доказать

ЗБЧ в форме Хинчина и ЦПТ.

88

15.3Доказательство ЗБЧ Хинчина

Пусть 1; 2; : : : — последовательность независимых и одинаково распределенных слу- чайных величин с конечным первым моментом Ej 1j < 1. Обозначим через a математи-

ческое ожидание E 1. Требуется доказать, что
	Sn	=	1 + + n	p	a:
	n		n	!

По свойству 19 сходимость по вероятности к постоянной эквивалентна слабой схо-

димости.

Так как a — постоянная,

достаточно доказать слабую сходимость

Sn

=

n

1 + + n

)

a. По теореме о непрерывном соответствии, эта сходимость имеет место,

n

если и только если для любого t 2 R сходятся характеристические функции

'Sn=n(t) ! 'a(t) = E eita = eita:

Найдем характеристическую функцию с. в.

Sn

. Пользуясь свойствами Ô3 è Ô4, ïîëó-

÷èì

n

3

t

4

t

n

'Sn=n(t) = 'Sn

= ' 1

:

n

n

Вспомним, что первый момент 1 существует, поэтому свойство Ô6 позволяет разложить

' 1 (t) в ряд Тейлора в окрестности нуля ' 1 (t) = 1 + it E 1 + o(jtj) = 1 + ita + o(jtj). В точке t=n, соответственно,

' 1 n

= 1 + n + o n

;

'Sn=n(t) =

' 1

n

n

=

1 + n + o

n

n

:

t

ita

t

t

ita

t

x

n

! 1

!

, пользуясь «замечательным

n n

Ïðè n

пределом»

1 +

ex, получим

'Sn=n(t) =

1 + n + o

n

! eita;

ita

t

что и требовалось доказать.

15.4Доказательство центральной предельной теоремы

Пусть 1; 2; : : : — последовательность независимых и одинаково распределенных слу- чайных величин с конечной и ненулевой дисперсией. Обозначим через a математиче- ское ожидание E 1 и через 2 — дисперсию D 1. Требуется доказать, что

Sn na

=

1 + + n na

N

:

pn

pn

)

0;1

Введем стандартизованные случайные величины i =

i a

— независимые с. в. с ну-

левыми математическими ожиданиями и единичными дисперсиями. Пусть Zn есть их сумма Zn = 1 + + n = (Sn na)= . Требуется доказать, что

Zn

) N0;1

p

:

n

Характеристическая функция величины Zn=p

равна

n

'Zn=pn(t) = 'Zn pn

=

' 1

pn

n

(25)

:

3

t

4

t

89