ProbTheory

Cnk pk qn−k, тогда для любых вещественных k1 и k2 имеет место равенство

y

lim P(k

1

e−

t2

ξ

k

) =

2 dt,

n→∞

1 ≤

n ≤

2

∫x √2π

k1−np

k2−np

где x = √

и y = √

.

npq

npq

Теорему Муавра-Лапласа мы докажем в §25 как частный случай центральной предельной теоремы.

§23. Характеристические функции

Замечание 23.1. Решение многих задач теории вероятностей, особенно тех, которые связаны с суммированием независимы случайных величин, удаётся получить с помощью т.н. характеристических функций. Связь между преобразованием Фурье и характеристической функцией можно описать следующим образом. Если обозначить преобразование Фурье через Φ, то формулы прямого и обратного преобразования можно записать следующим образом

						∞
	1					∫		e−ixt f(x) dx,
φ(t) = Φ[f] =		√
			2π
						−∞
								∞
f(x) = Φ−1	1							∫	eitx φ(t) dt.
	[φ] =			√
					2π

−∞

Если ξ — случайная величина, имеющая плотность fξ(x), то в терминах преобразования Фурье её характеристическая функция есть

		∞
θξ(t) = √		Φ−1[fξ] = ∫	eitx fξ(x) dx.
	2π
		−∞

Определение 23.2. Пусть fξ(x) — плотность случайной величины ξ, то-

гда функция

∫∞

θξ(t) = Meitξ = eixt fξ(x) dx

−∞

называется характеристической функцией случайной величины ξ.

71

Замечание 23.3. 1) Пусть ξ и η — вещесвенные случайные величины. Составим комплексную случайную величину ξ + iη. Мы распространяем действие знака математического ожидания M на любую комплексную случайную величину по свойству линейности:

M(ξ + iη) = Mξ + i Mη.

2) Зная характеристическую функцию θξ(t), можно однозначно восстановить функцию распределения, а также плотность вероятности или ряд распределения случайной величины ξ. Например, если модуль характеристической функции θξ(t) интегрируем на всей прямой, то плотность fξ(x) случайной величины ξ находится по формуле

		∞
fξ(x) =	1	∫	e−ixt θξ(t) dt.
	2π
		−∞

Свойства характеристических функций

Теорема 23.4. Характеристическая функция θξ(t) любой случайной величины ξ равномерно непрерывна. (Без доказательства.)

Лемма 23.5. 1) θξ(0) = 1,

2) |θξ(t)| ≤ 1 для −∞ < t < ∞.

Доказательство. 1) θξ(0) = Me0 = 1.

2) |θξ(t)| = |Meitξ| ≤ M|eitξ| = M 1 = 1.

Лемма 23.6. Если η = aξ + b, где a и b — постоянные, то

θη(t) = θξ(at) eibt.

Доказательство. θη(t) = Meitη = Meit(aξ+b) = eibtMeiatξ = eibtθξ(at).
Лемма 23.7. Если ξ1 и ξ2 — независимые случайные величины, то
θ ξ1+ξ2 (t) = θξ1 (t) · θξ2 (t).
Доказательство. Т.к. ξ1 и ξ2 — независимые величины, то eitξ1		и eitξ2	тоже
независимы. Тогда
5.6)	M eitξ1 · M eitξ2 = θξ1	(t) · θξ2
θ ξ1+ξ2 (t) = M eit(ξ1+ξ2) = M (eitξ1 · eitξ2 ) 16=.			(t).

72

Следствие 23.8. Если ξ1, . . . , ξn — независимые случайные величины,

то

θ ξ1+ ... +ξ2 (t) = θξ1 (t) · ... · θξn (t).

Лемма 23.9. θ ξ (−t) = θ ξ (t), где черта означает комплексное сопряжение.

Доказательство. θ ξ (−t) = M e−itξ = M eitξ = Meitξ = θ ξ (t).

Лемма 23.10. Если ξ — дискретная случайная величина, заданная ря-

дом распределения	ξ	x1	x2	. . .	xk	. . .	, то θξ(t) = ∑k	eitxk pk.
	P	p1	p2	. . .	pk	. . .

Доказательство. Это утверждение непосредственно следует из теор. 16.4.1).

Лемма 23.11. Пусть существует начальный момент n-го порядка, n = 1, 2, ..., случайной величины ξ, т.е. M|ξ|n < ∞. Тогда её характеристическая функция θξ(t) является n раз непрерывно дифференцируемой, и её n-я производная в нуле равна

θξ(n)(0) = in M ξn.

Доказательство. Заметим сначала, что т.к. существует начальный момент Mξn, то существуют все моменты Mξk при k < n.

По лемме 23.5.2) имеем |θξ(t)| ≤ 1, поэтому интеграл в правой части

∫∞

θξ(t) = eitxfξ(x)dx

−∞

равномерно сходится по параметру t и следовательно его можно дифферен-

цировать по t:

∫∞

θξ′ (t) = i xeitxfξ(x)dx,

−∞

∫∞

θξ′′(t) = i2 x2eitxfξ(x)dx,

−∞

. . . . . . . . . . . . . . . . . . . . .

∫∞

θξ(n)(t) = in xneitxfξ(x)dx.

−∞

73

Подставляя в эти равенства t = 0, получим требуемый результат: θξ′ (0) =

i M ξ, θ′′(0) = i2	M ξ2,	... , θ(n)	(0) = in M ξn.
ξ		ξ

Лемма 23.12. Если существуют начальные моменты M ξ, M ξ2, . . . , M ξn случайной величины ξ, т.е. M |ξ|n < ∞, тогда в окрестности нуля её характеристическая функция θξ(t) разлагается в ряд Тейлора20

	i M ξ		i2 M ξ2		2		in M ξn	n	n
θξ(t) = 1 +		t +		t		+ . . . +		t + o(t ).
	1!		2!				n!

Доказательство. В стандартное разложение функции θξ(t) в ряд Тейлора

	θ′ (0)				θ′′(0)			θ(n)(0)
θξ(t) = 1 +	ξ		t +		ξ	t2 + . . . +		ξ		tn + o(tn)
	1!				2!			n!
подставим выражения для θ′				(0), θ′		(0), . . . ,	θ(n)(0), доставляемые теор.
			ξ		ξ			ξ

23.11, получим требуемый результат.

В заключение параграфа сформулируем без доказательства теорему Леви, которая устанавливает "непрерывное" соответствие между слабо сходящимися последовательностями случайных величин и поточечно сходящимися последовательностями характеристических функций. "Непрерывность" этого соответствия состоит в том, что пределу при слабой сходимости соответствует предел при поточечной сходимости и наоборот.

Теорема 23.13. (Леви21 о непрерывном соответствии). Последовательность случайных величин {ξn}∞n=1 слабо сходится к случайной величине ξ тогда и только тогда, когда последовательность их характеристических функций {θξn (t)}∞n=1 поточечно сходится к характеристической функции θξ(t).

20Брук Тэйлор (Brook Taylor, 1685 — 1731), английский математик, именем которого назван ряд (опубликованный им в 1715—1717 гг.), однако этот ряд был известен и применялся ещё в XVII веке Грегори и Ньютоном.

21Поль Пьер Леви (Paul Pierre L´evy, 1886 — 1971), выдающийся французский математик, основные труды по теории вероятностей, функциональному анализу, теории функций и механике.

74

§24. Вычисление характеристических функций

Пример 24.1. Пусть случайная величина ξ имеет распределение Бернул-

	ли	ξ	0	1	. По лемме 23.10 её характеристическая функция равна
		P	1 − p	p

θξ(t) = M eitξ = eit·0(1 − p) + eit·1p = 1 − p + peit.

Пример 24.2. Пусть случайная величина ξ имеет биномиальное распределение (см. опред. 9.3) k 7→P(ξn = k) = Cnkpk(1−p)n−k, где k = 0, 1, 2, . . . , n. Её характеристическая функция равна

n

n

eitξ

∑

eit·kCkpk

n−k

∑k

peit k

n−k

peit n,

θ

t

=

p

=

Ck

p

p

+

ξ( ) = M

n

(1− )

n

( ) (1− )

= (1−

)

k=0

=0

где последнее равенство есть бином Ньютона.

Пример 24.3. Пусть случайная величина ξ имеет распределение Пуассона (см. опред. 22.2) k 7→Pλ(k) = λkk! e−λ, где k = 0, 1, 2, . . . . По лемме 23.10

её характеристическая функция равна

θξ(t) = M eitξ = ∞

eit·k

λk

e−λ = e−λ

∞

(λeit)k

= e−λeλeit

= eλ(eit−1).

∑

∑k

k!

k!

=0

k=0

Пример 24.4. Пусть случайная величина ξ

имеет показательное рас-

0,

x < 0

пределение (см. опред. 12.7), fξ(x) = { λe−λx,

x ≥ 0 .

По лемме 23.10 её

характеристическая функция равна

∞

∞

θξ(t) = M eitξ = ∫0

eit·xλe−λxdx = λ∫0

e−(λ−it)x dx =

λ

e−(λ−it)x

∞

=

λ

,

(−

0

)

λ − it

(λλit−)x it

λx

e

itx

стремится к

поскольку при x → ∞ модуль величины

e−

−

= e−

нулю: |e−(λ−it)x| = e−λx → 0.

Пример 24.5. Пусть случайная величина ξ имеет стандартное (a = 0

и σ = 1) нормальное распределение fξ(x) =

√

1

e−x2/2

(см. опред. 12.8). Её

2π

характеристическая функция равна

∞

∞

1

∫

2

1

∫

2

2

θξ(t) = M eitξ =

√

eitx e−x /2 dx =

√

e−t

/2 e−(x−it)

/2 dx =

2π

2π

−∞

−∞

75

∞

2		1		∫	2	2
= e−t	/2	√			e−(x−it)	/2 d(x − it) = e−t	/2,
			2π

−∞

где в показателе экспоненты мы выделили полный квадрат и получили интеграл от функции √12π e−u2/2.

§25. Центральная предельная теорема

Замечание 25.1. Центральные предельные теоремы (ЦПТ) в теории вероятностей — это класс теорем, утверждающих, что сумма большого количества независимых случайных величин имеет распределение близкое к нормальному. Так как многие случайные явления в природе и социальном обществе являются суммами большого числа случайных факторов, то центральные предельные теоремы обосновывают фундаментальность нормального закона распределения. История получения ЦПТ растянулась на два века — от первых работ Муавра 1730 г. до необходимых и достаточных условий, полученных в 30-х гг. XX века. Самый общий классический случай ЦПТ для неодинаково распределённых последовательностей случайных величин принадлежит А.М. Ляпунову22 (1901). Мы докажем ЦПТ в классической форме (теор. 25.3), а чтобы иметь представление о ЦПТ в форме Ляпунова (теор. 25.5) мы приведём её без доказательства.

Замечание 25.2. Вернёмся ещё раз к ЗБЧ в форме Хинчина. Пусть ξ1, ξ2, . . . , ξn, . . . — последовательность попарно независимых одинаково рас-

пределённых случайных величин, т.е. все имеющие математическое ожидание

∑n

Mξ1 и дисперсию Dξ1. Обозначим Sn = ξk. Тогда по ЗБЧ в форме Хин-

k=1

чина среднее арифметическое Snn сходится по вероятности к Mξ1, или, что то

же самое, величина	Sn −nMξ1				сходится по вероятности к нулю. Запишем это
		n
утверждение с помощью неравенства Бьенеме – Чебышёва:
	P	(		Sn	nMξ1		< ε )		Dξ1
					−n			≥ 1 − nε2 .

Т.к. вероятность не превосходит 1, то это неравенство можно переписать в

22Александр Михайлович Ляпунов (1857 — 1918), выдающийся русский математик, основные труды по устойчивости динамических систем, теории потенциала и механике. Занятие теорией вероятностей было кратким эпизодом в его научной работе, тем не менее в этой области он добился фундаментальных результатов. Он доказал ЦПТ при весьма широких условиях методом, который и сейчас является одним из основных в теории вероятностей.

76

виде

Dξ1

Sn

nMξ1

(

< ε )

1

−

≤ P

−

≤

1.

nε2

n

n

→ ∞

левая часть этого сквозного

Если теперь перейти к пределу при

, то

неравенства стремится к единице, и вероятность, стоящая в средней части, "намертво" впечатывается в единицу. В этом и состоит высший смысл Закона Больших Чисел: при стремлении n к бесконечности и для любого ε > 0

неравенство Sn −nnMξ1 < ε становится достоверным событием. Поэтому ЗБЧ есть строгое математическое выражение свойства статистической устойчивости (см. опред 4.4). Заметим, что Mξ1 и Dξ1 являются константами, а ε > 0 хотя и любое, но тоже постоянное число.

Идея как-то оторвать упомянутую вероятность от единицы заключается в следующем: а не слишком ли на больш´ую степень числа n мы поделили в вы-

ражении Sn −nMξ1 . Нельзя ли поделить на что-нибудь, растущее к бесконечно-

n

сти медленнее чем n так, чтобы последовательность событий

Sn −nMξ1

< ε

n

при некотором

0 < α < 1

перестала бы сходиться к

достоверному (и, само

{

}

собой разумеется, не сходилась бы к невозможному событию)? Оказывается,

если

выбрать α = 1/2, то при n

→ ∞

последовательность случайных величин

Sn −nMξ1

ηn =

√

слабо сходится к случайной величине η, имеющей нормальное

n

(!) распределение.

Теорема 25.3 (ЦПТ в классической форме). Если случайные величины

ξ1, ξ2, . . . , ξn, . . . независимы, одинаково распределены и имеют конечные математическое ожидание Mξi = a < ∞ и дисперсию Dξi = σ2 < ∞ и σ ≠ 0, тогда последовательность случайных величин

η		=	ξ1 + . . . + ξn − na
	n		σ√
				n

слабо сходится к случайной величине, имеющей стандартное нормальное распределение, т.е.

(

ξ1 + . . . + ξn

na

1

x

lim

x

=

e−u2

/2 du,

−

n→∞ P

σ√n

≤

)

√2π

∫

−∞

или кратко

x

1

lim

η

x

e−u2/2 du.

n→∞ P (

n ≤

) =

√2π

∫

−∞

77

Доказательство. Для упрощения выкладок вместо ξ1, ξ2, . . . , ξn, . . .

введём стандартные случайные величины ξ1, ξ2, . . . , ξn, . . . по формулам

ξi − a ξi = σ .

Легко видеть, что случайные величины ξi являются независимыми, одинаково распределёнными, имеют нулевое математическое ожидание и единичную дисперсию и следовательно имеют одинаковые характеристические функции. Обозначим их характеристические функции тем же символом как и для первой случайной величины θ ξi (t) = θ ξ1 (t). Используя теор. 23.12, разложим её в ряд Тейлора, содержащий три первых члена плюс остаточный член:

θ ξ1 (t) = 1 − 12 t2 + o(t2),

где мы учли, что Mξ1 = 0 и Mξ21 = Dξ1 + (Mξ1)2 = 1. Случайная величина ηn может быть записана в виде

ξ1 + . . . + ξn

ξ1

ξn

ηn =

√

=

√

+ . . . +

√

.

n

n

n

Запишем и преобразуем её характеристическую функцию, получим

23.8

·

·

23.6

θηn

(t) = θ

n (t) = θ

1 (t)

. . .

θ

n (t) =

1

+ . . . +

p

p

p

p

n

n

n

n

(n )]

.

= θ ξ1 (√n) · . . . · θ ξn

(√n) = [θ ξ1

(√n)]

=

[1 − 2n + o

t

t

t

n

t2

t2

n

Т.к. по второму замечательному пределу имеем

n→∞

[1 − 2n

(n )]

n

=

lim

t2

+ o

t2

e−t2/2,

то это означает, что последовательность характеристических функций {θηn (t)}∞n=1 поточечно сходится к характеристической функции θη(t) = e−t2/2. По пункту 24.5 эта функция является характеристической функцией стандартного нормального распределения с плотностью вероятности fη(x) = √12π e−x2/2. По теор. 23.13 (Леви о непрерывном соответствии), последовательность случайных величин {ηn}∞n=1 слабо сходится к случайной величине η, а по опред. 20.9 слабой сходимости имеем

12.1 1

x

11.3

20.9

2

lim

η

x

lim F

x

= F x

=

e−u

/2 du.

n→∞ P (

n ≤

) =

n→∞

ηn ( )

η( )

√2π

∫

−∞

Что и требовалось доказать.

78

Следствие 25.4. Если случайные величины ξ1, ξ2, . . . , ξn, . . . независимы, одинаково распределены и имеют конечную ненулевую дисперсию и

ηn =	ξ1+ . . . +ξn−na			, то следующие утверждения эквивалентны ЦПТ в клас-
	σ√	n
сической форме.
1) Для любых x < y имеет место равенство:
											y
				lim	x < η		< y	1			e−u2/2 du.
				n→∞ P (		n		) = √2π			∫x

2) Для любых x < y имеет место равенство:

									y
lim	x		η		y	1			e−u2/2 du.
n→∞ P (		≤		n ≤		) = √2π			∫x

Теорема 25.5. (ЦПТ в форме Ляпунова). Пусть случайные величины ξ1, ξ2, . . . , ξn, . . . независимы и имеют конечные абсолютные начальные моменты 3-го порядка (M|ξn|3 < ∞). Введём следующие обозначения

n	n	n
∑	∑	∑k
An = Mξk,	Bn2 = Dξk,	Cn3 = M|ξk − Mξk|3.
k=1	k=1	=1

Если

lim Cn = 0,

n→∞ Bn

тогда последовательность случайных величин

ξ1 + . . . + ξn − An

Bn

слабо сходится к случайной величине, имеющей стандартное нормальное распределение, т.е.

n→∞ P (	Bn	−		≤		) = √2π		x
			An					∫
lim	ξ1 + . . . + ξn				x	1		e−u2/2 du.
								−∞

Доказательство теоремы Муавра-Лапласа 22.8

В качестве следствия из ЦПТ докажем предельную теорему Муавра-Лап- ласа. Подобно ЗБЧ в форме Бернулли предельная теорема Муавра-Лапласа

79

является утверждением только для схемы Бернулли. Напомним её формулировку.

Теорема 22.8 (интегральная теорема Муавра-Лапласа). Если случайная величина ηn имеет биномиальное распределение P(ηn = k) = Cnk pk qn−k, тогда для любых вещественных k1 и k2 имеет место равенство

y

lim k

η

k

∫x

1

e−t2/2dt,

n→∞ P( 1

≤

n ≤

2) =

√2π

k1−np

k2−np

где x = √

и y = √

.

npq

npq

Доказательство. Приведём обозначения теоремы Муавра-Лапласа в соответствие с обозначениями ЦПТ. Случайная величина ξ есть число появлений события A в результате n испытаний в схеме Бернулли с вероятностью P(A) = p. Если обозначить через ξi число (равное 0 или 1) появлений события A в результате i-го испытания, где i = 1, . . . , n, то случайную величину ηn можно представить в виде суммы ηn = ξ1 + . . . + ξn независимых, одинаково распределённых случайных величин, имеющих одинаковые конечные математические ожидания Mξi = p и дисперсии Dξi = p(1 − p) = pq. Тогда по пункту 17.9.2) имеем Mηn = np и Dηn = npq. Заметим, что неравенство

k1 ≤ ηn ≤ k2 эквивалентно неравенству

k1−np

≤

ηn−np

≤

k2−np

. По след.

√

npq

√

npq

√

npq

25.4.2) получим требуемый результат.

Пример 25.6. (Ср. пример 21.7.) Монету подбрасывают 10 000 раз. Найти вероятность того, что относительная частота выпадения герба отличается от классической вероятности 1/2 не менее чем на 0,01.

Решение.

Другими словами, требуется найти P

n(A)

1

≥

0, 01 , где

− 2

n

n

(

)

n = 104,

n(A) =

ξk — число выпадений герба, а ξk

являются независимы-

k=1

ми случайными

величинами, имеющие одно и то же распределение Бернулли

∑

с p = 1

, и равные единице, если выпал герб, и нулю — в противном слу-

2

чае. Умножим обе части неравенства под знаком вероятности на √

= 100 и

n

разделим на корень из дисперсии

√

= √

=

1 .

Dξ1

pq

2

A

n

A

np

≥ 0, 01 )

= 1 − P (

)n−

< 0, 01 ) =

P ( n(n ) − p

(

√n

n(A)

np

√n

= 1 − P

( √Dξ1

n−

< 0, 01√Dξ1

) =

80