Лекции по ТВ и МС(ч.1)

Лекция № 16

Понятие о сходимости случайных величин

Лекция № 16

Тема:	Понятие о сходимости случайных величин
	Бог есть там, где есть вероятность, и бога нет там,
	где есть закономерность.
	У. Джеймс

16.1. Понятие о сходимости случайных величин

Определение 16.1

Определение 16.2

Определение 16.3

Последовательность случайных величин {ξn }∞n =1 сходится по вероятности к случайной величине ξ , если для любого ε > 0

справедливо равенство

limP{ξn −ξ > ε}= 0 .

n→∞

Обозначается ξ = p lim ξn или ξn p →ξ .

n→∞

Последовательность случайных величин {ξn }∞n =1 сходится к случайной величине ξ в среднем, если для всех n существуют

Mξn , Mξ и

limM ξn −ξ = 0 .

n→∞

Последовательность случайных величин {ξn }∞n =1 сходится к случайной величине ξ в среднем квадратическом, если для всех n существуют Mξn2 , Mξ2 и

limM ξn −ξ 2 = 0 .

n→∞

Обозначается ξ = l.i.m.ξn (сокращение l.i.m. — от limit in mean — сходимость в среднем).

159

Понятие о сходимости случайных величин											Лекция № 16
	Последовательность случайных величин {ξn }∞n =1 сходится к
	случайной величине ξ	с вероятностью 1						(почти наверное),
	если выполнено
Определение 16.4		∞	∞ ∞						1
						ξn −ξ		≤			=1.
	P{lim ξn =ξ}= P I U I								k
	n→∞
		k =1 N =1 n=N
	Записывают P{ξn →ξ}=1,		P{lim ξn =ξ}=1.
			n→∞
	Последовательность функций распределений Fn (x) слабо
	сходится к F (x) если
Определение 16.5		F (x) →F (x)
		n	n→∞

в каждой точке непрерывности предельной функции F (x). Обозначают Fn (x) F (x), Fξn (x) Fξ (x) или ξn Fξ (x).

Следует понимать, что понятие слабой сходимости относится к распределениям, а не к случайным величинам. Если величины ξn , n =1,2,K,

заданы на разных вероятностных пространствах, то вообще нельзя говорить о

сходимости случайных величин в каком–либо смысле.

Пример 16.1. Рассмотрим последовательность

случайных величин

{ξ

n

}∞

, элементы

которой

удовлетворяют

соотношениям

P{ξ

n

= n6

}= 1

,

n=1

n

P{ξn = 0}=1− 1

. Эта

последовательность сходится

к нулю по

вероятности.

n

Действительно,

зафиксируем

произвольное

ε > 0 .

Для

всех

n

начиная

с

некоторого n0 такого, что n0 > ε

верно предельное соотношение

P{

ξn −0

> ε}= P{ξn > ε}= P{ξn = n6 }= 1

при n → ∞ .

n

Но очевидно, что сходимость в среднем отсутствует А, что можно сказать о сходимости с вероятностью 1? Ответ на это вопрос

неоднозначный. Мы знаем вероятностные свойства элементов

160

Лекция № 16

Понятие о сходимости случайных величин

последовательности, но не знаем самих случайных величин. Рассмотрим два случая.

1. Пусть

n6	, ω [0;1 n);
ξn =	ω [1 n;1],
0,

тогда для всякого ω начиная с некоторого n0 все ξn равны нулю. Следовательно данная последовательность сходится почти наверное к нулю.

2. Пусть для k =	1, n
			6	k −1		,	k
		n		, ω	n		;
							n
		ξnk =		k −1			k
		0,
				ω	n	,	,
							n

тогда последовательность ξ11,ξ21,ξ22 ,ξ31,ξ32 ,ξ33 ,K не сходится ни в одной точке

ω [0;1].

16.2. Свойства сходящихся последовательностей случайных величин.

Связь между различными видами сходимости случайных величин проиллюстрирована на следующей диаграмме.

Сходимость с		Сходимость в среднем
вероятностью 1		квадратичном

Сходимость в среднем

Сходимость по вероятности

Слабая сходимость

161

Понятие о сходимости случайных величин

Лекция № 16

Докажем эти факты.

Из сходимости последовательности случайных величин {ξn} в

Теорема 16.1.

среднем квадратичном следует сходимость в среднем.

Доказательство. Справедливость теоремы следует из неравенства Ляпунова

M ξn −ξ ≤ (M ξn −ξ 2 )12 .

Из сходимости последовательности случайных величин {ξn} в

Теорема 16.2.

среднем квадратичном следует сходимость в среднем. Доказательство. В силу неравенства Чебышева

P{

ξn −ξ

> ε}≤

M

ξn

−ξ

.

ε

Так как M

ξn −ξ

→ 0 при n → ∞ , то и P{

ξn −ξ

> ε}→ 0 для любого ε > 0 .

Теорема 16.3.

Из сходимости последовательности случайных величин {ξn}

по

вероятности

следует слабая сходимость их функций

распределений.

Доказательство

.

Рассмотрим

события

An = {ω :

ξn (ω)−ξ(ω)

≤ ε} и

An = {ω : ξn (ω)−ξ(ω) > ε}. Так как последовательность случайных величин {ξn}

сходится по вероятности, то P{A

n }→ 0 при n → ∞ .

Далее, покажем, что

{ω :ξn (ω)< x} {ω :ξ(ω)≤ x +ε}U

(16.1)

An .

Действительно

{ω :ξn (ω)< x}= ({ω :ξn (ω)≤ x}I An )U({ω :ξn (ω)≤ x}I

An )

{ω :ξ(ω)≤ x +ε}U

An .

Так как An = {ω :

ξn (ω)−ξ(ω)

≤ ε}={ω :ξn (ω)−ε ≤ξ(ω)≤ξn (ω)+ε}.

Аналогично справедливо соотношение,

{ω :ξ(ω)< x −ε} {ω :ξn (ω)≤ x}U

(16.2)

An

Действительно в силу An = {ω : ξn (ω)−ξ(ω) ≤ ε}={ω :ξ(ω)−ε ≤ξn (ω)≤ξ(ω)+ε} имеет место

162

Лекция № 16 Понятие о сходимости случайных величин

{ω :ξ(ω)< x −ε}= ({ω :ξ(ω)< x −ε}I An )U({ω :ξ(ω)< x −ε}I An )

{ω :ξn (ω)≤ x}U An .

Из неравенства (16.1) и свойств вероятности вытекает

P{ω :ξn (ω)< x}≤ P{ω :ξ(ω)≤ x +ε}+ P{						An },
или в терминах функций распределений
Fξn (x)≤ Fξ (x +ε)+ P{					An }.			(16.3)
Из неравенства (16.2) аналогично следует
Fξ (x −ε)≤ Fξn (x)+ P{					An }.			(16.4)
С учетом (16.3) и (16.4) получим
Fξ (x −ε)− P{	An }≤ Fξn (x)≤ Fξ (x +ε)+ P{						An }
Таким образом,
Fξ (x −ε)≤ lim Fξn		(x)≤		Fξn (x)≤ Fξ (x +ε).
			lim
n→∞		n→∞

И, наконец, если функция Fξ (x) непрерывна в точке x , то, переходя к пределу при ε → 0, получим

Fξ (x)≤ lim Fξn (x)≤ lim Fξn (x)≤ Fξ (x).

n→∞ n→∞

Из последнего неравенства следует утверждение теоремы:

Fξ (x)= lim Fξn	(x)=		Fξn	(x)= lim Fξn (x).
		lim
n→∞	n→∞			n→∞

Для того чтобы последовательность случайных величин {ξn}

Теорема 16.4. сходилась с вероятностью 1 к величине ξ , необходимо и

Признак

сходимости с

достаточно, чтобы для всех ε > 0

	вероятностью 1	lim P I∞ {			ξn	−ξ		≤ ε} =1.
	∞	N →∞	n =N
		=1,	тогда и			P{Ai }=1 для всех i =1,2,K,
	Доказательство. Если P IAi
	i =1
	справедливо и обратное из того что	P{Ai }=1 для всех i =1,2,K, вытекает, что

163

Понятие о сходимости случайных величин

Лекция № 16

∞

=1. Следовательно, для того чтобы с вероятностью 1 ξn →ξ необходимо

P IAi

i =1

и достаточно, чтобы для всех k

∞

∞

1

U I

ξn −ξ

≤

=1.

(16.5)

P

k

N =1 n =N

Так

как

∞

ξn

−ξ

≤

1

возрастающая

последовательность

событий, (16.5)

I

k

n=N

выполняется тогда и только тогда, когда для всех k

∞

ξn −ξ

≤

1

=1.

lim P I

k

Обозначив число

1

N →∞

n=N

ε > 0 , получим

в

последнем

неравенстве произвольным

k

утверждение теоремы.

Следствие 16.1.

Из сходимости последовательности {ξn} к ξ с вероятностью

1 вытекает сходимость {ξn} к ξ по вероятности.

Справедливость этого утверждения следует из неравенства

P{

ξn −ξ

∞

ξk

−ξ

≤ ε}≥ P I{

≤ ε} .

k =n

16.3. Рекомендуется изучить самостоятельно:

¾[2] – стр. 137 — 141, 148 — 152;

¾[4] – стр. 269 — 279.

16.4. Теоретические вопросы, выносимые на экзамен:

1.Понятие о различных видах сходимости случайных величин. Связь между сходимостью в среднем и сходимостью по вероятности.

2.Понятие о различных видах сходимости случайных величин. Связь между сходимостью по вероятности и слабой сходимостью распределений.

3.Понятие о различных видах сходимости случайных величин. Необходимое и достаточное условие сходимости с вероятностью 1.

164

Лекция № 16

Понятие о сходимости случайных величин

16.5. В результате успешного усвоения материала лекции студент должен знать:

9определения:

¾сходимости по вероятности;

¾сходимости в среднем;

¾сходимости в среднем квадратичном;

¾слабой сходимости распределений;

9теоремы:

¾о связи сходимости в среднем и среднем квадратичном;

¾о связи сходимости в среднем и сходимости по вероятности;

¾о связи сходимости по вероятности и слабой сходимости распределений;

¾признак сходимости с вероятностью 1;

уметь:

9доказывать теоремы:

¾о связи сходимости в среднем и среднем квадратичном;

¾о связи сходимости в среднем и сходимости по вероятности;

¾о связи сходимости по вероятности и слабой сходимости распределений;

¾признак сходимости с вероятностью 1;

9решать задачи, используя понятия:

¾сходимости случайных величин.

16.6. Задачи и упражнения

1.	Доказать, что если ξ = p lim ξn							, η = p lim ηn то и
							n→∞			n→∞
а)	p lim	(ξ	n	+η	n	)=ξ +η ; б)	p lim	(ξ η	n	)=ξη .
	n→∞						n→∞	n
2.	Доказать, что если ξ = p lim ξn , и g(x) непрерывна то
							n→∞

p lim g(ξn )= g(ξ).

n→∞

3. Доказать, что если p lim ξn = c , и g(x)	непрерывна в точке c то
n→∞
p lim g(ξn )= g(c).
n→∞

4. Доказать, что если p lim ξn = C = const , ηn η то

n→∞

а) ξn +ηn ξ +η ; б) ξnηn ξη

165

Закон больших чисел

Лекция № 17

Лекция № 17

Тема:

Закон больших чисел

17.1. Закон больших чисел

Законом больших чисел называют теоремы, формулирующие условия, при которых разность среднего арифметического случайных величин и среднего арифметического их математических ожиданий сходится по вероятности к нулю.

17.2. Теорема Чебышева

Пусть {ξn} — последовательность независимых случайных

Теорема 17.1.

величин, для которых существуют Dξn ,

причем Dξn ≤ c при

всех n . Тогда

Теорема

n

n

Чебышева

1

∑ξk −

1 ∑Mξk

n k =1

n k =1

сходится к нулю по вероятности.

Доказательство

. Из неравенства Чебышева следует

1

n

D

∑ξk

1

n

1

n

1

n

1

n

n k =1

P

∑ξk

−

∑Mξk

> ε

= P

∑ξk − M

∑ξk

> ε

≤

.

ε

2

n k =1

n k =1

n k =1

n k =1

В силу независимости случайных величин ξn и ограниченности дисперсий, имеем

n

1

n

c

D 1

∑ξk ≤

∑Dξk ≤

.

2

n k =1

n

k =1

n

Таким образом, для всех ε > 0 справедливо

1

n

ξ

−

1

n

Mξ

limP

n

∑k =1

n

> ε = 0 .

n→∞

k

∑k =1

k

Замечание 17.1.

Для справедливости теоремы Чебышева достаточно, чтобы

lim

1 Dξn = 0 .

n→∞ n

166

Лекция № 17

Теорема

Штольца

Закон больших чисел

Пусть{xn } и {yn } — две числовые последовательности такие, что:

1) yn+1	> yn ; 2) lim yn = +∞; 3) существует lim			xn − xn−1		.
	n→∞	xn	n→∞ yn − yn−1
Тогда последовательность			имеет предел, причем lim		xn		= lim	xn − xn−1	.
		yn
				n→∞ yn			n→∞ yn − yn−1

На основании теоремы Штольца

		1	n		Dξn		Dξn
	lim		∑Dξk = lim			= lim			= 0.
	n→∞ n2		k =1	n→∞ n2 −(n −1)2		n→∞ 2n −1

Пусть {ξn} — последовательность независимых случайных величин такая, что Mξn = a , Dξn ≤ c при всех n . Тогда для

Следствие 17.1. каждого ε > 0

1

n

− a

lim P

n

ξ

> ε = 0 .

n→∞

∑k =1

k

Этот частный случай теоремы Чебышева дает обоснование правилу

среднего арифметического в теории обработки результатов измерений.

Пример 17.1. Пусть {ξn } — последовательность независимых случайных

величин, причем ξn принимает значения − n ,

0,

n с вероятностями

1

, 1−

1

,

2n2

n2

1

соответственно. Тогда Mξn = 0 , Dξn = Mξn2

=1 и к последовательности {ξn }

2n2

применим закон больших чисел.

17.2. Теорема Бернулли

Рассмотрим последовательность независимых испытаний, в каждом из которых может быть только два исхода — успех У с постоянной вероятностью p

и неудача Н с вероятностью q =1− p . Тогда для νn — частоты появления успеха в первых n испытаниях справедлива теорема, которая является следствием теоремы Чебышева.

Теорема 17.2.		Для любого ε > 0 справедливо равенство
Теорема Бернулли		limP{		νn − p		> ε}= 0 .
		n→∞

167

Закон больших чисел Лекция № 17

Доказательство. Введем случайную величину ξk :

1, если в k - ом испытании произошел успех, ξk = 0, если в k - ом испытании произошла неудача.

Тогда {ξk } — последовательность независимых одинаково распределенных случайных величин, Mξ = p , Dξ = pq . Следовательно, для нее выполнены условия теоремы Чебышева. Так как случайная величина νn представима в виде

νn = 1 ∑n ξk ,

n k =1

то из теоремы Чебышева следует утверждение теоремы.

17.3. Теорема Хинчина

Оказывается, что для независимых одинаково распределенных случайных величин закон больших чисел справедлив и без требования ограниченности дисперсий, и тем более существования дисперсий. А именно, справедливо следующее утверждение.

Пусть {ξn } — последовательность независимых одинаково

Теорема 17.3.	распределенных величин, имеющих конечное математическое
Теорема	ожидание Mξn = a . Тогда для каждого ε > 0 справедливо
Хинчина			1	n			− a			= 0 .
	lim P		n	∑k =1	ξ	k			> ε
	n→∞

Вернемся к доказательству данной теоремы после рассмотрения на следующей лекции усиленного закона больших чисел в форме Колмогорова.

ХИНЧИН АЛЕКСАНДР ЯКОВЛЕВИЧ [7(19).7.1894, с. Кондрово, ныне Калужская область, — 18.11.1959, Москва), советский математик. Окончил Московский университет (1916), с 1922 — профессор там же. А.Я. Хинчин заведовал кафедрой математического анализа до 1957 года. Ученик Н.Н. Лузина. Член-корреспондент АН СССР (1939). Действительный член Академии педагогических наук, один из ее основателей (1943). Лауреат Сталинской премии (Государственная премия СССР) (1941). Награжден четырьмя орденами, в том числе орденом Ленина.

А.Я. Хинчин — один из самых блестящих представителей Московской математической школы. Им получены основополагающие результаты в теории функций действительного переменного, теории чисел, теории вероятностей, статистической физике. Научное наследие Хинчина включает, в частности, 4 монографии по теории вероятностей, 3 — по статистической физике, 2 — по теории чисел.

168