УМК по ТВ и МС

рица C = {cij} и набор независимых стандартных нормальных случайных величин η= (η1,...,ηn ) такие, что

ξ1 = a1 + c11η1 +K+ c1nηn ,

K

(4.7)

ξn = an + cn1η1 +K+ cnnηn ,

или в матричной форме: ξ = a + Cη.

Предложение 4.8. Случайная величина ξi в (4.7) имеет нормальное распре-

деление N (ai , σi2 ) , где σi2	n	n
	= ∑cij2	, cov(ξi ,ξk ) = ∑cij ckj .#
	j=1	j=1

Рассмотрим n × n − матрицу B = CCT, где CT− матрица, транспонированная к C. Легко видеть, что такая матрица симметрична (bij = bji) и является невырожденной в силу невырожденности матрицы C. Более того, из предложения 4.7 следует, что bij = cov(ξi , ξ j ) .

Можно также доказать, что матрица B является строго положительной в следующем смысле: для любого ненулевого вещественного вектора

	n n
(z1,..., zn ) ≠ 0	∑∑bij zi z j > 0 .

i=1 j=1

Матрицу B = {bij} называют матрицей ковариаций, а вектор a = (a1,..., an ) −

вектором средних многомерного нормального распределения. Этих двух характеристик достаточно для того, чтобы полностью описать многомерное нормальное распределение. А именно, справедливо следующее утверждение.

Предложение 4.9. Плотность многомерного нормального распределения

записывается в виде следующей формулы:

p

(x ,K, x

1

1

−1

ξ1Kξn

n

) =

exp

−

(B

(x − a),(x − a)) ,

1

(2π)n / 2

B

−1/ 2

2

где x = (x1,..., xn ) ,

B

− определитель матрицы B, ( , )

− обычное евклидово

n

скалярное произведение в Rn: (u, v) = ∑uivi , u = (u1,...,un ) , v = (v1,..., vn ) . #

i =1

Замечание 4.5. Если n = 1, то функция, выписанная в предложении 4.8, принимает вид обычной нормальной плотности. Из вида многомерной нормальной плотности видно, что она определяется лишь параметрами a и B. Поэтому этот закон распределения часто обозначают N(a, B).

Замечание 4.6. Утверждение предложения 4.8 можно считать эквивалентным определением многомерного нормального распределения. Если плотность имеет указанный вид с некоторой невырожденной положительной матрицей B, то существуют такие a, C и η, что справедливо представление (4.7).

71

На рис 4.2 приведены примеры двумерных нормальных плотностей.

a =(5,5;5) ,		4	0		a =(5,5;6) ,		4	4
	B =					B =
		0	4				4	8

Рис. 4.2. Примеры двумерных нормальных плотностей.

Предложение 4.10. Предположим, что вектор ξ = (ξ1,..., ξn ) имеет много-

мерное	нормальное распределение. Тогда любой набор его компонент
ξ′= (ξi	,..., ξi	) имеет (k−мерное) нормальное распределение. #
1		k

Замечание 4.7. Иногда матрица C, участвующая в соотношениях (4.7), имеет ранг меньше чем n. В этом случае говорят, что ξ = (ξ1,..., ξn ) имеет вы-

рожденное многомерное нормальное распределение. У такого распределения плотность не существует.

Глава 5. Предельные законы теории вероятностей

Под законом больших чисел в широком смысле понимается принцип, согласно которому, по формулировке А.Н. Колмогорова, совокупное действие большого числа случайных факторов приводит, при некоторых весьма общих условиях, к результату, почти не зависящему от случая. Иными словами, при большом числе случайных величин их средний результат перестает быть случайным и может быть предсказан с большой степенью определенности.

Под законом больших чисел в узком смысле понимается ряд математических теорем, в каждой из которых для тех или иных условий устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным.

Без преувеличения можно сказать, что закон больших чисел является одним из наиболее важных утверждений теории вероятностей. В этой главе рассмотрим классические теоремы, имеющие универсальный характер – закон больших чисел и центральную предельную теорему, которые имеют исключительное значение для математической статистики.

72

5.1.Закон больших чисел

В§ 2.13 был рассмотрен закон больших чисел для случая дискретных случайных величин. Примечательно то, что он без изменений переносится на общий случай случайных величин.

Предложение 5.1. (Закон Больших Чисел в форме Чебышева). Пусть

ξ1,...,ξn ,... − последовательность независимых случайных величин и выполнено

условие i N D[ξi ] ≤ c . Тогда ε > 0
		ξ +K+ ξ		M[ξ	] +K+ M[ξ	]
lim P		1	n −	1	n				> ε	= 0. #
					n
n→∞		n

Следствие 5.1. Пусть ξ1,...,ξn ,... − последовательность независимых одинаково распределенных случайных величин с конечной дисперсией: D[ξi ] < ∞.

Обозначим M[ξi ] = a . Тогда ε > 0
		ξ +K+ξ	n −a			= 0 , или, более кратко,	ξ +K+ ξ	P
lim P		1			> ε		1	n → a .
n→∞		n					n	n→∞
В действительности,					это	утверждение верно в	более общей ситуации,

а именно, предположение о существовании дисперсии не является необходимым. Имеет место так называемый закон больших чисел в форме Хинчина.

Предложение 5.2. (Теорема Хинчина). Пусть ξ1,...,ξn ,... − последователь-

ность независимых одинаково распределенных случайных величин, у которых существует математическое ожидание: M[ξi ] = a . Тогда

ξ +K+ ξ	P
1	n → a . #
n	n→∞

5.2. Центральная предельная теорема

Интегральная предельная теорема Муавра-Лапласа, которая рассматривалась в § 2.11, интересна тем, что она является частным случаем общей и универсальной центральной предельной теоремы. Основополагающий вклад в разработку этой тематики внесли выдающиеся отечественные математики: П.Л. Чебышев, А.А. Марков и А.М. Ляпунов.

Приведем вариант центральной предельной теоремы (ЦПТ) для независимых одинаково распределенных слагаемых.

Предложение 5.3. (ЦПТ). Пусть ξ1,...,ξn ,... − последовательность независимых одинаково распределенных случайных величин с конечной дисперсией. Обозначим M[ξi ] = a и D[ξi ] = σ2 > 0 . Тогда x R

73

ξ1 +K+ ξn

− na

(x) ,

lim P

σ n

≤ x = F0

n→∞

1 x e−

y2

где F (x) =

2

dy − функция распределения N(0, 1). #

0

2π −∫∞

Замечание 5.1. Обозначим S

n

= ξ +... + ξ

n

. Тогда M[S

n

] = na ,

D[S

n

] = nσ2 .

1

Следовательно, утверждение ЦПТ может быть записано в виде

Sn − M[Sn ]

= F0 (x) .

lim P

D[S

]

≤ x

n→∞

n

Как уже отмечалось выше, интегральную теорему Муавра-Лапласа для схемы Бернулли можно считать следствием ЦПТ.

Замечание 5.2. Существуют обобщения центральной предельной теоремы на случай независимых разнораспределенных слагаемых. При этом на отдельные слагаемые ξi накладываются условия, обеспечивающие их «пренебрежимо малый» вклад в сумму Sn с ростом n. Наиболее известными условиями такого рода являются условия Ляпунова и Линдеберга.

Центральная предельная теорема имеет огромное значение для применений теории вероятностей в естествознании и технике. Ее действие проявляется там, где наблюдаемый процесс подвержен влиянию большого числа независимых случайных факторов, каждый из которых лишь ничтожно мало изменяет течение процесса. Наблюдатель, следящий за состоянием процесса в целом, наблюдает лишь суммарное действие этих факторов. Эта схема поясняет также исключительное место, которое нормальное распределение занимает среди других вероятностных распределений.

Центральная предельная теорема дает возможность аппроксимировать распределение сумм независимых случайных величин нормальным распределением, чем часто пользуются на практике. В связи с этим, очень важным является вопрос о том, насколько быстро допредельное выражение в центральной предельной теореме приближается к F0(x). Приведем формулировку теоремы Бэр- ри-Эссеена о скорости сходимости в ЦПТ.

Предложение 5.4. (Теорема Бэрри−Эссеена). Предположим, что выполнены условия ЦПТ для независимых одинаково распределенных случайных вели-

чин, и, кроме того, существует M [

ξ

3

]. Тогда справедлива оценка

1

cM[

ξ

3

]

Sn − M[Sn ]

i

sup P

≤ x

− F0 (x) ≤

,

D[S

]

σ3

n

x

n

где c − некоторое число между 1/ 2π и 0,8. #

74

Глава 6. Цепи Маркова

6.1. Основные понятия теории марковских цепей

Пусть {E1, E2, ... , Er} – множество возможных состояний некоторой физической системы. В любой момент времени система может находиться только в одном состоянии. С течением времени система переходит последовательно из одного состояния в другое. Каждый такой переход называется шагом процесса.

Для описания эволюции этой системы введем последовательность дискретных случайных величин {ξ0, ξ1, ... , ξk ...}. Индекс n играет роль времени. Если в момент времени n система находилась в состоянии Ej, то мы будем считать, что ξn = j. Таким образом, случайные величины являются номерами состояний системы.

Определение 6.1. Последовательность {ξ0, ξ1, ... , ξk ...} образует цепь Маркова, если для любого n и любых k0, k 1, ... , kn ...

P(ξn = j / ξ0 = k0 ,...,ξn−1 = i) = P(ξn = j / ξn−1 = i) .

Для цепей Маркова вероятность в момент времени n попасть в состояние Ej, если известна вся предыдущая история изучаемого процесса, зависит только от того, в каком состоянии находился процесс в момент (n – 1). То есть при фиксированном «настоящем» «будущее» не зависит от «прошлого». Свойство независимости «будущего» от «прошлого» при фиксированном «настоящем» называется отсутствием последействия или марковским свойством.

Вероятности pij (n) = P(ξn = j / ξn−1 = i), i, j {1,2,...,r} называются вероятностями перехода из состояния Ei в состояние Ej за один шаг.

Определение 6.2. Цепь Маркова называется однородной, если вероятности перехода pij(n) не зависят от n, т.е. если вероятности перехода не зависят от номера шага, а зависят только от того, из какого состояния и в какое осуществляется переход. Для однородных цепей Маркова вместо pij(n) будем писать pij.

Вероятности перехода удобно располагать в виде квадратной матрицы

p11	p12	...	p1r
P = p21	p22	...	p2r .
...	...	...	...
	pr 2	...
pr1			prr

Матрица P называется матрицей вероятностей перехода однородной цепи Маркова за один шаг. Очевидно, что для всех i: ∑rj=1 pij =1.

Вектор a = (a1,a2 ,...,ar ) , где ai = P(ξ0 = i) , (i, j = 1, 2, ..., r) называется век-

тором начальных вероятностей.

75

Замечание 6.1. Свойства однородных цепей Маркова полностью определяются вектором начальных вероятностей и матрицей вероятностей перехода.

Пример 6.1. Завод выпускает телевизоры определенного типа. В зависимости от того, находит ли данный тип телевизора спрос у населения, завод в конце каждого года может находиться в одном из состояний: состояние 1 – спрос есть, состояние 2 – спроса нет. Пусть вероятность сохранить состояние 1 в следующем году с учетом возможного изменения спроса равна 0,8, а вероятность изменить состояние 2 с учетом мероприятий по улучшению выпускаемой модели равна 0,6. Тогда процесс производства на данном заводе можно описать цепью Маркова с матрицей переходов

0,8	0,2
P =	.
0,6	0,4

В конкретных случаях для описания эволюции цепи Маркова вместо матрицы P используют граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния Ei в состояние Ej с числом pij над ней показывает, что из состояния Ei в состояние Ej возможен переход с вероятностью pij. В том случае, когда pij = 0, соответствующая стрелка не проводится. Порядок построения граф рассмотрим на примере.

Пример 6.2. По заданной матрице переходов

	0,1	0,2	0	0,7
P =	0	0,4	0,6	0
0,4		0,1	0	0,5
	0	0	0,5
				0,5

построим граф состояний. Имеем (рис. 6.1)

Рис. 6.1.

Т.к. матрица четвертого порядка, то, соответственно, система имеет 4 возможных состояния S1, S2, S3, S4. На графе не отмечаются вероятности перехода

76

системы из одного состояния в то же самое. При рассмотрении конкретных систем удобно сначала построить граф состояний, затем определить вероятность переходов системы из одного состояния в то же самое (исходя из требования равенства единице суммы элементов строк матрицы), а потом составить матрицу переходов системы.

Предложение 6.1. (Формула Маркова). Пусть pij(n) – вероятность того, что

в результате n испытаний система перейдет из состояния i в состояние j, l – некоторое промежуточное состояние между состояниями i и j, причем pij(1) = pij.

Обозначим соответствующую матрицу переходов как Pn ={pij(n) }r×r Тогда вероятность pij(n) может быть найдена по формуле Маркова

pij(n) = ∑r	pil(m) pli(n−m) ,	(6.1)
l=1

или, что равносильно Pn = PmPn−m = P1n . #

Замечание 6.2. Равенство (6.1) представляет собой несколько видоизменную формулу полной вероятности. Зная переходные вероятности (т.е. зная матрицу перехода P = P1), можно найти вероятности перехода из состояния в состояние за два шага P2, зная ее – найти матрицу Р3, и т.д.

Пример 6.3. Найти матрицу P3, если известна матрица переходов
	0,1	0,9
P =			.
	0,3	0,7
Решение.			0,9										0,72
P	= P =	0,1		, P	= P2 =		0,1	0,9		0,1	0,9	= 0,28		,
1				2		1
		0,3	0,7				0,3	0,7		0,3	0,7	0,24	0,76
P	= P P =		0,1	0,9		0,28	0,72		= 0,244		0,756 .
3	1	2
			0,3	0,7		0,24	0,76		0,252		0,748

6.2. Теорема о предельных вероятностях

Предложение 6.2. (Теорема о предельных вероятностях Биркгофа– Неймана). Если при некотором n0 все элементы матрицы Pn0 =[ pij (n0 )] поло-

жительны, то существуют пределы lim pij (n) =bj , (i, j = 1, 2, ..., r). Предель-

n→∞

ные вероятности bj не зависят от начального состояния Ei и являются единственным решением системы уравнений

77

∑r bjj=1r∑bkk=1

= 1,

(6.2)

pkj = bj , j = 1,2,...,r.

Физический смысл этой теоремы заключается в том, что вероятности нахождения системы в состоянии Ej практически не зависят от того, в каком состоянии она находилась в далеком прошлом.

Цепь Маркова, для которой существуют пределы bj, называется эргодической. Решение (b1, b2, ... , br) системы (6.2) называется стационарным распределением вероятностей для марковской цепи с матрицей перехода P.

Если из состояния Ei система может перейти в состояние Ej с положительной вероятностью за конечное число шагов, то говорят, что Ej достижимо из Ei.

Состояние Ei называется существенным, если для каждого состояния Ej, достижимого из Ei, Ei достижимо из Ej. Если же для хотя бы одного j Ej достижимо из Ei, а Ei не достижимо из Ej, то Ei – несущественное состояние.

6.3. Области применения цепей Маркова

Цепи Маркова служат хорошим введением в теорию случайных процессов, т.е. теорию простых последовательностей семейств случайных величин, обычно зависящих от параметра, который в большинстве приложений играет роль времени. Она предназначена, главным образом, для полного описания как долговременного, так и локального поведения процесса. Приведем некоторые наиболее изученные в этом плане вопросы.

Броуновское движение и его обобщения – диффузионные процессы и про-

цессы с независимыми приращениями. Теория случайных процессов способствовала углублению связи между теорией вероятностей, теорией операторов и теорией дифференциальных уравнений, что, помимо прочего, имело важное значение для физики и других приложений. К числу приложений относятся процессы, представляющие интерес для актуарной (страховой) математики, теории массового обслуживания, генетики, регулирования дорожного движения, теории электрических цепей, а также теории учета и накопления товаров.

Мартингалы. Эти процессы сохраняют достаточно свойств цепей Маркова, чтобы для них оставались в силе важные эргодические теоремы. От цепей Маркова мартингалы отличаются тем, что когда текущее состояние известно, только математическое ожидание будущего, но необязательно само распределение вероятностей, не зависит от прошлого. Помимо того, что теория мартингалов представляет собой важный инструмент для исследования, она обогатила новыми предельными теоремами теорию случайных процессов, возникающих в статистике, теории деления атомного ядра, генетике и теории информации.

Стационарные процессы. Эргодическая теорема Биркгофа–Неймана быть интерпретирована как результат, описывающий предельное поведение стационарного случайного процесса. Такой процесс обладает тем свойством, что все

78

вероятностные законы, которым он удовлетворяет, остаются инвариантными относительно сдвигов по времени. Эргодическую теорему Биркгофа–Неймана можно представить как утверждение о том, что при определенных условиях среднее по ансамблю совпадает со средним по времени. Это означает, что одну и ту же информацию можно получить из долговременного наблюдения за системой и из одновременного (и одномоментного) наблюдения многих независимых копий той же самой системы. Закон больших чисел есть не что иное, как частный случай эргодической теоремы Биркгофа. Интерполяция и предсказание поведения стационарных гауссовских процессов, понимаемых в широком смысле, служат важным обобщением классической теории наименьших квадратов. Теория стационарных процессов – необходимое орудие исследования во многих областях.

Марковские процессы (процессы без последействия) играют важную роль в моделировании систем массового обслуживания (СМО) и социальноэкономических процессов.

79

РАЗДЕЛ 2. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Математическая статистика – раздел математики, посвященный анализу данных. Это самостоятельная область знаний, которая в значительной степени опирается на понятия теории вероятностей. C формальной точки зрения математическая статистика является такой же формально-логической системой, как анализ, алгебра и теория вероятностей.

В математической статистике можно выделить два основных направления: описательную статистику и индуктивную статистику (статистический вывод). Описательная статистика занимается накоплением, систематизацией и представлением экспериментальных данных в удобной форме. Индуктивная статистика на основе этих данных позволяет сделать определенные выводы относительно объектов, о которых собраны данные, или оценить их параметры.

Задачи, решаемые математической статистикой, являются, в некотором смысле, обратными задачам теории вероятностей. Вероятностные задачи, как правило, устроены следующим образом: распределения случайных величин считаются изначально известными, основываясь на знании этих распределений, требуется найти вероятности различных событий, математические ожидания, дисперсии, моменты распределений и т.п. В статистических задачах само распределение считается неизвестным, и целью исследования является получение более или менее достоверной информации об этом распределении на основе данных, собранных в результате наблюдений (экспериментов).

Сравнительная характеристика областей применения теории вероятностей и математической статистики представлена в следующей таблице:

Области применения теории вероятностей и математической статистики

Теория вероятностей		Математическая статистика
1. Модель, описывающая изучае-	1.	Модель, описывающая исследуемое явление, априори
мое явление или объект, известна	неизвестна.
заранее. Есть сведения обо всей	2.	Для определения модели можно проводить пробные
генеральной совокупности, опи-	испытания (сформировать выборку из генеральной со-
сывающей исследуемое явление.	вокупности).
2. Используемый математический	3.	Иногда модель может быть задана априори с точно-
аппарат не зависит от предметной	стью до неизвестных параметров.
области.	4.	Значения неизвестных параметров модели могут быть
3. Выводы о поведении исследуе-	приближенно получены по выборке из генеральной со-
мого объекта или явления делают-	вокупности.
ся по всей генеральной совокуп-	5.	Выводы о поведении объекта или явления делаются
ности.	по выборке ограниченного объема и распространяются
	на всю генеральную совокупность.

Отметим, что статистические методы реализованы в различных статистических пакетах прикладных программ, например STATISTICA, SPSS, STATGRAPHICS и др. Задачей данного раздела является освоение основных понятий и методов математической статистики.

80