УМК по ТВ и МС

ходов (т.е. исходов, для которых {Xi < x}) к общему числу исходов n, а при переходе к случайной выборке X1, … , Xn становится случайной величиной µ(x)/n, где µ(x) – биномиальная случайная величина.

Согласно теореме Бернулли (см. следствие 2.2), частость µ(x)/n сходится по вероятности к вероятности p, поэтому

F	(x) =	µ(x)	P
			→ p = P{ξ < x} = F (x) .
n		n	n→∞	ξ

Функция плотности pξ(x) оценивается с помощью гистрограммы следующим образом. Вся числовая прямая разбивается на L непересекающихся полуинтервалов hi =[bi−1,bi ), i =1,...,L, b0 = −∞, bL = ∞, по конкретной выборке

x1, … , xn подсчитывается число наблюдений ni, i = 1,…, L, попавших в каждый интервал. Затем над каждым полуинтервалом i-м строится прямоугольник, площадь которого пропорциональна ni.

Точно так же, как и выше, можно доказать, что частости попадания на полуинтервалы сходятся по вероятности к соответствующим вероятностям

	ni	P	bi		(x)dx = P{b	≤ x < b }.
		→ p		ξ
	n	n→∞	∫		i−1	i
			bi−1

При подходящем подборе полуинтервалов гистограмма pn(x) будет напоминать график функции плотности pξ(x).

Если известно, что плотность отлична от нуля только на некотором отрезке, то полуинтервалы можно, и желательно, выбирать одинаковой длины h, а площади прямоугольников – равными частостям ni/n. Поэтому вся площадь под гистограммой будет равна единице. На рис. 7.2 показан пример такой гистограммы.

Рис. 7.2.

Пример 7.2. Выборочная проверка размеров дневной выручки оптовой базы от реализации товаров по 100 рабочим дням дала следующие результаты:

i	1	2	3		4		5		6		7		8
Ji	0 – 5	5 – 10	10 –	15	15 –	20	20 –	25	25 –	30	30 –	35	35 – 40
ni	2	7	14		19		25		20		10		3

91

Здесь, i – номер интервала значений дневной выручки (i = 1, … , 8); Ji – границы i-того интервала (в условных денежных единицах); ni – число рабочих дней, когда дневная выручка оказывалась в пределах i-го интервала; при этом оче-

видно, что ∑8	ni = n =100 . Требуется:
i=1
1) построить гистограмму частот;

2) найти несмещенные оценки x и s2 для математического ожидания и дисперсии случайной величины Х (дневной выручки оптовой базы) соответственно; 3) определить приближенно вероятность того, что в наудачу выбранный рабочий день дневная выручка составит не менее 15 условных денежных единиц.

Решение.

1) В условиях данной задачи естественно исходить из того, что наблюдаемая случайная величина Х (дневная выручка оптовой базы) имеет непрерывное распределение вероятностей.

Статистическим аналогом графика плотности распределения такой случайной величины, как известно, является гистограмма относительных частот. Она представляет собой совокупность прямоугольников, построенных на выделенных интервалах наблюденных значений случайной величины Х как на основаниях. Площадь каждого i-го прямоугольника равна относительной частоте wi i-

го интервала, определяемой по формуле	wi = ni / n , так что ∑8	wi =1.Отсюда
	i=1

высота i-го прямоугольника вычисляется как wi hi где hi – величина i-го

интервала (в данной задаче hi = h = 5 для всех i = 1, … , 8).

Полная площадь гистограммы, таким образом, равна единице. На основе изложенного для построения гистограммы составим следующую таблицу.

	i		1	2	3	4	5	6	7	8
	Ji		0 – 5	5 – 10	10 – 15	15 – 20	20 – 25	25 – 30	30 – 35	35 – 40
	ni		2	7	14	19	25	20	10	3
	wi		0,02	0,07	0,14	0,19	0,25	0,20	0,10	0,03
	wi		0,004	0,014	0,028	0,038	0,05	0,04	0,02	0,006
5
	Построим гистограмму:

92

Вид этой гистограммы позволяет считать рассматриваемое распределение вероятностей нормальным.

2) Несмещенные оценки

x

и s2 найдем по формулам

n

x =

1

∑8

xini = ∑8

xi wi ,

s2 =

1

∑8

(xi − x)2 ni =

∑8

(xi − x)2 wi ,

n

n −1

n −1

i =1

i =1

i =1

i =1

где xi – середина i-го интервала.

Все необходимые вычисления для удобства и наглядности проведем в рамках следующей таблицы:

			i			1	2	3			4			5		6	7		8
			xi			2,5	7,5	12,5			17,5			22,5		27,5	32,5		37,5
			wi			0,02	0,07	0,14			0,19			0,25		0,20	0,10		0,03
			xiwi			0,05	0,525	1,75			3,325				5,625	5,5	3,25		1,125
									x = 21,15
			xi − x			18,65	13,65	8,65				3,65		1,35		6,35	11,35		16,35
(xi − x)2						347,82	186,32	74,82				13,32		1,82		40,32	128,82		267,32
(x	i		− x)2 w			6,96	13,04	10,48				2,53		0,46		8,06	12,88		8,02
					i
							s2	=	100	62,43 = 63,06
								99
Таким образом, x =21,15 усл. ден. ед., s2															= 63,06 (усл. ден. ед.)2.

3) Как установили в пункте 1, распределение случайной величины Х можно считать нормальным. В качестве его параметров возьмем оценки a ≈ x = 21,15 и

σ ≈ s2 = 7,94 полученные в пункте 2. Тогда приближенно вероятность

P(Х ≥ 15) того, что в наудачу выбранный рабочий день дневная выручка оптовой базы составит не менее 15 условных денежных единиц, можно вычислить c использованием функции Лапласа Ф(х). Имеем

Р(X < 15) + Р( X≥ 15) = 1

Р(X ≥ 15) = 1 – Р(X < 15) = 1 – F(15),

x − a

15 − a

Но

F (x) = 0,5 + Φ

и

значит

F (15) = 0,5

+ Φ

. Итак, имеем

σ

σ

15 − a

P(X ≥15) = 0,5 −Ф

σ

. Найдем, используя таблицу 1 приложения

15 − 21,15

P(X ≥15) = 0,5 − Φ

= 0,5

− Φ(−0,77)

=[Φ(−x) = −Φ(x)] =

7,94

= 0,5 + Φ(0,77) = 0,5

+ 0,2794 = 0,7794 ≈ 0,78.

Таким образом, P(Х ≥ 15) ≈ 0,78. Это означает, что в среднем в 78 из 100 рабочих дней дневная выручка оптовой базы составит не менее 15 усл. ден. ед.

93

Глава 8. Точечные и интервальные оценки параметров распределений

Имеется два подхода к оцениванию неизвестных параметров распределений по наблюдениям: точечный и интервальный. Точечный указывает лишь точку (число), около которой находится оцениваемый параметр; при интервальном находят интервал, который с некоторой вероятностью, задаваемой исследователем, накрывает неизвестное числовое значение параметра.

8.1. Методы построения точечных оценок

Точечное оценивание параметров распределений можно осуществлять следующими методами: моментов (method of moments); максимального правдопо-

добия (maximum-likelihood method); наименьших квадратов (least-squares method); минимума χ2; робастными (устойчивыми к отклонению модели от заданного вида); непараметрическими и др. Рассмотрим некоторые из них.

8.1.1. Метод моментов

Пусть некоторая непрерывная случайная величина ξ описывается моделью pξ (x,Θ) , где Θ = (θ1,...,θK ) . Необходимо оценить неизвестные параметры Θ

модели по выборке конечного объема x1, … , xn, полученной из генеральной совокупности. Суть методо моментов состоит в приравнивании оценок моментов (начальных, центральных) эмпирического распределения соответствующим теоретическим моментам выбранной модели, являющимся функциями неизвестных параметров модели, и затем решении полученной системы уравнений. Число уравнений в системе определяется количеством искомых параметров.

Начальные и центральные теоретические моменты k-го порядка могут быть получены из выражений

∞	∞
νk = ∫xk pξ (x,Θ)dx = νk (Θ) , µk = ∫(x −νk )k pξ (x, Θ)dx = µk (Θ) ,
−∞	−∞
а их оценки νk	и k − по выборке x1, … , xn. Полагая, что νk и µk являются со-

стоятельными оценками моментов νk и µk, приравниваем их друг другу. В результате получим систему

νk (Θ) = ν)k ,		(8.1)
	)
µk (Θ) = µk ,

число уравнений в которой должно быть равным числу K неизвестных параметров θi, (i =1,..., K ). Решив систему (8.1) относительно неизвестных парамет-

ров Θ, получим М-оценки θi(M ) , (i =1,..., K ).

Если случайная величина ξ является дискретной, то вместо плотности вероятности pξ (x,Θ) используем функцию вероятности pξ (xi ,Θ) = P(ξ = xi ,Θ) = pi , а начальные и центральные теоретические моменты определяем по формулам:

94

νk = ∑n= xik pi = νk (Θ) , µk = ∑n= (xi − x) pi = µk (Θ) .

i 1 i 1

Замечание 8.1. Вопрос о том, какие начальные и центральные моменты включать в систему (8.1) следует решать, руководствуясь конкретными целями исследования и сравнительной простотой форм зависимостей моментов от параметров. На практике, как правило, ограничиваются четвертыми моментами.

Предложение 8.1. Пусть решение системы (8.1) существует и функции

θ(M ) = θ		)	)		)	)		), i =1,..., K,	K = K		+ K
		(M ) (v , K, v		K	, µ	, K, µ	K			1		2
i	i	1			1			2
				1

непрерывны в точке m = (v1,...,vK1 , µ1,...,µK2 ) . Тогда оценки, полученные по методу моментов, состоятельны. #

Пример 8.1. Найдем оценку параметра λ закона распределения Пуассона. Известно, что для случайной величины ξ, распределенной по закону Пуассона, M [ξ] = λ. Поэтому для нахождения единственного параметра λ достаточно приравнять теоретический ν1 и эмпирический ν1 начальные моменты перво-

го порядка. Момент ν)1(M ) = x , следовательно, оценка метода моментов параметра λ есть выборочное среднее x .

Пример 8.2. Случайная величина ξ имеет нормальный закон распределения N(a, σ2), при этом числовые значения параметров a и σ2 неизвестны. Найдем оценки метода моментов для этих параметров.

Используя формулу (3.5), выразим моменты ν1 и ν2 через a и σ2:

∞

1

−

1

x−a

2

νk =

xk

e

σ

2π

2

σ dx, k =1, 2 .

−∞∫

Система (8.1) в данном случае примет вид

ν1 = a,

= a

2

+ σ

2

.

ν2

Отсюда получаем M-оценки

1

1

)(M )

)

1

n

)

2(M )

)

)2

n

2

2

n

2

)2

a

= ν1

=

∑ xi

= x , σ

= ν2

− ν1

=

∑ xi

− x

=

∑(xi − x)

= σ

.

n i=1

n i=1

n i=1

Замечание 8.2. Оценки метода моментов обычно состоятельны, однако по эффективности они не являются «наилучшими», т.к. их эффективность e(θ(nM ) )

часто значительно меньше единицы. Тем не менее, метод моментов часто используется на практике, благодаря сравнительно простым вычислениям. Это объясняется тем, что для большинства статистических моделей, соответствующих основным вероятностным распределениям, система (8.1) без труда решается в каждом конкретном случае.

95

8.1.2. Метод максимального правдоподобия

Основным методом получения оценок параметров генеральной совокупно-

сти по выборочным данным является метод максимального правдоподобия

(ММП). Пусть в результате статистического наблюдения получена выборка x1, … , xn, которая описывается некоторой моделью pξ (x,Θ) , где Θ = (θ1,..., θK ) .

Определение 8.1. Функция (вообще говоря, случайная величина)

			n
L(x1,..., xn , Θ) = ∏ pξ(xi ,Θ) .							(8.2)
			i =1
называется функцией правдоподобия. Функцию ln L(x1,..., xn , Θ)							называют лога-
рифмической функцией правдоподобия.
Определение 8.2. Согласно методу максимального правдоподобия искомые
ML-оценки Θ(ML) определяются из условия
L(x	,..., x	n	,Θ(ML) ) = max L(x ,..., x		n	,Θ) .	(8.3)
1			Θ	1

При условии независимости вариантов xi плотность (8.2) вероятности совместного появления результатов выборки x1 , … , xn является мерой правдопо-

добности получения наблюдений x1, … , xn. И оценки Θ(ML) таковы, что имеющиеся наблюдения x1, … , xn наиболее правдоподобные.

Замечание 8.3. Если функция правдоподобия L(x1,..., xn , Θ) является диф-

ференцируемой по переменным x1, … , xn, то оценка наибольшего правдоподобия удовлетворяет системе уравнений

∂L(x1,..., xn ;θ1,...,θK ) = 0, i =1,..., K .

∂θi

Эта система представляет собой известное из курса математического анализа необходимое условие экстремума функции многих переменных.

Нахождение Θ(ML) упрощается, если максимизировать не саму функцию L, а ln L , поскольку максимум обеих функций достигается при одних и тех же

значениях Θ. Поэтому для отыскания вектора оценок параметров Θ(ML) надо вместо (8.3) решить систему (при K ≥ 2 ) уравнений правдоподобия, получаемую приравниваем частных производных по параметрам θi к нулю:

∂ln L		= 0,	i =1,..., K .	(8.4)
)
∂θi
а затем отобрать то решение, которое обращает функцию ln L в максимум.
Для	дискретной случайной величины ξ вместо плотности вероятности
pξ (x,Θ)	используем функцию вероятности pξ (xi ,Θ) = P(ξ = xi ,Θ) = pi .

Пример 8.3. Найти ML-оценку для вероятности p наступления некоторого события A по числу m появлений этого события в n независимых испытаниях.

96

Решение. Составим функцию правдоподобия:

	L(x ,..., x		, p) = pp...p(1− p)...(1− p) = pm (1− p)n−m .
	1	n	1231442443
			m	n−m	d ln L		m		n − m
	Тогда ln L = m ln p + (n − m) ln(1 − p) и согласно (8.4)					=		−		= 0 ,
					dp		p		1 − p

откуда p)(ML) = m / n . Таким образом, ML-оценкой вероятности p является частость w = m / n этого события.

Пример 8.4. Найдем методом максимального правдоподобия оценки параметров a и σ2 нормального закона распределения по выборке x1, … , xn.

Плотность вероятности нормально распределенной случайной величины ξ

1

e−

( x−a)2

pξ (x) =

σ

2σ2

.

2π

Тогда функция правдоподобия примет вид:

n

( xi −a)

2

∑( xi −a)2

n

1

−

1

−

i=1

L(x1,..., xn , a, σ2 ) = ∏

e

2σ2

=

e

2σ2 .

n

i =1 σ 2π

σn (2π)2

Логарифмируя, получим: ln L = −

n

[ln σ2 + ln(2π)] −

1

∑n

(xi − a)2 .

2

2σ2 i=1

Для нахождения параметров a и σ2 надо согласно (8.4) решить систему

уравнений правдоподобия:

∂ln L

1

n

∂a

=

∑i=1 (xi − a)

= 0 ,

σ2

∂ln L

1

n

n

=

∑(xi − a)2 −

= 0 ,

∂σ2

2σ4

2σ2

i=

1

∑n

∑n

)

xi

)

(ML)

(xi

− x)2

откуда ML-оценки равны:

a(ML) =

i=1

= x ,

σ2

=

i=1

.

n

n

Таким образом, ML-оценками математического ожидания a и дисперсии σ2 нормально распределенной случайной величины являются соответственно выборочная средняя арифметическая и выборочная дисперсия.

Важность ММП связана с его оптимальными свойствами. Так, если для па-

раметра θ существует эффективная оценка θefn , то оценка максимального правдоподобия единственная и равна этой эффективной оценке θefn . Кроме то-

го, при достаточно общих условиях оценки максимального правдоподобия являются состоятельными, асимптотически эффективными и имеют асимптотически нормальное распределение.

Замечание 8.4. Основной недостаток ММП – трудоемкость вычисления оценок, связанных с решением уравнений правдоподобия, чаще всего нелиней-

97

ных. Существенно также и то, что для построения ML-оценок и обеспечения их «хороших» свойств необходимо точное знание типа анализируемого закона распределения pξ(x, Θ), что во многих случаях практически нереально.

8.1.3. Метод наименьших квадратов

Метод наименьших квадратов (МНК) – один из наиболее простых приемов построения оценок. Суть его заключается в том, что оценка определяется из условия минимизации суммы квадратов отклонений выборочных данных от определяемой оценки. Дадим постановку задачи для линейной модели в общем

случае. Запишем линейную модель в виде y = XΘ+ε,

где y − вектор-столбец наблюдений y1, … , yn размерности n, X − матрица известных коэффициентов {xij }n×K (n > K ) ,

Θ− вектор-столбец неизвестных параметров θ1,..., θK размерности K,

ε − вектор-столбец случайных величин ε1,..., εn размерности n, которые некоррелированы, имеют нулевое математическое ожидание и дисперсию σ2.

Определение 8.3. Метод наименьших квадратов состоит в минимизации скалярной суммы квадратов

Q = (y − XΘ)T (y − XΘ)

(8.5)

по компонентам θ1,..., θK вектора Θ. Необходимым условием обращения (8.5) в минимум является условие

∂Q(θ1,...,θK ) = 0, i =1,..., K .

∂θi

Выполняя дифференцирование, получаем 2XT (y − XΘ) = 0, откуда находим вектор LS-оценок: Θ(LS ) = (XT X)−1 XT y . Предполагается, что матрица XT X невырождена и, следовательно, может быть обращена.

Пример 8.5. Найдем оценку метода наименьших квадратов θ(LS ) для математического ожидания случайной величины ξ по выборке x1, … , xn.

Согласно методу наименьших квадратов оценка θ(LS ) находится из условия минимизации суммы квадратов отклонений выборочных значений xi от значе-

			)	n	)
ния искомой МНК-оценки: f (θ(LS ) ) = ∑(xi − θ(LS ) )2							→ min .
				i=1
Используем необходимое условие экстремума
	df	n	)		)	∑n	xi
	)	= −2∑(xi − θ(LS ) ) = 0 , откуда			θ(LS ) =	i=1		= x ,
						n
	dθ(LS )	i=1

т.е. МНК-оценка математического ожидания есть выборочная средняя.

98

Замечание 8.5. МНК, отличаясь по подходу от метода максимального правдоподобия, и, обладая своими собственными оптимальными свойствами, совпадает с ММП в важном случае нормально распределенных наблюдений. МНК получил самое широкое распространение в практике статистических исследований, т.к.:

-не требует знания закона распределения выборочных данных;

-имеет простую вычислительную реализацию.

Вотличие от ММП, МНК в общем случае не обладает даже асимптотическими оптимальными свойствами. Однако в одном очень важном классе ситуаций он, даже при малых выборках, обладает свойством оптимальности. А

именно, если все наблюдения (варианты) xi имеют одинаковые дисперсии, взаимно некоррелированы и являются линейными функциями неизвестных параметров, то МНК дает несмещенные оценки, которые имеют минимальную дисперсию (т.е. обладают свойством эффективности).

Впоследние годы развиваются робастные (или устойчивые) и непараметрические методы оценивания. Они позволяют находить оценки, хотя и не являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого. Например, устойчивой оценкой математического ожидания по конечной выборке является медиана этой выборки.

8.2. Неравенство Рао–Крамера–Фреше

Рассмотрим более подробно вопрос об эффективности оценок. В определении 7.4 дано понятие эффективности оценки, но как ее определять не показано. Пусть pξ(x, θ) − плотность вероятности случайной величины ξ, если ξ − непрерывна, и pξ (xi ,θ) = P(ξ = xi ,θ) , если ξ − дискретна, θ − неизвестный параметр.

Предложение 8.2. При выполнении функцией pξ(x, θ) достаточно общих условий регулярности: дифференцируемости по θ, независимости области определения от θ и т.д., являющихся достаточно общими, справедливо неравен-

ство Рао–Крамера–Фреше (неравенство информации):

	)	1
	D[θ] ≥		= min D[θ'] ,	(8.6)
		nI (θ)
			θ' S

где D[θ] − дисперсия оценки θ параметра θ; n − объем выборки; I(θ) − количество информации Фишера о параметре, содержащееся в единичном наблюдении и определяемое формулами:

d ln ϕX (x,θ) 2

n

ϕX (xi ,θ)′θ

- в дискретном случае

I (θ) = M

= ∑=

ϕX (xi ,θ) ,

dθ

ϕ

X

(x ,θ)

i 1

i

2

d ln ϕX (x,θ)

2

∞ ϕX (x,θ)′θ

- в непрерывном случае

I (θ) = M

=

∫

ϕX (x,θ)dθ. #

dθ

ϕX (x,θ)

−∞

99

Поэтому

	)	1)		1
	e(θ) =		min D[θ] =		)	≤1.	(8.7)
		D[θ] θ' Θ		nI (θ)D[θ]

Если e(θ) =1, то θ − эффективная оценка параметра θ в классе Θ всех его несмещенных оценок. Т.е. неравенство информации (8.6) позволяет найти тот ми-

нимум min D[θ'] , который должна иметь дисперсия оценки σ2) , чтобы быть

θ' Θ θ

эффективной оценкой.

Пример 8.6. Убедиться в том, что найденная методом моментов по случайной выборке из генеральной совокупности с распределением N(a, σ2) оценка X параметра a является эффективной в классе несмещенных оценок, а оценка s2 параметра σ2 является, после исключения смещения, асимптотически эффективной.

Решение. Оценка X − несмещенная, и D[X ] = σ2 n . Предположив, что σ2 известна, и, используя формулу (8.7), с учетом нормальности распределения

d ln ϕX (x,a)					2	1
I (a) = M					=			,
			da			σ	2
получим, что e(			) =1. Следовательно,							− эффективная оценка.
		X							X

)

смещенная; исключив смещение, получим оценку

Оценка дисперсии σn2

n )

∑n

(X i −

)2

X

s2 =

σn2 =

i=1

,

n −1

n −1

2σ4

дисперсия которой равна

D[s2 ] =

. Считая, что a известно, и, используя

n −1

(8.7), в которой, с учетом нормальности распределения,

2

d ln ϕX (x,a)

2

1

I (σ

) = M

=

,

dσ

2

2σ

4

получим, что эффективность e(s2 ) = n n−1 <1, а асимптотическая эффективность

e0 (s2 ) = lim e(s2 ) =1. Следовательно, s2 − асимптотически эффективная оценка.

n→∞

Замечание 8.6. В заключение обсуждения методом нахождения оценок, отметим, что, даже имея большие объемы экспериментальных данных, мы не имеем возможности указать точные значения оцениваемых параметров, а определяем лишь их оценки, близкие «в среднем», или «в большинстве случаев». Поэтому важной задачей является, рассматриваемое далее, определение точности и достоверности найденных оценок.

100