Теория вероятностей и математическая статистика

14.2. Критерий согласия Колмогорова

Андрей Николаевич Колмогоров, советский математик (1903-1987), акад. АН СССР.

Критерий Колмогорова

u = D n = max F (x) − F (x) n

Здесь F (x) - статистическая, и F(x) -

теоретическая функции распределения, n – объем выборки.

Показано, что при большом n

∞

P(u ≥u) =1− ∑(−1)ie−2i2u2 ,

i=−∞

то есть не зависит от распределения x.

Величина P(u ≥u ) табулирована.

Недостаток критерия Колмогорова:

Если распределение F(x) заранее неизвестно, а его параметры определяются по выборке, то значения P(u ≥u ) получаются завышенными. У критерия хи-квадрат этого недостатка нет.

Порядок применения критерия Колмогорова:

•Строятся F (x) - статистическая, и F(x) - теоретическая функции распределения, и определяется величина D.

•Определяется u .

•По таблице определяется P(u ≥u ) и сравнивается с уровнем

значимости.	Если P(u ≥u ) меньше уровня значимости, гипотеза
отвергается.

71

Лекция 15

15.Оценки параметров распределений

15.1.Классификация оценок

• Оценка неизвестного параметра распределения по ограниченной выборке – случайная величина, имеющая при заданном объеме выборки свои законы распределения и статистические характеристики.

Состоятельная, несмещенная и эффективная оценки:

•Состоятельная оценка – та, которая при бесконечном увеличении объема выборки сходится по вероятности к истинному значению оцениваемой величины.

•Несмещенная оценка – та, среднее значение которой равно истинному значению оцениваемой величины.

•Эффективная оценка – несмещенная оценка, которая при данном объеме выборки имеет минимальную дисперсию.

Точечные и интервальные оценки.

• Точечная оценка выражается в виде числового значения оцениваемого параметра. Точечная оценка не позволяет сделать выводы о точности оценки.

Интервальная оценка выражается в виде интервала числовых значений, в котором оцениваемый параметр находится с определенной вероятностью: доверительный интервал, доверительные границы и доверительная вероятность.

72

15.2. Неравенство Крамера-Рао

Определяет минимально возможную дисперсию регулярных несмещенных оценок:

D(a ) ≥				1
	∞	d lnW (x / a) 2
	n				W (x / a)dx
	−∞∫		da

[Регулярной называется оценка a параметра a распределения W (x / a) , если

для всех значений x и a существуют частные производные по a плотностей вероятностей W (x / a) и W (a / a) ]

15.3. Оценки математического ожидания и дисперсии нормальной величины

	W (x) =	1	e−	( x−m)2
				2σ2
		2πσ

Оценка математического ожидания m.

Минимальная дисперсия оценки

	) =	1	∞		d lnW (x) 2				−1	σ2	.
Dmin (m				−∞∫			W (x)dx		=	n
		n				dm

Рассмотрим метод оценки:

1

n

m =

∑xi .

n i=1

Среднее значение оценки:

) = M

1 n

=

1

n

M (m

∑xi

∑M (xi ) = m.

n i=1

n i=1

Следовательно, оценка несмещенная.

Дисперсия оценки:

1

n

1

n

σ2

D(m

) = D

∑xi

=

∑D(xi ) =

.

n

2

n

n i=1

i=1

Следовательно, оценка эффективная.

73

Оценка дисперсии σ2 .

Минимальная дисперсия оценки

D (σ

2

) =

1

∞

d lnW (x) 2

−1

2σ

4

−∞∫

2

W (x)dx

=

.

min

n

dσ

n

Рассмотрим первый метод оценки – статистическую дисперсию:

σ2 = 1 ∑n (xi −m )2 . n i=1

Среднее значение оценки:

M (σ2 ) = M (α2 −m 2 ) = M (α2 ) − M (m 2 ).

1

n

2

1

n

2

1 n

M (α2 )

= M

∑xi

=

∑M (xi ) =

∑α2 =α2.

n i=1

n i=1

n i=1

M (m

2

) = M

1

n

2

=

1

n n

∑xi

∑∑M (xi xj ).

n i=1

n i=1 j=1

xi и xj при i ≠ j

независимы, а при i = j - равны,

поэтому

2

mx mx

= m

при i ≠ j (всего n членов)

M (xi xj

) =

i

j

при i = j

(всего n2 − n членов)

M (x2 ) =α

2

i

После простых преобразований

M (σ2 ) = n n−1σ2.

Следовательно, оценка хотя и состоятельная, но смещенная, и смещение тем больше, чем меньше n. Дисперсия оценки (без вывода):

D(σ2 ) ≈ μ4 −nσ4 ,

то есть может быть меньше, чем Dmin (σ2 ) - например, при нормальном распределении μ4 =3σ4 . Причина –

смещенность оценки, вызывающая дополнительную ошибку оценки дисперсии.

74

Рассмотрим второй метод оценки:

σ2 = n 1−1∑n (xi −m )2

i=1

Для этой оценки M (σ2 ) =σ2 , то есть оценка несмещенная. Однако,

D(σ2 ) = n n−1 2σn 4 ,

следовательно, оценка неэффективная. Рассмотрим третий метод оценки:

σ2 = 1 ∑n (xi −m)2

n i=1

(здесь m не статистическое, а истинное). Для этой оценки M (σ2 ) =σ2 , то есть оценка несмещенная, и

D(σ2 ) = 2σn 4 ,

следовательно, оценка эффективная.

Контрольные вопросы к 15 лекции

1.Почему оценка неизвестного параметра является случайной?

2.В чем разница между состоятельностью и несмещенностью оценки?

3.Что при интервальной оценке является случайным?

4.Что такое неравенство Крамера-Рао?

5.Почему при первом способе оценки дисперсии не соблюдается неравенство Крамера-Рао?

6.В чем недостаток третьего способа оценки дисперсии?

75

Лекция 16

16. Общие методы оценки параметров распределения

16.1. Метод моментов

Параметр выражается через моменты, а затем вместо моментов подставляются статистические моменты.

Оценка, сделанная методом моментов, состоятельна, но не всегда несмещенная и эффективная.

Пример: равномерное распределение генеральной совокупности в интервале от α до β. Оценить α и β.

16.3. Метод максимума правдоподобия

Пусть имеется распределение xG, зависящее от параметра a:

W (xG/ a) .

Подставим в качестве xG выборку, тогда распределение превращается в функцию от a, называемую функцией правдоподобия:

L(a / x) .

Оценка максимального правдоподобия a находится из уравнения:

dL(a / xG)	= 0	или d ln L(a / xG) = 0
da		da

Оценки максимального правдоподобия состоятельны, эффективны и асимптотически нормальны.

Пример: Оценка максимального правдоподобия параметра нормального случайного вектора:

76

16.2. Метод наименьших квадратов

Применяется для оценки параметров аппроксимирующих функций. Рассмотрим задачу на плоскости. Исходный статистический материал:

(xi , yi )

Аппроксимирующая кривая: y = f (x;aG) ,

где aG - совокупность неизвестных параметров кривойG .

Для каждого a при значениях xi

находятся отклонения yi от f (x;a) .

Оценка aG делается при выполнении условия

d ∑n [yi − f (xi ,aG)]2

i=1	daG	= 0

Контрольные вопросы к 16 лекции

1.Что такое метод моментов?

2.Почему оценка, сделанная методом моментов, состоятельна?

3.Справедливо ли для функции правдоподобия условие нормировки?

4.Зачем в уравнение правдоподобия вводят логарифм?

5.Методом наименьших квадратов определяется сама аппроксимирующая функция или только ее параметры?

77