11. Принцип устойчивости и корректности π12 . Оценка θ должна

быть мало критичной к отклонениям условий ее нахождения от номинальных (вида вероятностной модели, наличия помех и тому подобное). Небольшие отклонения условий не должны приводить к большим отклонениям значений оценок, ее точностных показателей. Показателем качества может быть абсолютное или относительное значение меры разброса смещений и дисперсий оценок при переходе от одной модели к другой в заданном классе.

12. Принцип минимума необходимой априорной информации

π13 . Лучшей считается та оценка θ , которая при прочих равных условиях требует меньше априорных данных.

Из других принципов можно отметить принцип простоты реализации π14 , принцип адаптируемости к априорным и исходным данным π15 ,

принцип транзитивности π16 , заключающийся в независимости результа-

тов оценивания от способа разбиения алгоритма на части, принцип самообучения и самоорганизации π17 , принцип универсальности π18 , состоя-

щий в том, что алгоритм оценки θ оказывается пригодным для оценки различных характеристик случайных элементов одного типа или одинаковых характеристик разнотипных случайных элементов.

Все приведенные принципы взаимосвязаны, а иногда и противоречивы, стремление выполнить один принцип противоречит возможности выполнить другой. Кроме того, для выбранного алгоритма f выполнение

некоторых свойств может оказаться принципиально невозможным.

4.3. Точечные оценки вероятности по частоте, математического ожидания и дисперсии

1. Оценка вероятности по частоте. Пусть неизвестный параметр θ есть p - неизвестная вероятность события A , а ее оценка θ - p = nA n - частота этого события по классической схеме случаев. Пусть также nAi - индикатор события A в этой схеме случаев. Распределение nAi , очевидно, таково

nA	0	1
i
pi	1− pA	pA
	i	i
	85

Здесь pAi = pA . Тогда

По определению

n

n

∑nA

nA

+ nA

+... + nA

s

p =

A

i =1

i

n

=

=

1

2

n

=

.

n

n

n

n

2

M

(nA )= ∑xi pi = 0 q +1 p = p ,

i

i =1

D(nA

2

)= ∑xi2 pi

− m2

= 02

q +12 p − p2

= p − p2 = pq .

Отсюда

i

nA

i =1

i

n

A

n

nA

1 n

1

n

1

M (p )= M

= M

∑

i

=

∑M (nA

)

=

p ∑1 =

p n = p .

n

n

n i =1

i

n

i =1

n

i =1

D(p

)=

n

A

n

nA

1

n

1

pq

Аналогично,

D

= D

∑

i

=

∑D(nA )=

n pq =

.

2

2

n

n

n

i=1

i

n

n

i=1

Таким образом,

M ( p ) = p , т.е. оценка вероятности по частоте не смещена.

По неравенству Чебышева

D( p

)

pq

.

Перейдя к

P

p

− p

≥

ε

≤

=

ε2

nε2

pq

противоположному

событию,

получим

,

т.е.

P

p

− p

< ε

>1 −

P

nε2

p

− p

< ε

оценка вероятности по частоте –

со-

P

→1 . Следовательно,

lim D( p ) = lim

pq

стоятельная оценка. К тому же

= 0 ,

таким образом,

n

n→∞

n

→∞

это асимптотически эффективная оценка.

Для доказательства эффективности оценки необходимо выяснить, имеет ли она по сравнению с другими оценками, которых может быть достаточно много, наименьшую дисперсию или нет. В некоторых случаях этот минимум хорошо известен; тогда, сравнив с ним дисперсию рассматриваемой оценки, можно ответить на поставленный вопрос.

Так для случайной величины X , распределенной по нормальному закону с дисперсией D(X ), нижняя граница для дисперсий различных не-

смещенных оценок равна pqn . Так как D( p ) совпадает с минимальной

оценкой, то частота p , будучи несмещенной оценкой, является также и эффективной оценкой вероятности p .

2. Оценка математического ожидания. Пусть результаты наблюде-

ний x1, x2 ,..., xn случайной величины X независимы и

86

M (x1) = M (x2 ) = ... = M (xn ) = M (X ) = mX . Дисперсии

всех

наблюдений

должны быть конечны и

D(xi )= DX , i =

. В этих условиях в качестве

1,n

точечной оценки θ = M (X )

используется среднее арифметическое резуль-

)

1 n

татов наблюдений

θ = mX

=

∑xi . Найдем математическое ожидание и

n i =1

1

n

1

n

дисперсию

этой

оценки:

M (mX )= M

∑xi =

∑M (xi ) =

n i =1

n i =1

= 1 mX n = mX .

Таким образом,

легко доказывается, что

mX - несме-

n

оценка mX .

Дисперсия

оценки также

практически

очевидна:

щенная

D(mX )=

1

n

1

DX

∑D(xi ) =

DX n =

.

n2

n2

i =1

n

Воспользуемся

опять

неравенством

Чебышева,

получим

D(m X )

DX

DX

P

mX

− m X

≥ ε

≤

=

или P

mX − mX

<

ε >1

−

. Оче-

ε2

nε2

nε2

видно,

что

средним арифмети-

lim P

mX − mX

< ε =1, т.е. оценка mX

n→∞

ческим - состоятельная оценка.

Эффективность или неэффективность оценки зависит от вида распределения случайной величины X . Если X - нормальная случайная величина, то эта оценка будет эффективной. Для других распределений этого

может и не быть. Асимптотическую эффективность, однако, можно легко
установить: lim			D(mX )= lim	DX	= 0 .
	n	→∞	n→∞	n
3. Оценка дисперсии. Естественной оценкой дисперсии случайной
величины	X	служит ее выборочная дисперсия, т.е. если θ = D(X ), то
)	n		− mX )2 , так как mX = mX . Представим формулу для
θ = DX =	1 ∑(xi
	n i=1

DX в несколько ином виде через центрированные величины:

1

n

1

n

DX

=

∑

(xi − mX

− mX + mX )2

=

∑[(xi − mX )− (mX − mX )]2 =

n i =1

2

2

n i =1

2

1

n o

o

n o

1 n

=

=

∑

, но

∑ xi

− m o

xi

− 2m o ∑xi + n m o

n i =1

X

n i =1

X i =1

X

87

2m o

n

o

2m o

n

1

n

1

n

−

X

∑ xi

= −

X

∑(xi − m X )

= −2m o

∑ xi −

∑ m X

=

n

n

i =1

i =1

X

n i =1

n i =1

nm

X

2

= −2m o m X

−

= −2 m o

.

n

X 14243

X

m o

X

1

n

o

2

2

Тогда

DX

=

∑

xi

− m o

.

Математическое

ожидание этого

n i =1

X

1 n

o

2

2

выражения легко находится:

M (DX )=

∑M

− M

=

xi

m o

n i =1

X

1

n

1

DX

n −1

=

∑ D(xi )− D(mX )=

DX n −

=

DX .

n

n i =1

n

n

Таким образом,

оценка

DX - смещенная оценка. Смещение здесь

равно

−DX

n и при

n → ∞ стремится к нулю. Чтобы получить несме-

щенную оценку достаточно

DX

умножить на

n

. В результате полу-

n −

1

n

1

n

чим D~ X =

∑(xi − m X )2

=

D X - несмещенную оценку дисперсии.

n −1 i =1

n

−1

Для оценки состоятельности надо найти

D(DX ) .

Это сделать до-

вольно трудно. Можно показать, что D(DX ) = O(1n) и выражается через

центральные моменты вплоть до четвертого порядка. Приведем без доказательства формулы дисперсий смещенной и несмещенной оценок:

D(DX )=

μ4 − μ22

−

2(μ4 − 2μ22 )

+

μ4 − 3μ22

,

n

n3

n2

~

n(μ4 −μ22 )

2(μ4 − 2μ22 )

μ4 −3μ22

D(DX )=

−

+

.

(n −1)2

(n −1)2

n(n −1)2

Тогда, опять используя неравенство Чебышева,

D(DX )

1

P

DX − DX

≥ ε

≤

= O

и

lim P

DX − DX

ε2

n

n→∞

~

оценка DX - состоятельная оценка, так же как и DX . 88

будем иметь

	=1 , т.е.
< ε

Если

распределение нормально,

то

μ4 = 3μ22

и тогда

2μ2 (n −1)

2D2 (n −1)

~

2D2

D(DX )=

2

=

X

, а

D(DX )=

X

. Следовательно, обе

n2

n2

n −1

оценки смещенная и несмещенная асимптотически эффективны.

Имея оценку дисперсии, можно получить еще один интересный ре-

зультат для нормального распределения. Видно, что

~

D(DX ) < D(DX ) , так

как

2(n −1)

<

2n

=

2

<

2

. Таким образом, смещенная оценка диспер-

n2

n2

n

n −1

сии точнее несмещенной.

4.4.Неравенство Крамера - Рао

Ввычислительных процедурах математической статистики желательно употреблять только те оценки, которые по возможности принимали бы значения, наиболее близкие к неизвестному параметру. Наличие у оценки свойств несмещенности, состоятельности и эффективности дает возможность выбирать такие оценки. Однако практика показывает, что состоятельная оценка может быть смещенной, наоборот, несмещенная оценка не обязана быть состоятельной. Несмещенная оценка может быть неэффективной и тому подобное.

Имеются несколько подходов к нахождению несмещенных оценок с минимальной дисперсией. Такие оценки существуют не всегда, но их нахождение всегда чрезвычайно сложно. Одним из путей построения таких оценок является использование неравенства Крамера – Рао, которое дает нижнюю границу для дисперсии несмещенной оценки.

Пусть θ)n - несмещенная оценка неизвестного параметра θ , построенная по выборке объема n . Тогда

D(θ)n )≥1 nI ,

(4.4.1)

где I = I (θ)- информация Фишера, определяемая в дискретном случае формулой

I = M [(ln p(x,θ))θ/ ]2	n		/			2
	= ∑		pθ(xi ,θ)			p(xi ,θ),	(4.4.2)
	i =1		p(x	i	,θ)

ав непрерывном – формулой

Карл Харальд Крамер (1893-1985) – шведский математик.

89

	I = M [(ln f (x,θ))/	]2	∞		/	(x,θ)
			=		fθ		f (x,θ)dx .	(4.4.3)
					f (x,θ)
	θ		−∞∫

Таким образом, дисперсия любой несмещенной оценки не может быть меньше 1nI . Эффективностью несмещенной оценки θ)n называют по Крамеру – Рао величину

e =1 nID(θ)n ).

(4.4.4)

Ясно, что при таком определении эффективность любой оценки θ)n при каждом θ заключена между нулем и единицей, причем чем она ближе к единице при каком-либо θ , тем лучше оценка θ)n при этом значении неизвестного параметра. Если e(θ) =1 при любом θ , то оценка называется эффективной по Крамеру – Рао.

Пример. Рассмотрим оценку θ) = p неизвестной вероятности успеха θ = p в схеме Бернулли. Ранее в подразд. 4.3 доказана несмещенность

этой оценки и получена формула D(p )= pqn . Найдем информацию

Фишера. Так как распределение случайной величины X в каждом опыте в схеме Бернулли совпадает с распределением индикатора, т.е.

X

x0 = 0

x1 =1

,

p

1 − p

p

то

P(x0 , p) = P(0, p) =1 − p,

P(x1, p)= P(1, p) = p .

Следовательно,

P/

(0, p)

2

P/

(1, p)

2

−1

2

1

2

I =

p

P(0, p)+

p

(1 −

=

P(0,

p)

P(1, p)

P(1, p) =

p)+

p

p

1 − p

=

1

+

1

=

1

.

1

− p

p

pq

Эффективность будет

равна

e =

1

=

1

=1 ,

т.е.

nID( p )

n (1

pq) ( pq n)

оценка θ) = p

эффективна по Крамеру – Рао.

Надо заметить, что эффективные по Крамеру – Рао оценки существу-

ют крайне редко.

Другой путь к построению эффективных оценок состоит во введении

понятия достаточной статистики.

90

k-мерная статистика s = (s1,s2,...,sk )Τ = (s1(x1, x2,...,xn ),...,sk (x1, x2,...,xn ))Τ

называется достаточной для параметра θ , если условное распределение Fx1, x2,..., xn (x1, x2 ,..., xn S = s) выборки x1, x2 ,..., xn при условии S = s не зависит от параметра θ .

Это определение на практике для проверки достаточности конкретных статистик использовать весьма сложно, поэтому часто пользуются факторизационной теоремой Неймана – Фишера.

Теорема	4.1	(Неймана –		Фишера). Для того чтобы статистика
s = s(x1, x2 ,..., xn )		была достаточной для параметра			θ , необходимо и
достаточно,	чтобы		ряд	распределения	P(x1, x2 ,..., xn ,θ) =
= P(x1,θ)P(x2 ,θ)...P(xn ,θ)			в дискретном случае или плотность распре-
деления f (x1, x2 ,..., xn ,θ) = f (x1,θ)f (x2 ,θ)... f (xn ,θ) в непрерывном слу-
чае выборки x1, x2 ,..., xn			были представимы в виде
		P(x1, x2 ,..., xn ,θ)= A(x1, x2 ,..., xn )B(s,θ),
		f (x1, x2 ,..., xn ,θ)= A(x1, x2 ,..., xn )B(s,θ),
где функция	A(x1, x2 ,..., xn ) зависит только от x1, x2 ,..., xn , а функция
B(s,θ) только от s и θ .
Пример. Пусть x1, x2 ,..., xn				- выборка из генеральной совокупности с

теоретической функцией распределения, являющейся нормальной со

средним

θ1

и дисперсией

θ2 . Покажем, что

двумерная

статистика

s = (s1, s2 )Τ ,

где

s1

= 1 n (x1 + x2

+ ... + xn ),

s2 = (x1 − s1 )2 +

+ (x

2

− s )2 +... + (x

n

− s )2

является

достаточной

для

двумерного пара-

1

1

метра θ = (θ ,θ

2

)Τ . Действительно, формула для n -мерного нормального

1

f (x , x

, θ) =

1

s

2

+ n(s

− θ

)2

вектора

2

,..., x

n

exp −

1

1

имеет вид, ука-

1

n

2θ2

(2πθ2 )2

занный

в

теореме

Неймана – Фишера,

в

котором

A(x , x

)

B(s, θ) =

1

s

2

+ n(s

− θ )2

2

,..., x

n

=1,

exp −

1

1

.

1

n

2θ2

(2πθ2 )2

Видно, что смысл достаточной статистики s заключается в том, что она включает в себя всю ту информацию о неизвестном параметре θ , которая содержится в исходной выборке x1, x2 ,..., xn . На практике достаточные статистики играют важную роль. Они обладают рядом важных

91