Posit1nov (1)

используя которое, а также (12.7), для любой такой последовательности альтернатив F (n) FH , что √nρ∞(F (n), F0) → ∞, имеем:

β(ψn, F (n)) = Pn,F (n) √nρ∞(Fn, F0) < uα ≤

√

≤ Pn,F (n) ( n(ρ∞(F (n), F0) − ρ∞(Fn, F (n))) < uα) = = Pn,F (n) √nρ∞(Fn, F (n)) > √nρ∞(F (n), F0) − uα = = 1 − K √nρ∞(F (n), F0) − uα + o(1) → 0, n → ∞.

Таким образом, критерий Колмогорова обеспечивает вероятность ошибок I рода, стремящуюся к α при увеличении объема выборки n, а также является состоятельным в классе всех функций распределения и √n-состоятельным в классе всех непрерывных функций распределения c мерой близости ρ∞(F, F0).

13 Задачи статистического оценивания

Как отмечалось выше, задача оценивания характеристик g(θ), θ Θ, содержит в себе задачу оценивания параметра при g(θ) = θ. Поэтому основные понятия и

определения мы приведем для задачи оценивания характеристик распределения.

13.1Oдномерная характеристика

В случае одномерной характеристики g(θ) квадратичный риск можно представить

в виде

R2(ˆg, θ) = Eθ ((ˆg − g(θ))2) = bθ2(ˆg) + Dθ(ˆg),

(13.1)

где величину bθ (ˆg) = Eθ(ˆg) − g(θ) называют смещением оценки gˆ, а Dθ(ˆg) есть дисперсия оценки gˆ. Смещение характеризует систематическое отклонение оценки gˆ от значения характеристики g(θ), а дисперсия оценки gˆ – случайные колебания оценки относительно ее среднего значения Eθ (ˆg). Оценку gˆ называют несмещеной, если bθ (ˆg) = 0. Таким образом, для несмещеной оценки

R2(ˆg, θ) = Dθ(ˆg).

(13.2)

Условие несмещенности означает отсутствие систематических отклонений оценки gˆ от значения g(θ) и представляется достаточно естественным. В конечнопа-

раметрических задачах хорошие оценки обычно оказываются несмещенными или асимптотическое смещение мало по сравнению со среднеквадратическим разбросом

оценки:

q

bn,θ(ˆgn)/σn,θ(ˆgn) → 0, n → ∞; σn,θ(ˆgn) = Dn,θ(ˆgn).

Однако во многих сложных непараметрических задачах "хорошие" оценки часто оказываются смещенными, так что отказ от требования несмещенности позволяет получать лучшие оценки в этих задачах.

97

Пример 13.1 Оценка вероятности по частоте. Пусть проводится серия n

независимых экспериментов, в каждом из которых может произойти или не произойти случайное событие A, вероятность которого P (A) = p неизвестна. Пусть k – число экспериментов, в которых событие A произошло. В качестве

оценки неизвестной вероятности естественно выбрать наблюдаемую частоту pˆn = k/n события A. Случайная величина k имеет биномиальное распределение Bn,p, p (0, 1), и в силу свойств биномиального распределения

En,ppˆn = p, Dn,ppˆn = p(1 − p)/n.

(13.3)

Первое равенство (13.3) означает несмещенность оценки pˆn, и в силу второго

равенства

R2(pˆn, p) = p(1 − p)/n.

Пример 13.2 Оценка среднего нормального распределения. Задачу оценки неизвестной величины a по измерениям Xi = a + ξi, ξi N (0, σ2), упомянутую во введении, можно трактовать как задачу оценки неизвестного среднего a по

независимой выборке X

, ..., X

из нормального распределения X

N

a, σ2

,

θ

2

) R

1

1

1

n

(

)

=

(a, σ

× R+. Рассмотрим в качестве оценки aˆn выборочное среднее

1

n

X

(13.4)

aˆn = Xn =

Xi.

n

i=1

Эта оценка имеет нормальное распределение aˆn N (a, σ2/n). Следовательно, Xn

есть несмещенная оценка и

R2(

X

n, θ) = Dn,θ

X

n = σ2/n.

(13.5)

Пример 13.3 Оценка дисперсии нормального распределения. Пусть в примере 13.2 при n > 1 требуется оценить параметр d = σ2. В качестве оценки dn

обычно используется

		1		n
				X
		−
σn2 =	n		1	(Xi − Xn)2.			(13.6)
				i=1

Известно [3], [2], [7], что случайная величина τn = (n − 1)σn2 /σ2 имеет распределение хи-квадрат с n − 1 степенями свободы, которое не зависит от θ:

Pn,θ(τn < t) = χ2n−1(t). (13.7)

Здесь и далее χn2 (t) = P (zn < t) есть функция распределения хи-квадрат с n сте-
пенями свободы: это функция распределения случайной величины zn =				n
				i=1 ξi2, где
ξ	, ..., ξ		величины. Таблицы
1		n – независимые стандартные нормальные случайные		P

этой функции имеются во всех учебниках и задачниках по математической статистике. Cреднее и дисперсия случайной величины zn есть Ezn = n, Dzn = 2n,

так что оценка σ2	является несмещенной и
n
		(σ2	, θ) = Dn,θσ2		2σ4		(13.8)
	R2			=		.
		n	n		n − 1

98

В силу центральной предельной теоремы распределение хи-квадрат является

асимптотически нормальным:

sup χ2

−

−

n)/√

)

| →

0 при n

→ ∞

(13.9)

(t)

Φ((t

2n

.

t | n

13.2 Асимптотически нормальные оценки

В примерах 13.1 – 13.3 квадратичный риск убывает со скоростью 1/n:

R2(ˆgn, θ) u(θ)/n, u(θ) > 0

(13.10)

при, соответственно, u(θ) = θ(1 − θ); u(θ) = σ2, u(θ) = 2σ4. Отсюда следует (см. раздел 11.1.3) √n-состоятельность этих оценок, то есть типичный порядок отклонения оценки gˆn от оцениваемой характеристики g(θ) есть 1/√n.

Для более детального анализа отклонений порядка 1/√n важную роль играет

свойство асимптотической нормальности оценок.

Последовательность оценок gˆn характеристики g(θ) называется асимптотиче-

	ски нормальной с асимптотической дисперсией						2(θ) > 0, если случайная вели-
	√			распределению к нормальной случайной
		n(ˆgn − g(θ)) сходится по Pn,θ-
	чина Yn =				2	(θ):
	величине с нулевым средним и дисперсией
			Pn,θ			2(θ)).		(13.11)
			Yn −→ Y N (0,
	Соотношение (13.11) можно переписать в виде
					Pn,θ		N (0, 2(θ)),	(13.12)
			gˆn = g(θ) + n−1/2Yn, Yn −→ Y

то есть отклонение оценки от неизвеcтного значения оцениваемой характеристики имеет приближенно нормальное распределение с нулевым средним и дисперсией

2(θ)/n.

Величину Δ(θ) > 0 называют нормирующим множителем. Напомним, что

(13.11) равносильно выполнению соотношения

Pn,θ(Yn/Δ(θ) < t) → P (ξ < t) = Φ(t), n → ∞,

где Φ(t) – функция распределения стандартного нормального закона. Отсюда следует, что для любых чисел a < b выполнено соотношение

√		√
Pn,θ(aΔ(θ)/	n	< gˆn − g(θ) < bΔ(θ)/	n	) =
= Pn,θ(a < Yn/Δ(θ) < b) → Φ(b) − Φ(a), n → ∞.					(13.13)

Очевидно, что в примере 13.2 выполнено условие нормальности Yn N (0, σ2) (даже не асимптотической) и Δ(θ) = σ. В примерax 13.1 и 13.3 условие асимптотической нормальности выполнено при 2(p) = p(1 − p) и 2(θ) = 2σ4 в силу

центральной предельной теоремы.

99

Выбирая некоторое t > 0, полагая δn = tΔ(θ)/√n и используя (13.13), получим

для асимтотически нормальных оценок асимптотику вероятностей отклонения:

Rnδ (ˆgn, θ) = Pn,θ(|gˆn − g(θ)| ≥ δn) = Pn,θ(|Yn/Δ(θ)| ≥ t) =

= 1 − Pn,θ(−t < Yn/Δ(θ) < t) → 1 − Φ(t) + Φ(−t) = 2(1 − Φ(t)).

Обычно, помимо условия асимптотической нормальности (13.11), выполнено до-

полнительное условие сходимости моментов 2-го порядка
En,θ(Yn2) → E(Y 2) = 2(θ),	(13.14)

из которого следует сходимость моментов 1-го порядка: En,θ(Yn) → E(Y ) = 0. Эти соотношения позволяют описать асимптотическое поведение смещения bn,θ(ˆgn), дисперсии Dn,θ(ˆgn) и квадратичного риска R2(ˆgn, θ) оценки gˆn, удовлетворяющей

(13.11), (13.14):

√
	nbn,θ(ˆgn) = En,θ(Yn) → 0;		(13.15)
nDn,θ(ˆgn) = Dn,θ(Yn) → 2(θ);			(13.16)
nR2(ˆgn, θ) = En,θ(Yn2) → 2(θ).			(13.17)

Cоотношение (13.15) называют √n-несмещенностью оценки gˆn. Cоотношения (13.16), (13.17) означают, что дисперсия и квадратичный риск оценки gˆn асимптотически совпадают и имеют порядок 2(θ)/n. Сопоставление этих соотношений с (13.10) показывает, что в последнем соотношении u(θ) = 2(θ) (сравни с примерами

13.1 – 13.3).

13.3Выборочные характеристики и их свойства

С генеральной совокупностью X связаны различные вероятностные характеристики gX = g(FX ), то есть характеристики g(F ) неизвестной функции распределения FX = F F, где F – некоторое множество функций распределения. Многие вероятностные характеристики gX можно определить и для эмпирической функции распределения gXn = g(Fn). Выборочной характеристикой называется статистика gn = gn(X1, ..., Xn) = g(Fn), то есть значение оцениваемой характеристики для

эмпирической функции распределения (при условии, что это значение определено). Выборочные характеристики g(Xn) = g(Fn) естественно рассматривать как оценки характеристик g(X) = g(F ) в модели независимой однородной выборки (или выборки из генеральной совокупности X с неизвестной функцией распреде-

ления FX = F F).

13.3.1Выборочное математическое ожидание

Напомним, что выборочным математическим ожиданием (или выборочным средним) называется статистика

Xn = m(Xn) = m(Fn) = 1		n	(13.18)
		Xi.
		X

n i=1

100

Математическое ожидание – важнейшая числовая характеристика случайной величины или функции распределения.

Обозначим через Fk множество таких функций распределения, для которых EF (|X|k) = R−∞∞ |x|kdF (x) < ∞. Математическое ожидание определено для функции распределения F F1. В силу свойств математического ожидания при F F1

X

X

(13.19)

E(aX) = aE(X); E( Xi) =

E(Xi)

i

i

и, поскольку случайные величины X1, ..., Xn имеют общее распределение,

1

n

X

(13.20)

EF (Xn) =

EF (Xi) = EF (X) = m(F ).

n

i=1

Это свойство означает несмещенность оценки Xn.

Из закона больших чисел следует, что при n → ∞

Xn → m(F ) по PF -вероятности.

(13.21)

То есть для любого δ > 0

PF (|Xn − m(F )| > δ) → 0, n → ∞.

(13.22)

Это соотношение означает состоятельность оценки Xn (см. раздел 11.1.3). Пусть существует дисперсия D(F ), то есть F F2. В силу свойств дисперсии

X	X
D(aX + b) = a2D(X); D( Xi) =	D(Xi),	(13.23)
i	i

если Xi независимы, и, поскольку случайные величины X1, ..., Xn независимы и

имеют общее распределение,

1				n	1		1
				X					(13.24)
DF (Xn) =				DF (Xi) =		DF (X) =		D(F ).
			n2		n		n
				i=1

В силу неравенства Чебышева отсюда вытекает уточнение соотношений (13.22):

	для любого δ > 0
	PF (|				n − m(F )| > δ) ≤ D(F )/nδ2.						(13.25)
			X
	В частности, если δ = δn → 0, √
						nδn → ∞, то
								D(F )
	PF (|Xn − m(F )| > δn) ≤									→ 0.	(13.26)
								nδn2

Соотношение (13.26) показывает, что, если отклонение статистики Xn от оце-

√

ниваемой величины m(F ) по порядку больше чем 1/√ n, то его вероятность стремится к нулю при n → ∞. Это свойство означает n-состоятельность оценки

101

Xn. Для оценки вероятностей отклонений порядка 1/√n воспользуемся централь-

ной предельной теоремой (ЦПТ) теории вероятностей. Рассмотрим последовательность случайных величин Zn = √n(Xn − m(F ))/σ(F ). Согласно ЦПТ, последовательность Zn сходится по PF -распределению к стандартной нормальной случайной

величине ξ N (0, 1):

PF

Zn −→ ξ, n → ∞.

(13.27)

Это означает, что для любого t R при n → ∞

→ P (ξ < t) = Φ(t);

PF (Zn < t) = PF Xn < m(F ) + t

√n

(13.28)

более того,

σ(F )

sup (P

F

(Z

n

< t)

−

Φ(t)) =

t

√

(

) − Φ

− (

n

→

(13.29)

=

u

F (

n

)) σ(F )

sup

P

X

< u

u

m F

0.

Свойства (13.27)–(13.29) показывают асимптотическую нормальность оценки Xn

с асимптотической дисперсией 2(F ) = σ2(F ).

Из соотношений (13.27)–(13.29) следует, что

PF (|Xn − m(F )| ≥ δn) → P (|ξ| ≥ t) =

/√

= Φ(−t) + 1 − Φ(t) = 2(1 − Φ(t))

(13.30)

при δ

tσ

F

. В частности, для любого α

(0

,

выбирая величину

n, t >

αn =

(

)

α

0

1)

t = t из условия Φ(t

) = 1 − (α/2), получим:

n → ∞.

PF

|Xn − m(F )| ≥ tα √n → α,

(13.31)

σ(F )

Соотношение (13.31) описывает вероятности отклонений порядка n−1/2.

13.3.2Выборочные моменты

Начальным моментом порядка k = 1, 2, ... называется величина

Z ∞

mk (X) = mk (F ) = EF (Xk ) =	xk dF (x).
	−∞
Центральным моментом порядка k = 1, 2, ... называется величина
µk (X) = µk(F ) = EF ((X − m(X)k )) =	Z−∞(x − m(X))kdF (x).
	∞

Абсолютным начальным моментом порядка k > 0 называется величина

mak (X) = mak (F ) = EF (|X|k) =	Z−∞ |x|kdF (x).
	∞

102

Абсолютным центральным моментом порядка k > 0 называется величина

µak (X) = µak(F ) = EF (|X − m(X)|k) =	Z−∞ |x − m(X)|kdF (x).
	∞

Математическое ожидание есть начальный момент порядка 1, дисперсия есть центральный момент порядка 2. Моменты порядка k > 0 определены для случайных величин X с функцией распределения FX = F Fk.

Центральные моменты нечетного порядка k ≥ 3 характеризуют степень несим-

метрии отклонений случайной величины от ее среднего значения. Абсолютные центральные моменты больших порядков k > 2 характеризуют поведение "хвостов"

распределения случайной величины (то есть больших отклонений от среднего значения).

Рассмотрим соответствующие выборочные характеристики.

Выборочным (начальным) моментом порядка k называется статистика

n

mkn = mk (Xn) = mk (Fn) = n1 X Xik , k = 1, 2, ... .

i=1

Абсолютным выборочным моментом порядка k называется статистика

n

mkn,a = mka(Xn) = mka(Fn) = n1 X |Xi|k, k > 0. i=1

Выборочным центральным моментом порядка k называется статистика

n

µkn = µk (Xn) = µk(Fn) = n1 X(Xi − Xn)k , k = 1, 2, ... .

i=1

Начальные моменты случайной величины X можно рассматривать как среднее значение другой случайной величины Z = Xk или Z = |X|k, то же относится к вы-

борочным моментам. В частности, при F Fk выборочные моменты есть несме-
щенные состоятельные оценки моментов EF (Z) случайной величины X, а при
√		-состоятельны и асимптотически нормальны с асимпто-
F F2k они также	n2		2	2	.
тической дисперсией			(F ) = DF (Z) = EF (Z	) − (EF (Z))

Итак, выборочные начальные моменты порядка k при больших n приближают неизвестные начальные моменты с точностью порядка 1/√n, однако для более детального анализа точности требуется оценивать моменты порядка 2k.

13.3.3 Выборочная дисперсия

Несколько более сложная ситуация с выборочными центральными моментами. Рассмотрим выборочный центральный момент 2-го порядка, то есть выборочную дис-

персию:				n i=1 Xi2!		− (Xn)2.
Sn2 = D(Xn) = D(Fn) = n i=1 (Xi − Xn)2			=				(13.32)
1		n		1	n
		X			X

103

Пусть F F2. Вычислим математическое ожидание статистики Sn2. Переходя к

˜ −

центрированным случайным величинам Xi = Xi m(F ) (в силу свойств дисперсии

это не влияет ни на дисперсию, ни на выборочную дисперсию), можно считать, что m(F ) = 0, D(F ) = EF (X2)

и с учетом (13.24) имеем:

EF (Xn) = 0; EF ((Xn)2) = DF (Xn) + (EF (Xn))2 = D(F )/n.

Отсюда следует, что

F n	F	n i=1		i ! − F n	− n			n
E S2	= E	1	n	X2 E ((X )2) = D(F )		1 D(F ) = n − 1 D(F ). (13.33)
			X

Соотношение (13.33) показывает, что выборочная дисперсия – смещенная оценка. Ее, однако, легко исправить, перейдя к несмещенной оценке:

		n				1		n
								X
σn2 = n		−	1 Sn2 = n			−
							1	(Xi − Xn)2,			(13.34)
								i=1

которую обычно и используют (см. пример 13.3). Поскольку выборочная дисперсия Sn2 и "исправленная"выборочная дисперсия σn2 выражаются аналогично дисперсии

через выборочные моменты 1-го и 2-го порядков, которые сходятся с вероятностью 1 к соответствующим моментам, то и статистики Sn2 и σn2 также сходятся с вероятностью 1 к дисперсии D(F ). Следовательно, выборочная дисперсия Sn2 и "исправленная"выборочная дисперсия σn2 есть состоятельные оценки дисперсии D(F ).

Аналогично можно показать, что при F Fk выборочные центральные моменты порядка k

1

n

1

n

X

X

µnk =

n)k; µn,ak

n|k

(Xi −

X

=

|Xi −

X

n

n

i=1

i=1

есть состоятельные оценки центральных моментов µk(F ) и µak (F ).

Отметим без

доказательства, что при F

F4

оценки S2

и σ2 асимптотиче-

2

4

2

n

n

ски нормальны с дисперсией

(F ) = µ

(F ) − D

(F ). Отсюда следует, что для

анализа точности выборочной дисперсии как оценки дисперсии D(F ) требуeтся

оценивать моменты четвертого порядка.

13.3.4Выборочные медиана и квантили

Пусть функция F (t) = FX (t) непрерывна и строго возрастает по t для всех t, для которых 0 < F (t) < 1. Тогда для любого α (0, 1) однозначно определена величина

tα = tα(F ), для которой
F (tα) = α.	(13.35)

Величина tα(F ) = tα(X) называется α-квантилью функции распределения F или случайной величины X.

104

Если функция распределения имеет участки постоянства, то решения уравнения (13.35) могут образовывать интервал (t−α , t+α ]. В этом случае полагают tα = (t+α + t−α )/2. Если функция распределения имеет разрывы, то уравнение (13.35) может не иметь решений. Тогда полагают tα = max{t : F (t) ≤ α}.

Величина med (F ) = med (X) = t1/2(F ) называется медианой функции распределения F или случайной величины X.

Таким образом, для непрерывной F (t) медиана med (F ) = med (X) – это такое значение, что вероятности получить значение случайной величины X как большее, так и меньшее med (F ) равны 1/2.

Медиана также является своеобразной характеристикой среднего значения случайной величины X. Если функция распределения F симметрична относительно некоторой точки t , то t является медианой и совпадает с математическим ожида-

нием (если оно существует).

Выборочной квантилью tn,α = tα(Fn) называют квантиль порядка α эмприрической функции распределения. Выборочной медианой med n = med (Fn) называют

медиану эмприрической функции распределения.

При α ((k − 1)/n, k/n) выборочная квантиль tn,α порядка α есть член вариационного ряда X(k) с номером k, а при α = k/n выборочная квантиль есть tn,α = (X(k) + X(k+1))/2. Выборочная медиана имеет вид:

med	n	=	X(k)	при n = 2k	−	1 − −четном;
			((X(k) + X(k+1))/2	при n = 2k		нечетном.
					−	−

Отметим асимптотические свойства выборочных квантилей и выборочной медианы (см. [2]). Пусть плотность распределения f (t) = F ′ (t) > 0 непрерывна и положительна для таких t, что 0 < F (t) < 1. Тогда для любого α (0, 1) выборочная квантиль tn,α есть √n-несмещенная и асимптотически нормальная оценка квантили tα c дисперсией 2(F ) = α(1 − α)/f 2(tα).

В частности, выборочная медиана med n асимптотически нормальна c дисперсией 2(F ) = 1/(4f 2(t1/2)).

13.3.5Выборочная ковариация и корреляция

Выборочная ковариация и корреляция имеют важное значение при анализе зависимостей между компонентами случайного вектора X = (X1, ..., Xk) .

Для простоты обозначений рассмотрим двумерный случайный вектор, то есть систему из двух случайных величин (X, Y ). Тогда выборочная ковариация X и Y

имеет вид:

1		n
		X
kn =		i=1	(Xi − Xn)(Yi − Y n) ,
	n

где Xn и Y n выборочные средние величин X и Y . Аналогично (13.33) можно пока-

зать, что

EF (kn) = n − 1 kF (X, Y ), n

105

								˜
то есть kn – смещенная оценка. Можно перейти к несмещенной оценке kn = nkn/(n−
1). Выборочная корреляция X и Y имеет вид:
				kn		˜
		rn =			=	kn		,
			q			σn,X σn,Y
				Sn,X2 Sn,Y2
где S2	, S2	– выборочные дисперсии, а σ2				, σ2	– "исправленные" выборочные
n,X	n,Y				n,Y	n,Y
дисперсии компонент X, Y .

Можно показать, что выборочные ковариация и корреляция есть состоятель-
ные,	√		-состоятельные и асимптотически нормальные оценки ковариации kF и
		n
корреляции rF с дисперсиями, соответственно:
			2(F, kn) = µF22 − kF2 ,	2(F, rn) = (µF22 − kF2 )/(σF2 (X)σF2 (Y )),
где				(X − m(X))2(Y − m(Y ))2
			µF22 = EF

– смешанный центральный момент 4-го порядка. В частности, если случайные величины X и Y независимы, то

kF = rF = 0, µ22F = σF2 (X)σF2 (Y ); Δ(F, r) = 1.

13.4Метод подстановки в задаче построения оценок

13.4.1Идея метода подстановки

Наиболее распространенные методы построения оценок связаны с различными вариантами метода подстановки. Простейший вариант этого метода уже встречался в задаче оценки характеристик распределения генеральной совокупности: он состоит в использовании выборочных характеристик g(Fn) в качестве оценок характеристики g(F ), поскольку эмпирическая функция распределения Fn в соответствии

с результатами раздела 12 есть хорошая оценка неизвестной функции распреде-

ˆ

ления F генеральной совокупности. Аналогично, если θn – достаточно хорошая

ˆ

оценка параметра θ Θ, метод подстановки рекомендует использовать gˆn = g(θn) в качестве оценки характеристики g(θ). Ниже мы увидим, что в случае конечно-

ˆ

мерного параметра и построения оценок θn = θn на основе метода максимального

правдоподобия этот прием приводит к асимптотически оптимальным оценкам для широкого класса функций g(θ).

Другой вариант метода подстановки для оценки параметров распределения генеральной совокупности состоит в следующем. Пусть неизвестный параметр распределения можно представить как решение уравнения EθH(X, θ) = 0, где H(x, θ)

– заданная функция. Тогда метод подстановки состоит в замене математическо-

ˆ	(n)	)
го ожидания выборочным средним и в использовании в качестве оценки θn(X
решения уравнения
n
X
H(Xi, θ) = 0.
i=1

106