Posit1nov (1)

В классе всех оценок не существует эффективной оценки. Действительно, для такой оценки должно выполняться неравенство:

R g , θ	) ≤	min R(ˆg, θ),	θ		Θ.	(14.1)
(ˆ		gˆ

Однако для любого заданного θ0 Θ можно рассмотреть вырожденную оценку gˆ0(x) ≡ g(θ0), для которой R(ˆg0, θ0) = 0. Поэтому минимум в правой части (14.1) есть 0, так что должно выполняться равенство: R(ˆg , θ) ≡ 0 для всех θ Θ, а это,

как правило, невозможно.

Для поиска эффективных оценок нужны ограничения на класс рассматриваемых оценок. Так, условие несмещенности заведомо исключает "вырожденные"оценки. В классе несмещеных оценок иногда удается найти эффективные оцен-

ки.При асимптотическом подходе естественно рассматривать асимптотически √n-

несмещенные, в частности асимптотически нормальные, оценки. Их можно сравнивать по величине дисперсии или нормирующего множителя Δ(θ), а именно: gˆn1 gˆn2 , если (1)(θ) ≤ (2)(θ) для всех θ Θ. Можно было бы назвать оценку gˆ асимптотически эффективной в классе асимптотически нормальных оценок, если gˆn gˆn для всех асимптотически нормальных оценок gˆn.

Такой подход к сравнению оценок был предложен одним из основоположников современной статистики Р. Фишером. К сожалению, непосредственно его реализовать не удается: оказывается, многие естественные оценки можно улучшать в отдельных точках, уменьшая асимптотическую дисперсию (такие оценки называют

суперэффективными).

Отмеченные трудности сравнения и выбора наилучших оценок на основе функции риска оценки заставляют несколько иначе подойти к проблеме сравнения: нужно сравнивать не функции риска разных оценок, а какие-нибудь числовые величины (функционалы) от функции риска, которые "в целом" характеризуют функцию риска оценки. Опишем один из вариантов такого подхода.

14.1.1Минимаксный подход

При минимаксном подходе качество оценки характеризуется максимальным значением риска

Rmax(ˆg) = sup R(ˆg, θ).

θ Θ

Оценка gˆ называется минимаксной, если Rmax(ˆg) ≤ Rmax(˜g) для любой оценки g˜.

Таким образом, минимаксный подход ориентирован на построение оценок с минимальным значением максимального риска. Иногда такой подход считают слишком пессимистичным. Однако в большинстве случаев, особенно при асимптотическом подходе, минимаксные оценки являются вполне разумными.

Минимаксные оценки существуют при достаточно общих предположениях. В общем случае строить минимаксные оценки достаточно сложно.

117

14.1.2Асимптотически минимаксные оценки

Оценка gˆn называется aсимптотически минимаксной, если

lim Rmax(ˆgn)/Rmax(˜gn) ≤ 1

n→∞

для любой оценки g˜n.

Оценка gˆn называется локально aсимптотически минимаксной в точке θ0 Θ, если для достаточно малых ε > 0

lim sup		R g	, θ	/	sup R g	, θ	) ≤ 1
n	→∞ kθ−θ0k≤ε	(ˆn	)		(˜n
					kθ−θ0k≤ε

для любой оценки g˜n (то есть при локальном подходе сравниваются максимумы риска в малой окрестности точки θ0).

14.2Свойства функции правдоподобия (одномерный параметр)

Пусть Θ – конечный или бесконечный интервал на прямой R1. Будем считать также,

что выполнено одно из двух предположений А или Б п. 13.4.3. При этом в силу свойств плотности или вероятности

f (x, θ) ≥ 0,	ZX f (x, θ)dx = 1 или f (x, θ) ≥ 0,	x	f (x, θ) = 1.	(14.2)
		X

X

Также будем предполагать выполненными условия регулярности: логарифмическая функция правдоподобия – дважды непрерывно дифференцируемая по θ функция для всех x X, и при дифференцировании интегралов или сумм (14.2) допу-

стимо изменение порядка интегрирования и дифференцирования. Рассмотрим производную по θ логарифмической функции правдоподобия

lθ′ (θ, x) = ∂θ∂ l(θ, x) = fθ′(x, θ)/f (x, θ)

как случайную функцию от θ Θ и вычислим ее математическое ожидание Eθl′(θ, X). Для этого при непрерывном распределении X продифференцируем пер-

вое равенство (14.2) и воспользуемся условиями регулярности:

0 =		∂θ	ZX f (x, θ)dx =	ZX ∂θ f (x, θ)dx =
		∂			∂
=	ZX		l′(θ, x)f (x, θ)dx = Eθl′(θ, X).			(14.3)

Второй раз дифференцируя то же равенство, получим:

0 =		∂θ	ZX	l′(θ, x)f (x, θ)dx =	ZX ∂θ (l′(θ, x)f (x, θ)) dx =
		∂				∂
=	ZX		(l′(θ, x))2 + l′′(θ, x) f (x, θ)dx,

118

где l′′(θ, x) =	∂2	l(θ, x). Отсюда получаем равенство:
	2
	∂θ
		Eθ(l′(θ, X))2 = −Eθl′′(θ, X).	(14.4)

При дискретном распределении X мы дифференцируем второе равенство (14.2) и

получаем те же результаты.

Напомним, что информацией Фишера называется функция I(θ) = Eθ(l′(θ, X))2.

В силу (14.3) информацию Фишера также можно представить в виде дисперсии логарифмической производной

I(θ) = Dθ(l′(θ, X)).

(14.5)

Для модели независимой однородной выборки, дифференцируя представление (13.43), получим представление логарифмической производной как суммы независимых случайных величин. Используя свойства дисперсии и (14.5), получим In(θ) = nI1(θ), где I1(θ) и In(θ) – информация Фишера для одного и для n на-

блюдений. Таким образом, информация Фишера пропорциональна длине выборки n.

14.3Неравенство Рао–Крамера и эффективные оценки

ˆ ˆ
Пусть θ = θ(X) – несмещенная оценка одномерного параметра, выполнены условия
регулярности и I(θ) > 0 для всех θ Θ.		1
Неравенство Рао–Крамера. Для любого θ Θ R
ˆ
Dθ(θ) ≥ 1/I(θ).
ˆ	параметра распределения генеральной
В частности, для несмещенной оценки θn

совокупности, которая строится по независимой однородной выборке длины n,

ˆ ≥

Dn,θ(θn) 1/(nI1(θ)).

Доказательство. Будем считать, что наблюдения X имеют непрерывное рас-

пределение (случай дискретного распределения рассматривается аналогично). Запишем условие несмещенности

Z

ˆ ˆ

Eθ θ = θ(x)f (x, θ)dx = θ

X

и продифференцируем это равенство:

Z

ˆ ′

θ(x)l (θ, x)f (x, θ)dx = 1. (14.6)

X

Умножая равенство (14.3) на θ и вычитая из (14.6), получим:

Z

ˆ	′	(θ, x)f (x, θ)dx = 1.	(14.7)
(θ(x) − θ)l

X

119

Воспользуемся интегральным неравенством Коши–Буняковского:

ZX g1(x)g2(x)dx	≤ ZX g12	(x)dx ZX g22(x)dx,	(14.8)
	2

справедливым для любых функций g1(x), g2(x), квадрат которых интегрируем. Воз-

водя в квадрат равенство (14.7) и применяя это неравенство к функциям

ˆ	1/2	, g2	′	(x, θ)(f (x, θ))	1/2	,
g1(x) = (θ(x) − θ)(f (x, θ))			(x) = l
получим требуемое неравенство:

Z Z

≤ ˆ − 2 ′ 2 ˆ

1 (θ(x) θ) f (x, θ)dx (l (θ, x)) f (x, θ)dx = Dθ(θ)I(θ).

X X

Неравенство Рао–Крамера дает нижнюю границу для дисперсии и квадратичного риска несмещенных оценок. Оценка, на которой достигается нижняя граница Рао–Крамера, называется эффективной. Таким образом, для эффективной несмещенной оценки

ˆ	(14.9)
Dθ(θ) = 1/I(θ).
ˆ	параметра распределения
В частности, для несмещенной эффективной оценки θn

генеральной совокупности, которая строится по независимой однородной выборке

длины n,
ˆ	(θ)).	(14.10)
Dn,θ(θn) = 1/(nI1

Замечание 14.1 Неравенство Рао–Крамера носит локальный характер, то есть при нахождении нижней границы для дисперсии оценок используется информация о параметрическом семействе f (x, θ), θ Θ, лишь в любой малой окрестности Θ0 значения θ.

C учетом этого замечания можно получить нижние границы для дисперсии несмещенных оценок числовой характеристики g(θ). Пусть функция g(θ) непрерывно дифференцируема и g′(θ) 6= 0. Тогда для любой несмещенной оценки gˆ : Eθ(ˆg) = g(θ) справедливо неравенство:

Dθ(ˆg) ≥ g′(θ)2/I(θ).

(14.11)

Замечание 14.2 В качестве примера параметрического семейства, не удовлетворяющего условиям регулярности, для которого оценки параметров обладают существенно другими свойствами, можно рассмотреть семейство равномерных распределений на интервале [0, θ], θ > 0. Отметим, что для этого семейства

формально вычисленная информация Фишера равна бесконечности.

Замечание 14.3 Неравенство Рао–Крамера справедливо и для смещенных оценок

′ ˆ

(со смещением bθ (θ)) в следующей форме:

ˆ	′	ˆ 2	/I(θ).
Dθ(θ) ≥ (1 + bθ		(θ))

120

′ ˆ

Однако равенство может достигаться только в случае, когда смещение bθ (θ) равно 0, и функция f (x, θ) имеет вид (см. [5]):

ˆ

f (x, θ) = h(x) exp(C0(θ) + C1(θ)θ(x)),

ˆ

здесь функция наблюдений θ(x) называется достаточной статистикой.

Возвращаясь к примерам 13.6 и 13.7 п. 13.4.3, видим, что построенные в них оценки являются эффективными.

14.4Асимптотические свойства ОМП

В этом разделе мы установим различные свойства асимптотической оптимальности оценок максимального правдоподобия. Мы рассмотрим модель независимой однородной выборки из генеральной совокупности X и будем считать выполненными условия регулярности. Будем обозначать I(θ) = I1(θ) информацию Фишера, соответствующую одному наблюдению. Будем считать, что I(θ) > 0 и непрерывна по

θ Θ.

14.4.1Асимптотическая нормальность ОМП

Пусть θ – одномерный параметр. Зафиксируем значение θ0 Θ и пусть θ = θ0 + n−1/2u. Представим логарифмическую функцию правдоподобия (13.42) с помощью

формулы Тейлора:

(n)

(n)

−1/2

′

(n)

u2

′′ ˜

(n)

(14.12)

l(θ, X

) = l(θ0

, X

) + n

ul

(θ0, X

) +

2n

l (θ, X

),

˜ −1/2 ˜ → → ∞

где θ = θ0 + n uξ, ξ [0, 1], θ θ0 для любого u при n . В силу закона

больших чисел и с учетом (14.4) имеем:

				1		n
−1	′′ ˜	(n)				X	′′ ˜	′′
n	l (θ, X		) =				l (θ, Xi) → Eθ(l		(θ0	, X)) =
					n i=1
			=	−Eθ (l′(θ0, X))2 = −I(θ0).						(14.13)

Используя (14.13), выражение (14.12) для логарифмической функции правдоподобия можно представить в виде:

l(θ, X(n)) = l(θ0, X(n)) + uYn −	I(θ0)u2	+ δn, Yn = n−1/2l′(θ0, X(n)),	(14.14)
	2

где остаточный член δn → 0 по Pθ0 -вероятности при n → ∞. Кроме того, в силу

центральной предельной теоремы и с учетом (14.3)

	n
Yn = n−1/2	X	Pθ0	(14.15)
		l′(θ0, Xi) −→ Y N (0, I(θ0)), n → ∞.

i=1

121

Соотношения (14.14), (14.15) называются условиями локальной асимптотической нормальности. Они лежат в основе асимптотического исследования широкого класса статистических задач и моделей (см. [4], [5]).

Оценка максимального правдоподобия соответствует максимизации по θ Θ ле-

вой части выражения (14.14). Отбрасывая остаточный член в (14.14) и максимизируя оставшуюся квадратичную функцию по u, получим приближенное выражение

для уравнения правдоподобия и оценки максимального правдоподобия:

lu′ (θ, X(n)) ≈ Yn − uI(θ0) = 0; θn ≈ θ0 + n−1/2Zn,	(14.16)
где
Pθ0	(14.17)
Zn = Yn/I(θ0) −→ Z N (0, 1/I(θ0)), n → ∞.

Это соотношение показывает, что oценки максимального правдоподобия асимптотически нормальны с дисперсией I−1(θ0), где I(θ) – информация Фишера.

ˆ

Заметим теперь, что если оценка θn асимптотически нормальна с дисперсией 2(θ), и характеристика g(θ) есть непрерывно дифференцируемая функция θ, то

ˆ

оценка характеристики gˆn = g(θn) также асимптотически нормальна с дисперсией

2g (θ) = (Δ(θ) g′(θ))2.

Пусть θn – oценки максимального правдоподобия. Тогда мы получаем, что оценки gn = g(θn) асимптотически нормальны с дисперсией g′(θ)2/I(θ), где I(θ) – ин-

формация Фишера.

14.4.2Асимптотическая минимаксность ОМП

Рассмотрим случай одномерного параметра θ Θ R1, где Θ – конечный или бесконечный интервал. Предположим, что априорная плотность p(θ) непрерывна и строго положительна, функция g(θ) непрерывно дифференцируема, g′(θ) 6= 0. В

этих предположениях справедливо утверждение

Теорема 14.1 Пусть gˆn - ОМП характеристики g(θ), тогда она является ло-

ˆ

кально асимптотически минимаксностной: при любых θ0 Θ, любых оценках θn и достаточно малых ε > 0, таких что интервал Θε = {|θ − θ0| < ε} содержится в Θ, cправедливо неравенство Гаека:

lim

sup

nR (ˆg

, θ)

I(θ)

≥

1.

(14.18)

n→∞ |θ−θ0|<ε

2 n

(g′(θ))2

В частности, для оценок параметра θ Θ

lim

sup

nR

ˆ

I θ

≥ 1

.

(14.19)

θ , θ

)

n

2

(

n

)

(

→∞ |θ−θ0|<ε

Сопоставим неравенства Рао–Крамера и Гаека. Неравенство Рао–Крамера для оценок одномерной характеристики и одномерного параметров можно переписать в виде

ˆ	I(θ)
nR(θn, θ)I(θ) ≥ 1, nR(ˆgn, θ)		≥ 1.	(14.20)
	(g′(θ))2

122

Неравенства (14.20) являются точными и дают нижние границы квадратичного риска для всех значений параметров. Однако они справедливы лишь для несмещенных оценок и равенство в них достигается лишь в специальных случаях. Неравенства (14.18), (14.19) являются, с одной стороны, асимптотическими, с другой стороны, характеризуют максимум квадратичного риска в окрестности любого значения параметра. Однако они справедливы для любых оценок, и соответствующие предельные равенства выполнены для оценок максимального правдоподобия.

15 Оценка плотности распределения

К сожалению, метод подстановки нельзя непосредственно применить к задаче оценивания плотности распределения: даже если X – непрерывная случайная величи-

на, то есть существует плотность распределения

f (x) = fX (t) = FX′ (t) : FX (t) =	Z−∞ f (x)dx,
	t

нельзя определить выборочную плотность fn(t) = Fn′ (t) как обычную функцию, так как эмпирическая функция распределения разрывна в точках X(i) вариаци-

онного ряда; формально производная эмпирической функции распределения име-

	′	n
ет вид	Fn(t) = n−1	i=1 δ(t − Xi), где δ(t)			– так называемая обобщенная функ-
	0 при t		6= 0	, равная	∞	при t	= 0	и интеграл от которой
ция Дирака, равнаяP

равен 1. Такой функции в обычном смысле не существует. Ее можно рассматри-

вать как формальный предел "пикообразной" последовательности функций вида vh(t) = h−1v(t/h), h > 0, h → 0, где функция v(t) интегрируема и R−∞∞ v(t)dt = 1.

В этой связи для оценки плотности распределения используются методы группировки и сглаживания данных.

15.1Гистограмма как оценка плотности распределения

15.1.1Построение гистограммы

Метод группировки данных основан на следующей идее. Значение непрерывной плотности распределения f (t) в некоторой точке t R1 приближенно пропорционально отношению вероятности P (Δ) попадания значения случайной величины X в малый интервал = [z0, z1), содержащий точку t, к длине | | = h = z1 − z0 этого

интервала:	P|(Δ)| , P (Δ) = F (z1) − F (z0) =		Zz0	1	f (x)dx.	(15.1)
f (t) ≈
			z

Вероятность P (Δ) = F (z1) − F (z0) можно оценить через эмпирическую функцию распределения: pn(Δ) = Fn(z1) − Fn(z0) = k(Δ)/n, где k(Δ) – число элементов

выборки, лежащих в . Таким образом, в качестве оценки значения плотности

распределения f	( )	в точке t		n =	1	| |	.
	t			можно взять величину f	k(Δ)/n
Эту процедуру можно провести одновременно для всех t R						или t [a, b], где

[a, b] – заданный (конечный или бесконечный) интервал, содержащий возможные

123

значения случайной величины X. Пусть { 0, ±1, ..., ±m, ...} – разбиение интервала [a, b] на интервалы длины h = hn > 0 (их называют интервалами группировки). Тогда гистограммой называется функция fn(t), принимающая на интервале m значение fn,m = k(Δm)/nh.

Таким образом, гистограмма есть кусочно-постоянная функция, интервалы постоянства которой есть интервалы группировки m. Гистограмма fn(t) обладает

всеми свойствами плотности распределения: fn(t) ≥ 0,
Z−∞ fn(t)dt =	m	Z	m fn(t)dt =	m	hfn,m = n−1	m	k(Δm) = 1,
∞	X			X		X

На		P							[		]
так как		m k(Δm) = n.
	практике часто в качестве границ интервала a, b
вариационного ряда a			=	min	X	i}	= X		, b = max X	i}	=
				i {				(1)	i {

выбирают крайние члены X(n), а длину интервалов

группировки выбирают так, чтобы в каждый интервал попадало не менее 5–10 элементов выборки.

15.1.2Статистические свойства гистограммы

Изучим статистические свойства гистограммы как оценки плотности распределе-

ния. Для этого рассмотрим квадратичное отклонение R						t	= E	f (t)	−	f (t))2,
которое при t					n,2	( )	2	F ( n 2
			m можно представить в виде Rn,2(t) =				bn(t) + σn(t). Здесь
2		−		−	f (t) – смещение оценки (систематическая
bn(t) = EF (fn(t)			f (t)) = EF (fn(t))

ошибка), а σn(t) = DF (fn(t)) – дисперсия оценки, характеризующая случайную

ошибку оценивания.

Поскольку k(Δm) – случайная величина, имеющая биномиальное распределение

B(p, n), p = pn,m = PF (Δm), то

EF (k(Δm)) = np, DF (k(Δm)) = np(1 − p),

откуда имеем:

h −

n

nh2

≤ h nh

n

b (t) =

p

f (t)

, σ2

(t) =

p(1 − p)

p

1

.

(15.2)

Заметим теперь, что для плотности f (x), непрерывной на интервале m, по теореме

о среднем		h Z		m f (x)dx = f (t˜), t˜ m,
	h =
	p	1
откуда следует, что
˜				2	˜	(t) → 0,	(15.3)
bn(t) = f (t) − f (t) → 0; σn					(t) = f (t)/nh → 0; Rn,2

если h = hn → 0, nhn → ∞ при n → ∞. Наконец, из неравенства Маркова следует, что при этом для любого ε > 0

PF (|fn(t) − f (t)| > ε) ≤ Rn,2(t)/ε2 → 0, n → ∞.

Таким образом, мы получили следующий результат.

124

Пусть h = hn → 0, nhn → ∞ при n → ∞. Тогда для любой плотности распределения f и любой точки t R1, в окрестности которой плотность f непрерывна,

значение гистограммы fn(t) является состоятельной оценкой значения плотности f (t).

Этот результат показывает, что при построении гистограммы длины h = hn интервалов группировки должны убывать с ростом объема выборки n, но не слишком быстро: должно выполняться соотношение nhn → ∞.

15.1.3Интегральный квадратичный риск и наилучший выбор длин интервалов группировки

Для того чтобы оценить порядок точности оценивания "в целом", рассмотрим интегральное среднеквадратичное расстояние

Z ∞

ρ2(f, fn) = (f (t) − fn(t))2dt

−∞

и интегральный квадратичный риск

Rn,2	= EF ρ2(f, fn) =	Z−∞ EF (f (t) − fn(t))2dt,
		∞

который можно представить как сумму двух слагаемых:

Rn,2	=	Z−∞ Rn,2(t)dt =	Z−∞(bn2	(t) + σn2 (t))dt = bn2	+ σn2 ,	(15.4)
		∞	∞

где первое слагаемое соответствует квадрату интегрального смещения, второе – интегральной дисперсии случайной ошибки. При этом

bn2 =

m

bn,m2

;

σn2 =

m

σn,m2

; bn,m2

= Z

bn2 (t)dt; σn,m2

= Z

σn2 (t)dt;

(15.5)

X

X

m

m

каждое m-е слагаемое соответствует интервалу группировки m.

Для того чтобы изучить свойства гистограммы как оценки неизвестной плотности распределения f , нужно ввести предположения о классе = {f } оцениваемых

плотностей.

Будем считать,что неизвестные плотности распределения лежат в множе-

стве C1 , которое состоит из плотностей′			распределения f (t) с ограниченной в
среднеквадратичном производной f (t):
Z−∞(f		(t))2dt ≤ C2.
∞	′
В этом предположении для любого интервала			˜	m, используя
			m и для любых t, t

представление 15.3 и интегральное неравенство Коши–Буняковского (14.8), имеем

неравенство	Z[ t,t˜] f	′ (u)du	≤ |t − t˜| Z[ t,t˜](f ′ (u))2du ≤ hCm2 ,
bn2 (t) = (f (t˜) − f (t))2 =
		2

125

где	Z m	(f	(u))2du;	m Cm2 =	Z−∞(f		(u))2du ≤ C2.
Cm2 =
		′		X	∞	′

Oтcюда c учетом (15.5) получаем оценки для квадрата интегрального смещения:

bn,m2 = Z	m bn2 (t)dt ≤ h2Cm2 ; bn2 =	m	bn,m2	≤ h2C2.	(15.6)
		X

Для оценки интегральной дисперсии случайной ошибки в силу (15.2) имеем неравенство σn2 (t) ≤ pn,m/nh2 при t m, pn,m = PF (Δm). Поскольку

XX

pn,m = PF (Δm) = PF (R1) = 1,

mm

сучетом (15.5) получаем:

σn,m2 = Z	m	σn2 (t)dt ≤ nh ; σn2		=	m	σn,m2	≤ nh .		(15.7)
			pn,m		X		1

Таким образом, из (15.6), (15.7) в силу (15.4) мы получаем следующую оценку интегрального квадратичного риска неизвестной плотности распределения f с помощью гистограммы fn, равномерную по классу плотностей распределения 1C :

для любой плотности распределения f 1C при длине интервалов группировки h

Rn,2 ≤ h2C2	1	(15.8)
	+ nh .

Первое слагаемое в правой части (15.8) соответствует квадрату интегрального смещения и убывает при уменьшении h, второе – интегральной дисперсии случайной ошибки и возрастает при уменьшении h. Можно определить наилучшую скорость убывания величин h = hn c ростом n исходя из "баланса"между квад-

ратом интегрального смещения и интегральной дисперсией, минимизируя правую часть (15.8) по h. Приравнивая к 0 производную по h, получаем выражение для hn

и соответствующую верхнюю границу для интегрального квадратичного риска:

2C2h = 1/nh2; hn = (2C2n)−1/3; Rn,2 ≤ B(C/n)2/3,

(15.9)

где B = 2−2/3 + 21/3 ≈ 0, 63 + 1, 26 = 1, 89.

Из неравенства Маркова следует оценка вероятностей отклонений гистограммы от плотности с точки зрения интегрального среднеквадратичного расстояния

ρ(f, fn): для любой последовательности Tn → ∞
PF (ρ(f, fn) > Tn/n1/3) ≤ Rn,2n2/3/Tn2 → 0, n → ∞.	(15.10)

Это соотношение означает n1/3-состоятельность оценки: типичный порядок инте-

грального среднеквадратичного расстояния гистограммы от неизвестной плотности распределения не превосходит n−1/3.

126