книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания

Рпс-2'512' Апосте1Р,'ор,ные Ф-П-Р'в-

при/и=1,2,3

В табл. 2.5.3 и на рис. 2.5.11			приведены результаты, получен­
ные при	b =1, а =0 ,1	и разном		количестве	измерений
т= 1 ,2 ....1 0 0	, при этом число реализаций i = 1 0 0 0 .
				Т а б л и ц а 2.5.3
Значения среднеквадратнческих ошибок оптимальных линейных
	и нелинейных оценок
	Число измерений		10	20	100
Линейная оптимальная оценка			0,0091	0,0065	0,0029
Нелинейная оптимальная оценка			0,0064	0,0034	0,00075

Рис. 2.5.11. Значения с.к.о. для оптимального линейного (/) и нелинейного (2) алгоритмов при разном числе измерений

Из представленных результатов следует, что точность нелиней­ ного оптимального алгоритма заметно выше точности алгоритма, оптимального в классе линейных алгоритмов, что вполне согласуется с при­ веденным в начале под­ раздела утверждением.

Формально такое отличие объясняется тем, что вид апостериорной функции плотности распределения вероятностей (рис. 2.5.12) заметно отличается от га­ уссовского.

J

На качественном уровне можно дать следующее объяснение та-

о

кого отличия. Замечаем, что при выполнении условия а « Ь т алгоритм вычисления оптимальной линейной оценки фактически сведется к нахождению среднего арифметического по всем значе­ ниям У'-а/2, /= Г й, принадлежащим отрезку [-vmin —ûr / 2 ,ymax - а / 2]. В то же время в оптимальном нелинейном алгоритме апостериорная область значений [с\,С2 \ определяется пересечением априорной области [0 ,6 ] и отрезка [утах - я ,у т т]-

Рис. 2.5.13. Формирование апостериорной области для оптимальной нелинейной оценки

Очевидно, что при увеличении числа измерений повышается вероятность появления измерения с минимальным (близким к ну­

лю) и максимальным (близким к а) значениями		ошибки, т. е.
уmin - > х , a ymax —►а- + а . Отсюда	следует, что	длина отрезка
у max ~ ymin > определяющего область	значений всех измерений,

которые используются при вычислении среднего арифметическо­ го, стремится к величие а , задающей размер априорной области. В то же время длина отрезка ymin + а - у,ш х, определяющего размер апостериорной области для оптимальной нелинейной оценки, будет стремиться к нулю (рис. 2.5.13).

Завершая рассмотрение байесовского подхода при решении за­ дач оценивания, целесообразно еще раз акцентировать внимание на некоторых его особенностях по сравнению с небайесовским подходом. Основное отличие здесь заключается в том, что в рам­ ках байесовского подхода предполагается случайным вектор х и

считается заданной совместная функция плотности распределения /(x,v), располагая которой с учетом соотношения (2 .1 .2 1 ) и пра­ вил преобразования случайных векторов может быть получена функция f{x,y). Именно эта функция фигурирует при вычисле­

нии математического ожидания в минимизируемом критерии, причем естественно, что фиксации вектора х не требуется. В от­

личие от этого при небайесовском подходе только после фиксации искомого вектора можно ввести ф.п.р.в. / (у / х ), которая фигури­ рует при вычислении критерия.

Следует также заметить, что поскольку вектор х не фиксирует­ ся, то при байесовском подходе понятие состоятельности не вво­ дится. Весьма важно подчеркнуть, что при байесовском подходе удается получить общее правило вычисления несмещенной оценки с минимальной дисперсией в виде (2.5.2). Для небайесовского подхода такого правила не существует. Все отмеченные особенно­ сти обоих подходов представлены в табл. 2.5.4.

Следует еще раз обратить внимание на тот факт, что понятие несмещенности в разных подходах вводится по-разному. Для не­ байесовского подхода оценка является несмещенной, если матема­

тическое	ожидание для оценки, соответствующее плотности
f ( y /x ) ,	совпадает с фиксированным значением х, т. е.
м г/, Ш	) = *

В байесовском подходе ошибка считается несмещенной, если математическое ожидание от оценки совпадет с априорным мате­ матическим ожиданием х, т. е. M v(x(y)) = Л/Дх). Из сказанного

следует, что одна и та же оценка, являясь несмещенной в одном смысле, может оказаться смещенной в другом смысле.

274

Отличительные особенности байесовского и небанковского подходов

	Особенности	Байесовский подход	Небайесовский подход
	Характер оцениваемого вектора	Случайный	Детерминированный
		с плотностью / ( * )
	Задание функции правдоподобия	+
			+
	Задание совместной плотности f ( x 9v)	Ч-
			Mytx(x(y)) = x
	Определение несмещенности оценки	м у(Лу)) = Щ х )
	Определение состоятельности оценки	-	limPr (х - е < хк < х + е) = 1,
	Общее правило нахождения		А -кс
	несмещенной оценки с минимальной	Ч у ) = м х/у(х)
	дисперсией		-

_

Ранее уже подчеркивалось, что оптимальная в среднеквадрати­ ческом смысле байесовская оценка, представляющая собой услов­ ное математическое ожидание (2.5.2), является несмещенной в байесовском смысле. Для линейной задачи это очевидно, так как

М ух(у) = М у(;с + К Щ у - Нх)) = х .

Определяя смещение оценки х(у) = х +КН(у - Нх) с позиций небайесовского подхода, т. е., вычисляя его как

М у/Хх(у) = ( Е - КН)х + КНх,

замечаем, что эта величина отлична от нуля, причем согласно (2.5.20), (2.5.21) величина такого смещения тем меньше, чем выше апостериорная точность оценивания.

Для простейшего примера оценивания скалярной величины по

измерениям при ;*• = г	, i = 1 .т и	л' = 0 полученное выражение
принимает следующий вид:
МУ/.Xх{х-х)J = Му/х Х--	fil		/иа„	АТ
	+ а > 5 > ,	1 - -	та" + г"	ша0 + г

Как нетрудно заметить, коэффициент, стоящий перед х, пред­ ставляет собой отношение апостериорной дисперсии к ее априор­ ному значению. Таким образом, чем меньше это отношение, тем меньше смещение.

Проиллюстрируем сказанное на примере анализа смещения оценок в линейной гауссовской задаче. Ранее было введено поня­ тие инвариантности ошибки оценивания, определяемое как функ­ циональная независимость ее значений от оцениваемого вектора, т.е. выражение для оценки не содержит слагаемых, связанных с х .

Представляется уместным обсудить взаимосвязь понятий не­ смещенности и инвариантности. Сопоставляя эти понятия в рам­ ках небайесовского подхода, можно констатировать, что для ли­ нейной задачи эти два понятия совпадают. В этом нетрудно убе­ диться, полагая для простоты ошибки измерения центрированны­ ми и представляя выражение для ошибки в виде

х - х(у) = {Е - КН)х + K v ,

(2.5.44)

где К - некоторая произвольная матрица.

Если оценка является несмещенной, из этого следует, что мате­ матическое ожидание для ошибки, вычисляемое при фиксирован­ ном значении х , равно нулю, что может быть лишь в случае, когда равно нулю первое слагаемое. Это означает, что из условия не­ смещенности вытекает инвариантность оценки. С другой стороны, если оценка инвариантна, то ошибка не зависит от х и, таким об­ разом, является несмещенной.

Что касается байесовского подхода, то здесь, как подчеркнуто выше, определения несмещенности разные и понятие инвариант­ ности, тождественное понятию несмещенности для небайесовско­ го подхода, не совпадает с понятием несмещенности для байесов­ ского подхода. Отсюда, в частности, следует, что оптимальная байесовская оценка, обладая свойством несмещенности, не являет­ ся инвариантной оценкой. Это отчетливо проявляется для линей­ ной задачи, в которой ошибка оценивания может быть представле­ на в виде Л' - JC(>’) = (Е - КН) (х - х ) + K v , причем Е - КН Ф0 .

Задачи к разделу

Задача 2.5.1. Запишите выражение для оптимальной оценки и ее дисперсии для задачи, нахождения скалярной с.в. х по измере­ ниям (2 .1 .1 ) при независимых х и vf-, i~\.m , для которых заданы

f(x) =N(x;x,ol),	/(г ) = N(v;0,R) , где R - диагональная мат-
рица с элементами	, г = 1 зп Упростите полученные выражения

для случая, когда rf =r , i - 1 .in , и сопоставьте их с аналогичны­ ми выражениями, соответствующими ММНК.

Решение. Используя (2.5.12)—(2.5.14), запишем:

Если при	этом	2, i -1 .т , то приведенные соотношения
упрощаются	и принимают вид:

х(у) = х +	<7Q~	^ т		^
				(3)
	г2 +су*т
		-•=1		)
	Tl	2	2
I т
		о~о	г
р = ~л~1г~л		г2 +<7~т		( 4 )

Легко убедиться, что выражения для оценок (1), (3) совпадают с приведенными в табл. 2.2.3 выражениями, соответствующими

ММНК при d =— и q( = — , а выражения для дисперсий (2), (4) -

°о rf

с аналогичными выражениями для ММНК, полученными в приме­ рах 2.2.2, 2.2.4.

Задача 2 .5 .2 . Найдите такие ф.п.р.в. для ошибок измерения и оцениваемого скаляра х в условиях примера 2.4.1, при которых полученный там алгоритм будет оптимальным байесовским алго­ ритмом.

Решение. Полученный в этой задаче алгоритм будет оптималь­

ным, если оцениваемая величина х	и ошибки V,- будут центриро-
	1	1	1
ванными гауссовскими с дисперсиями а о = г			=Ь~ / 1 2 .
Задача 2.5.3. Конкретизируйте	выражения для / Х,у(х,у) и

fy(y) в задаче оценивания центрированной гауссовской случай­

ной величины с дисперсией Стд по измерениям
)’i =si(x) + Ei,	(1)

в которых ошибки е,- независимы от х и, как в задаче 2.3.1, пред­

ставляются в виде
t;= d+ Vf	(2 )

суммы центрированной гауссовской случайной величины с дис­ персией ajy и независимых между собой и от d центрированных гауссовских случайных величин с одинаковыми дисперсиями rf - г2, i = 1.т. Упростите полученные выражения при условии

Решение. Принимая во внимание независимость	л: и s и тот
факт, что f x (x) = N(x;0 ,< ф , / е(е) = Ще;0,Ре) , для	/ х,у (х,у) мо­

жем записать

/х,у (*>У) = /(У / x)fx М = fx (*)/е (У~ •*(*)) =

= N(x;0,cfQ)N(y- s(x);0,PE).

Вводя обозначение

и учитывая соотношение (3) из задачи 2.3.1, нетрудно убедиться в том, что

fx,y (х>у) = сехр{- •/(*)} ;		f y(у) = сJ ехр{- J(x)}dx.
Задача	2.5.4. Конкретизируйте выражение для совместной

ф.п.р.в. применительно к предыдущей задаче, полагая, что оцени­ ванию подлежит вектор х = (x,d).

Решение.

Задача 2.5.5. Определите, при каких условиях оценка, соот­ ветствующая ММНК с критерием (2.2.6), может совпадать с опти­ мальной байесовской оценкой в нелинейной задаче (2.1.20),

(2.1.21).

Решение. Предположим, что решается гауссовская задача при

независимых х и v с матрицами ковариаций Рх и R . Как следует из результатов подраздела 2.5.1, апостериорная плотность в этом случае может быть записана в виде

f(x/y) =

_I	__1
Полагая в критерии (2.2.6) Q = R	, D = (P ) , ясно, что при

решении гауссовской задачи при независимых (некоррелирован­ ных) х и V оценки, соответствующие ММНК, будут совпадать с оптимальными байесовскими оценками, если условное среднее апостериорной плотности совпадет с ее глобальным экстремумом.

Задача 2.5.6. Покажите, что в сформулированной в подразделе 2.5.3 задаче оценивания центрированного п-мерного вектора х с

заданной матрицей ковариаций Р х по m-мерным измерениям

y= Hx +v,

вкоторых у - независящий от х центрированный вектор с матри­

цей ковариаций R,	матрица ковариаций	для вектора невязки
ц (у) = у —Нх(у)	определяется в виде	Рц =м{р (у)рт(у)}=
= R-HPxHr , где х(у) = К у , а К = PHrR~'
Решение. Действительно, представляя невязку как
Ц ОО = У ~ У = Нх + V - Нх(у) =		Н(х - х(у)) + V,
имеем
м (ц М |!т (.v)| =	м \ н ( х - х(у)) + у][я(х - х(у)) + v]TJ =
= НРХН Т + М{Н(х - х ( у ) У + v(x - х(у))тн т} + R
Поскольку
м{х(Уу j = М {К(Нх + v)vT} = KHR = P H 7R - lR = P H т

получаем

м{[1 (у)рт(у)}= Н Р Н Т - 2Н РН Т +R = R - Н Р Н Т

Задача 2.5.7. Покажите, что для оптимальной байесовской оценки (2.5.2) центрированного вектора х справедливо следующее соотношение:

M , J ( y ) x T(y) = Р ' - Р ,

где Рх и Р - априорная и апостериорная безусловная матрицы ковариаций.

Решение. Это соотношение вытекает из следующей цепочки ра­ венств:

р = = МуМх/у{ххт- х(у)хт - хх(у)т+ х(у)л(у)т} =

= МУМ,/УI**' - х(у)х(уУ} = М х,у { ^ т} - Мх,ух(у)х(уУ

Задача 2.5.8. Покажите, что матрица

в которой н э - J — (х1 f(x)dx »представляет собой оценку сверху

для матрицы нижней границы в задаче оценивания х по измере­

ниям у = s(jt) + V,		в которых		х и	V	независимы,	а
f (x) = N(x;x,Px) и /		(v) = N(x;0,г2Е,„)
Решение. Введем матрицу				ds(x)
			Н э{х) - —— , тогда нетрудно убе-
				dxr
диться в справедливости представления
М | ( я э(х))Т( я э(дг))| = М | ( я э(х) -				Н э)Т( я э(х) -		Н э)| + (Я э)т Я э ,
с учетом которого можем записать
и * - ( и *	^ | ( я э(х ) - Я 9)Т( я э( х ) - Я э)| + (Я э)тЯ э^
Поскольку	м j ( я э(х) - Я		э )т ( я э (х) - Н э)} > 0, то легко				по­
нять, что
(	, 1	_	__ у	1
= (Ят)-] + 4 ( Я э)тЯ э				>
\	г		J
	(м [ н э(х) -		Н 3) т(н э(х) -		Я э)}+ ( Я э)т