книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания

Предполагается, что двухмерные векторы ошибок измерения яв­ ляются некоррелированными центрированными случайными век­ торами с матрицами ковариаций, R2 > 0 .

Получите выражение для матрицы ковариаций ошибок оценок, соответствующих ОМНК, полагая матрицу Q блочно­

диагональной с блоками Æ” 1 и R~l

Используйте предположение о том, что размеры малой и боль­ шой полуосей, соответствующих этим матрицам эллипсов, одина­ ковые, т.е. а{ =а2 = а , и Ь1=Ь2 =Ь,и определите, при какой вза­ имной ориентации этих эллипсов радиальная среднеквадратиче­ ская ошибка, задаваемая соотношением (1.2.24), будет наимень­

шей (наибольшей).
Решение.	Для	матрицы	ковариаций будем иметь:
ромнк _ | ^ - 1	+ /J- 1 j	Из геометрических соображений ясно, что

минимальное значение радиальной среднеквадратической ошибки достигается в случае, когда большая полуось одного эллипса пере­ секает под углом 90° малую полуось другого эллипса (рис. 2.2.16, б). В этом случае

D!tMS = J 2 - f ^ - T .	(1)
V a +b~
а при а » Ь ,
DRMS = 4 î b .	(2 )

Рис. 2.2.16. Максимальная (я) и минимальная (б) ошибки

181

Наименее благоприятная ситуация соответствует одинаковой

ориентации эллипсов (рис. 2.2.16, а), при которой
DRMS = — а 2 + 6 2	(3)
л/ 2

Если размеры полуосей для каждого эллипса примерно одина­ ковы, то они превращаются в окружности, и их взаимное распо­ ложение значения не имеет, а важно лишь, чтобы радиусы этих окружностей были бы соизмеримы, тогда как и в одномерной за­

даче радиальная среднеквадратическая ошибка уменьшится в yfî раз по отношению к этой величине для каждого из измерителей.

Задача 2.2.8. Покажите, что оценки, соответствующие различ­ ным модификациям МНК, не зависят от линейных невырожден­ ных преобразований по отношению к используемым измерениям.

Решение. Убедимся в этом на примере решения нелинейной за­ дачи оценивания вектора х по измерениям (2 .1 .2 1 ) с помощью ММНК. Введем вместо (2.1.21) преобразованное измерение

у= Ту = Ts(x) + Tv = j(.v) + v ,

вкотором Т - квадратная m х m невырожденная матрица.

Для доказательства сформулированного утверждения следует убедиться в том, что минимизируемые критерии совпадают. Это достаточно очевидно, поскольку

(y- s(x)y R - \y -s(x)) = ( y - s ( x ) y r ( r Y R-'T-'T(y-s(x)) = s (У ~ s ( x ) ) r R ~ \ y - s( x))

где R =TRTr - матрица ковариаций для вектора ошибок v пре­ образованных измерений. Понятно, что и для МНК и ММНК кри­ терии также совпадают.

Контрольные вопросы

1.Сформулируйте постановку задачу оценивания с использовани­ ем наблюдаемых критериев и поясните особенности МНК, ОМНК и ММК. Что такое невязка измерений и система нор­ мальных уравнений? Приведите пример системы нормальных уравнений для задачи оценивания фазы. Решите задачу оцени­ вания амплитуды гармонического сигнала с использованием МНК.

2.Получите алгоритмы вычисления оценок МНК и его модифи­ каций для линейной задачи в общем виде. Проиллюстрируйте применение этих алгоритмов на примере решения простейшей задачи оценивания постоянной величины.

3.Приведите уравнения для ошибок оценок МНК и его модифи­ каций и выражения для матриц ковариаций ошибок оценок для линейной задачи оценивания. Какие дополнительные предпо­ ложения о свойствах ошибок измерения необходимо ввести для вычисления матриц ковариаций ошибок оценивания при реше­ нии задачи с помощью МНК?

4.На примере задачи совместной обработки данных от двух изме­ рителей проанализируйте особенности, взаимосвязь и отличия различных вариантов МНК.

5.Предположим, что по измерениям вида (2.1.21) получено зна­ чение оценки, соответствующей ОМНК, причем в критерии в

качестве весовой матрицы использована матрица 0 = R ~l , где

R предполагаемая известной матрица ковариаций ошибок из­ мерения. Изменится ли значение оценки, если при ее нахожде­ нии с помощью ОМНК вместо исходных измерений у исполь­

зовать измерения у - Т у , полученные с помощью невырожден­

ной m х m матрицы, а в качестве весовой матрицы использова­

на матрица Q = R ~x, где матрица ковариаций ошибок преобра­

зованных измерений? Обоснуйте свой ответ.

6. Поясните, как с использованием измерений (2.1.21) могут быть

получены алгоритмы оценивания, основанные на линеаризации функции. Проиллюстрируйте это на примерах оценивания фазы гармонического сигнала и оценивания координат на плоскости по измерениям дальностей до точечных ориентиров. В чем осо­ бенность итерационного алгоритма? При каких условиях этот алгоритм может обеспечить нахождение оценки, соответст­ вующей МНК?

7.В чем особенность существенно нелинейных задач оценивания и каковы возможные пути их решения? Приведите примеры.

2.3. Небайесовские алгоритмы оценивания

Введя предположение о случайном характере оцениваемого вектора х и ошибок измерения v и задаваясь их статистическими свойствами, представляется логичным использовать этот факт не только при анализе точности того или иного алгоритма, но и по­ пытаться учесть сделанные предположения уже на этапе поста­ новки и решения задачи. Иными словами, попытаться построить алгоритм «хорошего» качества с точки зрения уровня и свойств соответствующих ему ошибок оценивания. Именно такие алго­ ритмы и будут рассматриваться в последующих разделах.

В настоящем разделе рассмотрим иебайесовские алгоритмы, которые строятся в предположении о случайном характере только ошибок измерения, и при этом считаются полностью известными их статистические свойства. Последнее означает, что задана ф.п.р.в. / v(v). Неизвестный оцениваемый вектор, как и в методе наименьших квадратов и его модификациях, предполагается не­ случайным (детерминированным) вектором [16, 44]. Подход к по­ лучению оценок при таких предположениях получил название небайесовского, или классического подхода (метода).

2.3.1. Основные положения и постановка задачи

Введение предположения о случайном характере ошибок изме­ рения с известной ф.п.р.в. / v(v) уже на этапе проектирования ал­ горитмов дает возможность при фиксированных значениях х рас­ сматривать измерения как случайный вектор, свойства которого определены с помощью условной к х ф.п.р.в. / ( у / х ) В полной

мере это относится и к оценке х ( у ) , и к ее ошибке г{у) =х - х ( у ) , представляющим собой преобразования измерений у . Принимая

во внимание соотношение (2 .1 .2 1 ), результаты подраздела	1 .3 . 2 и
фиксируя х , для f { y / х) можно записать выражение
f(y!x) = f v(y-s(x)),	(2.3.1)

в котором /],(•) - ф.п.р.в. ошибок измерения.

Так, полагая, что в (2.1.21) ошибки измерения представляют собой гауссовский центрированный вектор с известной матрицей ковариаций R , / ( у / х) может быть конкретизирована в виде

f { y ! x ) = -	:exp	" 0 ' - * ( * ) ) T*~10 '-* M )|. (2.3.2)
(2n)",/2 VdëtJ
Если, кроме того, считать v;-,			i = 1.m независимыми между со­
бой случайными	величинами	с	дисперсиями	г,-2,	i = l.m, то
f ( y / x ) представляется как
f ( y t x ) =			_ J_у 1 Си/ ~ -У/С^))2 ^			(2.3.3)
			9 Lu	2
			2 /=1

» 1=1

Количественная характеристика качества оценивания х по из­ мерениям у может быть введена с помощью скалярной функции

L(x - х(у)), устанавливающей определенный штраф за отличие оценки от истинного значения оцениваемого параметра и назы­ ваемой функцией потерь. Наибольшее распространение при ана­ лизе качества оценок в задачах обработки навигационной инфор­ мации получила квадратичная функция потерь

Ц х - х ( у ) ) =	( х , ~	(.V))2 =(* - х ( у ) ) т( х - х ( у ) ) =	- x(j>))(x- х ( у ))т}•
	i=l

Введем связанный с ней критерий в виде математического ожи­ дания от этой функции

J(x) = М у/х [Цх - а д ) } = Му/ Х - х(у)У(х - а д ) } , (2.3.4)

который в силу справедливости перестановки местами операций взятия математического ожидания и вычисления следа матриц также может быть записан в виде

J (а) = М у,х (s>(x - ад)(л- - х(у))т }= SpP(x) ,
где
Р(х) = М>,/л.|(а- - х(у)Х(л'_?0'))Т}	(2-3.5)

- матрица ковариаций ошибок оценивания.

Важно заметить, что знак математического ожидания соответ­ ствует функции f ( y / x ). Для того чтобы подчеркнуть этот факт, у этой матрицы и критерия введен аргумент х .

Таким образом, задача синтеза алгоритма в рамках небайе­ совского подхода может быть конкретизирована следующим об­ разом.

Найти алгоритм	вычисления оценки	неизвестного детермини­
рованного вектора	.v по измерениям	(2 .1 .2 1 ), в которых v -

/н-мерный случайный вектор ошибок измерения с заданной f v(v)

исходя из минимизации критерия (2.3.4), т.е.

Задача анализа точности в рамках небайесовского подхода сводится к вычислению матрицы ковариаций ошибок оценивания (2.3.5).

Критерий (2.3.4) получил наименование среднеквадратиче­ ского критерия, а оценка, обеспечивающая его минимум - опти­ мальной в среднеквадратическом смысле небайесовской оцен­ кой. Заметим, что критерий (2.3.4) принципиально отличается от наблюдаемых критериев, поскольку цель решения задачи заключа­ ется в обеспечении определенных требований к ошибкам оценки искомого вектора, а не к вычисленным значениям измеряемых па­ раметров.

К сожалению, для сформулированной задачи не удается уста­ новить общего правила нахождения оценок, минимизирующих критерий (2.3.4). В связи с этим выбор того или иного алгоритма оценивания в предположении о случайном характере ошибок из­ мерения и детерминированном характере неизвестного вектора проводят путем сравнения соответствующих им значений крите­ рия и сопоставления свойств получающихся оценок. Важную роль при таком сопоставлении играют такие понятия, как несмещен­ ность, состоятельность и эффективность. Приведем определения этих понятий и поясним их смысл.

В рамках небайесовского подхода оценка х(у) называется несмещенной, если ее математическое ожидание совпадает с ис­ тинным значением параметра х , т.е.

M V!X${y)} = x

(2.3.6)

или, записывая более подробно,

м у / х Ш ) = Jх(у)/(у/ x)dy = х .

Как правило, при минимизации критерия (2.3.3) накладывают дополнительное требование к несмещенности оценки. Оценка, обеспечивающая минимум этого критерия при выполнении требо­ вания (2.3.6), называется небайесовской несмещенной оценкой

с минимальной дисперсией.

Для объяснения понятия состоятельности предположим, что имеется последовательность измерений скалярной величины

У; = x + Vj, i = 1.т, и с их использованием вырабатывается оцен­ ка хт . Эта оценка называется состоятельной, если она сходится по вероятности к истинному значению оцениваемой величины при увеличении числа измерений т , т. е.

limРг(д-- е < х т < х + е) = I,	(2.3.7)
т—>оо

где е - сколь угодно малое положительное число.

Аналогично можно определить состоятельность оценки и в век­ торном случае.

Понятие эффективности оценки связано с так называемым не­ равенством Рао-Крамера. Для несмещенных оценок х(у) нера­

венство Рао-Крамера в рамках небайесовского подхода форму­ лируется следующим образом [16]:

Р ( х ) > Г 1(х),		(2.3.8)
где
		л у
d \ n f ( y i x ) d \ n f ( y / x )
1(х) = М у/х	дх	(2.3.9)
дх		)

Из этого неравенства следует, что можно указать такую матри­ цу 1{х) при фиксированном значении х, которая будет всегда меньше либо равна матрице ковариаций для любой несмещенной оценки. В этом смысле матрица 7-1 (х) определяет предельно

достижимую точность решения задачи в рамках небайесовско­ го подхода. Будем называть эту матрицу матрицей, характери­ зующей нижнюю границу точности, или просто матрицей ниж­ ней границы. Для справедливости приведенного неравенства тре­ буется, чтобы f { y l x ) удовлетворяла условиям регулярности, суть которых сводится к абсолютной интегрируемости и существова­ нию первых и вторых производных по х. Оценка, для которой в (2.3.8) достигается знак равенства, называется эффективной не­ байесовской оценкой. Стоящая справа в выражении (2.3.9) мат­ рица называется информационной матрицей Фишера.

Если найден алгоритм вычисления эффективной оценки Л'О'Х

то для нее, как следует из (2.3.8), справедливо следующее неравен­ ство:

М у / . Л Х - *О0)(*“ *0'))т} ^ М у / Л х ~ *М)(* " %))т}’ (2-3.10)

означающее, что какой бы ни выбирался любой другой алгоритм вычисления несмещенной оценки x(j^), соответствующая ему матрица ковариаций ошибок будет всегда меньше или равна мат­ рице, обратной информационной матрице Фишера.

Из сказанного следует, что задача нахождения небайесовской несмещенной оценки с минимальной дисперсией эквивалентна задаче нахождения несмещенной эффективной оценки, если тако­ вая существует.

Использование неравенства Рао-Крамера оказывается весьма полезным при анализе точности, поскольку с его помощью удается оценить потенциально достижимую точность без построения са­ мой процедуры оценивания.

Введенные выше определения, касающиеся свойств получае­ мых оценок, позволяют более предметно проводить их сопостав­ ление.

2.3.2. Метод максимума правдоподобия

Наибольшее распространение в рамках небайесовского подхода получил алгоритм вычисления оценок, основанный на максимиза­ ции / ( у / х) как функции х при фиксированных значениях изме­ рений у Эта функция в теории оценивания получила название функции правдоподобия, а метод вычисления, основанный на ее максимизации - метод максимума функции правдоподобия (МФП) [16, 44]. Заметим, что значение f ( y / x ) , умноженное на

величину малого приращения измерений Ду в скалярном случае согласно (1.1.9) приближенно определяет вероятность для измере­ ния попасть в интервал (у + Ду). Таким образом, смысл процеду­ ры заключается в том, чтобы при фиксированных значениях изме­ рений подобрать такое значение искомого параметра, при котором эта вероятность достигает наибольшего значения, т.е. обеспечива­ ется наибольшее правдоподобие между измеряемыми и вычисляе­ мыми величинами. Часто вместо функции правдоподобия имеют

дело с ее логарифмом или логарифмической функцией правдо­ подобия In/ ( у / л). Обычно эти функции определяются с точно­

стью до произвольного постоянного множителя.

Из теории оценивания известно, что оценка, соответствующая максимуму функции правдоподобия, обладает важными свойства­ ми: она состоятельна; в асимптотике при неограниченном увели­ чении числа измерений т - > со не смещена и нормальна (имеет гауссовское распределение) [16, с. 82]. Кроме того, установлен следующий факт: если существует эффективная небайесов­ ская оценка, то она является оценкой, максимизирующей функцию правдоподобия [16]. Перечисленные свойства оценки, соответствующей максимуму функции правдоподобия, и объяс­ няют факт ее широкого использования в рамках небайесовского подхода. Одиако следует иметь в виду, что эта оценка не является общим решением задачи минимизации критерия нахождения не­ смещенных оценок с минимальной дисперсией и даже не всегда при ограниченном объеме измерений является просто несмещен­ ной [44].

Итак, оценка максимального правдоподобия (maximum likelihood estimate) отыскивается путем выбора значения л*, кото­ рое максимизирует / (у / х ) , т.е.

*"*" (у) = arg max f ( y / х)	(2.3.11 )
Л*
либо
х'ш|ш(у) = arg max In f ( y	/ x).
.V

Для обеспечения максимума функции правдоподобия требует­ ся, чтобы соответствующая оценка удовлетворяла необходимому условию максимума

dx /07*)	= 0
или
— 1п / 0 >/х)	= 0.	(2.3.12)
ах

Эти уравнения получили названия уравнений правдоподобия. Как и в случае МНК, приведенные условия являются лишь не­ обходимыми для обеспечения максимума, и каждое из полученных

решений должно проверяться на достаточное условие типа

189

d 2

7 \ n f { y / x )

< 0 .

(2.3.13)

dxdx

Рассмотрим два примера

♦ П р и м e p 2.3.1. Конкретизируем алгоритм вычисления оценки, максимизирующей функцию правдоподобия, для задачи оценивания ска­ лярной величины х по скалярным измерениям

V j = Л' + V,-, / = 1 . т ,

(2 .3 .1 4 )

в которых Vj,i = 1MI - независимые между собой гауссовские случайные

2 7

величинами с одинаковыми дисперсиями г , т.е. R = r~E

Так как функция правдоподобия для этого примера имеет вид (2.3.3), а ^(л*) = л', алгоритм нахождения оценки сведется к минимизации крите­

рия

i	т	( у . _ х );
/ мфп(х) = — 1 _ £
2/’“	/=1
откуда	i	т

т ы

Таким образом, оценка, соответствующая максимуму функции прав­ доподобия в данном примере представляет собой среднеарифметическое по всем измерениям.

Проанализируем свойства этой оценки.

Поскольку М у/х {хмф|'(_у)} = —	+ v/)| = х ’ оценка являет"
ся несмещенной, а дисперсия ее ошибки вычисляется как
	.2 3
к Л * * Ь ’) - 4 } = ^ м г / '. E n		т
	/ = |

В силу того что дисперсия ошибки оценки стремится к нулю при уве­ личении числа измерений т, оценка х мфп(у) является состоятельной.

Рассчитаем предельно достижимую точность для этого примера. В данном случае имеем

din f ( у/ х)

= Н Т-Т {у —Нх) ,

дх

где Н т - строка, состоящая из единиц. 190