книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdfэффективной оценки и соответствующей ему матрицы ковариа ций. Сопоставьте результаты с решением для ОМНК, полагая мат
рицу Q блочно-диагональной с блоками R~l и R~l
Задача 2.3.4. Получите основанный на линеаризации и итера ционный алгоритмы оценивания, соответствующие методу макси мума правдоподобия в задаче оценивания фазы гармонического колебания по измерениям (2.1.14) в предположении, что амплиту да и частота известны, считая что ошибки измерения являются не коррелированными между собой гауссовскими случайными вели
чинами с одинаковой дисперсией /•2 Сопоставьте результаты с
решением для МНК.
Задача 2.3.5. Покажите, что оценки, соответствующие методу максимума функции правдоподобия, не зависят от линейных не вырожденных преобразований по отношению к используемым из мерениям.
Р е ш е н и е . Убедимся в этом на примере решения нелиней ной гауссовской задачи оценивания вектора х по измерениям (2.1.21). Введем вместо (2.1.21) преобразованное измерение
у= Ту = Ts(x) + Tv = S’(х) + v ,
вкотором Т - квадратная тпх тп невырожденная матрица.
Для доказательства сформулированного утверждения следует убедиться в том, что функции правдоподобия f ( y / x ) и f { y l x )
совпадают. Это очевидно, поскольку
(у - s(x))TR ~ \ y - *(*)) = (.V - *(х))т(ттУ т гЛ - [Г Г 1(у-*(х)) = = ( у - 7 (*))ТЛ-1 (у - s(x)),
где R = T R T T - матрица ковариаций для вектора ошибок v пре образованных измерений.
Задача 2.3.6. Полагая, что решению подлежит линейная зада ча оценивания вектора х по измерениям у = Нх + v , а оценки оты
скиваются в виде х(у) = К у , найдите выражение для матрицы К ,
удовлетворяющей условию Е - КН = 0 |
и обеспечивающей мини |
|
мум критерия (2.3.4), т.е. J = |
{(х - |
х(у))т(х - *(>>))}. |
Предварительно убедитесь в том, что при выполнении огово ренного условия при вычислении выбранного критерия J доста точно ввести предположение только о случайном характере векто ра ошибок измерения v и задаться лишь его первыми двумя мо ментами.
Полагая далее, что v - центрированный случайный вектор с известной матрицей ковариаций R , получите выражение для со ответствующей матрицы ковариаций ошибок таких оценок.
Р е ш е н и е . |
При выполнении условия Е - К Н = О, |
||
х - х(у) = х - К { Н х + v) = —K v |
Таким |
образом, при вычисле |
|
нии математического ожидания J |
= М |
{(х - х ( у ) ) т(х - х(}/))} |
необходимо учитывать лишь случайный характер вектора v и знать его первые два момента. Так, учитывая, что v = 0, можем записать
(О
Из сказанного следует, что для нахождения матрицы К требу ется решить задачу параметрической минимизации критерия (1)
при условии Е - КН = О Применяя метод условных множителей Лагранжа для нахожде
ния условного минимума J ( K ) , рассмотрим критерий
где А - матрица условных множителей Лагранжа.
Применяя правило (П 1.1.45) взятия производной скалярной функции по матрице, получаем систему уравнений
LrfA
из которой в силу единственности минимума имеем
K = - A H TR- \
2
Е = КН.
Умножая первое уравнение на матрицу Я справа и приравни вая полученный результат к единичной матрице Е , убеждаемся в том, что решение этой системы задается в виде:
Л= 2(H t R ’я )'1
К= (нтRAн У Н тRA ,
аматрица ковариаций ошибок оценок будет определяться как
м[ { х - х(у)){х - З Д )Т}= M^{KvvrKJ}'j = {KRKT} = (н тК'н)~'
Поскольку условие Е - КН = 0 обеспечивает несмещенность оценки, рассмотренная задача совпадает с задачей нахождения несмещенной небайесовской оценки с минимальной дисперсией в классе линейных несмещенных оценок. Эта оценка и соответст вующая ей матрица ковариаций задаются соотношениями:
х(у) = (HTR-lH y H TR-ly ;
P =[H TR AH Y
Важно еще раз подчеркнуть, что для решения задачи в рассмот ренной постановке потребовалась информация только о первых двух моментах вектора ошибок измерений. Заметим, что приве денное решение, при получении которого накладываются ограни чения на класс используемых оценок, совпадет с решением, пред ставленным в подразделе 2.3.3, при получении которого такое ог раничение не накладывается, но вводится предположение о гаус совском характере ошибок измерения.
Контрольные вопросы
1. Сформулируйте задачу оценивания в рамках небайесовского подхода. В чем особенности такой постановки по сравнению с постановкой задачи с использованием МНК и его модифика ций?
2.Дайте определение несмещенной и состоятельной оценок, а также несмещенной небайесовской оценки с минимальной дис персией.
3.Приведите формулировку неравенства Рао-Крамера и поясни те его смысл. Что такое эффективная оценка?
4.Поясните суть метода максимума правдоподобия, что такое функция правдоподобия и уравнение правдоподобия?
5.Получите выражение для информационной матрицы Фишера для линейной и нелинейной гауссовской задач оценивания.
6.Получите решение линейной гауссовской задачи оценивания методом максимума правдоподобия. Является ли полученная оценка эффективной? Какова взаимосвязь с алгоритмами мето да наименьших квадратов?
7.Как соотносится матрица, характеризующая нижнюю границу точности, с действительной матрицей ковариаций ошибок оце нивания в нелинейной гауссовской задаче и расчетной матри цей, соответствующей линеаризованному алгоритму?
8.Поясните возможные методы получения алгоритмов оценива ния в нелинейной гауссовской задаче с использованием метода максимума правдоподобия.
9.Сформулируйте задачу нахождения несмещенной небайесов ской оценки с минимальной дисперсией в классе линейных не смещенных оценок. При каких условиях решение этой задачи совпадет с решением задачи нахождения несмещенной небайе совской оценки без введения ограничений на класс используе мых оценок.
2.4. Байесовский подход. Линейные оптимальные оценки
Рассмотрим постановку и возможные алгоритмы решения зада чи оценивания в случае, когда помимо предположения о случай ном характере ошибок измерения v случайным считается и оце ниваемый вектор х. Введение таких предположений при поста новке задачи оценивания характерно для байесовского подхода (метода), который и будет рассматриваться далее. Алгоритмы оценивания, получаемые в рамках байесовского подхода, будем называть байесовскими алгоритмами. Вначале рассмотрим ли нейные алгоритмы.
2.4.1. Постановка задачи и ее общее решение
В рамках байесовского подхода задача оценивания (2.1.20), (2.1.21) решается в предположениях, когда вектор х и ошибки из мерения v , а следовательно, и сами измерения у считаются слу чайными.
Как и в предыдущем подразделе, введем квадратичную функ цию потерь
Цх - х(у)) =2 (*,• - X;(у))2 = (х - X(у))Т (х ~ -V(v)) =
1=1
и связанный с ней критерий в виде математического ожидания квадратичной функции потерь
J = MXty{L(x-x(y))}= M,,y(sp{x- .v(y))(-v- х(у))т I = Sp{p], (2.4.1)
где
P = Mxy(.v- x(y))(x- .v(v))T = J J (Л-- -v(y)X*- x(y))rf xy(x,y)dxdy (2.4.2)
апостериорная матрица ковариаций ошибок е(_у) = х - х(у)
Обращаем внимание на то, что эта апостериорная матрица ко вариаций не зависит от измерений, поскольку она отыскивается путем вероятностного осреднения как по х , так и по у .
Критерий (2.4.1) в рамках байесовского подхода называют бай есовским риском или средними байесовскими потерями.
Сформулируем задачу оценивания вектора х по измерениям у
следующим образом: найти такую оценку, которая обеспечит ми нимум математического ожидания для квадратичной функции по терь, т.е.
* ( . У) = a r g m i n М i ^ (х - x ( y ) f \ =a r g m i n ^ f p } .
■Ф) IJ [“ 7 J х (у )
Приведенная постановка задачи оценивания в значительной степени аналогична той, которая рассмотрена в подразделе 2.3.1, с одной весьма существенной разницей, заключающейся в том, что вероятностное осреднение в приведенных выше соотношениях соответствует совместной f XtV(x,y), а не условной ф.п.р.в.
f vix{ylx) , как это было в 2.3.
Таким образом, как и в разделе 2.3, сформулированная задача нахождения оценки сводится к минимизации суммы дисперсий ошибок оценивания или, что то же самое, к минимизации следа апостериорной матрицы ковариаций ее ошибок. Оценка, обеспе чивающая минимум (2.4.1), получила наименование оптимальной
всреднеквадратическом смысле байесовской оценки. Такую оценку называют еще байесовской оценкой с минимальной дис персией. В дальнейшем, если это не вызывает недоразумений, го воря об оптимальной оценке, будем подразумевать именно опти мальную в среднеквадратическом смысле байесовскую оценку или байесовскую оценку с минимальной дисперсией.
Здесь, как и при небайесовском подходе, критерий (2.4.1) прин ципиально отличается от наблюдаемых критериев, рассмотренных
вразделе 2.2, поскольку цель решения задачи заключается в обес
печении определенных требований к ошибкам оценки е(у) = х - х(у) искомого вектора, а не к вычисленным значениям измеряемых параметров.
Из выражения (2.4.1), (2.4.2) следует, что для вычисления вве денного критерия необходимо располагать ф.п.р.в. / Х)У(х,у) Для
снижения требований к полноте априорной информации предва рительно рассмотрим возможность решения сформулированной задачи оценивания в рамках байесовского подхода в упрощенной постановке.
Будем считать, что отыскиваемая оценка линейным образом за висит от измерений, т.е. определяется как
x(y) = x + K ( y - ÿ ) . |
(2.4.3) |
Нетрудно видеть, что в этом случае выполняется следующее равенство:
Мух(у) = х. |
(2.4.4) |
Байесовская оценка, удовлетворяющая такому условию, назы вается несмещенной. Заметим, что это определение отличается от того, которое введено в подразделе 2.3. В то же время оно пред ставляется вполне логичным, поскольку здесь оцениваемый вектор считается случайным.
Принимая во внимание сказанное, задачу нахождения оценки вектора х по измерениям у можно сформулировать следующим
образом: найти оценку, минимизирующую математическое ожи дание квадратичной функции потерь в классе линейных оценок вида (2.4.3).
Поскольку предполагается линейная зависимость оценки (2.4.3) от измерений, то речь, таким образом, идет о задаче нахождения
линейных несмещенных байесовских оценок с минимальной дисперсией или, что то же самое, о задаче нахождения оптималь ных в среднеквадратическом смысле байесовских линейных
оценок. Далее в целях сокращения будем говорить просто о ли нейных оптимальных оценках. Алгоритм, обеспечивающий на хождение таких оценок, назовем линейным оптимальным алго ритмом.
Подставляя (2.4.3) в (2.4.1), можем записать
J = М ху \ x - x - К(у - у))т( х - х - К (у - у))}=
= м х,у fep[(*- * + К (У - ÿ)Xx - х + К (у - ÿ))T]}=
= SpMxy { (л- - х)(л- - х)т +К (у - у)(х - х)т +
+ (х ~х)(у ~ÿ)TК г + К(у - у)(у - у)7 К г |
} = |
= 5/;{рл + К Р ух + Р хуК т + К Р УК Т}. |
(2.4.5) |
Из этого выражения вытекает, что для вычисления критерия (2.4.2), а следовательно, и для решения задачи его минимизации при отыскании оценок в виде (2.4.3) помимо математических ожи
даний х и у достаточно знать только матрицы Р х , Р у, Р ху
Таким образом, в рамках сформулированной постановки задачи нахождения линейных несмещенных оценок с минимальной дис-
Персией необходимо располагать лишь первыми двумя моментами для векторов х и у , представленными в виде априорных матема
тических ожиданий х и у и соответствующих матриц Рх , Ру
Рху Обращаем внимание на тот факт, что в рассмотренной поста новке пока не только не вводилось предположение о линейном характере задачи, но и вообще не предполагалось задание какойлибо функциональной зависимости между векторами х и у Иными словами, ставится задача отыскания оценки вектора х при фиксированном известном значении другого статистически свя занного с ним вектора измерений у Вид функциональной зави симости между векторами х и у потребуется в дальнейшем при
определении у и Ру Рху При решении задач обработки навига
ционной информации статистические свойства обычно задаются для оцениваемого вектора и ошибок измерения, а значения у и
Ру , Рху отыскиваются уже с привлечением соотношений (2.1.11) или (2.1.21) и правил преобразования случайных векторов. Наибо лее просто это может быть сделано в линейной задаче, которая подробно рассматривается в подразделе 2.4.3. Случай нелинейных измерений обсуждается в подразделе 2.4.4.
Из вышесказанного следует, что алгоритм вычисления оценки сводится к задаче параметрической оптимизации критерия J от носительно матрицы К Обсудим далее решение такой задачи.
Для того чтобы линейная оценка (2.4.3) при решении задачи оценивания вектора х с использованием известных фиксиро ванных значений вектора измерений у обеспечивала мини
мум критерия (2.4.5), необходимо и достаточно, чтобы матрица
К 1'", используемая при вычислении этой оценки, удовлетво
ряла уравнению (задача 2.4.1) |
|
к ппр у = р ху |
(2.4.6) |
Это уравнение можно трактовать как простейший вариант уравнения Винера-Хопфа, которое вводится в дальнейшем при рассмотрении задач оценивании случайных последовательностей и процессов в главе 3.
Если матрица Ру не вырождена, то тогда из (2.4.6) следует
К ,ш =Рху(Ру )~1 |
(2.4.7) |
и, таким образом,
х{у) = х + Кш\ у - у) = г + Pv (P')-‘(y - у). (2.4.8)
Используя (2.4.8), нетрудно записать выражение для матрицы ковариаций
р1‘" = М х,у{(х ~ х(у))(х - з д ) Г} =
Нп\Т |
|
= Рх + К ,тРу(КШ)Т - К п"Рух - Рху(КНп) |
|
Преобразуя это выражение с привлечением (2.4.7), получаем |
|
р 1"‘ —р* _ рху ^рУу\р)’х _ р х _ fcHnрух |
(2 4 9) |
Таким образом, процедура вычисления оптимальных в средне квадратическом смысле линейных оценок задается соотношения ми (2.4.7), (2.4.8) и для синтеза алгоритма необходимо располагать априорными математическими ожиданиями х и у и матрицами
Рх, Ру , Рху Знание этих матриц обеспечивает также решение задачи анализа точности, поскольку с их использованием удается
найти апостериорную матрицу ковариаций ошибок Р1'" , соответ ствующих оптимальному линейному алгоритму.
В подразделе 1.4.4 была рассмотрена задача регрессии, суть ко торой заключается в получении представления одного из подвек торов составного вектора (например, х ) при условии, что другой подвектор (например, у ) зафиксирован исходя из минимизации среднеквадратического критерия (2.4.1) в некотором классе функ ций. Нетрудно заметить, что постановка задачи регрессии, в сущ ности, совпадает с рассмотренной выше постановкой задачи оце нивания, формулируемой в наиболее общем виде, когда не вводит ся вектор ошибок измерения v и не предполагается конкретизация вектора измерений, устанавливающая характер взаимосвязи век тора у с векторами х и v в виде (2.1.11) или (2.1.21). Если огра ничиться классом линейных функций, то получаем задачу линей ной регрессии. Т.е. задача линейной регрессии сводится к нахож дению такого представления (2.4.3), при котором минимизируется критерий (2.4.1). Таким образом, задачу получения оценки вектора х в виде (2.4.3) по измерениям (2.1.11) или (2.1.21), определяю щим взаимосвязь у с оцениваемым вектором и ошибками измере ний, можно трактовать как задачу нахождения линейной регрессии вектора х по у .
2.4.2. Свойства линейных оптимальных оценок
Обсудим более подробно свойства линейных оптимальных бай есовских оценок. Первое свойство непосредственно вытекает из определения линейной оптимальной оценки.
С в о й с т в о 1. Оценка (2.4.8) является несмещенной. Сформулируем и докажем еще одно весьма важное свойство
линейной оптимальной в среднеквадратическом смысле байесов ской оценки х(з^).
С в о й с т в о 2. Для того чтобы линейная оценка х{у) = Ку
была оптимальной, необходимо и достаточно выполнение сле дующего условия:
М{{х - а д ) / } = М { £ /} |
= 0, |
(2.4.10) |
означающего, что ошибка оценки 8 = х —х(у) |
не коррелирована с |
вектором измерений у. Когда два вектора некоррелированы, то, как отмечалось в 1.2.2, говорят также об их ортогональности. В связи с этим сформулированное условие называют также услови ем или свойством ортогональности [47]. Для простоты докажем справедливость сформулированного свойства для случая х = 0.
Н е о б х о д и м о с т ь . Пусть оценка оптимальна, т. е. матри
ца К =К 1"' =Рху(Ру)~] определяется в соответствии с выражени ем (2.4.7). Отсюда с очевидностью следует, что
М { ( х - * ( / ) / } |
= М { х у Т - |
К 1"‘ууг} = |
0. |
Д о с т а т о ч н о с т ь . |
Пусть равенство (2.4.10) выполнено. |
||
Тогда можем записать |
|
|
|
М{(х - Ку)ут} = 0, |
|
||
т. е. Рху =КРУ откуда для матрицы К |
получаем |
выражение |
(2.4.7), подтверждающее оптимальность оценки, удовлетворяющей уравнению (2.4.10).
Приведенное утверждение будет также справедливо, если вме
сто (2.4.10) записать |
|
M { ( x - i ( / ) i T( / } = М { е х т( / } = С |
(2.4.11) |
ИЛИ |
|
М{(х - x(y)(Ly)'} = M {t(LyY } = 0, |
(2.4.12) |
где L —произвольная матрица размерности пхтп. |
|