Конспект по фильтрации

Рекуррентная и адаптивная фильтрация

Мальцева Н. В. 14 февраля 2002 г.

Список литературы

[1] Браммер К., Зиффлинг Г. Фильтр Калмана Бьюси. М.: Наука, 1988.

[2] Фомин В. Н. Рекуррентное оценивание и адаптивная фильтрация. М.: Наука, 1984.

[3] Сосулин Н. Г. Теория обнаружения и оценивания стохастических сигналов. М.: Сов. Радио, 1980.

[4] Сэйдж Э., Мэлс Дж. Теория оценивания и е¼ применение в связи и управлении. М.: Связь, 1976.

[5] Огарков М. А. Методы статистического оценивания параметров случайных процес сов. М.: Энергоатомиздат, 1990.

[6] Экало А. В., Вальковский В. Б. Методы определения параметров и фильтрации сигна лов на ЭВМ. Учебное пособие, ЛЭТИ, 1981.

[7] Зайцев В. А., Ивановский С. А., Куликов Д. В., Экало А. В. Параметрический анализ данных на ЭВМ. Учебное пособие, ГЭТУ, 1992.

[8] Кузьмин С. З., Основы проектирования систем цифровой обработки радиолокационной информации. М.: Радио и связь, 1986.

1 Введение

Обработка сигналов является одной из областей применения ЭВМ, характеризующейся в настоящее время особенно интенсивным развитием. Широкому распространению обработ ки сигналов на ЭВМ способствовало совершенствование элементной базы вычислительной техники, появление недорогих мини-ЭВМ и микропроцессоров.

Обработать сигнал это, значит, извлечь из него информацию об интересующем нас объекте или явлении с использованием всех имеющихся в наличии данных. Иногда обра ботка производится с целью проверки той или иной гипотезы в отношении изучаемого явления. К такого рода задачам относятся, например, задачи обнаружения и классифика ции сигналов. Однако чаще всего целью обработки является определение значений ряда физических параметров, характеризующих с количественной стороны объект наблюдения. Такая задача называется задачей оценивания сигнала .

Typeset by AMS-LATEX: в¼рстка и набор Просеков О. В., СПбГЭТУ, ФКТИ, МОЭВМ ПМ, гр. 7341

1

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

2

Задача оценивания далеко не нова и относится, по крайней мере, к временам Лежанд ра и Гаусса (18 19 вв). Гауссу приписывают первое употребление понятия оценивания (в приложении к расч¼ту орбит) на основе его высказывания о том, что наиболее вероятным значением оцениваемого параметра является такое, при котором минимизируется сумма квадратов разностей между действительно наблюдаемыми и вычисленными значениями, умноженная на весовой коэффициент, отражающий относительное доверие к наблюдени ям. Это принцип минимальной среднеквадратической оценки , который мы будем позднее рассматривать.

Теория оценивания используется в различных областях науки и техники от иссле дования биологических объектов, при разработке глобальных экономико-математических моделей развития общества, при решении различного рода управленческих задач, вплоть до задач военно-стратегического назначения.

Поскольку входной информацией при решении задачи оценивания в подавляющем боль шинстве случаев является искаженные шумом сигналы, то для использования методов тео рии оценивания эта задача должна быть сформулирована математически на языке теории вероятностей и случайных процессов . Поэтому при последующем изложении материала предполагается, что студенты владеют:

основами теории вероятностей;

теории случайных процессов;

элементарной математической статистикой;

основами теории решений и теорией оценивания.

2История

Обычно под фильтрацией понимают непрерывное воспроизведение некоторой перемен ной величины, являющейся параметром наблюдаемого случайного процесса. Теория опти мальной фильтрации заложена фундаментальными работами Колмогорова, Винера, Стра тановича и др. Первоначально эта теория развивалась независимо от теории статистических решений и основывалась на следующих предпосылках:

фильтруемый случайный процесс является аддитивной смесью полезного сигнала (па раметра) и помехи; сигнал и помеха представляют собой стационарные процессы с различными корреляционными функциями;

реализация смеси задана на столь большом промежутке времени (предшествующем данному моменту времени t), что его можно считать бесконечно большим;

искомая оптимальная система (фильтр) осуществляет линейное преобразование;

критерием оптимальности является минимум среднеквадратичной ошибки воспроиз ведения параметра или какой-либо линейной функции от параметра.

Получаемая в результате решения этой задачи оптимальная линейная система для филь трации непрерывного по времени параметра называется фильтром Винера. При дискрет ном входном сигнале аналогичная задача до Винера решалась Колмогоровым.

Таким образом, в классической постановке задача фильтрации состоит в том, чтобы по результатам наблюдения случайного процесса на полубесконечном интервале времени

Мальцева Н. В. Рекуррентная и адаптивная фильтрация 3

−∞ ˆ

( , t) оценить значение полезного сигнала θ(t + τ) с наименьшим искажением. Решение этой задачи при τ < 0 называется фильтрацией при интерполировании случайного процес са; при τ > 0 говорят о фильтрации при экстраполировании случайного процесса , à ïðè τ = 0 î фильтрации при сглаживании случайного процесса .

Конечный результат теории Винера заключается в определении по измерениям z(τ), −∞ < τ < t, несмещ¼нной оценки yˆ(t) с минимальной дисперсией сигнала y(t) посредством весовой функции w(τ), прич¼м

Z ∞

yˆ(t) = w(t − τ)z(τ) dτ.

−∞

Были найдены условия, которым должна удовлетворять весовая функция, однако вопрос о е¼ практическом синтезе оставался открытым. Это объяснялось трудностями, во-первых, получения точных решений уравнений фильтрации ( определение оптимального фильтра недостаточно хорошо подходит для цифровых вычислений ), è, во-вторых, идентификации требуемых спектральных распределений сигналов и помех (предполагается, что априорная информация о сигнале и шуме задана в терминах корреляционных функций и спектраль ных плотностей. При этом, возникает задача факторизации спектральной плотности , т. е. определение условий, при которых спектральную плотность можно представить в виде

Φ(jω) = F (jω) · F (−jω) .

Кроме того, многие системы, представляющие практический интерес, просто не соответ ствовали предположениям, принятым в теории винеровской фильтрации.

В 1960-х годах Калман и Бьюси обобщили теорию Винера Колмогорова на случай неста ционарных многомерных систем с нестационарными шумами и конечным временем наблю дения. Задача была сформулирована в пространстве состояний, а конечный результат, по лученный в виде рекуррентного вычислительного алгоритма, делает возможным синтез схемы оценивания. Эта теория стала широко применяться сразу же после своего появле ния благодаря наличию быстродействующих цифровых вычислительных машин (ЦВМ) и довольно скромным требованием к ресурсам ЦВМ. Действительно, в соответствии с этой теорией новые оценки вектора состояния системы получаются корректировкой старых оце нок на основе новых наблюдений нет необходимости хранить весь массив наблюдавшихся данных.

Синтезированные схемы оценивания получили названия ¾фильтров Винера Калмана¿, ¾фильтров Калмана Бьюси¿ или просто ¾фильтров Калмана¿ и применяются вместе со своими многочисленными модификациями в различных областях науки и техники.

3Общая формулировка задачи оценивания

Пусть xt случайный процесс, непосредственное наблюдение которого невозможно. Чтобы получить информацию о процессе xt, наблюдаем за процессом yt, функционально

связанным с процессом xt. На интервале времени [t0, τ], имеющем переменный верхний

предел τ, формируется выборка измерений Y0τ = {ys : s [t0, τ]}. Задача оценивания состо ит в том, чтобы построить функционал xˆt(Y0τ ), определяющий единственное значение xˆt (точечное оценивание ), либо оператор Ωxˆ = Ωxˆ(Y0τ ), определяющий множество значений

xˆt (интервальное оценивание ). По значениям xˆt èëè Ωxˆ получаем возможность судить с некоторой достоверностью об истинном значении процесса xt на момент времени t. Сово

купность математических операций, выполненных в порядке, определяемом функционалом xˆt(Y0τ ) или оператором Ωxˆ(Y0τ ), будем называть алгоритмом оценивания .

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

4

Как уже отмечалось, в зависимости от соотношения между моментами времени τ по лучения последнего измерения и моментом времени t, на который необходимо получить оценку вектора xt, различают три вида задач оценивания задача интерполяции ïðè t < τ, задача фильтрации ïðè t = τ è задача экстраполяции ïðè t > τ.

Основными исходными данными, которые используются при математической постанов ке задачи оценивания, являются:

математическая модель, описывающая оцениваемые и измеряемые параметры;

априорная и измерительная информация;

критерий оптимизации;

дополнительные ограничения, накладываемые на алгоритм оценивания вектора xt, для обеспечения его практической реализуемости.

Эти данные, отражая объективные закономерности, описывающие оцениваемые и измеряе мые параметры, в то же время несут в себе элементы субъективности, связанные с полнотой уч¼та априорной информации, выбором критерия оптимизации и ограничений, упрощаю щих реализацию алгоритма в ЦВМ.

Остановимся более подробно на отдельных факторах, определяющих постановку задачи оценивания.

1.Математическая модель система математических соотношений, описывающих оцениваемые и измеряемые параметры:

x˙ t = f(xt) + b(xt)wt	уравнение состояния
yt = h(xt) + B(xt)vt	уравнение измерения

ãäå f(xt), h(xt), b(xt), B(xt) нелинейные известные функции, аргументом которых служит оцениваемый вектор xt;

wt è vt случайные процессы, являющиеся функциями времени от t. Задачу оценивания называют

непрерывной, если процессы xt è yt описываются уравнениями в непрерывном времени;

непрерывно-дискретной, если процесс xt описывается в непрерывном времени, а измерения yt проводятся в дискретные моменты времени t = tk, k = 0, 1, 2, . . . ;

дискретной, если уравнение состояния привед¼нного к рекуррентной форме, а измерения yt проводятся в дискретные моменты времени t = tk, k = 0, 1, 2, . . . ;

2.Априорная информация совокупность данных о процессах wt è vt, начальном значении x0 и областях Ωx è Ωy допустимых значений процессов xt è yt.

В зависимости от способа задания априорной информации подходы к решению задачи оценивания подразделяют на вероятностный, гарантирующий è комбинированный.

Вероятностный подход характеризуется статистическим описанием (вероятно

сти, плотности распределения вероятностей или статистические моменты) про цессов wt è vt и значения x0, а области Ωx è Ωy считаются неограниченными.

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

5

Гарантирующий подход задающий ограниченные области Ωw, Ωv è Ωx0 такие, ÷òî wt Ωw, vt Ωv è x0 Ωx0 , области же Ωx è Ωy произвольными.

Комбинированный подход сочетание вероятностного и гарантирующего подхо дов, а именно, неполное статистическое описание процессов wt, vt и начальных условий x0 и задание областей Ωx è Ωy в виде ограниченных замкнутых мно жеств.

3.Измерительная информация представляет собой выборку измерений нараста

ющего объ¼ма Y0k = {ys : s = 1, . . . , k}, полученных в дискретные моменты времени tk1 = {ts : s = 1, . . . , k}, либо при непрерывно поступающих измерениях выборка изме рений принимает бесконечный объ¼м и представима в виде Yoτ = {ys : ts [t0, τ]}.

4.Критерий оптимизации показатель, позволяющий определить качество работы алгоритма оценивания. Выбор критерия оптимизации вносит наибольший субъекти визм в решение задачи оценивания.

4Критерий оптимизации при вероятностном подходе

Для обоснования выбора критерия оптимизации при вероятностном подходе к решению задачи оценивания будем пользоваться результатами теории статистических решений.

Оценка xˆt, каким бы способом она ни была получена, не совпадает, за редким исклю чением, с истинным значением случайного процесса xt. Количественной мерой потерь, ко

торые нес¼т наблюдатель от принятия оценки xˆt вместо истинного значения xt, является

функция потерь c(xt, xˆt(Y0τ )). Последняя есть функция погрешности xˆt − xt и выборки из мерений Y0τ . Поскольку наблюдения yt несут в себе элементы случайности, то случайными будут и значения функции потерь, поэтому для построения функционала xˆt(Y0τ ) нельзя

непосредственно использовать функцию потерь . Необходимо провести усреднение е¼ по множеству Ωy изменения процесса yt. В теории статистических решений в качестве такой операции усреднения используется математической ожидание . Введ¼м понятие нерандо мизированного условного риска :

r(xt, xˆt) =	Ey[c(xt, xˆt(Y0τ ))|xt] = ZΩy c(xt, xˆt(Y0τ ))π(Y0τ |xt) dY0τ .
def

Наилучшей точечной оценкой xˆt(Y0τ ) будем считать такую, которая бы минимизировала условный риск, т. е.

min r(xt, xˆt) = r(xt, xˆt ).

xˆt Ωxˆ

Функционал xˆt = xˆt (Y0τ , xt) в общем случае будет зависеть от неизвестного процесса xt, поэтому становится неясным, какой же функционал считать наилучшим.

Построение наилучшего функционала можно выполнить двумя путями:

во-первых, оценку xˆt можно выбрать так, чтобы она соответствовала одному кон кретному значению xt, а именно тому, при котором достигается верхняя грань услов ного риска r(xt, xˆt). В этом случае критерий оптимизации будет иметь вид:

min sup r(xt, xˆt) =	sup r(xt, xˆM ).
xˆt Ωxˆ xt Ωx	t
	xt Ωx

и условной плотности

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

6

Этот принцип выбора оценки называют принципом минимакса Неймана . Минимакс ная оценка считается чересчур пессимистической. Однако, когда невозможно предпо ложить какое-либо подходящее распределение для xt или когда наблюдатель созна тельно стремится к самой осторожной оценке, минимаксная оценка с успехом может быть применена;

во-вторых, оценку xˆt можно выбрать так, чтобы она соответствовала среднему зна чению xt на множестве Ωx, найденному с уч¼том вероятности появления каждого зна чения xt. Для этого используется средний риск математическое ожидание условного риска r(xt, xˆt), взятое по xt:

Z

def

R(Fx, xˆt) = Ext r(xt, xˆt) = r(xt, xˆt) dF (xt),

Ωx

Т. о., средний риск R(Fx, xˆt) зависит от функции априорного распределения вероят ностей Fx = F (xt) процесса xt и функционала xˆt(Y0τ ). В данном случае критерий оптимизации

min R(Fx, xˆt) = R(Fx, xˆá).

xˆt Ωxˆ

t

Этот принцип выбора оценки называют байесовским. При таком подходе переносим неопредел¼нность в знании истинного значения xt в функцию априорного распределе ния вероятностей Fx. Из привед¼нных выше соотношений следует, что для построения

байесовской оценки xˆá xt è yt, t необходимо полное статистическое описание процессов

т. е. использование функции распределения вероятностей Fx распределения вероятности π(Y0τ |xt).

Используя формулу Байеса,

px,y(α, β) = py|x(β|α) · px(α)

выражение для определения риска R(Fx, xˆt) можно преобразовать следующим образом:

=p(xt) dxt

ZZ

R(F

x

, xˆ

t

) =

Ωx Ωy

t

t

0

0 |

t

)

dY0

z

}|

t

{

c(x , xˆ

(Y τ )) π(Y τ

x

τ

dF (x ) =

nπ(Y0

|xt)p(x|t

{z

} t

t| 0

to

)

0

= π(x

0

0

τ

dY

τ dx

Y τ )p(Y τ ) dY τ dx

ZZ

=c(xt, xˆt(Y0τ ))π(xt|Y0τ )p(Y0τ ) dY0τ dxt =

	Ωx	Ωy
= ZΩy ZΩx c(xt, xˆt(Y0τ ))π(xt|Y0τ ) dxt p(Y0τ ) dY0τ = ZΩy						R0(πx, xˆt|Y0τ ) p	(	Y0τ		) dY0τ .
R0(πx,xˆt|Y0τ ) апостериорный риск1						| {z }
|			{z		}	>0

Поскольку p(Y0τ ) плотность распределения > 0, то минимизация функции R(Fx, xˆt) эквивалентна минимизации функции R0(πx, xˆt|Y0τ ). Т. е. вместо минимизации среднего рис

ка можно минимизировать апостериорный риск , вводимый как условное математическое ожидание функции потерь при условии, что известна выборка наблюдений Y0τ .

1условное математическое ожидание функции потерь c(. . . ) при условии, что известна выборка наблю дений Y0τ

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

7

В дальнейшем при решении большинства задач оценивания будем использовать в основ ном байесовскую оценку, как наиболее конструктивную (оптимальная оценка min не поте ри, а среднее значение потерь = оценка, оптимальная в среднем).

Рассмотрим коротко выбор функции потерь и влияние этого выбора на байесовскую

оценку xˆá

t . Из основ теории оценивания известно, что байесовская оценка является услов ным математическим ожиданием оцениваемого процесса xt:

xˆá = E(xt|Y τ )

t 0

âследующих тр¼х случаях:

1.при квадратичной функции потерь

c(xt, xˆt) = (xt − xˆt)T × St × (xt − xˆt),

ãäå St симметричная положительно определ¼нная матрица, и произвольной услов ной плотности распределения вероятностей π(xt|Y0τ );

2.при выпуклой и симметричной относительно нуля функции потерь c(˜xt), ãäå x˜t = xt − − xˆt, и симметричной относительно условного математического ожидания E(xt|Y0τ )

условной плотности распределения вероятностей π(xt|Y0τ ):

( c[ax + (1 − a)y] 6 ac(x) + (1 − a)c(y),

0 6 a 6 1

c(˜xt) = c(−x˜t)

π0(ˆxá

−

x Y τ ) = π0

(ˆxá + x Y

τ )

t

t| 0

t

t|

0

6c(˜xt)

6π(xt

Y0τ )

|

r @

rAA

r

@

r

A

r

@P

r

@

r

r

r

0

x˜

t

xˆá

x

t

t

-

(( r

r Phh -

A

6c(˜xt)

6

AA

r

@

r

@

@r

r

-

-

@

x˜t

xˆá

xt

t

3.при симметричной относительно нуля функции потерь c(˜xt) и симметричной отно

сительно E(xt|Y0τ ), не возрастающей относительно разности xt − E(xt|Y0τ ) условной плотности распределения вероятностей π(xt|Y0τ ). Кроме того, должно быть выполне но равенство

1/ε			6
	-			ε
xtlim c(˜xt) · π(xt|Y0τ ) = 0				-
→∞

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

8

Можно показать, что последнее ограничение достаточно для того, чтобы включить простую функцию потерь, хотя эта функция не является выпуклой.

Из сравнения указанных случаев получения байесовской оценки в виде условного мате матического ожидания следует, что чем шире класс функции потерь, тем большие огра ничения должны быть наложены на функцию распределения вероятностей.

Остановимся чуть подробнее на первых двух вариантах получения байесовской оценки в виде условного математического ожидания.

Итак, пусть функция потерь имеет квадратичный вид:

c(xt, xˆt) = (xt − xˆt)T · St · (xt − xˆt),

ãäå St симметричная положительно-определ¼нная матрица.

В этом случае оценка, обеспечивающая минимально возможное значение среднего рис ка, является оценкой с минимальной среднеквадратичной ошибкой (в силу вида функции c(xt, xˆt)). Найд¼м е¼ вид. Выше было показано, что для вычисления байесовской оценки достаточно минимизировать апостериорный риск

Z

R0(πx, xˆt|Y0τ ) = (xt − xˆt)T · St · (xt − xˆt) · π0(xt|Y0τ ) dxt.

Ωx

Для поиска экстремальной точки приравняем нулю градиент риска R0:

∂R0(πx, xˆt|Y0τ )

= 0

2

S (x xˆá)π0(x Y τ ) dx = 0

t

xˆt=ˆxt

ZΩx

∂xˆ

á

·

t t − t

t| 0

t

xˆá

π0(xt

Y

τ

) dxt =

xtπ0(xt

Y

τ

) dxt

xˆá =

xtπ0(xt

Y

τ

) dxt .

ZΩx

t

· ZΩx

|

0

ZΩx

|

0

t

|

0

Убедимся, что провед¼нная процедура приводит к минимально возможному значению рис ка. Действительно, матрице вторых производных риска ∂2R0 = 2S неотрицательно опре

∂x2t

делена, поскольку матрица S неотрицательно определена по условию задачи = по

известной теореме точка xˆá

t точка локального минимума.

В правой части последнего равенства стоит выражение для условного среднего значе ния процесса xt, вычисляемого при фиксированной выборке Y0τ . Следовательно, оценкой с

минимальной среднеквадратичной ошибкой является условное среднее значение процесса xt:

xˆá = E(xt|Y τ ) , что и требовалось показать.

t 0

Подставив полученную оценку в выражение для вычисления значения риска, получим минимально возможное значение риска. При этом, во многих задачах достаточно рассмат ривать лишь ковариационную матрицу вектора ошибок оценивания (случай S = I), которая

и будет в дальнейшем использоваться как характеристика точности оценивания. Рассмотрим теперь ситуацию выпуклых и симметричных относительно нуля функций

потерь и симметричной относительно оценки xˆá

t апостериорной плотности вероятностей.

Минимизируем условный байесовский риск

R0(πx, xˆt|Y0τ ) = E{c(xt − xˆt)|Y0τ } =

á
пусть x˜ = xt − xˆt , тогда	− xˆt)|Y0 } =	ZΩx c(˜x + xˆt − xˆt)π0
= E{c(˜x + xˆt			(˜x) dx˜ =
á	τ	á

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

9

с другой стороны, с уч¼том предположений относительно c и π0, имеем

Z

= c(˜x − xˆá + xˆt)π0(˜x) dx˜.

t

Ωx

Исходный риск можно записать в виде полусуммы двух последних слагаемых, и т. к. функции потерь выпуклы, то

1

[c( 1) + c( 2)] > c ·

1

[

( 1 + 2)].

2

2

Следовательно, для условного риска можно записать:

R0(π

, xˆ Y τ ) =

1

(c(˜x+xˆá xˆ

)+c(˜x

xˆá +xˆ

))

Y τ

} > E{

c(˜x)

Y τ

=

c(x

xˆá)

Y τ

= 0.

2 E{

}

E{

}

x

t| 0

t −

t

− t

t

|

0

|

0

t − t |

0

Для достижения знака равенства в последнем неравенстве, т. е. для обеспечения минималь но возможного значения условного риска, необходимо положить

xˆt = xˆá.

t

Привед¼нные выше результаты являются чрезвычайно важными. Они указывают на то, что байесовская оценка, оптимальная при квадратичной функции потерь, оста¼тся оп тимальной даже при изменении условий задачи оценивания (для других функций потерь).

Поскольку, как было отмечено ранее, простая функция потерь, при выполнении некото рых ограничений приводит к байесовской оценке в виде условного математического ожида ния, то целесообразно рассмотреть, какой вид принимает байесовская оценка при разных функциях потерь и различных предположениях о совместной плотности распределения ве роятностей xt è yt, и как при этом видоизменяется сам критерий оптимизации.

1.Байесовская оценка xˆpt , минимизирующая апостреорный риск R0(πx, xˆt|Y0τ ) ïðè ïðî стой функции потерь и произвольной условной плотности распределения вероятности

π(xt|Y τ ), совпадает с оценкой xˆì. à. â.

0 t , полученной по критерию максимума апостери орной плотности распределения вероятностей

max π(x

Y τ ) = π(ˆxì. à. â.

Y τ ).

xt

Ωx

t|

0

t

|

0

Действительно, простая функция потерь имеет вид:

0, kxt − xˆtks <

ε

c(xt

xˆt) =

2

−

1

,

k

xt

−

xˆt

k

s

>

ε

2

ε

А тогда апостериорный риск

R0(πx, xˆt

τ

)

может быть представлен в виде:

Y

|

0

xˆp+

ε

1

t

2

R0(πx, xˆt|Y0τ ) = 1 −

pZ

π(xt|Y0τ ) dxt.

ε

ε

xˆt −

2

А тогда условие минимизации R0(πx, xˆt

Y

τ ) сводится к минимизации подынтегральной

функции. Чаще всего, оценку xˆ

ì

à

â

|

0

t

.

.

. находят из условия

∂ ln π(xt|Y0τ )

= 0.

∂xt

xt=ˆxtì. à. â.

и макси

Мальцева Н. В.

Рекуррентная и адаптивная фильтрация

10

2. При простой функции потерь и равномерной априорной плотности распределения вероятностей π(xt) = const = π0 совпадают между собой оценки xˆpt , xˆìt . à. â.

мально правдоподобная оценка xˆì. ì. ï.

t, удовлетворяющая критерию

max π(Y τ |xt) = π(Y τ |xˆì. ì. ï.).

xt Ωx

0 0 t

Действительно, применим формулу Байеса, чтобы разделить роли априорных сведе ний π(xt) = π0 и выборки измерений Y0τ ,

π(xt|Y0τ ) = π(xt)π(Y0τ |xt)/π(Y0τ ).

Далее имеем:

ì. à. â.

τ

max

τ

ln π(ˆxt

|Y0 ) = xt

Ωx ln π(xt|Y0 ) =

π0

π0

= ln

max ln π(Y τ

x ) = ln

+ ln π(Y τ

xˆì. ì. ï.)

π(Y τ )

π(Y τ )

+ xt

Ωx

0 |

t

0

|

t

0

0

= условия для определения оценок xˆtì. à. â.

è xˆtì. ì. ï. совпадают:

∂ ln π(Y0τ |xt)

=

∂ ln π(xt|Y0τ )

= 0.

∂xt

xt=ˆxtì. ì. ï.

∂xt

xt=ˆxtì. à. â.

3. Максимально правдоподобная оценка xˆì. ì. ï.

tсовпадает с оценкой меòîäа наименьших

квадратов xˆì. í. ê. Y k = {ys : s = 1, k} и удовлетво t , полученной по выборке измерений 1

ряющей критерию

k				k
Xi				X
min	(yi − Hi(xt))	T	Wti (yi − Hi(xt)) =	ì. í. ê.		T	ì. í. ê.
xt Ωx =1				i=1 (yi − Hi(ˆxt	))		Wti (yi − Hi(ˆxt	)),

åñëè

а) плотность распределения вероятностей π(Y1k|xt) гауссовская; б) Hi(xt) = Eyi (yi|xt);

â) Wti = cov−1(yi, yi|xt).

Необходимое условие экстремума, при этом, представляется в виде уравнения, опре деляющего оценку метода наименьших квадратов

∂	k	yi − Hi(xt)!
	H(xt)Wti			= 0.
∂xt			ì. í. ê.
	i=1	xt=ˆxt

X

В общем случае, оптимальные оценки, найденные для разных критериев количественно различаются, но при гауссовской апостериорной плотности вероятностей (уни???, симмет ричной относительно условного математического ожидания) для всех допустимых функций потерь оптимальные оценки совпадают .