Министерство образования РФ

Санкт-Петербургский государственный университет

аэрокосмического приборостроения

____________________________________________________________________

Кафедра № 11

Преподаватель:

Иванов Ю.П.

КОНСПЕКТ ЛЕКЦИЙ

ПО КУРСУ

«Обработка сигналов в условиях

априорной неопределенности»

Работу выполнили студенты группы № 1700М:

Горбунов Д.А., Петров К.К.,

Санкт – Петербург

2002

Часть I. Общие положения

Глава 3. Априорная неопределенность и возможные способы

НЕПОЛНОГО СТАТИСТИЧЕСКОГО ОПИСАНИЯ

Реализация байесова подхода в идеальном виде требует знания функциональной зависимости ожидаемой величины потерь - апостериорного риска - от решения u и значений х, описывающих данные наблюдения. В общем случае, для того чтобы приобрести это знание, необходимо достаточно полное статистическое описание данных наблюдения х и параметров состояния , определяю­щих величину потерь. Его полнота должна быть достаточна для вычис­ления апостериорного риска при любом из возможных решений u. Без дополнительных ограничений чаще всего это возможно только тогда, когда известны распределения вероятности P(x | ) и р() для х и .

На практике столь полное статистическое описание х и  встреча­ется относительно редко. Чаще всего задачи обработки информации и принятия решения сопровождаются большей или меньшей априорной неопределенностью, которая ограничивает полноту статистического описания. Обычная ситуация состоит в том, что нам известно о х и  нечто такое, что не дает возможности считать задачу синтеза совсем бессмыс­ленной, но и не позволяет воспользоваться байесовым подходом в иде­альном виде со всеми его преимуществами и возможностями. Распро­страненность подобных ситуаций и их большая практическая значимость делают особо важной разработку методов синтеза систем обработки информации и принятия решений в условиях априорной неопределен­ности.

Нужно подчеркнуть, что с момента своего зарождения классическая математическая статистика имела дело с задачами, в которых сущест­венна априорная неопределенность. Такие важные разделы теории ста­тистических решений, как теория проверки гипотез, особенно сложных, включающих мешающие параметры, разнообразные критерии согласия, теория оценок, использующая метод максимального правдоподобия и т. п., оперируют с задачами, связанными с весьма большой априорной неопределенностью и ограниченным статистическим описанием всех не­обходимых данных задачи.

Прежде чем переходить к их систематическому изложению рассмо­трим основные возможные способы неполного статистического описа­ния, соответствующие тем ограниченным сведениям о статистическом поведении данных наблюдения х и параметров состояния , которые часто встречаются на практике. Надо заметить, что перечень рассма­триваемых ниже характерных случаев и способов их описания ни в коей мере нельзя считать исчерпывающим. Он ограничивается, с одной сто­роны, широтой кругозора и симпатиями авторов, а с другой - возмож­ностями решения задачи синтеза для той или иной степени априорной неопределенности.

3.1. ОТСУТСТВИЕ ИЛИ ОГРАНИЧЕННЫЕ СВЕДЕНИЯ ОБ АПРИОРНОМ

РАСПРЕДЕЛЕНИИ ПАРАМЕТРОВ

В практических задачах априорная трудность распространяется как на распределение вероятностей данных наблюдения P(x | ), так и на распределение р(). При этом незнание либо весьма ограниченные све­дения об априорном распределении р() особенно типичны. Рассмо­трим поэтому сначала некоторые характерные ситуации, связанные с ограниченной априорной информацией о параметрах .

1. Самой крайней ситуацией является случай, когда относительно  вообще ничего неизвестно, кроме, возможно, области  допустимых зна­чений , и той информации, которая содержится в данных наблюдения х, используемых непосредственно при принятии решения. Это означает, что априорное распределение р() вообще неизвестно и может быть любой неотрицательной функцией, подчиненной единственному условию нормировки .Несмотря на такую крайность, задача синтеза оптимальной системы имеет смысл и соответствующие методы будут рассмотрены ниже.

2. Близкая по смыслу ситуация, но существенно более выгодная с точки зрения качества синтезируемой системы (или качества прини­маемого решения) имеет место, когда параметр  имеет векторный характер, но его компоненты связаны с помощью некоторых функцио­нальных ограничений. Эти ограничения всегда можно привести к виду

, (3.1.1)

где - -я компонента , , а - некоторый векторный параметр меньшей чем п размерности, . Классическим примером подобного ограниченного описания является задача фильтра­ции - оценки функции времени (в данном случае рассматриваемой в дискретные моменты), заданной с точностью до некоторого числа не­известных параметров .

В этом примере ( = 1, 2, …, n) - значения оцениваемой функции, - ее функциональное описание в момент ,зависящее от , параметры неизменны для всех интересующих нас значений . Наиболее распространенным является полиномиальное описание, для которого

, (3.1.2)

или более общее линейное описание относительно параметров

. (3.1.3)

При наличии ограничений (3.1.1) функция потерь (по второму своему аргументу) g(u, ,, х) и функция правдоподобия P(x | ) зависят фактически только от , и если о последних ничего неизвестно, то задача получается такой же, как в 1, за исключением понижения размер­ности с n до т. Последнее может быть очень существенным как с точки зрения техники решения задачи синтеза и получения окончательных результатов, так и качества полученного решения.

3. Во многих практических задачах, когда распределение P() не­ известно, можно считать заданными некоторые статистические харак­теристики . Простейшей из них является математическое ожидание са­мого параметра , которое во многих случаях можно предполагать за­данным. Более подробное статистическое описание достигается, если заданы дисперсия , моменты более высокого порядка и т. д. В общем случае подобные априорные сведения могут быть описаны путем зада­ния математического ожидания некоторой многокомпонентной функции f(). В итоге распределение вероятностей  получается не произволь­ным, а подчиненным следующим ограничениям:

; , (3.1.4)

где f() — известная многокомпонентная векторная, матричная и т. д. функция ; а - заданная величина той же структуры.

Вид функции f() определяется структурой множества  и имею­щимися сведениями. Например, если  - n-компонентный вектор и заданы математические ожидания всех компонент, то и , и ,где - заданное математическое ожидание . Если дополнительно заданы дисперсии всех компонент , то функция f имеет компоненты и ( - )² (всего 2n компонент), а величина а соответственно и для , где - заданная дисперсия . Аналогичная картина имеет место и при задании других статистических характеристик.

Как с практической, так и с теоретической точки зрения большое значение имеет специальный случай, когда задана корреляционная матрица вектора, (для простоты его математическое ожидание считается равным нулю), то есть

; ; . (3.1.5)

4. Следующим возможным способом ограниченного априорного опи­сания n-мерного вектора параметров является задание распределений вероятности низшего порядка, например совокупности одномерных плотностей вероятностидля всех или части = 1, …, n, совокупности условных плотностей для = 2, …, n, и т. д. Предположение о независимости в первом случае или о марковском свойстве во втором совместно с заданием указанных ха­рактеристик дает полное статистическое описание, но если даже такие предположения не имеют оснований, то все равно задание частных распределений вероятности дает богатую информацию для решения за­дач синтеза оптимальных систем.

5. В п. 2 — 4 предполагалось задание некоторых аналитических, количественных свойств априорного распределения вероятности , соот­ветствующих наличию априорной неопределенности и дающих неполное статистическое описание. Пожалуй, большее значение имеют те огра­ниченные априорные сведения, которые относятся к качественному опи­санию свойств распределения вероятности параметров. Например, весьма ценной является априорная информация о том, что различные компонентыэтой совокупности независимы (частные плотностипри этом неизвестны) или еще к тому же распределены одина­ково, то есть

(3.1.6)

при полностью или частично неизвестной функции .

При решении задач синтеза в условиях априорной неопределенности равенство типа (3.1.6) может рассматриваться как гипотетическое и подлежащее проверке на соответствие с данными х, полученными при наблюдении. Особое значение в практических задачах имеет априорное предположение о том, что компоненты вектора образуют марковский случайный процесс, то есть

, (3.1.7)

где переходная изначальная плотности вероятности могут быть полностью и частично неизвестны. Важность этого случая обусловлена его большой универсальностью, связанной с тем, что при надлежащем выборе размерности каждой из компонент , которая, в свою очередь, может быть вектором, модель (3.1.7) удовлетворительно описывает большинство интересующих практику случаев.

Общей чертой рассмотренных выше примеров является то, что в условиях априорной неопределенности вместо единственного распреде­ления вероятности для параметров , с плотностью можно задать только класс таких распределений ,к которому относятся все возмож­ные в данной задаче распределения (). Такой класс является исходным описанием задачи и характеризует априорную неопределен­ность, тем большую, чем шире задаваемый класс. Так в «чисто» байесовом случае () полностью известна) класс состоит всего из одного элемента, при полном отсутствии сведений об априорном описании па­раметров , (случай 1) - класс всех возможных распределений ве­роятности. В случае 2 класс - это совокупность всех распределений в n-мерном пространстве, полностью сосредоточенных на гиперповерхностях, определяемых соотношениями (3.1.1), и приписывающих нулевую вероятностную меру остальной части пространства и т. д. Четкое определение класса возможных распределений ,соответствующего имеющимся априорным сведениям, имеет, как мы убедимся позднее, довольно существенное значение при решении задач синтеза в условиях априорной неопределенности.