6.2. Адаптивный байесов подход при параметрической априорной неопределенности

Конкретные приложения рассматриваемых здесь методов в после­дующих главах будут применены в основном к задачам синтеза инфор­мационных систем в условиях параметрической априорной неопреде­ленности, простейшим примером которых является первый из примеров § 6.1. Поэтому рассмотрим этот случай наиболее детально с доведением результатов до максимально возможной в условиях общей постановки задач степени конкретности.

При параметрической априорной неопределенности (гл. 3) функция правдоподобия Р (х|,_) задается с точностью до совокупности неизве­стных параметров _ = {_⁽¹⁾,..., _^(l)}, а плотность априорного распреде­ления вероятности р(|) для  с точностью до совокупности неизве­стных параметров  = {⁽¹⁾,..., ^(m)}, причем пространства А_ и В - неко­торые заданные подмножества евклидова пространства соответствую­щей размерности. Обозначим полную совокупность неизвестных пара­метров, включающую в себя все частные совокупности _ и совокуп­ность , через , тогда совместная плотность вероятности х и , может быть записана в виде

(6.2.1)

где р(x,|) - известная функция всех своих аргументов, удовлетво­ряющая обычным требованиям к плотности совместного распределения вероятности. Апостериорное распределение вероятности и апостериор­ный риск определяются обычными соотношениями

(6.2.2)

(6.2.3)

и в общем случае зависят от совокупности неизвестных параметров . В частном случае, когда апостериорное распределение либо только значение u₀ = u₀(х, ). Для которого достигается минимум апостериор­ного риска, то есть удовлетворяется уравнение

(6.2.4)

не зависит от , априорная неопределенность не является существенной, а правило решения u₀(х,)=u₀(х) является равномерно наилучшим правилом решения. Поэтому в любой конкретной задаче с априорной неопределенностью прежде всего следует проверить, решив уравнение (6.2.4), существует либо нет равномерно наилучшее решение.

Если априорная неопределенность является существенной, то ре­шение уравнения (6.2.4) зависит от  и представляет собой функцию u₀(х,), описывающую оптимальное байесово правило решения для известного значения  (при отсутствии априорной неопределенности).

Поскольку истинное значение  неизвестно, то ни величина апосте­риорного риска (6.2.3), ни правило решения u₀(х,) не определены и необходимо применить адаптивный байесов подход, введя новую меру ожидаемых потерь - какую-либо оценку апостериорного риска, не за­висящую от неизвестного значения , Естественной оценкой величины R(u,x,), обеспечивающей полное сохранение последующего байесова формализма, является

(6.2.5)

где = (x) - некоторая оценка значения , найденная по данным на­блюдения х. При подстановке (6.2.5) вместо неизвестного значения R(u,x,), уравнение (6.2.4), которое определяет правило решения, обеспечивающее минимум ожидаемых потерь при каждом значении х, получим правило решения

(6.2.6)

отличающееся от оптимального байесова правила только заменой  оценочным значением = (x).

Таким образом, использование оценки апостериорного риска (6.2.5) позволяет не решать заново задачу минимизации ожидаемых потерь; структура правила решения остается такой же, как при отсутствии априорной неопределенности (известном значении ), а неопределен­ность правила решения устраняется заменой неизвестного значения  оценочным значением .

Адаптивное байесово правило решения (6.2.6) внешне выглядит очень привлекательным: оно универсально, обладает хорошими конст­руктивными качествами, так как позволяет просто взять готовое реше­ние байесовой задачи и заменить в нем  на , и на примерах § 6.1 показало свою высокую эффективность. Однако прежде чем рекомен­довать его широкое использование, необходимо, разумеется, выяснить два вопроса:

1)какую именно оценку = (x) следует использовать в (6.2.5), (6.2.6);

2)удовлетворяет ли правило решения (6.2.6) какому-либо из рас­смотренных в гл.4 принципов оптимальности или хотя бы является близким к наилучшему с точки зрения того или иного принципа пред­почтения правилу.

Если объем имеющихся данных наблюдения таков, что можно оце­нить значение  с высокой точностью, то ответ на первый из этих во­просов некритичен. В качестве (x) можно использовать любую оценку с малым отклонением от истинного значения , что автоматически приводит к малому отклонению риска правила решения (6.2.6) от риска абсолютно оптимального байесова правила решения при известном зна­чении . Детальный вид оценки (х) определяется в этом случае в основном соображениями, связанными с простотой реализации алгоритма оценивания вектора . Практически такая свобода действий допустима в асимптотическом случае, когда совокупность имеющихся данных на­блюдения описывается вектором х = {х₁,..., х_n} с большим числом ком­понент х_, каждая из которых зависит от .

При ограниченном объеме данных наблюдения выбор оценки (x) подставляемой в правило решения (6.2.6), следует производить более аккуратно, так, чтобы выполнить основное требование обеспечения наименьшего из возможных отклонений риска правила решения (6.2.6) от риска байесова правила решения с известным значением . С целью детализации критерия выбора наилучшей оценки (x) рассмотрим ве­личину среднего риска для правила решения (6.2.6) при каком-либо значении у

(6.2.7)

и сравним ее с величиной среднего риска для оптимального байесова решения u₀(x,) при том же значении .

. (6.2.8)

Для этого составим разность

(6.2.9)

где

(6.2.10)

Очевидно, что разность R(,) неотрицательна. Это следует из того, что при любом  правило решения u₀(x,) минимизирует вели­чину среднего риска. Более того, функция (,,х) из (6.2.10) также неотрицательна, поскольку при любых значениях х и  она представ­ляет собой разность значений апостериорного риска для двух решений u₁ = u₀(x,) и u₂ = u₀(x, ), а именно второе решение соответствует ми­нимальному значению апостериорного риска.

При этом R(,) и (,,х) обладают следующим свойством:

(6.2.11)

Величина R(, ) является функционалом оценки = (x), кото­рый, вообще говоря, может принимать различные значения при разных . Попытаемся выбрать оценку g(х) так, чтобы обеспечить равно­мерно наилучшее приближение среднего риска правила решения u(x) = u₀(x, g) к минимальному байесову риску правила решения u₀(х, g) с известным значением g. Как известно, требование равномерно наи­лучшего приближения означает, что максимальное отклонение должно быть минимальным, поэтому наилучшую оценку g(x) = g₀(x) следует выбирать, исходя из условия

(6.2.12)

Таким образом, с учетом (6.2.9) наилучшая оценка ₀(x) является минимаксной оценкой параметра плотности распределения вероят­ности

(6.2.13)

относительно функции потерь (, g, х) из (6.2.10). В гл. 5 мы показа­ли, что при некоторых ограничениях на функцию потерь (5.2.1) и рас­пределение вероятности данных наблюдения (5.2.2) минимаксной оцен­кой является оценка максимального правдоподобия, то есть наилучшая оценка ₀(x) совпадает с оценкой максимального правдоподобия

(6.2.14)

которая определяется из уравнения правдоподобия

(6.2.15)

или при отсутствии ограничений на область Г ={А_l, В} значений g из эквивалентного ему уравнения

(6.2.16)

где

(6.2.17)

- оператор градиента, ставящий в соответствие любой функции от g вектор-столбец частных производных этой функции по всем компонен­там вектора g.

При использовании оценки максимального правдоподобия g* = g*(x), определяемой уравнениями (6.2.15), (6.2.16), адаптивное байесово правило решения (6.2.6) принимает вид

, (6.2.18)

и мы получаем замкнутую конструктивную процедуру нахождения пра­вила решения в условиях априорной неопределенности, которое содер­жит следующие элементы:

- отыскание оптимального байесова правила решения u_o(x, g) для фиксированного значения g путем минимизации апостериорного риска R(u, x, g) из (6.2.3) (во многих случаях это означает просто взять готовое решение соответствующей задачи при отсутствии априор­ной неопределенности);

- нахождение оценки максимального правдоподобия g* = g*(x) путем решения уравнений правдоподобия (6.2.15) или (6.2.16);

- замена в оптимальном байесовом правиле решения u₀(x, g) не­известного значения g на его оценочное значение g* = g*(x).

При слабых ограничениях на функцию потерь (, g, х), при кото­рых оценка максимального правдоподобия g* является минимаксной оценкой, эта процедура обеспечивает получение правила решения u(х) (6.2.18), которое дает равномерно наилучшее приближение к сред­нему риску абсолютно оптимального байесова правила решения с из­вестным значением g.

Указанные ограничения обычно выполняются, если множество зна­чений непрерывно, а также в ряде других случаев. Мы не будем за­ниматься специально детальным анализом условий совпадения оценки максимального правдоподобия g*(х) с минимаксной оценкой g_o(x) определяемой из (6.2.12). Конечно, могут быть ситуации, когда y₀(х) лучше, чем g*(x), в смысле точности приближения среднего риска пра­вила решения u₀(x, g₀(х)) к среднему риску байесова правила u₀(x, g), и, взяв действительно минимаксную оценку, можно было бы получить лучшие результаты, чем с оценкой максимального правдоподобия. Примером подобного рода является случай, когда значение g задает априорное распределение на дискретном множестве значений l, а дан­ные наблюдения х относятся только к одному из возможных значе­ний l. В этом и некоторых подобных случаях оптимальное значение g₀(х) получается константой, не зависящей от х, что довольно очевидно заранее и существенно упрощает нахождение правила решения. Однако такие ситуации сравнительно редки, а сама оценка при условии един­ственности решения уравнения максимального правдоподобия, как уже неоднократно отмечалось, обладает следующими качествами: она обя­зательно совпадает с эффективной (имеющей наименьшее возможное рассеяние) оценкой, если последняя существует; с ростом объема дан­ных наблюдения, по которым вычисляется оценка максимального прав­доподобия, она сходится к истинному значению оцениваемого парамет­ра и при этом является асимптотически нормальной и асимптотически эффективной. Имея в виду эти высокие достоинства, а также универ­сальность и относительную простоту метода максимального правдопо­добия, благодаря которым могут быть разработаны стандартные про­цедуры нахождения оценки g*, можно в общем случае ограничиться оценками максимального правдоподобия, оставив попытки их улучше­ния для конкретных задач, где такая возможность имеется.