- •Глава 7. Оценки максимального правдоподобия
- •7.1. Вводные замечания
- •7.5. Методы нахождения оценок максимального правдоподобия
- •7.5.1. Конечные методы
- •7.5.2. Рекуррентные методы
- •7.5.3. Переход к непрерывному времени. Дифференциальные уравнения для оценок максимального правдоподобия
- •Глава 8. Адаптивный байесов подход при непараметрической априорной неопределенности
- •8.1. Вводные замечания
- •8.4. Непараметрические критерии согласия
- •Часть III. Применения адаптивного байесова подхода
- •Глава 10. Применение адаптивного байесова подхода к задачам с непрерывным множеством решений
- •10.4. Оценка переменных параметров
Глава 7. Оценки максимального правдоподобия
7.1. Вводные замечания
Из результатов предыдущей главы видно, что нахождение оценок максимального правдоподобия является существенным элементом адаптивного байесова подхода и до некоторой степени даже его основой в случае параметрически заданной априорной неопределенности. Метод максимального правдоподобия, как мы видели ранее в гл. 2, 4, 5, имеет и большое самостоятельное значение. Он позволяет в ряде случаев найти минимаксное решение задачи с гарантированным уровнем риска и дает возможность выявить достаточные или квазидостаточные статистики. В связи с этим в настоящей главе более подробно рассмотрим методы получения и свойства оценок максимального правдоподобия.
Этому вопросу посвящена довольно обширная литература, начиная с ранних работ по классической математической статистике, поэтому, возможно, значительная часть того, что будет изложено ниже, хорошо известна многим читателям. Это в особенности относится к случаю регулярных оценок по совокупности независимых данных наблюдения, соответствующему этому случаю неравенству Крамера-Рао и асимптотической эффективности регулярных оценок максимального правдоподобия. Наряду с этим имеется много сравнительно малоизвестных аспектов метода максимального правдоподобия: влияние статистической зависимости данных наблюдения на сходимость и точность оценок максимального правдоподобия; нерегулярность, когда функция правдоподобия недифференцируема по оцениваемым параметрам; рекуррентные процедуры нахождения оценок максимального правдоподобия и их свойства и т. д. Наличие подобных аспектов, а также большое значение метода максимального правдоподобия для решения задач синтеза в условиях априорной неопределенности делают целесообразным систематическое изложение основных фактов, относящихся к методам получения и свойствам оценок максимального правдоподобия. Большинство этих фактов будет приведено без доказательства со ссылками на оригинальные и популярные работы, в которых такие доказательства имеются.
Прежде чем перейти к дальнейшему изложению, напомним некоторые основные определения. Пусть имеется совокупность данных наблюдения , которую обычно будем представлять в виде вектора , каждая компонента которого соответствует одному наблюдению и, в свою очередь, может быть вектором того или иного порядка или даже отрезком реализации некоторого непрерывного случайного процесса. Пусть эти данные наблюдения зависят от некоторого параметра размерности . (Нам удобно ввести здесь новое обозначение для неизвестных параметров, чтобы иметь возможность в дальнейшем понимать под как параметры , характеризующие априорную неопределенность в статистическом описании и , так и сами параметры , влияющие на последствия принимаемых решений и являющиеся предметом оценки в исходной задаче статистического решения, так и, наконец, совокупность тех и других параметров.) Зависимость данных наблюдения от параметров описывается функцией правдоподобия
(7.1.1)
где -плотность совместного распределения вероятности при заданном значении , а оценка максимального правдоподобия определяется из уравнения максимального правдоподобия
(7.1.2)
где максимум находится по области допустимых значений . Уравнение (7.1.2) эквивалентно следующему уравнению для логарифма функции правдоподобия, которым часто будем пользоваться в дальнейшем:
(7.1.3)
где
(7.1.4)
Если для каждого из допустимого множества значений для почти всех значений существуют частные производные причем
где - интегрируемые по всему пространству функции, то оценка максимального правдоподобия является регулярной и уравнение максимального правдоподобия может быть представлено в одной из эквивалентных форм
(7.1.5)
или
(7.1.6)
где - оператор градиента по компонентам вектора .
Регулярный случай, пожалуй, чаще всего встречается на практике. Однако во многих важных практических задачах свойство регулярности не выполняется, что заставляет рассматривать и более общий случай, для которого некоторые закономерности поведения регулярных оценок могут и не соблюдаться. Если наряду с оценкой максимального правдоподобия рассмотреть какую-либо другую функцию , которая не является решением уравнения максимального правдоподобия, то очевидно, что при весьма общих предположениях о виде этой функции можно считать ее оценкой параметра , более того, и совершенно произвольную функцию вектора можно также назвать оценкой , хотя возможно, что точность этой оценки будет совершенно неудовлетворительной. В дальнейшем нам понадобится определение регулярности и для оценки произвольного вида. Чтобы ввести это определение, зададим взаимно однозначное преобразование
(7.1.7)
где - некоторая многомерная функция дополняющая преобразование до взаимно однозначного. В силу взаимной однозначности этого преобразования две совокупности и статистически эквивалентны, поэтому вместо исходной совокупности данных наблюдения можно рассматривать преобразованную совокупность статистическое описание которой задается функцией правдоподобия , получающейся применением преобразования (7.1.7) к исходной функции правдоподобия (7.1.1).
Функцию правдоподобия , очевидно, можно записать в виде
(7.1.8)
где и- соответствующие условные плотности вероятности. Оценка называется регулярной, если для каждого из заданного множества значений для почти всех значений и существуют частные производные , причем
где и-функции, интегрируемые по всему пространству и соответственно.
Совокупность этих условий несколько жестче, чем простое требование дифференцируемости функции правдоподобия. Они накладывают определенные ограничения не только на , но и на возможные виды преобразования , то есть на структуру оценочных функций.
Всякая оценка отличается от истинного значения . Простейшей характеристикой этого отличия является математическое ожидание разности
(7.1.9)
вообще говоря, зависящее от и называемое смещением оценки. Оценка, для которой называется несмещенной.
Важным понятием является также понятие достаточной оценки. Оценка называется достаточной, если условная плотность вероятности в (7.1.8) не зависит от . Достаточная оценка является, очевидно, минимальной достаточной статистикой для параметра : достаточной в силу того, что она удовлетворяет основному требованию к любой достаточной статистике (гл. 2), а минимальной - в силу того, что размерность этой статистики (вектора ) совпадает с размерностью вектора неизвестных параметров . Если существует какая-либо достаточная оценка , то любая лучшая оценка может быть только функцией .