- •92 Двоенко с.Д. Методы анализа бмд
- •4. Задачи классификации и кластер-анализа
- •4.1. Постановка задач классификации и кластер-анализа
- •4.2. Байесовское решающее правило классификации
- •4.3. Вероятности ошибок байесовского классификатора
- •4.4. Формирование решающего правила как обучение распознаванию образов
- •4.5. Восстановление плотностей распределения классов
- •4.6. Восстановление функций степени достоверности
- •4.7. Минимизация среднего риска
- •4.8. Линейные разделяющие функции
- •4.9. Область решений линейной разделяющей функции
- •4.10. Алгоритмы построения разделяющих гиперплоскостей
- •4.11. Алгоритм построения оптимальной разделяющей гиперплоскости
- •4.12. Алгоритмы кластер-анализа
4.5. Восстановление плотностей распределения классов
Напомним, что при вероятностном подходе предполагается, что в признаковом пространстве заранее задано совместное дискретно-непрерывное распределение , где. Как было показано, качество принятия решения о классе объектаxоценивается средним риском ошибки распознавания, который вычисляется как матожидание потерь от несовпадения предполагаемого и истинного классов объекта. Такая оценка качества приводит к байесовскому решающему правилу
.
Представим совместную плотность распределения ,в виде. Если предположить, что априорные вероятностии условные плотности распределенияизвестны, то оптимальное решающее правило легко найти после их подстановки в выражение. Поэтому наиболее очевидный подход состоит в том, чтобы по обучающей выборке предварительно оценить вероятностии плотности.
Основной недостаток данного подхода состоит в том, что задача восстановления полных вероятностных характеристик данных значительно сложнее исходной задачи поиска решающего правила распознавания, которое лишь отражает основные геометрические особенности концентрации плотностей распределения классов в пространстве признаков. Тем не менее, такой подход часто удобен, когда можно указать достаточно простое параметрическое семейство плотностей распределений , в котором плотности распределений классов определяются значениями параметров,. Априорные вероятности классови параметрыckчастных распределений оцениваются по обучающей выборке, например, методом максимального правдоподобия.
Тогда вероятность оценивается как, гдеNk- число объектов,, у которых. Оценки параметров условных распределений классов находятся из условия максимума частных функций правдоподобия
.
С другой стороны, оценки параметров можно получить рекуррентно, если объектыобучающей выборки поступают только последовательно, а сама выборка неограниченна. Тогда значение параметраckдля классаkможно получить из условия
.
Если параметрическое семейство удовлетворяет условию регулярности, то операции дифференцирования и перехода к математическому ожиданию можно поменять местами. Тогда получим то, что называется уравнением регрессии
.
Поиск корня уравнения регрессии по бесконечной подпоследовательности объектов классаkв исходной обучающей последовательности,с независимыми элементами обеспечивает процедура стохастической аппроксимации (Роббинса-Монро) вида
.
Как известно, данная процедура сходится с вероятностью 1 (почти наверное) при следующих простых предположениях о параметрическом семействе и коэффициентахj.
Матрица вторых производных (гессиан) должна быть отрицательно определена в окрестности искомого значенияck(или положительно определена, если заменить в процедуре знак приращения на противоположный); коэффициенты стохастической аппроксимацииуменьшаются с ростомjне слишком медленно и не слишком быстро:
, например,.
В свою очередь, априорные вероятности классов рекуррентно оцениваются как рекуррентный пересчет среднего , гденомер очередного объектабесконечной подпоследовательности объектов классаkв исходной обучающей последовательности,.