4.5. Восстановление плотностей распределения классов.

Напомним, что при вероятностном подходе предполагается, что в признаковом пространстве задано совместное дискретно-непрерывное распределение з(_к,х), к=1,,m, хRⁿ, где p(_k,x)=p(_k)f(x|_k)=f(x)p(_k|x). Как было показано, качество принятия решения о классе объекта х оценивается средним риском ошибки распознавания, который вычисляется как математическое ожидание потерь от несовпадения предполагаемого и истинного классов объекта R[g()]=M{[g(x),g()]}. Такая оценка качества, как известно, приводит к байесовскому решающему правилу .

Представим совместную плотность распределения p(_k,x), k=1,,m в виде p(_k,x)=p(_k)f(x|_k). Если предположить, что априорные вероятности з(_к) и условные плотности распределения f(x|_k) известны, то оптимальное решающее правило легко найти после из подстановки в выражение . Поэтому наиболее очевидный подход состоит в том, чтобы по обучающей выборке предварительно оценить вероятностиp(_k) и плотности f(x|_k).

Основной недостаток данного подхода состоит в том, что задача восстановления полных вероятностных характеристик данных значительно сложнее исходной задачи поиска решающего правила распознавания, которое лишь отражает основные геометрические особенности концентрации плотностей распределения классов в пространстве признаков. Тем не менее, такой подход часто удобен, когда можно указать достаточно простое параметрическое семейство плотностей распределений f(x,c), в котором плотности распределений классов определяются значениями параметров f(x|_k)=f(x|c_k), k=1,,m. Априорные вероятности классов p(_к) и параметры с_к частных распределений оцениваются по обучающей выборке, например, методом максимального правдоподобия.

Тогда вероятность p(_k) оценивается как , к=1,m, где N_k – число объектов (x_i,g_i), i=1,,N, у которых g_i=_k. Оценки параметров условных распределений классов находятся из условия максимума частных функций правдоподобия

.

С другой стороны, оценки параметров p(_k) и c_к можно получить рекуррентно, если объекты (x_i,g_i) обучающей выборки поступают только последовательно i=1,,, а сама выборка неограниченна. Тогда значение параметра с_к для класса _к можно получить из условия

.

Если параметрическое семейство f(x|c) удовлетворяет условию регулярности, то операции дифференцирования и перехода к математическому ожиданию можно поменять местами. Тогда получим то, что называется уравнением регрессии

.

Поиск корня уравнения регрессии по бесконечной подпоследовательности объектов (x_j,g_j), g_j=_k, j=1,, класса _к в исходной обучающей последовательности (x_i,g_i), i=1,, с независимыми элементами обеспечивает процедура стохастической аппроксимации (Роббинса-Монро) вида

c_k^j+1=c_k^j+^jgrad_clogf(x_j_k|c_k^j)

Как известно, данная процедура сходится с вероятностью 1 (почти наверное) при следующих простых предположениях о параметрическом семействе f(x|c) и коэффициентах ^j.

Матрица вторых производных (гессиан) grad_cgrad_cf(x|c) должна быть отрицательно определена в окрестности искомого значения c_k (или положительно определена, если заменить в процедуре знак приращения на противоположный); коэффициенты стохастической аппроксимации ^j уменьшаются в ростом j не слишком медленно и не слишком быстро:

, например, ^j=.

В свою очередь, априорные вероятности классов рекуррентно оцениваются как рекуррентный пересчёт среднего , гдеi^j – номер очередного объекта x_j бесконечной подпоследовательности объектов класса _к в исходной обучающей последовательности (x_i,g_i), i=1,,.