4.6. Восстановление функций степени достоверности

Вновь обратимся к формуле оптимального решающего правила и представим совместную плотность распределения в виде. Заметим, что в таком выражении, которое является более традиционным в распознавании образов, оптимальное решающее правило непосредственно опирается на апостериорные вероятности появления классов или, другими словами, степени достоверности. Такие функции, как правило, значительно проще плотностей распределения классов, так как функции степени достоверности отражают только взаимное различие плотностей распределения классов в основном лишь в небольших областях их перекрытия в признаковом пространстве. Взаимное различие плотностей распределения классов важно лишь в областях, где, по крайней мере, плотности двух классов_lи_k,, отличны от нуля. В остальной же, большей части пространства, согласно гипотезе компактности, значения степени достоверности классов близки к 0 или 1. Очевидно, что в противном случае распознавание с приемлемой величиной риска ошибки просто невозможно. Поэтому обучение распознаванию строится как процесс непосредственного восстановления функцийбез восстановления плотностей.

Пусть - некоторое параметрическое семейство действительных функций в пространстве признаков, удовлетворяющих условиюдля всех. Рассмотрим случайную величину

.

Если в данном параметрическом семействе существуют такие параметрыc_k,, при которых апостериорные вероятности классов определяются через их значениядля всех, то в каждой точке признакового пространства условное математическое ожидание случайной величинысовпадает с математическим ожиданием:

для всех.

Поэтому найдем коэффициенты c_k,из условий:

,

что означает

.

Если семейство функций регулярно, то получим критерий обучения

.

Пусть ,- обучающая последовательность, на которой случайная переменнаяпринимает значения

.

Заменим операцию матожидания усреднением по выборке и получим

.

Отсюда получим итерационный градиентный алгоритм оценивания параметров

,,

где - коэффициент очередного шага в направлении антиградиента.

В случае бесконечной обучающей выборки ,, предъявляемой последовательно, рекуррентный алгоритм обучения строится как алгоритм стохастической аппроксимации Роббинса-Монро для решения уравнения регрессии

.

Рассмотрим систему некоторых функций , образующих пространствоR^p, которое является спрямляющим для параметрического семейства, таким, что

.

Тогда градиент определяется выражением

.

4.7. Минимизация среднего риска

Методы оценивания плотностей распределений и функций степени достоверности восстанавливают полностью или частично вероятностные характеристики исходных данных. Лишь потом эти характеристики используются для формирования решающего правила. С другой стороны, можно строить алгоритмы обучения для непосредственного выбора решающего правила, минимизирующего средний риск ошибки распознавания, не восстанавливая вероятностные характеристики исходных данных.

Рассмотрим некоторое заданное параметрическое семейство решающих правил и некоторую фиксированную функцию потерь . Тогда средний риск является функцией параметраc:

.

Тогда требование минимизации среднего риска приводит к условию равенства нулю его градиента

.

Но для функции потерь вида перестановка операций дифференцирования и матожидания недопустима, так как выражение(тождественно равно нулю) почти для всехcи изменяется скачком в зависимости от параметраcпри любомx, так какзависит отcскачкообразно. Из-за этого рекуррентные градиентные процедуры типа стохастической аппроксимации здесь не используются.

Поэтому для построения процедуры обучения используют комбинацию дихотомических решающих правил вида

,

основанных, как правило, на линейной дискриминантной функции вида . Тогда параметрическая функция потерь определяется в виде

Такая функция штрафует не просто неправильное определение класса объекта, но и слишком близкое расположение вектора xк разделяющей гиперплоскости в своем классе относительно порогаи, тем более, попадание вектораxв область чужого класса. Для такой функции потерь выражение для среднего рискауже обладает регулярностью, что приводит к невырожденному уравнению регрессии

.

Тогда в случае бесконечной обучающей выборки ,, предъявляемой последовательно, рекуррентный алгоритм обучения также строится как алгоритм стохастической аппроксимации Роббинса-Монро для решения уравнения регрессии

.