4.2. Байесовское решающее правило классификации

Пусть для каждого класса существует некоторая априорная вероятность его появления. Пусть вn- мерном пространствезадана условная плотность распределениявектораxотносительно каждого класса. Другими словами, пусть вn- мерном пространстве определена совместная дискретно-непрерывная плотность распределения,.

Пусть - потери, связанные с принятием решенияо классе объекта, когда его истинная принадлежность. Будем характеризовать качество решающего правиламатематическим ожиданием потерь, которое примем за средний риск ошибки принятия решения

,

Очевидно, что выражение можно представить как сумму интегралов

,

где минимизация всего выражения эквивалентна минимизации каждой ее составляющей, причем вектор xиграет роль переменной, пробегающей все значения в пространстве, а не конкретного значения. Тогда для заданного значенияxсредний условный риск принятия некоторого решениязапишется как

.

Тогда принятое решение есть

.

С другой стороны, после наблюдения вектора xпо правилу Байеса можно найти апостериорную вероятностьпоявления класса

.

Тогда получим решение

.

Часто функция потерь задается как величина

с целью штрафовать одинаково все ошибки и достичь наименьшей величины среднего риска. Тогда принятое решение есть

,

так как .

Рассмотрим случай двух классов. Тогда условный средний риск для вектора x:

и

.

Очевидно, что принимается , если.

Выразим это условие через апостериорные вероятности, обозначив . Получим. Так как, то есть потери при ошибке больше, чем при правильном решении, тои. Поэтому при фиксированных потерях наш выбор определен наиболее правдоподобным состоянием наблюдений (наибольшей апостериорной вероятностью наблюдений). Тогда получим

.

По правилу Байеса также получим эквивалентное выражение через условные вероятности

.

Здесь слева записано отношение правдоподобия. Байесовское решающее правило рекомендует выбирать класс , если отношение правдоподобия превышает некоторый порог, не зависящий от наблюденияx. Примеми. Тогда получим

и

и примем решение

, если, то есть.

Для отношения правдоподобия получим

.

Если классы иравновероятны, то получим простое решающее правило:.

Часто для случая двух классов решающее правило определяют в виде разделяющей функции

или.

Разделяющие функции такого типа называются байесовскими классификаторами. Принимается решение , еслии, если. Для более общего случаяmклассов принимается решение, если выполнено условиедля всех, где, например,,.

4.3. Вероятности ошибок байесовского классификатора

Рассмотрим случай двух классов и(рис. 4.1). Если рассмотрим пространство одного признака, то решающее правилопорождает разбиение на области принятия решенияи, границей между которыми служит точка на оси признака. Очевидно, что возможны два вида ошибок классификации:

1. когда наблюдаемое значение xпопадает в область, в то время как истинная принадлежность,

2. и наоборот, когда наблюдаемое значение xпопадает в область, в то время как истинная принадлежность.

Данные события не могут произойти одновременно и составляют полную группу событий. Поэтому вероятность ошибки есть величина

Согласно рисунку, вероятность ошибки P_Oдостигает минимума при смещении границы решения из положения 1 в положение 2, когда “хвосты” распределений не перекрываются. Поэтому выгоднее предположить, что

прии

при.

Именно такой выбор и достигается байесовским решающим правилом. Отношение правдоподобия также непосредственно следует из данных выражений. Тогда граница в положении 2 областейиопределяется условием.

Рис. 4.1. Вероятности ошибок.

Для случая классификации на два класса проследим аналогию с видами ошибок при проверке гипотез в математической статистике. Очевидно, что совместное распределение играет роль плотности распределения при справедливости нулевой гипотезы Н₀ (класс), а совместное распределениеиграет роль плотности распределения при справедливости альтернативной гипотезы Н₁(класс). Тогда первая ошибка классификации - это ошибка первого рода, когда нулевая гипотеза Н₀отвергается, являясь справедливой, с вероятностью

.

Вторая ошибка классификации является ошибкой второго рода, когда принимается нулевая гипотеза Н₀, являясь неверной, с вероятностью

.

Отсюда мощность критерия проверки гипотезы Н₀есть вероятность

того, что ошибка второго рода не будет допущена.