4.8. Линейные разделяющие функции

Как было показано, некоторое решающее правило , независимо от способа его получения, определяет разбиение признакового пространства на области принятия решений. Полагая, что решающее правило адекватно структуре обрабатываемых данных, мы считаем, что данные области принятия решений порождают разбиение всего множества исследуемых объектовXна классы. Поэтому мы полагаем, что посредством решающего правиластроится отображение некоторого множества исходных образов, определенных на универсальном множестве, в признаковое пространство, представленное матрицей данныхX.

С другой стороны, решающее правило порождает совокупность границ, разделяющих области, соответствующие различным классам. Вид границ определяется решающим правилом, где, в частности, линейное решающее правило определяет линейные границы.

Для случая двух классов решающее правило определяет одну границу, такую, что решающее правило принимает совпадающие значения для объектов по одну сторону границы и несовпадающие значения для объектов по обе стороны границы. В таком случае решающее правило удобно определить в виде разделяющей функции вида

.

В случае линейной разделяющей функции получим .

Уравнение вида определяет уравнение разделяющей гиперплоскости в признаковом пространстве. В двухмерном пространстве это просто прямая линия. Обозначив, получим уравнение гиперплоскости в виде. Отсюда получим, гдеc₀- величина порога. Тогда

.

Возьмем две точки x₁иx₂, принадлежащие разделяющей границе классов_и_. Очевидно, что, откуда. Следовательно, векторcортогонален вектору разности. Так как векторлежит в гиперплоскости, то векторcопределяет нормаль к ней и является ее направляющим вектором, а коэффициентназывается ее смещением от начала координат (вдоль вектораc).

Рассмотрим геометрическое представление уравнения гиперплоскости в двухмерном пространстве (рис. 4.2). Очевидно, что для x₁иx₂выполнены условияи. Смещениеc₀определяется проекцией некоторого вектора, проведенного из начала координат, с концом, лежащим в гиперплоскости, на ее направляющий вектор, например,. В данном случае. Тогда проекция некоторого произвольного вектораxна направляющий вектор гиперплоскости есть величина.

Так как , тоесть разность длин проекций или, другими словами, расстояние вектораxдо гиперплоскости. Так как в данном случае, то нормальный вектор направлен в сторону области_а расстояние до гиперплоскости в данной области положительно. В области_расстояние до гиперплоскости считается отрицательным.

Следовательно, знак линейной разделяющей функции определяет принадлежность объектаxк одному из классов_или_, а значение определяет расстояние до гиперплоскости при условии, что ее направляющий векторcимеет единичную длину. Если, то расстояние гиперплоскости до начала координат определяется величиной, а расстояние от некоторого вектораxдо гиперплоскости определяется как величина.

Рис. 4.2. Гиперлоскость и ее направляющий вектор.

Для случая, когда число классов удобно использоватьразличных решающих функций вида, где. Например, для трех классов нужно построить три гиперплоскости (рис. 4.3). Как видно, в данном случае имеется область неопределенного решения (ОНР), когда нельзя принять решение о классе объекта. Для такого объекта классификация не определена.

Рассмотрим расширенный вектор и вектор коэффициентов. Тогда разделяющая функция имеет вид, а уравнение разделяющей гиперплоскости в новом, “расширенном” пространстве размерностиимеет вид. Согласно рассмотренному выше геометрическому представлению, всякая гиперплоскостьимеет нулевое смещение, то есть проходит через начало координат в расширенном пространстве.

В расширенном пространстве удается, в частности, избежать появления областей неопределенности решений о классе объекта (рис. 4.3). Например, в данном случае для трех классов ОНР отсутствует в расширенном пространстве, которое полностью разбито на три области, каждая из которых содержит один класс.

Рис.4.3. а) Область неопределенного решения, б) ОНР нет