ЛР3
.docxМИНОБРНАУКИ РОССИИ
ФГБОУ ВО
Юго-Западный государственный университет
Факультет фундаментальной и прикладной информатики
Кафедра вычислительной техники
Лабораторная работа №3 «Линейные классификаторы»
Выполнил: |
|
|
|
|
|
Проверил: |
|
|
|
Курск 2021
Цель работы:
Изучение теоретических основ и экспериментальное исследование методов построения линейных классификаторов для распознавания образов.
Ход работы
1) Линейный классификатор, минимизирующий суммарную вероятность ошибочной классификации
Показатель качества критерия оптимальности линейной дискриминантной функции может быть записан в виде:
Необходимым условием минимума рассматриваемого показателя является равенство нулю его частных производных. Отсюда, подставляя выражения для частных производных, получим систему уравнений:
Решая данную систему уравнений можно использовать следующую итеративную процедуру:
где
Из выражения для s получим выражение для wN:
С помощью полученных выражений для и wN можно построить график зависимости суммарной вероятности ошибочной классификации R от единственного параметра s и в качестве окончательного ответа принять то значение параметра, при котором R(s) имеет минимум.
Рисунок 1 – Линейный классификатор, минимизирующий суммарную вероятность ошибочной классификации
2) Обобщенная формула построения линейных классификаторов для различных критериев. Классификатор Фишера
Выберем в качестве критерия функцию вида
Для рассматриваемого критерия справедливы следующие соотношения:
Подставляя выражения для частных производных, получим общую систему уравнений:
Подставляя выражение f в общую систему уравнений и игнорируя масштабный множитель линейной функции, получим следующее выражение для вектора весовых коэффициентов дискриминантной функции:
Используя значение s = 0.5, получим выражение для порогового значения дискриминантной функции:
Рисунок 2 – Классификатор Фишера: а – равные корреляционные матрицы; б – неравные корреляционные матрицы
3) Линейный классификатор, минимизирующий СКО решения
СКО между требуемым и действительным значением разделяющей функции определяется выражением (вместо математического ожидания используется среднее по обучающей выборке):
Используя матричную форму записи последнего выражения получим
дифференцируя которое и приравнивая частные производные нулю, получим следующее выражение:
Рисунок 3 – Линейный классификатор, минимизирующий СКО решения: а – равные корреляционные матрицы; б – неравные корреляционные матрицы
4) Стохастическая аппроксимация и процедура Робинсона-Монро
Процедура Робинсона-Монро – это итеративная процедура поиска корня уравнения регрессии. Уравнение регрессии может быть получено в результате следующего итерационного процесса:
Рассмотрим последовательность вида
Зададимся критерием вида:
дифференцируя по , получим
Полученное уравнение является уравнением регрессии.