Байесовская теория принятия решений при непрерывных признаках

Вероятность ошибки классификации при двух классах:

P	f (x \|1)P(1)dx		Pîø2		f (x \| 2)P(2)dx
îø1
	G				G1
	2
	f (x\|1) P(1)		f (x\|2) P(2)
	P	ош.2	P	ош.1
				ош.1	x
		c			x
		c		G2
	G1			G2

Идеи классификации

Случай 1. Известны полностью условные плотности распределения вероятности для признаков:

f (x |1), , f (x | m)

f (x\|i)
f (x\|1)		f (x\|2)
		f (x\|2)
		x
		x
G1	c	G2
Одномерный случай

x2	(x1, x2 ) 0
	(x1, x2 ) 0
(x1	, x2 ) 0
	(x1, x2 ) 0
	x1
Двумерный случай

Идеи классификации

Случай 2. Условные плотности распределения вероятности для признаков известны не полностью, а с точностью до параметров:

	1	\|1),		2	\| 2)
f (x,			f (x,

Неизвестные параметры θ1 и θ2 доопределяются с помощью одного из методов математической статистики, например с помощью метода максимального правдоподобия, на основе обучающей выборки.

Дальнейшая классификация проводится, как и в случае 1.

По обучающей выборке доопределяются и априорные вероятности:

		n1					n2
P(1)			,	P(2)
	n	n				n n
1		2			1		2

Идеи классификации

Случай 3. Условные плотности распределения вероятности неизвестны, но известна обучающая выборка. Здесь возможны два варианта.

Вариант 1. Восстанавливается решающая функция.

Вариант 2. По обучающей выборке восстанавливаются условные плотности

Идеи классификации

Случай 4. Число классов неизвестно и нет обучающей выборки. Вернее, нет учителя, который мог бы измерения признаков разбить на группы, соответствующие своим классам. Это самая сложная и распространенная на практике ситуация. Приходится строить самообучающиеся системы классификации.

1) По количеству максимумов определяем кол-во классов

2) Минимум позволяет разбить выборку на две части – точка c0 (нулевое приближение).

3)	Далее	строится	процедура
	последовательного		(итерационного)
	расчета порога c.
4)	В итоге получаем случай 3.

Прямые методы восстановления решающей функции

	1, если истинным является класс 1,
yi	1, если истинным является класс 2.
	1, если истинным является класс 2.