Построение классификации для нормального распр

,

Классификация объекта для двух нормальных распределений с равными матрицами ковариации и разными математическими ожиданиями:

N (Mi , ) i 1,2

		1				1				T		1
f (x)				exp		2	(x M )						(x M )
		(2 ) n / 2	| |1 / 2
x1			M 1
.			.
x .		M	.
.			.
xn			M n

M M x

Построение классификации для нормального распр

11

...

...

n1

	12	...	1n
	22	...	...
					матрица ковариации
	...	...	...
	...	...
			nn

Где:	ковариация компонент i
ij M (xi M i )(x j M j )
	и j;

ii i2 - дисперсия компоненты i

Матрица может быть определена следующим образом:

M (x	M )(x M )T

Построение классификации для нормального распр

Если взять f(x) = const и выбрать const таким образом, чтобы она была маленькой, то

(x M )T 1 (x M ) C

- определяет эллипсы в многомерном пространстве, дающие описание многомерной плотности с помощью линий равной

плотности вероятности.

x2

П2

П1

x1

Построение классификации для нормального распр

Как строится правило решения для классификации двух классов?

Предполагается, что есть 2 класса. i 1,2

N(M1 , )

N(M 2 , )

q2C(2 /1)

K

где

К- порог.

(x) q C(1/ 2)

1

, Решение строится на основе функции правдоподобия:

(x) K

1

T

1

f (x / П1 )

exp

2

(x M1 )

(x M1 )

1

T

1

T

1

exp

[(x M1 )

(x

M1 ) (x M 2 )

(x M 2 )]

f (x / П2 )

1

2

T

1

exp

2

(x M 2 )

(x M 2 )

Построение классификации для нормального распр

	для удобства работы прологарифмируем:
	ln	f (x / П1 )		1	[(x M1 )T 1 (x M1 ) (x M 2 )T 1	(x M 2 )] ln K
		f (x / П2 )		2

Преобразовав выражение, получим правило в следующем виде:

xT 1 (M1 M 2 ) 12 (M1 M 2 )T 1 (M1 M 2 ) ln K

-это уравнение линейной дискриминантной функции, полученной на основе Байесовского решающего правила.

	q2 C(2 /1)	1
ln K ln		Для дальнейшего анализа будем считать:q1 q2 2
	q1C(1/ 2)

C (2/1) =C (1/2) ln K ln1 0

Построение классификации для нормального распр

xT 1 (M1 M 2 ) 12 (M1 M 2 )T 1 (M1 M 2 ) 0

Пусть I

Размерность пространства возьмем равную 2 . Тогда получаем следующее правило решения

xT (M1 M 2 ) 0

12 (M1 M 2 )T 1 (M1 M 2 )

def

M1 M 2 W xT W 0

W – весовой вектор

-простейшая дискриминантная функция

M 1

M2

Построение классификации для нормального распр

Области классов представляют собой сферы. Положение этой плоскости определяется вектором W. Решающая плоскость перпендикулярна векторуM 2 M1

Уравнение решающей плоскости: xT W 0

(x M )T (x M ) C - это уравнение сферы можно свести к выражению

x12 x22 C1

(x1 M1 )2 (x2 M 2 )2 C

xср M1 M 2

2

Построение классификации для нормального распр

Утверждение:

Для данной решающей функции вектор

xср M1 M 2

2

лежит ровно на середине вектора M 2 M1

Таким образом, в случаях a) I

b) I 2

решение выглядит следующим образом:

xT W 0

	(M	1	M	)T (M	1	M	)		(M	1	M	)T (M	1	M	)
			2			2					2			2		0
				2								2

Числовые примеры

Рассмотрим случай, когда матрица не является единичной: нужно получить уравнение для решающей функции:

Вариант 1

M					3			M					1	1 0.5
		1									2
														2 0.5
					3								1
xT 1 (M1							M 2 )					1	(M1 M 2 )T 1 (M1 M 2 ) 0
												2
Решение варианта 1:
				0.52					0
	1										2
					0			0.5
	1				4		0
	1				0		4
(M				M					2
			1			2	)
									2
(M				M					4
			1			2	)
									4

Числовые примеры

x	T	4	0		2			1	4
		0	4		2			2

x	T	8				1		2		0
							16 16
		8				2		2
		8			32 0
xT
		8
(x , x						8		0
				2	) 32
	1
						8
8x1 8x2 32 0
x1 x2						4 0

f (x / П1 ) С

	4	0		2		0
4
	0	4		2

x2

M2

M1

x1