Квадратичный дискриминантный анализ.

Был рассмотрен случай, когда матрицы ковариации для разных образов равны, и для распознавания использовалась линейная дискиминантная функция. Теперь рассмотрим ситуацию, когда матрицы ковариаций разных образов не совпадают. Для различных ковариационных матриц байесовский критерий предлагает строить квадратичную дискриминантную функцию. Однако, на практике ее строят чрезвычайно редко, поскольку никогда нельзя с точностью сказать равны или нет ковариационные матрицы. Мы ведь имеем только оценки, так как работаем не со всей генеральной совокупностью объектов, а только с выборкой из нее. Поэтому обычно вычисляют усредненную ковариационную матрицу для двух образов:

, где

— число объектов в 1-ой выборке;

— число объектов во 2-ой выборке;

— ковариационная матрица для 1-го образа;

— ковариационная матрица для 2-го образа.

После этого применяется линейный дискриминантный анализ.

Распознавание с отказами.

Пусть имеется образов, где (т.е. известны эталоны для этих образов). Тогда можно построить линейную дискриминантную функцию для любой пары образов:

, где , , — образы.

относится к -му образу, если для всех , или к области отказа, если такового — нет.

Посмотрим как это выглядит на графике (рис. 5.11), где

D — гиперплоскости;

1, 2, 3 — образы;

4 — область отказа.

В область отказа попадают такие точки, для которых невозможно определить принадлежность к одному из образов. Другими словами точка отказа — это такая точка, координаты которой при подставлении в дискриминантную функцию дают следующие значения:

;

;

;

.

Дискриминантный анализ эффективно использовать при достаточно близком расположении образов и даже при небольшом их наложении.

Практика показала, что дискриминантный анализ хорошо работает и для случая, когда нет многомерного нормального распределения. При этом необходимо, чтобы распределение по каждому образу было все таки симметрично и унимодально. Правда, при этом алгоритм уже нельзя рассматривать как статистический, а можно говорить об эвристическом алгоритме распознавания образов.

П р и м е р. У двух команд: тяжелоатлетов и легкоатлетов произошли изменения в составе. В результате оказалось, что команды неукомплектованы. И для укомплектования команд была набрана группа наилучших спортсменов из спортивных клубов. Необходимо распределить молодых людей по командам при условии, что тяжелоатлетам необходимы юноши с размерами бицепсов 40-50 см и весом от 90-120 кг, а легкоатлетам требуются юноши с размерами бицепсов 25-40 см и весом 60-80 кг.

Таким образом мы имеем два образа: тяжелоатлеты и легкоатлеты. Для каждого образа измерены два свойства: размер бицепсов и вес. Нам известна часть представителей из этих образов и значение их свойств (табл. 2). Требуется отнести объекты МЭ к одному из образов.

	Образ тяжелоатлета					Образ легкоатлета					Материал экзамена
	Бицепсы	Вес	N			Бицепсы	Вес	N			Бицепсы	Вес	N
1	46	92	1		21	25	76	2		41	32	77	0
2	48	98	1		22	40	71	2		42	31	96	0
3	41	92	1		23	28	78	2		43	37	72	0
4	42	95	1		24	33	70	2		44	33	78	0
5	41	91	1		25	29	77	2		45	49	101	0
6	50	108	1		26	37	72	2		46	47	67	0
7	43	115	1		27	37	77	2		47	46	110	0
8	42	111	1		28	35	61	2		48	43	110	0
9	49	99	1		29	33	68	2		49	39	106	0
10	47	99	1		30	32	66	2		50	42	92	0
11	44	91	1		31	40	64	2		51	45	102	0
12	40	120	1		32	39	67	2		52	31	106	0
13	43	93	1		33	30	73	2		53	26	113	0
14	49	104	1		34	29	80	2		54	29	68	0
15	45	91	1		35	40	69	2		55	34	101	0
16	41	85	1		36	40	68	2		56	46	108	0
17	48	82	1		37	32	62	2		57	32	120	0
18	47	101	1		38	29	66	2		58	29	93	0
19	43	86	1		39	36	77	2		59	32	70	0

табл. 2

20

40

115

1

40

31

75

2

60

32

103

0

1. Вычисляем математическое ожидание для каждого образа. Для образа тяжелоатлетов:

M1

44.45

98.4

Для образа легкоатлетов:

M2

36.75

94.65

2. Вычисляем также для каждого образа матрицу ковариаций.

Матрица ковариации для образа тяжелоатлетов:

10.3475	-3.88
-3.88	109.84

Матрица ковариации для образа легкоатлетов:

48.9875	12.8625
12.8625	264.3275

3. Вычисляем среднюю и обратную матрицы ковариаций:

Средняя матрица ковариации:

29.6675	4.4913
4.49125	187.08

Обратная матрица ковариации:

0.03383	-8E-04
-0.0008	0.0054

4. Вычисляем коэффициенты и .

B		p
0.25744		-11.8
0.01386

5. Вычисляем дискриминантную функцию, проводим распознавание на всех объектах и вычисляем ошибки 1-го и 2-го рода на материале обучения. В табл. 3 приведены результаты вычислений.

табл. 3

	Бицепсы	Вес	N	D(x)	Распозн.	Ошибки
35	40	69	2	82.9499	2	0
36	40	68	2	82.9499	2	0
37	32	62	2	97.8396	2	0
38	29	66	2	103.423	2	0
39	36	77	2	90.3948	2	0
40	31	75	2	99.7009	2	0
41	32	77	0		2
42	31	96	0		2
43	37	72	0		2
44	33	78	0		2
45	49	101	0		1
46	47	67	0		2
47	46	110	0		1
48	43	110	0		1
49	39	106	0		1
50	42	92	0		1
51	45	102	0		1
52	31	106	0		1
53	26	113	0		1
54	29	68	0		2
55	34	101	0		1
56	46	108	0		1
57	32	120	0		1
58	29	93	0		2
59	32	70	0		2
60	32	103	0		1

Таким образом, для данной задачи распознавание с помощью алгоритма Дискриминантная функция дало нулевую ошибку 1-го и 2-го рода.

Графическая иллюстрация к данной задаче представлена на рис. 5.12.