АХД / Диагностика кризисного состояния предприятия_Фомин Я.А_МФПА 2004 -61с

Выбор алгоритма, сохраняющего свои оптимальные свойства при использовании в нем оценок отношения правдоподобия. В начале раздела уже указывалось, что в рассмотренные решающие правила

L(x)=

ω(x

S2 )

вместо

отношения

правдоподобия

ω(x

S )

подставляется его

1

Lˆ(x)=

ωˆ (x

S2 )

оценка

ωˆ (x

S )

. Проведенная

в работах

[1, 2] проверка

1

оптимальности рассмотренных алгоритмов: байесовского, максимума апостериорной вероятности, минимаксного, Неймана-Пирсона, последовательного вальдовского и максимума правдоподобия при

подстановке в них оценок Lˆ(x) отношения правдоподобия вместо L(x) показала, что при указанной подстановке оптимальные свойства сохраняет только алгоритм максимального правдоподобия, который, вследствие этого, практически во всех случаях будет использоваться в последующем изложении. При этом используется решающее правило (6.52), либо эквивалентное указанному правилу решающее правило для логарифма отношения правдоподобия [см. также (6.1)]:

						γ2
lnLˆ(x)= ln	ωˆ (x			S	)>
				2		<	0
	ωˆ (x			S1)
						γ1	(6.56)

51

7. Одномерное распознавание

Распознавание одномерных образов с неизвестными средними а1 и а2 и общей дисперсией σ2. Неизвестные средние определяются в результате обучения из (5.28):

1

m

1

m

aˆ1

=

∑xi(1)

aˆ2

=

∑xi(2)

(7.1)

m i=1

,

m i=1

и представляют собой несмещенные и состоятельные оценки

максимального

правдоподобия

средних

по

обучающим

выборкам

(xi(1))= (xi(1),K,xm(1)) из

S1 и (xi(2))= (xi(2),K,xm(2))

из

S2.

Оценка

логарифма

отношения правдоподобия будет иметь вид:

1

−

1

n

−

ˆ 2

ωˆn(x

S2 )

n 2

exp

2σ

2

∑(xi

a2 )

ln

Lˆ(x

, K, x

)= ln

= ln

(2πσ2 )

k=1

1

n

ωˆn

(x

S1)

1

−

1

n

−

ˆ 2

n 2

2

∑(xk

exp

2σ

a1)

(2πσ2 )

k=1

=

−

1

n

− ˆ

2

−

−

ˆ

2

=

1

n

− ˆ 2

−

− ˆ 2

=

2

∑[(xk

(xk

2

∑[(xk

(xk

lnexp

2σ

a2 )

a1)

]

2σ

a2 )

a1) ]

k=1

k=1

= −

1

n

[x2

− 2x aˆ

+ aˆ2

− x2

+ 2x aˆ − aˆ2 ]=

2

∑

2

2σ

k

k

2

k

k

1

1

k=1

= −

1

n

{2x [−

(aˆ

− aˆ

)]+ aˆ2 − aˆ2

}=

2

∑

2

2σ

k

1

2

1

k=1

ˆ

− ˆ

n

ˆ2

−

ˆ2

=

(a2

a1)

∑xk −

n(a2

a1

)

=

2

2σ

2

σ

k=1

n aˆ

2

−aˆ

1

2

n

n

=

2

1

∑xk −aˆ2 −aˆ1

=

2

YZ

(7.2)

σ

σ

n k=1

где обозначены случайные величины Y и Z:

aˆ2 − aˆ1

1

2

n

Y

=

Z =

∑xk −(aˆ2 + aˆ1)

,

(7.3)

σ

σ

n k=1

.

Решающее правило получается подстановкой значения lnLˆ(x) из

(7.2) в (6.56)

γ2

n aˆ

2

− aˆ

1

2

n

>

1

∑xk −aˆ2 − aˆ1

<

lnC, aˆ2 > aˆ1

2

σ

σ

n k=1

или

γ1

γ2

1

n

> aˆ

+ aˆ

2

lnC

n

∑xk <

1

+σ2

, aˆ2 > aˆ1

2

n(aˆ

2

−aˆ )

k=1

1

γ1

(7.4)

52

для алгоритма максимума правдоподобия с = 1, ln с =0 и

	γ2
1 n	> aˆ		+ aˆ
∑xk	1			2
n k=1	<		2
	γ1			.		(7.5)
Вероятность ошибок распознавания						одномерных образов. Для

нахождения вероятностей ошибок распознавания 1 и 2 рода α и β, найдем сначала распределение оценки логарифма отношения

правдоподобия ωln Lˆ (l), которое выражается через Y и Z как распределение произведения этих случайных величин [1, 2]:

ωln Lˆ (l)= ∞∫ωY (u)ωZ (l u)du u

(7.6)

−∞

или

(u + a)2

(l u − a)2 du

ωln Lˆ (l)=

1

∞

∫ exp

+

u

,

2πσ σ

σ2

σ2

1

2 −∞

1

2

(7.7)

где обозначено

a = a1 − a2

σ2

=

2

σ2

=

2

+

4

m ,

m

n .

(7.8)

σ ,

1

2

Вероятности ошибок 1-го и 2-го рода α и β одномерного

распознавания определяются подстановкой значения ωln Lˆ (l) в формулы

(3.9) и (3.10):

∞	1		∞	∞
α = β = ∫ωln Lˆ (l)dl =
			∫	∫exp −
	2πσ σ
0	1	2		0
			0

1		2		2
		(u + a)	+	(l u − a)	du	+
2		2		2
		σ1		σ2	u

∞

1

2

2

(u − a)

(l u + a)

du

+ ∫exp −

+

dl .

2

2

2

0

σ1

σ2

u

(7.9)

Меняя порядок интегрирования в (7.9), получаем:

α = β = σ

1

∞

(u−a)2

1 ∞

(l u−a)2

1

2π

∫

exp −

2σ12

σ

2

2π ∫exp −

σ22

d(l u)+

0

0

(u+ a)2

1

∞

(l u+ a)2

+exp −

2

σ

2π

∫exp −

2

d(l u) du .

2σ1

2

0

σ2

(7.10)

Внутренние интегралы можно заменить их значениями F − σa2 и

F σa2 , выражающимися через табулированный интеграл Лапласа F(Z):

a

=

1 ∞

(l u − a)2

(l u)

F−

∫

exp −

2

d

σ2

σ2

2π

,

(7.11)

0

σ2

a

1

∞

(l u + a)2

=

∫exp −

2

d(l u)

F

σ2

(7.12)

σ2

2π 0

σ2

,

где [11]

53

	1	Z	x2
F(z)=		∫e−		dx
			2
	2π −∞		.		(7.13)

Подставляя (7.11) и (7.12) в (7.10), получаем для α = β:

1

∞

(u − a)

2

a

(u + a)

2

a

α = β =

∫

du.

exp

−

2

−

+ exp

−

2

2π

2σ

F

2σ

F

σ2

σ

1

1

σ2

1

.

(7.14)

0

Оставшиеся интегралы также можно заменить их значениями F σa1

иF − σa1 , выражающимися через интеграл Лапласа F(z) (7.13):

a

1

∞

(u − a)2

= σ

2π ∫exp −

du,

σ

2σ2

F

(7.15)

1

1

0

1

a

1

∞

(u + a)

2

F

−

σ1

=

2π

∫exp

−

2σ

2

du .

σ

1

0

1

.

(7.16)

Сопоставлением (7.15) и (7.16) с (7.14) получаем для вероятностей ошибок распознавания α = β их выражение через табулированный интеграл Лапласа:

a

a

a

a

−

−

,

α = β = F

σ1

F

+ F

σ1

F

σ2

(7.17)

σ2

Во многих

практически

важных

случаях целесообразно иметь

выражение вероятностей ошибок распознавания α = β через другой табулированный интеграл – интеграл вероятностей Ф(х) [11].

Ф(x)= 2	x
	∫e−Z2 dZ
2π 0		(7.18)

который связан с интегралом Лапласа (7.13) формулами

F(x)= 1		Ф	x		+1
2			2
						(7.19)
Ф(x)= 2F(x			2)−1	.		(7.20)

Подставляя значение F(x), выраженное через интеграл вероятностей Ф(x) согласно (7.19) в (7.17), получаем выражение вероятностей ошибок распознавания 1-го и 2-го рода α = β через табулированный интеграл вероятностей (7.18)

α = β = 1 − 1				a			Ф (a m 2),
	Ф
2 2		2					(7.21)
			2 n+1 m

Результаты вычисления зависимости вероятностей ошибок распознавания α= =β по формуле (7.21) при а = 1 от объема m обучающих выборок при различных объемах n контрольных выборок представлены на рис. 9. Как видно из рисунка, влияние объема обучающих выборок особенно сильно проявляется в области малых m (m ≤ 30), где, в частности, увеличение m от 5 до 20 ( при n = 30 )

54

приводит к уменьшению вероятности ошибок распознавания от 0, 1 до 0,02. При дальнейшем увеличении объема обучающих выборок (m ≥ 50) их влияние на вероятность ошибок распознавания становится менее ощутимым, поскольку эталонные описания при таких значениях m уже достаточно хорошо сформированы и дальнейшее обучение мало что к ним может добавить. Аналогичным образом влияет на вероятности ошибок α = β объем контрольных выборок n это влияние сильно проявляется при малых n (n ≤ 20) и становится мало ощутимым при n > 30.

Рис. 9

Распознавание одномерных образов с неизвестными средними и неизвестными дисперсиями. Наиболее общим случаем одномерного распознавания является определение принадлежности выборки

(xi )n = (x1,K,xn ) независимых наблюдений к одному из двух классов S1 и S2 характеризующихся неизвестными средними а1 и а2, и неизвестными

дисперсиями

σ2

и

σ2

В ходе обучения вычисляются оценки

1

2 .

неизвестных средних aˆ1 и aˆ2

1

m

1

m

aˆ1

=

∑xi(1)

aˆ2

=

∑xi(2)

(7.22)

m i=1

,

m i=1

и дисперсий

σˆ

2

и

σˆ2

1

2

1

σˆ2

=

1

m

(1)

−

ˆ

2

σˆ2

=

m

(2) − ˆ 2

∑

(xi

1

a1)

2

m−

∑(xi

a2 )

m−1 i=1

,

1 i=1

. (7.23)

Оценка логарифма отношения правдоподобия будет очевидно

иметь следующий вид

ln

Lˆ(x ,K,x

)= ln

ωˆ(x1,K,xn S2 )

=

1

n

ωˆ(x1,K,xn S1)

1

1

n

2

(2πσˆ

n 2

exp −

2σˆ

2

∑

(xi −aˆ2 )

= ln

22 )

2 i=1

.

1

1

n

2

(2πσˆ

n 2

exp −

2

∑

(xi −aˆ1)

(7.24)

12 )

2σˆ

1

i=1

55

Решающее правило получается подстановкой значения lnLˆ(x1,K,xn )

из (7.24) в (6.56):

													γ2
1	n		1	2	1		2			n		σˆ2	>
	∑			(xi − aˆ1) −			(xi − aˆ2 )		+		ln	12		lnC ,
2			2		σˆ	2				2			<
	i=1		σˆ1			2						σˆ2
													γ1	(7.25)

для алгоритма максимального правдоподобия С = 1 , ln С = 0 и решающее правило:

γ2

1

n

1

2

1

2

n

σˆ2

>

∑

(xi −aˆ1) −

(xi −aˆ2 )

+

ln

12

0 ,

2

2

2

2

<

i=1

σˆ1

σˆ2

σˆ2

γ1

(7.26)

Введем параметры распознавания:

r

= σ 22

σ12 ,

d 2 = (a2 − a1 )2

σ12 .

(7.27)

На рис 10 (а и б) приведены графики зависимости вероятности ошибок α=β от значений параметров d2 и r, вычисленные в работе [1] для n=m=10. Их анализ позволяет утверждать: с ростом расстояния d2 между классами, объемов выборок m и n вероятности ошибок α и β убывают; по мере увеличения r вероятности ошибок α и β сначала незначительно возрастают, а затем начинают быстро уменьшаться (при d2 = 0 сразу уменьшаются).

α=β	α=β

Рис.10

56

Это объясняется тем, что рост r фактически означает увеличение дисперсий случайных величин, составляющих обучающие и контрольные выборки из класса S2, что должно приводить при неизменных значениях других параметров к увеличению вероятностей ошибок α и β. С другой стороны, чем больше r, тем сильнее отличие распределений у классов S1 и S2 друг от друга и тем меньше, следовательно, должны быть вероятности ошибок α и β. Таким образом, характер изменения вероятностей α и β с ростом r определяется противоположным влиянием этих двух тенденций. Так, увеличение r с 1,01 до 1,3 при m = 10, n = 10, d2 =0,6 сопровождается увеличением вероятности ошибки α с 0,2 до 0,24. Однако при дальнейшем увеличении r до 2,0 вероятность ошибки α падает до 0,196. Это объясняется тем, что с ростом r усиливается влияние тенденции, ведущей к уменьшению вероятностей ошибок α и β, и начиная с некоторого значения r*, ее влияние становится доминирующим. При этом величина r* тем меньше, чем меньше d2. Так, при d2 = 0,6r* ≈ 1,3,

при d2 = 0,2r* ≈ 1,25 при d2≤0,01r* < 1,01.

57

8.	Многомерное распознавание
Распознавание многомерных образов, различающихся векторами
средних. Пусть	на вход распознающей системы поступают

многомерные (векторные) наблюдения(xi )1n , принадлежащие одному из двух классов s1 и s2, различающихся только своими неизвестными

векторами средних aˆ1 и aˆ2 (и, следовательно, имеющие общую ковариационную матрицу М). Оценки неизвестных векторов средних aˆ1 и aˆ2 определяются в результате обучения из (5.30):

	1	m			1	m
aˆ1 =		∑xi(1)		aˆ2 =		∑xi(2)
							(8.1)
	m i=1		,		m i=1 .

Оценка логарифма отношения правдоподобия lnLˆ(x1,K,xn ) будет иметь следующий вид:

lnLˆ(x1,K,xn)= 21 i∑=n1{[(xi − aˆ1)T M−1(xi − aˆ2 )− (xi − aˆ2 )T M−1(xi − aˆ2 )]}=

n

2

n

n

=

(a2 − a1)T M −1

∑xi − aˆ2 − aˆ1

=

уT

M −1z,

2

2

n i=1

(8.2)

где обозначены случайные величины y и z

у = аˆ2 −аˆ1 ;

z = (2 n )∑n

xi

− аˆ 2

− аˆ 1 .

(8.3)

i = 1

lnLˆ

(x ,K,x )

Решающее правило получается подстановкой значения

1

n

из (8.2) в (6.56):

γ2

n

T

−1

2

n

>

M

lnC

2

(aˆ2 − aˆ1)

∑xi −aˆ2 − aˆ1

<

n i=1

γ1

,

(8.4)

где порог ln С в связи с предпочтением алгоритму максимального правдоподобия, сохраняющему свои оптимальные свойства при подстановке в него оценок логарифма правдоподобия (см. разд. 6), выбираем, как правило, равным: ln С = 0 (т. к. в этом случае С = 1).

Вероятность ошибок распознавания многомерных образов с разными векторами средних. Нахождение вероятности ошибок распознавания 1-го и 2-го рода α и β осуществляется [1, 2] по той же методологии, что и нахождение вероятностей ошибок распознавания одномерных образов в разделе 7 (см. формулы (7.2) – (7.21)), предусматривающей вычисление плотности вероятности оценок логарифма отношения правдоподобия (8.2), которое выражается по формуле (7.6) через введенные в (8.3) случайные величины y и z как распределение произведения этих случайных величин. В результате выполненного в работах [1, 2] достаточно трудоемкого и сложного процесса интегрирования общее выражение для вероятности ошибок

58

многомерного распознавания первого и второго рода α и β удается свести к следующему двойному интегралу (при С = 1)

				∞ π 2
	α =β = [Θ(p)exp{− d2 2σ12} 2π(p −3)!!]∫ ∫tp−1 ×
	×cosp−2 ϕexp{(−1 2)[t2 − 2dσ1−1tsinϕ]}×			0 −π 2
	× F[− dsinϕ σ2 ]dtdϕ,				(8.5)
	где
			,если p = 2k +1
	1
	Θ(p)=	2	,если p = 2k,
		π			(8.6)
						σ2		σ2
	F(x) –	табулированный интеграл			Лапласа (7.13),		и
						1		2

выражаются через объемы контрольных n и обучающих m выборок по формулам (7.8):

σ12 = 2m; σ22 = 2 m+ 4 n,

а d – скалярная величина – расстояние Махаланобиса [17]:

d2 = (a2 − a1)T		−1(a2 − a1) .
	M		(8.7)

Зависимость вероятности ошибок распознавания α = β от размерности признакового пространства P и объемов обучающих m = M и контрольных n = N выборок, вычисленная по формуле (8.5), приведена на рис. 11

α=β

Рис. 11

Как видно из приведенных па рисунке 11 данных с уменьшением значения объемов обучающих m=M и контрольной n=N выборок требуемое значение размерности признакового пространства P, обеспечивающее заданный уровень достоверности распознавания 1 – α = 1 – β, увеличивается. Аналогичный характер носит взаимосвязь выбранной размерности признакового пространства Р с требуемыми объемами обучающих m=M и контрольной n=N выборок: сокращение

59

размерности Р должно компенсироваться увеличением объемов m=M и n=N.

Таким образом, в тех случаях, когда по условиям функционирования систем распознавания увеличение с целью обеспечения требуемой достоверности значения какого-либо из ее параметров (к примеру, объемов обучающих m = M и (или) контрольной n = N выборок) оказывается невозможным, заданный уровень может быть достигнут увеличением другого параметра (к примеру, размерности признакового пространства P).

Возвращаясь к общему выражению (8.5) вероятности ошибок многомерного распознавания α и β, следует заметить, что аналитически выразить α = β удается при р = 2k + 1, k = l, 2, ...; однако лишь в трехмерном случае (k=1) получается сравнительно компактное выражение через табулированный интеграл Лапласа (7.13):

α3 =β3 = F(dσ1 )F(− dσ2 )+ F(− dσ1)F(dσ2 )+

+ [σ1σ2 2πd(σ12 − σ22 )]{σ2 exp{− d22σ12}[F(dσ2 )−

− F(− dσ2 )]− σ1 exp{− d22σ22}[F(dσ1)− F(− dσ1)]}. (8.8)

Распознавание многомерных ансамблей с неизвестными векторами средних и неизвестными разными ковариационными матрицами. В наиболее общем случае априори неизвестными оказываются как

векторы средних а1 , а2 , так и ковариационные матрицы M1 , M2 распознаваемых ансамблей. В ходе обучения вычисляются оценки aˆ1 и aˆ2 неизвестных векторов средних по формулам (5.30)

	1	m	1	m
aˆ1 =		∑xi(1), aˆ2 =		∑xi(2) ,
					.
	m i=1		m i=1

И оценки Mˆ1 и Mˆ 2 неизвестных ковариационных матриц по формулам (5.33):

Mˆ1 = m1−1∑m (xi(1) −aˆ1)(xi(1) −aˆ1)T ; i=1

	Mˆ	2 =	1	∑m (xi(2) −aˆ2 )(xi(2) −aˆ2 )T .	(8.9)
			m−1 i=1

Решающее правило будет иметь следующий вид:

γ2

1

n

T

−

T

−

(xi − aˆ2 )]+

n det

Mˆ

>

∑i=1

2

2

[(xi − aˆ1)

M1

(xi − aˆ1)−(xi −aˆ2 )

M2

1

2ln detMˆ

< lnC

1

ˆ

1

γ1

(8.10)

где как и ранее в связи с предпочтением, отдаваемым алгоритму максимального правдоподобия (см. раздел 6), порог ln С = 0, т. к. в этом случае С = 1.

Автор выражает глубокую благодарность студенту 3-го курса МЭСИ Я. Я. Фомину за активное участие в написании этого пособия.

60