Загребаев Методы обработки статистической информации в задачах контроля 2008

Условие (3.4.7) будет выполняться, если di и γi+1 имеют одинаковые знаки, т.е.:

γi+1 > 0	при	di > 0;
	при	di < 0.
γi+1 < 0
Анализируя выражение (3.4.5в),		можно заключить,		что	di > 0
		~	и di < 0	при моно-
при монотонно возрастающих функциях ψ(c )
~
тонно убывающих ψ(c ) .				~
					долж-
Таким образом, учитывая вышесказанное, функция ψ(c )

на быть монотонной, по крайней мере на отрезке [cˆi , c] , в против-

ном случае может наблюдаться расходимость метода. Выражение (3.4.6) можно представить в виде сумм:

i+1	i+1
ξi+1 = ξ0 + ∑ γk2ek −1	− 2∑ γk dk −1 .
k =1	k =1

Перепишем последнее выражение в ином виде:

	i+1		1			i+1	γ2k ek −1
	∑ γk dk−1	=			ξ0	− ξi+1 + ∑		.
			2
	k=1					k =1

Так как ξi+1 > 0 , то справедливо неравенство:

	i+1		1			i+1	γk2ek−1
	∑ γk dk−1	<			ξ0	+ ∑		.
			2
	k=1					k=1

Возьмем предел по i от правой и левой частей неравенства:

	i+1		1		i+1
	lim ∑ γk dk−1 <			ξ0	+ lim ∑ γ2k ek−1		.	(3.4.8)
		2
	i→∞ k=1				i→∞ k=1
	Наложим на последовательность γk условие
			∞
		∑ γk2 < ∞ .						(3.4.9)
		k=1
	Тогда, при допущении, что ek −1 − конечна,					по признаку Абеля

[11] сумма ряда γ2k ek−1 − ограничена, т.е.

i+1

lim ∑ γ2e − < ∞ .

i→∞ k=1 k k 1

211

Следовательно, справедливо неравенство

i+1

lim ∑ γk dk −1 < ∞ , (3.4.10)

i→∞ k =1

Если теперь на γk наложим еще одно условие, а именно:

∞
∑ γk = ∞ ,	(3.4.11)

k=1

то, на основании признака Дирихле [11], необходимым и достаточным условием сходимости ряда (3.4.10) будет условие

lim dk = 0 .

k→∞

Таким образом, если γk будет удовлетворять трем условиям:

1) γk	> 0 примонотонно возрастающей ψ(с),
γk	< 0 примонотонно убывающейψ(c);
∞	γk2 < ∞;		(3.4.12)
2) ∑
k =1
∞
3) ∑	γk = ∞,
k=1

то
lim dk = 0 .	(3.4.13)
k→∞

Покажем, что выражение (3.4.13) эквивалентно условию состоятельности в среднем квадратичном. Для этого подставим вместо dk выражение (3.4.5в). Тогда

lim M{(ψ(cˆk ) − y(k +1))(cˆk − c)} = 0 .	(3.4.14)
k→∞

Разложим ψ(cˆk ) в ряд Тейлора относительно истинного значения параметра, пренебрегая членами высшего порядка малости:

	~
ψ(cˆk ) = ψ(c) +	∂ψ(c )			(cˆk − c) .
	~		~
	∂c
			c	=c

Подставив последнее выражение в (3.4.14), получим:

		~
		dψ(c )
lim M ψ(c) +
		~
k→∞		dc

	(cˆk		[cˆk		= 0 .
		− c) − y(k +1)		− c]
~
	=c
c

212

∂ψ ~ (c )

∂~ c

c=c

С точностью до случайного возмущения η(i) можно считать, что ψ(c) y(k +1) , тогда

lim M dψ(c)

k→∞ dc

Для монотонных функций

(cˆ	− c)2		= 0 .	(3.4.15)
k

≠ 0 , и, следовательно, соотно-

шение (3.4.15) эквивалентно выражению

lim M{(cˆ − c)2} = 0 .

(3.4.16)

k→∞ k

Последнее соотношение совпадает с условием состоятельности оценки в среднем квадратичном. Таким образом условие (3.4.13) эквивалентно состоятельности в среднеквадратичном с точностью до введенных упрощений (отбросили члены высшего порядка ма-

лости при разложении в ряд Тейлора и ввели допущение о моно-

тонности (c ) ).

ψ ~

Подводя итог вышесказанному, можно заключить, что оценка, вычисляемая с помощью рекуррентной последовательности

cˆi+1 = cˆi − γi+1(ψ(cˆi ) − y(i +1))

(3.4.17)

будет состоятельной, коэффициент γi удовлетворяет трем условиям:

1) γk	> 0 примонотонно возрастающей ψ(с),
γk	< 0 примонотонно убывающейψ(c);
∞	γk2 < ∞;		(3.4.18)
2) ∑
k =1
∞
3) ∑	γk = ∞.
k=1

Очевидно, можно подобрать бесконечное количество последовательностей γi , удовлетворяющих условиям (3.4.1 8). Возможным видом такой последовательности является ряд

	γi	=	b	,	(3.4.19)
			i

где b – любое положительное число.

213

Рассмотренная рекуррентная процедура (3.4.17) позволяет найти состоятельную оценку скалярного параметра с. Для состоятельной оценки векторного параметра c была впоследствии предложена модификация метода стохастической аппроксимации, которая легла в основу рекуррентных методов идентификации параметров объектов.

3.4.2. Обобщение метода стохастической аппроксимации для решения задач идентификации

Рассмотрим, в общем случае, нелинейный объект, описание которого представлено в форме «вход-выход»:

y(i) = ψ(		u	(i), c) + η(i) ,			(3.4.20)
M{η(i)} = 0 ,	cov{η(i),η( j)} = ση2 δk (i − j) ,
соответствующее уравнение модели имеет вид
~					~	(3.4.21)
y	(i) = ψ(u (i), c ) .

Рассмотрим четную функцию			~
	F(ψ(u (i), c ) + η(i) − y(i)) – ана-

~ =

лог функции потерь, которая достигает минимума при c c . Тогда c является корнем стохастического векторного уравне-

ния:

		~
∂F(ψ(u (i), c )~+ η(i) − y(i))							=		.	(3.4.22)
					~			0
		∂c
				c			=c

Принципиально векторное уравнение (3.4.22) ничем не отличается от стохастического скалярного уравнения (3.4.1). Причем, по крайней мере для линейных систем, уравнение (3.4.22) – монотонно возрастающее.

По аналогии с решением скалярных уравнений, составим рекуррентную последовательность для решения стохастического векторного уравнения (3.4.22):

ˆ	ˆ
сi+1	= ci

− Γ		~
		∂F(ψ(u(i +1), c ) − y(i +1))
i+1		~
		∂c

. (3.4.23)

~=ˆ c ci

214

Так как выражение

~

представляет собой

ψ(u(i +1), c ) − y(i +1))

~

между выходом модели и объекта, то можно за-

невязку ε(i +1, c )

писать:

~

ˆ

ˆ

+1

∂F

(ε(i +1, c )

(3.4.24)

ci

= ci − Γi+1

~

~

ˆ

,

∂c

где Γi+1 –

c

=ci

матрица коэффициентов усиления,

диагональные эле-

менты которой удовлетворяют условиям:

1) γ

j,i+1

> 0, j =

1, m

;

∞

2) ∑γ2j,i+1 < ∞, j

=

1, m

;

(3.4.25)

i=1

∞

3)

∑

γ

j,i+1

= ∞, j

=

1, m

.

i=1

Одним

из возможных видов

матричной

последовательности

Γi+1 , удовлетворяющей условию (3.4.2 4), является матричный ряд

Γ	=	Β	,	(3.4.26)
i+1		i +1

где В – некоторая положительно определенная матрица.

3.4.3. Асимптотическая скорость сходимости рекуррентных алгоритмов

Рассмотрим след ковариационной матрицы ошибки оценки на i-м шаге рекуррентного процесса оценивания:

ˆ	ˆ	ˆ	т	} .
tr var {ci − c} = tr M {(ci − c)(ci − c)

В предыдущем разделе было показано, что при правильно выбранной матрице Γi оценка будет состоятельной:

ˆ − = lim tr var {ci c} 0

i→∞ .

При этом могут быть различные способы задания матрицы Γi+1 . Кроме того, не накладывалось никаких дополнительных условий

215

ε ~

(кроме условия четности) на функцию потерь F( (i, c )) . Однако различные способы задания матрицы Γi+1 и различные функции

ε ~

потерь F( (i, c )) будут давать различные скорости сходимости

оценок к истинным значениям параметра.

В качестве меры скорости сходимости алгоритмов в теории оценивания принято использовать асимптотическую матрицу ковариаций ошибок оценки (АМКО) [13]:

= ˆ − =

V lim i var {ci c}

i→∞

ˆ		ˆ	т	} .	(3.4.27)
= limiM {(ci −c)(ci −c)
i→∞

Очевидно, чем меньше АМКО, тем выше скорость сходимости

ˆ

алгоритма. Так как ci функционально зависит от вида функции потерь F(ε) и от вида матрицы Γi , то и АМКО является функцио-

налом F(ε) и Γi .

В дальнейшем несколько упростим задачу и будем задавать Γi в виде

	Γi =	B	,	(3.4.28)
		i

где B , как указывалось ранее, некоторая положительно определенная матрица. Тогда рекуррентный процесс нахождения вектор-

ного параметра c может быть представлен формулой:

									~
					B			∂F(ε(i +1,c )
ˆ	ˆ
ci+1	= ci −				i +1			~
								∂c
		~
где ε(i +1) = ψ(u(i +1), c )				− y(i +1))

, (3.4.29)

~= ˆ c ci

Поставим себе целью найти такую матрицу B * и такую функцию потерь F * (ε) , которые обеспечивают минимум АМКО. При

этом будем считать, что известна плотность распределения помехи f (η) . Вначале найдем оптимальную матрицу B * , такие алгорит-

мы будем называть «оптимальными» [13]. Затем найдем оптимальную функцию потерь F * (ε) – «абсолютно оптимальные» алго-

ритмы.

216

Можно показать [4], что асимптотическая ковариационная мат-

	рица ошибки оценки V , матрица B и функция потерь F(ε)						связа-
	ны следующим матричным уравнением:
		1				1
	BM {F′′(η)}A(c,ση2 )−		I V + V M {F′′(η)}A(c ,ση2 )		Bт −		I =
		2				2
	= BM { F′2 (η)} A(c ,ση2 ) Bт .				(3.4.30)

Полученное матричное уравнение представляет собой сложную функциональную зависимость АМКО от матрицы В и функции потерь F(ε) . В общем случае невозможно в явном виде разрешить

это уравнение относительно АМКО.

3.4.4. Оптимальные рекуррентные алгоритмы идентификации

Как уже отмечалось в предыдущем разделе, «оптимальными» рекуррентными алгоритмами будем называть алгоритмы, которые используют матрицу B * – оптимальную в смысле минимума АМКО при заданной функции потерь F(ε) .

Представим матрицу В в виде:

				B = B* +λδB ,						(3.4.31)
	где B * – искомая оптимальная матрица,							δB – вариация матрицы
	В, λ – параметр.
	Обозначим:		Φ(λ) = V(B * +λδB) ,							(3.4.32)
						′′	2			(3.4.33)
		G = M {F (η)}A(c, ση ).
	Тогда уравнение (3.4.30) для АМКО запишется в виде
		1							1
	(B * +λδB)G −		I	Φ(λ) + Φ(λ) G т (B *т +λδBт )−						I =
		2							2
	= (B* +λδB)M {			F′2 (η)}			A(c ,ση2 )	(B*т +λδBт ).		(3.4.34)
	Условие минимума АМКО можно представить в виде
			dΦ(λ)				= 0 , δB .
			dλ			λ=0

Дифференцируя обе части уравнения (3.4.34) по λ и затем полагая λ = 0, получим:

217

δB GΦ(0) − M { F′2 (η)} A(c,ση2 ) B*т +

+ Φ(0)Gт − B*M { F′2 (η)} A(c,ση2 ) δBт = 0 .

Нетрудно видеть, что последнее условие будет выполняться для любых δВ только при обращении в нуль выражений, стоящих в квадратных скобках, т.е.

GΦ(0) − M { F′2 (η)} A(c ,ση2 ) B*т = 0 .

Подставляя выражение (3.4.33) для G и учитывая, что Φ(0) = V * , получим:

M {F′′(η)}A(c ,ση2 )V* − M {F′2 (η)} A(c ,ση2 ) B*т = 0 .

Разрешим полученное уравнение относительно V * , тогда будем иметь:

	M {F′2 (η)}	т
V* =		B* .	(3.4.35)
	′′
	M{F (η)}

Для нахождения оптимальной матрицы В* подставим полученное выражение для V* в уравнение АМКО (3.4.30); тогда после несложных преобразований получим:

B* =	1		A−1 (c ,ση2 ),	(3.4.36)
	′′
	M{F (η)}

или, раскрывая операцию математического ожидания, будем иметь:

B* =	1	A−1 (c ,ση2 ).
	∞
	∫ F′′(η) f (η)dη
	−∞

Используя формулу интегрирования по частям, можно записать

∞	∞
∫	F′′(η) f (η)dη = − ∫ F′(η) f ′(η)dη.	(3.4.37)
−∞	−∞

Тогда последнее выражение перепишем в виде

B* = ∞	1	A−1	(c ,ση2 ).	(3.4.38)

− ∫ F′(η) f ′(η)dη

−∞

218

Для нахождения «оптимальной» АМКО подставим (3.4.36) в (3.4.35) и получим:

M

F

′2

(η)

V(B*) =

{

}

A−1

(c ,ση2 )

(3.4.39)

′′

2

[M{F (η)}]

или

∞

∫ F′2 (η) f (η)dη

A−1

(c ,ση2 ).

V(B*) =

−∞

∞

2

′′

∫

F (η) f

(η)dη

−∞

Используя замену (3.4.37), запишем эквивалентную формулу для АМКО:

		∞
		∫ F′2 (η) f (η)dη					A−1	(c ,ση2 ).
V(B*) =		−∞
		∞				2
			′	′
		∫	F (η) f
					(η)dη
	−∞

Как видно, полученная АМКО является функционалом от функции потерь F(ε) и плотности распределения f (η) . В дальнейшем

АМКО, оптимальную только относительно матрицы В, будем обозначать V(F, f ) , т.е.

		∞
		∫ F′2 (η) f (η)dη					A−1	(c ,ση2 ) dη . (3.4.40)
V(F, f ) =		−∞
		∞				2
			′	′
		∫	F (η) f
				(η)dη
	−∞

Подставляя матрицу В* в рекуррентный алгоритм (3.4.29), получим:

ˆ ˆ	1			1		−1	2	∂F(ε(i,c ))
ci = ci−1	−				A		(c ,ση )				ˆ .
		i		∞				∂c
				− ∫ F′(η) f ′(η)dη						c	=ci−1

−∞

Очевидно, полученный алгоритм невозможно реализовать, так как в формулу для нормированной информационной матрицы вхо-

219

дит оцениваемый параметр c . Эту трудность можно обойти, использовав вместо c оценку параметра на (i – 1)-м шаге. Таким образом, реализуемый рекуррентный алгоритм будет иметь вид:

ˆ ˆ

1

1

−1

ˆ

2

ci = ci−1

+

i

∞

A

(ci−1

,ση )

− ∫ F′(η) f ′(η)dη

−∞

×

∂ψ(i,c )

.

ˆ

∂c

c

=ci−1

dF(ε)		×
dε
		ˆ
		ε=y(i)−ψ(i,ci−1)
	(3.4.41)

Полученная рекуррентная формула является наиболее общей и может быть использована для идентификации параметров нелинейного объекта при произвольной функции потерь F(ε) .

Существенным недостатком данного алгоритма является необходимость рассчитывать, а затем обращать матрицу A(c ,ση2 ).

Предлагаемая ниже процедура [13] позволяет обойти эти трудности.

Заменим матрицу A(c ,ση2 )

ее выборочной или эмпирической

оценкой:

(

η )

(

η )

i

т

1

∑

∂ψ( j,c )

∂ ψ( j,c )

2

2

A c ,σ

A c ,σ

=

∂c

∂c

.

c =cˆi−1

i j=1

ˆ

c

=c j

Тогда матрица коэффициентов усиления Γ(i) примет вид:

1

i

т

−1

Γ(i) =

1

∑

∂ψ( j,c ) ∂

ψ( j,c )

=

∞

i

′

′

j=1

∂c

∂c

c

=c

∫

ˆ

j

i −

F (η) f (η)dη

−∞

∞

i

∂ψ( j,c ) ∂тψ( j,c )

−1

=

− ∫

F′(η) f ′(η)dη∑

.

−∞

j=1

∂c

∂c

c =c j

Воспользуемся леммой об обращении квадратных матриц, которая формулируется следующим образом:

220