Загребаев Методы обработки статистической информации в задачах контроля 2008

ˆ

оценка c(i) обладает максимальной асимптотической скоростью сходимости.

3.4.7. Абсолютно оптимальные рекуррентные алгоритмы

Запишем абсолютно оптимальный рекуррентный алгоритм для

нелинейного объекта

= ψ ~ + η y(i) (i, c ) (i) .

Для этого подставим в рекуррентные соотношения (3.4.42), (3.4.44) оптимальную функцию потерь (3.4.49), а именно:

Тогда получим:

F * (ε) = − ln f (η)

η=ε .

~

(3.4.58)

−1

ˆ

ˆ

′

∂ψ(i, c )

~

,

с(i) = c(i −1) + Γ(i)

f

(η)

f (η)

~

∂c

~

~

η=ε(i,c (i−1))

c =c (i−1)

~

~

(3.4.59а)

т

∂ψ(i, c )

∂

Γ(i −1)

ψ(i, c )

Γ(i −1)

~

~

ˆ

~

~

∂c

∂c

ˆ

с

=c(i−1)

Γ(i) = Γ(i −1) −

c =c

(i−1)

,

−1

∂тψ

~

(I F )

+

Γ(i −1)

∂ψ(i, c )

~

~

~

∂c

~

ˆ

∂c

ˆ

c

=c(i−1)

c

=c (i−1)

ˆ

ˆ

ˆ

(3.4.59б)

Γ(0) = λI

,

λ >>1,

– любой вектор соответствующей

с

(0) = с0 ,

c0

размерности, I F –

фишеровская информация,

рассчитываемая по

формуле:

∞

′

2

I F

=

∫

( f (η))

dη.

(3.4.60)

f (η)

−∞

В табл. 3.2 приведены значения фишеровской информации для наиболее распространенных распределений [13].

231

						Таблица 3.2
	Фишеровская информация
№		Распределение				Фишеровская
						информация
1		Нормальное				(ση2 )−1
2		Лапласа				(sη2 )−1
3		Коши				(2sη2 )−1
В случае линейного РАР объекта				∂ψ(i,c )	определяется форму-
		∂ψ(i,c )		∂c
лой (3.4.45), а именно:			= z (i) .
		∂c

Тогда, подставляя последнее выражение в рекуррентные соот-

ношения (3.4.59а) и (3.4.59б), получим:

ˆ	ˆ		−1
				f ′(η)
с	(i) = c (i −1)	+ Γ(i)	f (η)			z (i) , (3.4.61а)
						η=ε(i,c (i−1))

	Γ(i) = Γ(i −1) −	Γ(i −1)z(i)z т (i)Γ(i −1)	, (3.4.61б)
		(I F )−1 + z т (i)Γ(i −1)z(i)
	сˆ (0) = с ,
		Γ(0) = λI , λ >>1.
	0

В заключение настоящего раздела запишем оптимальные рекуррентные алгоритмы для различных плотностей распределения, приведенных в табл. 3.2.

1. Нормальная плотность распределения помехи:

	1					1	2
f (η) =
						2ση2 (i) η
	2	1/2	exp		−			.
	(2πση(i))

Введем обозначения: H (i) = Γ(i) / ση2 (i) .

Тогда в новых обозначениях рекуррентный алгоритм для нормального распределения запишем в виде

ˆ	ˆ	+ H (i)z(i)(y(i) − z	т	ˆ
c	(i) = c(i −1)			(i)c(i −1)), (3.4.62а)

232

		ˆ	;
		c (0) = c0
	H (i) = H (i −1) −	H (i −1)z	(i)z т(i)H (i −1)	,	(3.4.62б)
		1+ z т(i)H (i −1)z (i)

H (i) = λI , λ >>1.

Сравнивая (3.4.62а) и (3.4.62б) с рекуррентной формой метода наименьших квадратов (разд. 3.3.3) можно сделать вывод, что рекуррентная форма метода наименьших квадратов полностью совпадает с абсолютно оптимальным алгоритмом для нормального распределения помехи.

Алгоритм (3.4.62а) называется линейным алгоритмом. Как видим, линейный оптимальный алгоритм не зависит от дисперсии помехи.

2. Лапласова плотность распределения помехи. Принимая во внимание значение плотности распределения Лапласа и соответствующую фишеровскую информацию (см. табл.3.2), оптимальный

рекуррентный алгоритм (3.4.61а, б) запишем в виде:
ˆ	ˆ						т	ˆ
c(i) = c(i −1) + H (i)z(i)sign[y(i) − z								(i)c(i −1)] ,(3.4.63а)
			ˆ
				= c0 ;
			c(0)
	H (i) = H (i −1)	−	H (i −1)z(i)z т(i)H (i −1)						, (3.4.63б)
			sη2 (i) + z т(i)H (i −1)z(i)
	H (0) = λI , λ >>1,			H (i −1) =			Γ(i −1) .
								sη(i)

Данный алгоритм называется релейным.

3. Плотность распределения помехи Коши. В этом случае, под-

ставляя в формулы (3.4.61а) и (3.4.61б) плотность распределения и фишеровскую информацию (см. табл.3.2), соответствующие распределению Коши, получим нелинейный оптимальный алгоритм:

y(i) − z

т

ˆ

с(i) = c(i −1) + 4H (i)z (i)

(i)c (i −1)

,

(3.4.64а)

2

(i) +

− z

т

ˆ

2

sη

y(i)

(i)c (i −1)

ˆ

= c0 ;

c(0)

H(i) = H(i −1) −

H(i −1)z (i)z т

(i)H(i −1)

,

(3.4.64б)

s2 (i)

+ z т(i)H(i −1)z (i)

η

233

	H(0) = λI , λ >>1, H(i) =	G(i)	.
		2

Приведенные абсолютно оптимальные алгоритмы идентификации РАР-объектов с простой помехой, как было показано в предыдущем разделе, обладают предельно возможной скоростью сходимости. Их АМКО равна:

			V(F, f )		=	1	A−1 (c ,ση2 ),	(3.4.65)
						IF ( f )
∞	f ′	2	(η)					A (c ,ση2 )=
где IF ( f ) = ∫				dη –	фишеровская информация,
−∞	f (η)

=M {z , z т} – нормированная информационная матрица системы.

3.4.8.Пример использования абсолютно оптимальных рекуррентных алгоритмов для идентификации параметров

линейного регрессионного объекта

Для оценки эффективности использования абсолютно оптимальных алгоритмов рассмотрим задачу идентификации параметров линейного регрессионного объекта вида

y(i) = 0,6 +1,1u(i) + 2,1u(i) + 4,2u(i) + η(i) .					(3.4.66)
Шум измерений η(i) имеет распределение Коши:
f (η) =	1		1	.
			(1+ (2 / s)2 )
	πs

Для оценки эффективности абсолютно оптимальных рекуррентных алгоритмов проводилось сравнение нелинейного (абсолютно оптимального алгоритма) и линейного алгоритмов для идентификации линейного регрессионного объекта вида (3.4.66) при различных значениях параметра распределения Коши – s.

На рис .3.7, 3.8 приведены графики интегральной скользящей ошибки оценки, вычисляемой по формуле:

10		n	(ak (i − j) − ak )
	∑ ∑
ск(i) =	j=0	k =0		; i =10,11,....
			10

в зависимости от номера измерений i.

234

Рис. 3.7. График зависимости сглаженной ошибки оценки от номера измерений при использовании линейного (а) и абсолютно оптимального (б) алгоритмов при s = 2

Рис. 3.8. График зависимости сглаженной ошибки оценки от номера измерений при использовании линейного (а) и абсолютно оптимального (б) алгоритмов при s = 7

235

Из рисунков видно, что использование абсолютно оптимального алгоритма обеспечивает существенно меньшую ошибку оценки даже при больших значениях параметра распределения – s.

3.5. Использование принципов игрового подхода в задачах идентификации

3.5.1.Априорная информация о помехах

иклассах распределений

Опыт практического применения оптимальных методов оценивания показывает, что они весьма чувствительны к обычно имеющимся на практике нарушениям условий их оптимальности и вследствие этого оказываются малоэффективными. Задачей теории робастности является разработка таких статистических процедур, которые лишь незначительно уступают в эффективности классическим оптимальным процедурам при точном выполнении условий их оптимальности и сохраняют высокую эффективность при нарушении этих условий.

Термин «робастный» (rоbust – сильный, крепкий) в указанном выше смысле был введен в употребление Боксом в 1953 г. Методы, разработанные теорией робастности, имеют важное практическое значение для повышения эффективности статистических процедур при решении задач идентификации, фильтрации, обнаружения, распознавания образов и других.

Особые трудности при реализации классических оптимальных методов связаны с предположением о том, какому закону распределения подчиняются случайные помехи. Как правило, плотность распределения помех f (η) полностью неизвестна. Однако могут

быть известны какие-либо сведения о f (η) , которые определяют

тот или иной уровень априорной информации. Каждому уровню априорной информации о помехах соответствует определенный класс распределений Φ , к которому принадлежит не известная нам истинная плотность распределения f (η) . Чем ниже уровень апри-

орной информации о помехах, тем шире соответствующий класс распределений.

236

Далее будем рассматривать только симметричные непрерывные унимодальные плотности распределения f (η) = f (−η) , имеющие

конечную фишеровскую информацию (см. (3.4.56)):

	∞	f ′	2	(η)
	IF ( f ) = ∫				dη .	(3.5.1)
		f (η)
	−∞

Естественно, все плотности распределения удовлетворяют условиям:

∞
f (η) ≥ 0 ; ∫ f (η)dη =1 .	(3.5.2)

−∞

Приведем примеры типовых классов распределений, которые представляются наиболее естественными и удобными для описания априорной информации о помехах.

Φ1 – класс невырожденных распределений:

				1
	Φ1	= f (η) : f (0)	≥		> 0 .	(3.5.3)
				2s1

Этот класс распределений наиболее широкий. В него входят все плотности распределения, для которых значение в нуле отлично от нуля. Условие принадлежности плотности распределения этому классу: f (η) Φ1 – по существу, близко к полному отсутствию

априорной информации о помехах.

Φ2 – класс распределений с ограниченной дисперсией:

				∞	2		2		2
Φ						f (η)dη = σ		≤ σ			(3.5.4)
		= f (η) :		∫	η		η			.
	2							1
				−∞
Φ3 – класс приближенно нормальных распределений:
Φ3 ={ f (η) :			f (η) = (1− α) fN (η) + αg(η)} .								(3.5.5)

Плотности распределения, входящие в этот класс, представляют собой смесь нормальной или гауссовой плотности распределения

f N (η) = N (0, σ2N ) с нулевым средним и дисперсией σ2N и произ-

вольной плотностью распределения. Параметр α, 0 ≤ α ≤1 характеризует степень «засорения» нормальной плотности распределения.

Φ4 – класс приближенно экспоненциальных распределений:

Φ4 ={ f (η) f (η) = (1− α) fN (η) + αg(η)} .

237

Плотности распределения этого класса представляют собой смесь двойной экспоненциальной, или плотности распределения

Лапласа	f L (η) = L(0, sL ) с нулевым средним и параметром мас-
штаба sL	и произвольной неизвестной плотности распределения

g(η) . Параметр α, 0 ≤ α ≤1 характеризует степень близости f (η) к экспоненциальной плотности распределения f L (η) .

Φ5 – класс приближенно равномерных распределений:

Φ5 ={ f (η) : f (η) = (1− α) fR (η) + αg(η)} .

Входящие в этот класс распределения представляют собой смесь равномерной плотности распределения f R (η) = R(0,lR ) (см.

табл. 3.1) с нулевым средним и параметром финитности lR и произвольной неизвестной плотности распределения g(η) . Параметр

αудовлетворяет условию 0 ≤ α ≤1 .

Φ6 – класс финитных распределений:

			l
Φ
	6	= f (η) :	∫	f (η)dη =1 .
			−l

Этот класс соответствует ограниченности по абсолютной величине помехи η. При этом какие-либо дополнительные сведения о плотности распределения помехи отсутствуют.

Φ7 – класс приближенно финитных распределений:

			l
Φ
	7	= f (η) :	∫	f (η)dη =1−β .
			−l

Параметр β, 0 ≤ β ≤1 характеризует степень приближения f (η)

к финитной плотности распределения. Условие, определяющее этот класс, означает, что с вероятностью 1 − β имеет место нера-

венство η ≤ l . Очевидно, что класс финитных плотностей распределения Φ6 является частным случаем класса Φ7 .

Наряду с этими основными классами распределений введены более узкие классы, которые получаются из основных введением дополнительных ограничений снизу или сверху на дисперсии. Эти классы достаточно подробно описаны в работе [13].

238

Приведенные классы распределений хотя и не исчерпывают все возможности, но они достаточно типичны и соответствуют широкому диапазону уровней априорной информации о помехах.

Каждому классу Φ распределения помехи соответствует класс Q функций потерь. Причем, учитывая результаты предыдущей главы, класс Q будем формировать следующим образом:

Q = {F(ε) : F(ε) = − ln f (η) η=ε, f (η) Φ} . (3.5.6)

Тогда множество АМКО (3.4.40), сформированных на основе

класса Φ , можно представить в виде

~

~

V(F(η)

= −ln f (η), f (η)) =

∞

′

2

∫

f (η)

f (η)dη

= V( f , f ) =

−∞

f (η)

A(c,ση2 )

(3.5.7)

∞

′

2

∫

f

(η)

f

′

(η)dη

f

(η)

~

−∞

для ( f (η) и f (η) )Φ .

~

совпадает с

f (η) , АМКО принимает

В том случае, когда f (η)

вид

1

A(c ,ση2 ). (3.5.8)

V(F(η) = ln f (η), f (η)) = V( f (η)) =

∞

f ′

2

(η)

dη

∫

−∞

f (η)

Причем, как было ранее, обязательно выполняется неравенство

~

(3.5.9а)

~

V( f , f ) ≥ V( f )

и V( f ) , можно записать:

или, раскрывая V( f , f )

∞

′

2

∫

f (η)

f (η)dη

1

−∞

f (η)

A−1 (c ,ση2 )≥

A−1 (c ,ση2 )(3.5.9б)

∞

′

2

∞

f ′

2

(η)

∫

f (η)

f

′(η)dη

−∞∫

f (η)

dη

f (η)

−∞

для любых

~

f (η) и f (η) , принадлежащих классу Φ.

239

3.5.2. Использование игрового подхода в задаче определения функции потерь

В предыдущей главе мы рассмотрели задачу определения оптимальной функции потерь. Эта задача легко решается при известной

плотности распределения помехи, при этом F(ε) = − ln f (η) η=ε .

В случае, когда плотность распределения неизвестна, а известен только класс распределения Φ, которому принадлежит эта плотность распределения ( f (η) Φ ), функция потерь уже не может

быть найдена по формуле F(ε) = − ln f (η) η=ε . В этом случае для нахождения функции потерь предлагается использовать игровой подход [13].

Прежде чем переходить непосредственно к решению задачи нахождения функции потерь, рассмотрим простую матричную игру двух соперников, заключающуюся в том, что игрок А теряет очки и его задача — как можно меньше потерять; игрок В приобретает очки, его задача — как можно больше приобрести. Сколько очков теряет игрок А, столько очков приобретает игрок В. При этом действия А сводятся к выбору какой-либо стратегии из допустимых mA стратегий ( a1 , a2 ,..., amA ), а действия В сводятся к выбору

стратегии из допустимых mB стратегий ( b1 , b2 ,..., bmB ). Для на-

шей задачи будем считать mA = mB , хотя в общем случае это необязательно.

Положим для определенности mB = mA = m = 4 , тогда можно составить некоторую платежную матрицу V(ai , b j ) , например,

такую (табл. 3.3). Матрица составлена совершенно произвольно только для иллюстрации игрового подхода к решению задач идентификации.

В клетках матрицы записаны проигрыши игрока А (выигрыши игрока В). Так, если А выбирает стратегию a1 , а В – стратегию b4 ,

то А проиграет 4,5 очка, а В, соответственно, 4,5 выиграет. Возникает вопрос, как должен вести себя игрок А, чтобы проиг-

рать не слишком много и как должен вести себя игрок В, чтобы выиграть не слишком мало?

240