книги из ГПНТБ / Балакришнан, А. Введение в теорию оптимизации в гильбертовом пространстве

Основные свойства гильбертовых пространств

19

Достаточность доказывается непосредственно: из двух сформулированных в следствии условий сразу вытекает неравенство (1.5).

Приведем несколько простых примеров проекций на выпуклые множества. Тривиальный пример: выпуклым множеством С служит шар

		С = {я: II X — х0 |К m < °о},
	где х0 — фиксированный элемент из				Н. Тогда	проек­
	цией Р(х) будет
		.	m (* — .ѵ-р)	если	ИX — х0К^	щ,
	Р(х) =	*0І~	II* —*о II
		X		в противном случае.

Чтобы убедиться в этом, положим сначала (для упро­

щения выкладок) *о= 0.					Неравенство (1.5) примет вид
Г	nix		1	Г	шх	tnx 1		и и ^
Г	ІМ Г ^ ^ Г				11*1’	||*«J’
где у * II >	in.	Но так		как	т/\\ х || < 1,		достаточно прове­
рить, что			X, щ		] при	II у I
	[*,	у] <						. т.
Это следует из неравенства Шварца:
	[*, у] < || * II			• у у | К т II * II=			[х,	.

Общий случай х0 ф 0 получается из рассмотренного про­ стым переносом начала координат, так как в общем случае проекция элемента х на С + *0 равна сумме ■проекции элемента х — х0 на С и хо.

Другой пример: зададим в пространстве Ь2(а, Ь)4 выпуклое множество

C = {f(-): f ( t ) ^ C q почти всюду},

где Cq — замкнутое подмножество евклидова простран­ ства Eq. Покажем прежде всего, что С замкнуто.

Пусть	{f„( •)} — последовательность из С, сходящаяся
к / (•),	так что
	ь

J II / (0 — f n (0 II2 d t 0.

20

Глава !

Но

\\f( t) - Pc q(f(t))f<\\f(t) — МО IP ПОЧТИ всюду,

где PCq(-) обозначает проектирование на Сд и является

непрерывной функцией, отображающей Eq в Cq. Более того, функция PCqif(t)) измерима по Лебегу, поскольку

такова функция f (t). Но тогда

ь
J II f (0 - Pcq if (0) Г л <	II f (•) - fn i •) IP ^	0,
a
ИЛИ
■/ (0 = pcq (f (t))	почти всюду,
что и требовалось доказать.		Pcq(f(t))
Очевидно также, что проекция на С равна

для любого элемента / ( • ) из рассматриваемого про­ странства, если только само С не пусто. (Множество С может быть пустым, например, если интервал (а, Ь) бесконечен, a Cq не содержит нуля, скажем состоит из единственной точки, отличной от нуля.) С другой сто­ роны, если Cq — замкнутый выпуклый конус, то для любого элемента f ( - ) e L 2(a, b)q

[f{t) — Pcq(f(t))< Яс? (/(/))] = 0 почти всюду,

или

В частности, если Cq— положительный конус, или поло­ жительный ортант, в Eq (состоящий из векторов с не­ отрицательными компонентами), то

	Pcq(f(t)) =	fit),	если f {t) <= Cq,
		0	в противном случае.

Задача нахождения проекций усложняется, если выпуклое множество характеризуется „глобальным“ критерием:

Основные свойства гильбертовых пространств

21

В этом случае поступают следующим образом. Для каждого элемента g ( - ) из рассматриваемого простран­ ства, для которого

ь

	f ||£(0ІІЛ = т + Д,			А > О,
	а
ПОЛОЖИМ	Qfe =={/ (= (а, Ь): II g (i) II >				k > 0}
и
	d(k )=	[ II g (t)II dt — km (Qft),
		4
где m (Qfc) — лебегова			мера множества Qk.			Нетрудно
проверить,	что d{k) — непрерывная				функция	от k ^ O .
Более того,	d (0) =	m +	Д, d (оо) =	0.	Поэтому найдется

такое положительное число k, что

J \\g(t)\\dt — km(Qk) = ш.

Qk

Положим далее

4(0J е Ѵ ) - Ц Щ ‘

[ 0 в противном случае.

Тогда g(t) и будет искомой проекцией. Для того чтобы убедиться в этом, достаточно проверить справедливость неравенства (1.5). Заметим сначала, что для любой функции f (•) из С

■ ь

j [£(0 — É (0. f ( t ) ] d t ^ m sup II g(t) — g (t) II

a

sup II g { t) - è ( t) К * . t

Поэтому достаточно показать, что

ь

tnk < J [g (0 — i (/), è (01 dt.

22	Глава 1
Очевидно, что правая часть равна
k	J II g (t) II dt — k2m (Qft) = mk.

Вероятно, самым простым (но достаточно полезным) примером применения нашего критерия служит тот частный случай, когда С — замкнутое линейное под­ пространство. Соответствующий результат можно сфор­ мулировать как еще одно следствие из теоремы 1.2.

С л е д с т в и е	1.3. Пусть	М — замкнутое	линейное
подпространство.	Тогда для	каждого х из Н	найдется

в М единственный элемент Рх, ближайший к х. Он называется проекцией элемента х на М и характери­ зуется условием

\х — Рх, ш\ = 0 для всех п г ^ М .

(1.11)

Отображение Р линейно.

Д о к а з а т е л ь с т в о . Достаточно заметить, что для любого элемента т е М и любого комплексного числа Ѳ элемент Рх — Ѳт также принадлежит М. Но функционал

g (Ѳ) = IIX — Рх + Ѳт Ip

должен достигать своего минимума в точке Ѳ= О, т. е. его производная должна в этой точке обращаться в нуль,

а это и есть условие (1.11).	z e M вектор х — z-
Обратно, если при некотором
ортогонален ко всем элементам из	М, то

II je — ш |р= IIX — z |р + II m — z If

и, следовательно, z — минимизирующий элемент в М. Ясно, что Р (ах) = аР (х) и для любого ш из М

[(х — у) — Р ( х ~ у), пг] = О,

так что отображение Р линейно.

Заметим, наконец, что х можно представить в виде суммы двух ортогональных слагаемых:

X = Рх + (х — Рх).

( 1. 12)

Основные свойства гильбертовых пространств

23

Такое разложение единственно, поскольку одна из ком­ понент в силу (1.11) должна принадлежать М.

З а д а ч а 1.3. В этой задаче рассматриваются только вещественные гильбертовы пространства. Пусть е — не­ который ненулевой вектор. Множество

{h е= Я: [е, /г] < 0}

называется полупространством, а пересечение конечного числа полупространств иногда называют пирамидой.

Пусть {ek: k — 1........ я} — конечный набор ненулевых векторов. Тогда порожденный этим множеством конус Я имеет вид

К = { 2 •

Обозначим через М линейное подпространство, натяну­ тое на ek, /г = 1 , ... , я. Покажите, что

Pk (я) = PkPm(,г),

где Pk и Рт — операторы проектирования на Я и М соответственно. Найдите общее выражение для Pk (z).

Пусть векторы ek будут единичными. Покажите, что множество

Ck = {v. \\v — ßftlKllü — е,- И, г = 1, .... я}

является конусом и даже пирамидой. Докажите также, что

я = и	^ .
	k
О п р е д е л е н и е 1.14.	Ортогональным дополне­

нием Sx множества 5 называется множество элементов, ортогональных к каждому элементу из S.

Из определения сразу ясно, что Sx — замкнутое линейное подпространство. Если же S само есть замк­

нутое линейное подпространство, то (SX)± = S. Раз­ ложение пространства на подпространства М и М х, определяемое формулой (1.12), называется ортогональ­ ным разлоэюением*

24 Глава I

Пусть {х„: я = 1 , . . . , т) — множество,	состоящее
из т ортонормальных элементов. Тогда	т
	2 [х, х*] хк
	I

есть проекция элемента х на наименьшее линейное под­ пространство, содержащее все хк. Другими словами,

функционал	U' —	2 akxk	достигает		своего минимума
		1			что в этом	слу­
по ак при ак = [х, хк]. Заметим также,
чае справедливо		неравенство		Бесселя
о < 1 *	—	[2х, хк]хк^	=	| | * І РS lU— ', Хк ] \ 2.		(1.13)

О п р е д е л е н и е 1.15. Замкнутым линейным подпро­ странством, натянутым на множество S, называется наи­ меньшее замкнутое линейное подпространство, содержа­ щее S. Это подпространство обозначается через 3?(S).

Совершенно ясно, что S?(S) совпадает с замыканием

ТП

множества элементов вида 'Еі акхк, /п < оо.

1

О п р е д е л е н и е 1.16. Множество D элементов из S называется плотным в 5, если его замыкание содержит S, т. е. если каждый элемент из S является предельной точкой для D.

m	о,кхк,
Множество элементов вида 2		jct	e S , где все
I		в	9? (S); более
линейные комбинации конечны, плотно
того, замыкание этого множества	совпадает с j?(S).

П р и м е р 1.3. В Ь2 (а, Ь)4 плотными будут, например, класс бесконечно дифференцируемых функций, отличаю­ щихся от нуля лишь на некотором компактном подмно­ жестве, и линейное подпространство, натянутое на класс простых функций. Напомним, что простой называется функция, принимающая конечное число значений, при-, чем прообразы всех этих значений измеримы. Еще одним важным примером' плотных подмножеств может слу­ жить пространство п раз непрерывно дифференцируемых функций, где целое число п фиксировано.

Основные		свойства	гильбертовых пространств			25
З а д а ч а	1.4.	Пусть	/И,	и	М2— подпространства.
Покажите, что (Mt f| М2)1			= М1 +		М1, где черта	сверху
обозначает замыкание ')•
З а д а ч а	1.5.	Пусть	{г/*}— последовательность эле­
ментов из Н,	а С — множество
С — {h: [h, Уі\ = Сі,				і =	1, 2, ...},

где {с,} — заданная последовательность чисел. Покажите,

что если С не пусто, то его молено	представить в виде
С — Hq-\- М,
где М — замкнутое линейное подпространство
М — {/г: [h, y t] = 0, / = 1,	2, ...} ,

а Іг0— такой элемент из ортогонального дополнения к М,

что	[h0, Уі] =	Сі, г = 1, 2.........
где	Покажите, что проекция Рсх имеет видРсх = /і04-Рмл;,
	через Рмх обозначена проекция элемента х на М.
	З а д а ч а	1.6.	Пусть М,	и М2 — замкнутые подпро­
странства и		„	. ..	_	..
		С, = а-{-Л4„		С2 = М2,

где а ортогонально к Мх. Покажите, что если пересече­ ние С ^ С г не пусто, то его можно представить в виде

с 1п с 2 = й + м 1п м 2,

где b принадлежит замыканию множества М1 + M t. Пользуясь этим, покажите, что проекция элемента х на СI П С2 равна b + Рм,пм2*. Поканѵите, что С\ П С2 пусто,

если а ф. Мх+ М2.

П р и м е р 1.4. Пусть x(t) — вероятностный процесс, для которого Е(| x{t) Is) < ехз, a < t < b . Как известно, каждую функцию x(t) можно считать элементом класса эквивалентности квадратично интегрируемых функций на абстрактном пространстве с мерой:

_________

* (t) е= L2(Q, ц),

') Здесь и в дальнейшем через St + S2, где S,-, /= 1 ,2 , — под­ множества линейного пространства, обозначается прямая сумма этих подмножеств, т. е. множество элементов s, допускающих единственное представление s = st + s2, где е Si, s2 e S2. —

Прим, nepee.

26 Глава J

где Q — некоторое множество, <М— борелевская алгебра р — вероятностная мера. Обозначим через Я замкнутое

подпространство, натянутое на x(t), a ^ t ^ . b .	Очевидно,
m
что множество элементов вида ^ j a kx{tk),	a ^ t k ^.b,

1

плотно в Я. Но более полная характеристика простран­ ства Я зависит от дополнительной информации о про­ цессе, и в частности от характера функции

R(t, s) = h{x{t)x{s)).

Обычная задача состоит в том, чтобы для заданного элемента z из L2(Q, р) найти его „наилучшее линей­ ное“ приближение с помощью x{t), a ^ t ^ . b , т. е. найти коэффициенты ak, минимизирующие функционал

°°ІІ

Iz — 2 okx(tk) , a ^ tk ^ L b , причем лишь конечное число

коэффициентов должно быть отлично от нуля.

Легко видеть, что искомая линейная комбинация есть проекция элемента z на Я. Если эту проекцию обозначить через è, то при всех t должно выполняться условие

E([z — z,	х{і)]) = 0.
Если на квадрате a ^ s J ^	L b функция R{t, s) непре­

рывна, то это условие (в силу неравенства (1.5)) также и достаточно для того, чтобы элемент è был проекцией на Я элемента г. (Полученное уравнение известно как уравнение Винера — Хопфа. Подробнее об этом можно прочитать в работе [11].) Более того, поскольку из непрерывности функции R(t, s) следует непрерывность в Я функции x(t), отображающей [а, Ь] в Я, можно доказать, что всегда удастся найти такую последова­ тельность матричных функций Wn(t), что интегралы

ь	ъ
J' Wn(t)x{t)dt,	J II Wn{t) \\2dt< oo
а	а

будут сходиться к оптимальной оценке z в среднеква­ дратическом, т. е. относительно нормы пространства L2{Q, р). Более того, как показано в [11], это доказа­ тельство может быть конструктивным.

Основные свойства гильбертовых пространств

27

Представление непрерывных линейных функционалов

О п р е д е л е н и е 1.17. Непрерывным линейным функ­ ционалом на Н называется функция, определенная на Я, принимающая значения из комплексного поля скаляров

и являющаяся непрерывным линейным отображением пространства Я.

Например, для любого фиксированного h из Я по­ ложим

L (х) = [х, h],	х е Я;
тогда L( ■) будет линейным функционалом, непрерывным
в силу неравенства Шварца:
|L ( x ) - L ( y ) |< ||/* |||U - //||.		(1Л4)

Линейный функционал непрерывен, если он непрерывен в начале координат. Необходимое и достаточное условие непрерывности линейного функционала состоит в суще­

ствовании	такого	числа М < оо, что
		Щ *) К	ЛГЦ *||	(1.15)
для всех	* из Я.	Ясно, что	из (1.15) вытекает	(1.14),

а следовательно, и непрерывность. Докажем теперь

обратное. Пусть функционал L (•)	непрерывен.	Тогда
число
8" 1,1т т г ” 1Ж , І і м і =	І*“р ,іі м і	о .ів )

должно быть конечным. Действительно, если (хп} — такая последовательность, что отношение

1L (*п)\

II х п II

безгранично растет, то последовательность {уп}, где

	Уп=	\ L (хп) I ’
должна	сходиться к нулю,	в то время как
	I L (уп) I = 1
к нулю	не сходится. Это противоречит допущению

о непрерывности функционала L(-). Норма непрерыв­ ного линейного функционала L (■) обозначается через || L ||

28

Глава 1

и по определению равна (1.16). Задавая так норму функционала, мы превращаем класс непрерывных ли­ нейных функционалов в нормированное линейное про­ странство, называемое сопряженным пространством.

З а д а ч а 1.7. Покажите, что каждый ненулевой не­ прерывный линейный функционал ровно один раз до­ стигает своего абсолютного максимума на единичной сфере. (Другими словами, единичный шар строго вы­ пуклый. Но об этом в гл. 2.)

Теорема Рисса о представлении

Заметим, что для любого непрерывного линейного функционала L (•) его нуль-пространство {*: L (х) = 0} (обозначаемое иногда через L{ ■)і ) является замкнутым линейным подпространством. Если рассматриваемый функционал не равен тождественно нулю, то всегда

найдется		по крайней	мере один такой элемент у, что
Ь ( у ) ф 0 .		Обозначим	через z проекцию элемента у
на	нуль-пространство		функционала L (■), и пусть q =
=	у — Z.	Тогда элемент q ортогонален к L ( - ) 1,
			L(q) = L(y)
и,	следовательно, L (q) ф 0. Ясно, что для любого х
из	Н элемент

принадлежит нуль-пространству функционала L (•), так что он должен быть ортогонален к q. Поэтому

Iх. <7] = "riff

откуда

L(x) = [x, q],

(1.17)

где

Итак, каждый непрерывный линейный функционал можно представить в виде (1.17). В этом и состоит