Вычислительная математика лекции

функции существует вектор из первых производных, называемый

			f		f		f	T
	градиентом g(x)	f '(x)		(x),		(x),...,		(x)	. Если в точке x
			x1		x2		xn

градиент не равен нулю, он перпендикулярен к поверхности уровня,

проходящей через эту точку, и указывает направление наискорейшего возрастания функции. Вектор –g(x) называется антиградиентом и указывает направление наискорейшего убывания функции.

Необходимым условием существования минимума в точке x является равенство g(x)=0. В этом случае точка x называется стационарной. Однако не всякая стационарная точка оказывается точкой минимума. Достаточным условием существования точки минимума является положительная

2

f

2

f

(x)

(x)

x

2

x x

1

1

n

определенность матрицы G(x)=f''(x)=

. Эта

2

f

2

f

(x)

(x)

x x

x 2

n

1

n

матрица Якоби для g(x) называется матрицей Гесса. Матрица Гесса

181

симметрическая матрица, что не является обязательным для матрицы Якоби произвольной вектор функции.

Функция называется строго выпуклой, если для любых x≠y, 0<λ<1

выполняется неравенство f(λx+(1-λ)y)<λf(x)+(1-λ)f(y). графическая интерпретация для одномерного случая представлена на рисунке.

f(x)

x1,f(x1)

x2,f(x2)

x1

x2

x

Для произвольных x1 и x2 график строго выпуклой функции лежит ниже хорды, соединяющей точки (x1,f(x1)) и (x2,f(x2)).

Положительная определенность матрицы Гессе является достаточным условием строгой выпуклости. Действительно

В дальнейшем предполагается, что предварительно произведена локализация локального минимума, т. е. определена область, внутри которой целевая функция является строго выпуклой и, значит, матрица Гессе обладает свойством положительной определенности.

15.2.3. Задача минимизации квадратичной функции.

Задача минимизации квадратичной функции в методах минимизации играет роль тестовой задачи .

Пусть задана квадратичная функция

182

		1	n	n	n
	F(x1, x2, …, xn) =		aij xi x j		bi xi , элементы aij которой являются
		2 i 1		j 1	i 1

компонентами симметрической и положительно определенной матрицы А

(при положительной определенности гарантировано существование минимума). В матричной форме имеем

F(x)=(1/2)(Ax,x)-(b,x). (1)

Вычислим градиент и матрицу Гессе для F(x). Дифференцирование

		dF			1			n		1	n
	по xk дает					akj x j					aik xi bk . Пользуясь симметрией матрицы
		x								2
			2				j 1				i 1
		k
				dF				n
	А, получаем							akj x j			bk . Таким образом F'(x)=Ax-b. Элементы
				xk
								j 1

матрицы Гессе можно получить следующим образом:

dF		dF			2	F
							akl . Это означает, что для квадратичной функции
xl		xk		xk xl

матрица Гессе не зависит от x.

Задача минимизации квадратичной функции интересна потому, что в малой окрестности точки минимума x* гладкая целевая функция хорошо апроксимируется суммой первых трех слагаемых её разложения в ряд

Тэйлора f (x) F* (x) f (x* ) (g(x* ), x x* ) 12 (G(x* )(x x* ), x x*)

с центром в точке x*≈x*. Функция F* c точностью до постоянного слагаемого может быть записана в виде (1) с матрицей А=G(x*)≈G(x*).

Поэтому можно ожидать, что вблизи точки минимума качественный характер поведения итерационной последовательности xn окажется почти таким же, как и для квадратичной функции F.

Дополнительно отметим, что если А симметрическая положительно определенная матрица, задача минимизации функции (1) эквивалентна задаче решения системы линейных алгебраических уравнений Ax=b.

Действительно, в точке минимума должно быть F'(x*)=Ax*-b=0.

183

|| g(xn ) || ||pn ||

15.2.4. Обусловленность задачи минимизации.

Предположим, что в некоторой окрестности точки минимума вычисляемые приближенные значения f*(x) удовлетворяют неравенству

|f(x)-f*(x)| (f*). Обобщая результаты, полученные для одномерного случая, можно показать, что погрешность расчета точки минимума

			( f *) , где λmin>0 – минимальное
(x )=||x-x*||≈2 ( f *) || G 1(x*) || =2
			min

собственное значение матрицы Гессе.

15.2. 5. Понятие о методах спуска.

Процесс нахождения минимума часто называют процедурой спуска.

Алгоритм.

Опишем структуру типичной (n+1)-ой итерации метода спуска. 1. Находят вектор pn≠0, называемый направлением спуска, такой

чтобы при достаточно малых α>0, выполнялось неравенство f(xn+αpn)<f(xn). (2)

Обозначив φn(α)=f(xn+αpn), неравенство перепишется φn(α)<φn(0).

2.Вычисляем αn>0, для которого неравенство (2) выполнено.

3.За очередное приближение к точке минимума принимаем

xn+1=xn+αn pn.

4. Проверяют выполнение критерия окончания итераций. В случае его выполнения итерации прекращают, полагая x*≈xn+1. В противном случае итерации продолжаются.

Направление спуска.

При движении в направлении pn значение целевой функции должно уменьшаться. Для этого необходимо, чтобы угол γ между векторами pn и

градиентом g(xn) должен быть тупым, то есть

cos( n ) ((g(xn ) f '(xn ),pn ) 0 .Тогда ((g(xn) =f'(xn), pn )<0. (3)

184

В этом случае говорят, что pn задает направление спуска.

Способ выбора направления спуска задает конкретный численный метод, а варианты метода определяются алгоритмом вычисления

шага спуска αn.

Выбор шага спуска.

В качестве αn можно выбирать значение α, которое обеспечивает достижение наименьшего значения функции f при движении вдоль луча x=xn+α pn, α≥0. В этом случае для вычисления αn требуется решение одномерной минимизации функции φn(α)=f(xn+αpn). Этот путь надежен, но связан с большими вычислительными затратами. Активно используются менее затратные методы. Один из них метод дробления шага состоит в следующем. Фиксируют начальное значение шага α и выбирают параметр

γ, 0<γ<1. Часто задают γ=1/2. За шаг спуска принимают αn=α in где in

первый из номеров, для которых выполнено условие f(xn+αn pn)-f(xn) γα

βi(g(xn) =f'(xn), pn ).

in= 0,1,…; 0<β<1- некоторый дополнительный параметр.

Критерии окончания итераций.

Часто используются следующие критерии

||xn+1-xn||<ε1 |f(xn+1)-f(xn)|<ε2 |f'(xn)|<ε3 .

15.2.6. Покоординатный спуск.

В качестве очередного направления спуска выбирают направление очередной координатной оси. Широко распространен метод циклического покоординатного спуска. Пусть приближение x(k) уже найдено. Цикл с номером k+1 состоит из n шагов. На первом шаге производят спуск по координате x1. Значения остальных координат x2 = x2(k), … , xn = xn(k)

фиксируют, а x1(k+1) выбирают из условия

185

f (x1(k+1),x2(k), …,xn(k) )= min f (x1,x2(k), …,xn(k) ). x1

Иными словами решается задача минимизации функции одной переменной f1(x1) = f (x1,x2(k), …,xn(k) ). На втором шаге фиксируют значения координат x1(k+1),x3(k), …,xn(k) и рассчитывают x2(k+1) как результат решения задачи одномерной минимизации. Аналогично осуществляют остальные шаги. В результате получают очередное приближение x(k+1).

Далее цикл метода снова повторяют.

Метод циклического покоординатного спуска теоретически эффективен в случае единственного минимума функции. На практике он оказывается медленным. Поэтому были разработаны более сложные методы, использующие больше информации на основе уже полученных данных значений функции.

Назовем некоторые из этих методов нулевого порядка (не использующих производные целевой функции).

1.Метод Хука – Дживса (поиск по образцу).

2. Меод Нелдера – Милда или метод деформируемого многогранника.

Методы нулевого порядка в большинстве случаев оказываются очень неэффективными, но по необходимости их используют, если производные целевой функций не существуют.

15.2.7. Градиентный метод.

Ранее уже отмечалось, что в окрестности точки xn направление наискорейшего убывания функции f задается антиградиентом -gn. В

градиентном методе за направление спуска выбирается направление антиградиента. Таким образом, xn+1=xn-αngn.

Способ выбора шага αn задает определенный вариант градиентного метода.

186

15.2.7.1.Метод наискорейшего спуска.

Направление спуска pn = -gn.

Рассмотрим функцию φn(α)=f(xn-αgn) одной скалярной переменной

α>0 и выберем в качестве αn то значение α>0, для которого выполняется равенство φn(αn)=min φn(α).

Это первый вариант метода, предложенный в 1845 году О. Коши.

Второй вариант метода предполагает для вычисления αn

использовать методику дробления шага.

Теорема сходимости для второго варианта имеет следующую формулировку.

Теорема. Пусть выполнены следующие условия:

1)f(x) ограничена снизу;

2)градиент g(x) удовлетворяет условию Липшица

|| g(x) g( y) || L || x y || x,y Rn ; L=||G(ξ)||, ξ [x,y].

3) параметр αn выбирается из условия

f (xn 1) f (xn ) (gn , pn ), 0< <1, где xn 1 xn gn.

Тогда ||gn||→0, если n→∞ . С ростом n целевая функция монотонно уменьшается.

В процессе доказательства теоремы формулируются требования к

выбору коэффициента 1 .

L

Алгоритм метода в соответствии с теоремой сходимости имеет вид. 1. Выбираем произвольную точку x0 – начальное приближение.

Полагаем xn=x0.

2.Выбираем произвольное значение α.

3.Определяем новую точку xn+1=xn-αgn.

4.Вычисляем f(xn+1)=f(xn-αgn) и f(xn).

5.Если f(xn+1)-f(xn) γα(g(xn), pn ), 0<γ<1, то значение α берем в качестве искомого αn и переходим к шагу 6, иначе α=α/2 и переходим к

шагу 4.

187

6.Вычисляем новое приближение xn+1=xn-αgn.

7.Проверяем выполнение условия стационарности

||gn+1||= (gn+1,gn+1) ε – заданная погрешность. Если условие выполнено переходим к шагу 8, иначе к шагу 2, положив xn=xn+1.

8. Останов.

Метод наискорейшего спуска сходится с линейной скоростью при удачном выборе γ, α. Начальное приближение должно находиться в области существования минимума.

Следует сказать, что метод наискорейшего спуска не рекомендуется в качестве "серьезной" оптимизационной процедуры. На первый взгляд он привлекателен, но для практического применения работает слишком медленно. Дело в том, что свойство наискорейшего спуска является лишь локальным свойством, и поэтому необходимо частое изменение направления, что приводит в итоге к не эффективной вычислительной процедуре. Метод оказывается непригодным для использования второй производной целевой функции.

Указанные недостатки метода становятся особенно существенными при работе с "овражными" функциями. Для таких функций поверхности уровней имеют форму вытянутых оврагов. В простейшем варианте это можно продемонстрировать на примере квадратичных функций.

. Отметим, что поверхностями уровня квадратичной функции

F(x)=(1/2)(Ax,x)-(b,x) являются n-мерные эллипсоиды с центром в точке x*. Отношение их осей равно cond2(A)=λmax/λmin. Чем больше число обусловленности, тем больше вытянутость эллипсоидов. При этом поверхности уровней становятся похожими по форме на овраги. Здесь возникает проблема овражности. Если есть длинная и узкая впадина на поверхности, определяемой функцией F(x), то компоненты градиента вдоль основания впадины — малы, а в направлении к стенкам — велики.

Попав на склон оврага и стараясь идти в направлении антиградиента, мы

движемся по склону, то время как идти желательно по основанию оврага.

188

Если не принять специальных мер, объем вычислительной работы в этих случаях резко возрастает. Графическая интерпретация ситуации приведена на нижнем рисунке.

x0

15.2.7.2. Метод сопряженных градиентов.

Напомним процедуру метода наискорейшего спуска:

1. В начальной точке x(0) вычисляется градиент и движение осуществляется в направлении антиградиента до тех пор, пока уменьшается целевая функция

(решается задача одномерной минимизации с целью определения величины шага α0).

189

2.В точке, где функция перестает уменьшаться, опять вычисляется антиградиент и шаг αn, и спуск продолжается в новом направлении -g(n) .

3.Процесс продолжается до достижения точки минимума.

Однако, существует более разумный способ выбора p(n) нового направления движения вместо -g(n) , и он называется метод сопряженных направлений. Метод сопряженных градиентов относится к группе методов сопряженных направлений.

Определение сопряженности формулируется следующим образом: два вектора x и y называются А – сопряженными или А – ортогональными, если выполнено условие

(x,Ay)=xTAy=0.

Остается выяснить, каким образом вычислять сопряженные направления. Если матрица А известна (как, например, в задаче минимизации квадратичной функции), можно использовать методы линейной алгебры, в

частности, процесс ортогонализации Грамма – Шмидта. Для случая целевой функции общего вида также разработаны приемы вычисления сопряженных направлений.

Рассмотрим каждый из этих случаев отдельно.

Минимизация квадратичной функции.

В этом методе направления p(n) строятся по правилу

p(0)= -g(0), p(n) = -g(n) + βn-1p(n-1), n 1

где

				( Ap(n 1) , g(n) )		.
		n 1		( Ap(n 1)	, p(n 1) )

Так как p(0)= -g(0), то первый шаг этого метода совпадает с шагом наискорейшего спуска. Можно показать, что при указанном выборе βn-1,

направления p(n) (n=0,1,…) действительно являются сопряженными относительно матрицы А. Более того, градиенты g(n) (n = 0,1,..) оказываются взаимно ортогональными.

Итерационный процесс осуществляется по закону

190