Градиентные методы с заданием параметра шага 

Для поиска экстремума функций с большим числом переменных метод наискорейшего спуска становится трудоемким (если не применять ЭВМ). Поэтому был предложен ряд его модификаций.

Самая трудная операция в методе наискорейшего спуска – нахождение экстремального параметра . Чтобы ее исключить, можно задавать параметрв виде некоторой сходящейся числовой последовательности, например, в виде ряда:

, где n=1,2… – номер итерации, К – коэффициент.

Скорость сходимости данной модификации данной модификации в целом ниже, чем в методе с определением по экстремуму функции у(), и зависит от выбора коэффициента К и самой последовательности. Последовательность должна выбираться такой, чтобы скорость ее сходимости была ниже скорости сходимости градиента, иначе ряд сойдется к 0 быстрее, чем градиент. Для определения коэффициента К желательно определить на первой итерации параметрпо экстремуму у() или по уравнению (6).

Например, пусть задана функция: ,. Данный пример уже рассматривался в методе наискорейшего спуска. На первой итерации проекции градиента имели значения:, Параметр.

Выбираем в виде последовательности, причем К берем близким к⁰, пусть К=0,2.

Тогда на первой итерации ⁰=0,2.

На второй итерации при и проекциях градиентов в точке х⁽¹⁾

получим:

Расчеты можно продолжить дальше, получим сходящуюся минимизирующую последовательность. Хотя скорость сходимости данного метода будет меньше, чем у метода наискорейшего спуска, зато значительно упрощается расчет на каждом шаге.

Градиентный метод с постоянным .

Наконец, параметр можно задавать постоянным на всех итерациях. Однако при больших значенияхпроцесс поиска может расходиться. Хорошим способом выбораможет быть его определение на первой итерации из условия экстремума по направлению градиента. На последующих итерацияхостается постоянным. Это еще более упрощает вычисления.

Например, для функции прис проекциями градиентовметодом наискорейшего спуска определен. Примем параметрпостоянным на всех итерациях.

Вычисляем координаты х⁽¹⁾:

Для вычисления координат точки х⁽²⁾находим проекции градиента в точке х⁽¹⁾:, тогда

и т.д.

Данная последовательность также сходится.

Шаговый градиентный метод

Этот метод разработан инженерами и заключается в том, что шаг по одной из переменных берется постоянным, а для других переменных он выбирается исходя из пропорциональности градиентов точках. Этим как бы масштабируют экстремальную поверхность, т.к. не по всем переменным сходимость одинакова. Поэтому выбором различных шагов для координат пытаются сделать скорость сходимости примерно одинаковой по всем переменным.

Пусть дана сепарабельная функция и начальная точка. Зададимся постоянным шагом по координате х₁, пустьх₁=0,2. Шаг по координате х₂находим из соотношения градиентов и шагов: