Метод наискорейшего спуска
При
применении метода градиента на каждом
шаге вычисляются значения всех частных
производных оптимизируемой функции Q
по
всем независимым переменным U,
что при большом числе этих переменных
приводит к весьма большому времени
поиска оптимума. Сократить время поиска
позволяет метод наискорейшего спуска,
блок-схема, где 
- точность
вычисления, H
- величина
шага, n
- размерность
вектора u,
Q
- алгоритм
вычисления целевой функции Q
(u),
L
- количество
шагов по конкретному направлению
градиента функции Q.
Таким
образом, в начальной точке u0
определяется
градиент целевой функции 
и, следовательно, направление ее
наибыстрейшего убывания; далее делается
шаг спуска в этом направлении. Если
значение целевой функции уменьшились,
то делается следующий шаг в этом же
самом направлении.
Процедура повторяется до тех пор, пока в этом направлении не будет найден минимум, после чего только вычисляется градиент и определяется новое направление наибыстрейшего убывания целевой функции.
По сравнению с методом градиента метод наискорейшего спуска оказывается более выгодным из-за сокращения объема вычислений. Чем менее резко изменяется направление градиента целевой функции, тем выгоднее использовать метод наискорейшего спуска, т.е. вдали от оптимума. Вблизи оптимума рассматриваемый метод автоматически переходит в метод градиента. Окончание поиска происходит в соответствии с теми же критериями, что и в методе градиента.