1. Метод наискорейшего спуска

Метод минимизации функции нескольких переменных.

1. Находим градиент функции в общем виде.

2. Подставляем значение точки на i-м шаге в общий вид градиента.

3. По основной итерационной формуле

метода, вычисляем зависимость координат от λ.

4. Подставляем их в заданную функцию и решаем задачу оптимизации относительно λ, то есть , так как заданная функция становится квадратичной функцией от λ, с направленными вверх ветками.

5. Вычислив λ, вычисляем координаты точки .

6. Если задача является условной, то проверяется соответствие ОДР, если она удовлетворяет ОДР, то переходим к следующему шагу, иначе строим проекцию данной точки на соответствующее ограничение.

7. Проверяем условие остановки, если условие не выполняется - переходим к шагу 2, иначе найдена оптимальная точка.

Принцип: Каждой итерации шаг определяется из условия .

Функция F(x₁, …, x_n) и начальная точка Х (x₁, …, x_n), возможно наличие системы ограничений g_i(x₁, …, x_n)=<0.

2. Метод наискорейшего покоординатного спуска.

Метод минимизации функции нескольких переменных.

1) Выбираем некоторую точку из области определения функции u(u1, …, un).

2) На к-том шаге увеличиваем соответствующую координату на αk и находим зависимость I(uk+αk*hk) от αk, решаем одномерную задачу оптимизации относительно I(αk), подставив оптимальное значение αk в функцию вычисляем значение функции I(uk+αk*hk).

- если значение функции в данной точке меньше значения функции в точке uk+αk*hk, то uk+1= uk+αk*hk и переходим к следующему k+1-му шагу.

- если предыдущее условие не выполнилось, то уменьшаем соответствующую координату на αk и находим зависимость I(uk-αk*hk) от αk. Решаем одномерную задачу оптимизации относительно I(αk), подставив оптимальное значение αk в функцию, вычисляем значение функции I(uk-αk*hk). Переходим к следующему k+1-му шагу.

3) Вышеуказанные действия выполняем, пока не будет достигнуто одно из условий остановки:

Функция F(x₁, …, x_n), начальная точка и погрешность.

3. Проекция точки на поверхность.

Точка на поверхности, которая лежит ближе всего к указанной точке.

Вычисляется как решение оптимизационной задачи:

g_i(x₁, …, x_n)=0.

Принцип: Найти точку на плоскости, которая лежит ближе всего к указанной точке.

Точка Х (x₁, …, x_n) и аналитически заданная поверхность g_i(x₁, …, x_n)=0.

4. Метод наискорейшего спуска

Метод нахождения шага спуска на i-й итерации в численных методах многомерной оптимизации.

1. Подставляем в функцию значения координат точки Х_к+1, выраженные через λ_к.

2) Оптимизируем данню функцию, таким образом находим значение λ_к.

Функция F(x₁, …, x_n), точка Х_к (x₁, …, x_n) и направление спуска.

5. Инфинум функции

Точная нижняя грань значений функции I(u).

Если число I* меньше либо равно значения функции I(u), для любого u принадлежащего U (множество точек минимума пусто, а значения функции бесконечно близко приближаются к значению I*).

Функция I(u) определенная на U.