- •Глава 6. Постановки задачи нелинейного программирования (знп) и основные определения…………………………...3
- •Глава 7. Задача одномерной оптимизации…………………………………….13
- •Глава 8. Графический метод решения знп…………………………………...33
- •Глава 10. Выпуклое программирование……………………………………....62
- •Глава 11. Квадратичное программирование…………………………………74
- •Глава 12. Задача безусловной оптимизации (збо)…………………………………………………………………..81
- •Глава 13. Задача условной оптимизации (зуо)……………………….……127
- •Глава 6.
- •6.1. Задача нелинейного программирования (знп) и ее постановки.
- •6.2. Основные определения.
- •6.3. Классификация знп.
- •6.4. Классическая оптимизация.
- •Глава 7. Методы одномерной оптимизации
- •Постановка задачи. Основные понятия
- •7.2. Поиск отрезка, содержащего точку максимума Алгоритм Свенна
- •Методы нулевого порядка.
- •Дихотомический поиск (метод деления отрезка пополам)
- •Метод золотого сечения
- •Метод дск-Пауэлла
- •7.4. Методы первого порядка.
- •Метод средней точки
- •Метод хорд (секущих)
- •Метод кубической аппроксимации
- •7.5. Методы второго порядка. Метод Ньютона-Рафсона
- •Итерация 1
- •Глава 8. Графический метод решения знп.
- •8.1. Алгоритм графического метода решения знп
- •8.2. Решение примеров.
- •Выпуклые и вогнутые функции
- •9.1. Определения
- •9.2. Свойства вогнутых (выпуклых) функций
- •9.3. Критерии вогнутости (выпуклости) гладких функций
- •9.4. Экстремальные свойства вогнутых (выпуклых) функций
- •9.5. Сильно вогнутые (выпуклые) функции
- •9.5.1. Определение. Примеры
- •9.5.2. Свойства сильно вогнутых (выпуклых) функций
- •9.5.3. Критерии сильной вогнутости (выпуклости)
- •9.5.4. Экстремальные свойства сильно вогнутых (выпуклых) функций
- •Глава 10. Выпуклое программирование
- •10.1. Постановка задачи
- •10.2. Функция Лагранжа. Седловая точка функции Лагранжа, условия ее существования Определение 10.1. Функция , (10.10)
- •10.3. Достаточные условия оптимальности
- •10.4. Условия регулярности выпуклого множества
- •10.5. Теорема Куна-Таккера. Общий случай
- •10.6. Теорема Куна-Таккера. Случай линейных ограничений
- •Глава 11. Квадратичное програмирование.
- •11.1. Постановка задачи квадратичного программирования (зкп)
- •11.2. Применение теории Куна-Таккера к решению зкп.
- •11.3. Решение задач.
- •Глава 12. Методы безусловной оптимизации
- •12.1. Постановка задачи
- •Алгоритм метода спуска
- •. Методы нулевого порядка (прямого поиска)
- •Метод Хука-Дживса
- •Алгоритм метода Хука-Дживса, использующий одномерный поиск
- •Метод покоординатного спуска
- •Первый вариант
- •Второй вариант
- •Методы первого и второго порядков
- •Градиентные методы. Метод скорейшего спуска – метод Коши
- •Метод Ньютона
- •Модифицированный метод Ньютона
- •Методы, использующие сопряженные направления
- •Определение сопряженных направлений
- •Оптимизация квадратичной функции. Конечная сходимость алгоритмов, использующих сопряженные направления
- •12.4.4. Метод Дэвидона-Флетчера-Пауэлла Шаг 1.Метод Дэвидона-Флетчера-Пауэлла (дфп) принадлежит к классу квазиньютоновских методов, в которых направление поиска задаётся в виде
- •Алгоритм метода дфп
- •Итерация 1
- •Шаг 2. Вычислим , тогда .
- •Шаг 2. Вычислим , тогда .
- •12.4.5. Метод сопряжённых градиентов Флетчера-Ривса
- •Алгоритм метода Флетчера-Ривса
- •Глава 13. Методы условной оптимизации
- •13.1. Постановка задачи. Классификация методов
- •Общая схема методов условной оптимизации
- •Шаг 2.Шаг 1. Выбрать ( -я итерация) – возможное направление подъёма функции в точке . Если такого направления нет, то - решение задачи. В противном случае перейти к шагу 2.
- •13.2. Методы возможных направлений
- •13.2.1. Метод Зойтендейка
- •Пример 13.2
- •Итерация 3
- •Шаг 4.Рисунок 13.6
- •13.2.2. Метод Топкиса-Вейнотта
- •Пример 13.3
- •Итерация 1
- •Шаг 5.Рисунок 13.7
- •Алгоритм метода Топкиса-Вейнотта
- •13.2.3. Метод Франка-Вульфа
- •Алгоритм метода Франка-Вульфа
- •Шаг 5. Находим шаг в направлении новой точки . Решение этой задачи (одномерной): .
- •Шаг 3. Так как , переходим к шагу 4.
- •Шаг 5. Решаем задачу: .
- •Литература
6.3. Классификация знп.
По числу переменных:
Задача одномерной оптимизации (ЗОО)
Задача многомерной оптимизации (ЗМО)
По виду ограничений:
Задача безусловной оптимизации (ЗБУ)
Задача условной оптимизации (ЗУО)
ЗУО принципиально сложнее, чем ЗБО.
По степени гладкости функций, входящих в задачу:
гладкие
негладкие
По виду функции (например):
Задача квадратичного программирования (ЗКП)
где – симметричная неположительно определенная матрица, – заданный вектор из , – заданная матрица, порядка , .
Задача выпуклого программирования (ЗВП)
где определены и выпуклы на , определена и вогнута на .
6.4. Классическая оптимизация.
Под классической оптимизацией будем подразумевать тот подход к поиску точек экстремума функции, который основан на дифференциальном исчислении. В данной главе вкратце остановимся на данном подходе (в случае функции одной переменной).
Пусть функция кусочно непрерывна и кусочно гладка на отрезке . Это значит, что на может существовать лишь конечное число точек, в которых либо терпит разрыв первого рода, либо непрерывна, но не имеет производной. Тогда, как известно, точками экстремума функции на могут быть лишь точки, в которых выполняется одно из следующих условий:
либо терпит разрыв;
либо непрерывна, но производная не существует;
либо производная существует и равна нулю;
либо и .
Такие точки принято называть точками, подозрительными на экстремум.
Поиск точек экстремума функции начинают с нахождения всех точек, подозрительных на экстремум.
Сформулируем необходимые условия, которым должна удовлетворять точка локального экстремума функции одной переменной.
- необходимое условие первого порядка: для того чтобы точка являлась точкой локального максимума (минимума) на интервале необходимо
- необходимое условие второго порядка:
После того как такие точки найдены, проводят дополнительное исследование и отбирают среди них те, которые являются точками локального минимума или максимума. Для этого обычно исследуют знак первой производной в окрестности (или соответствующей полуокрестности граничных точек и ) подозрительной точки.
В тех случаях, когда удается вычислить в подозрительной точке производные второго и более высокого порядков, то их также можно использовать для исследования поведения функции в окрестности этой точки.
Чтобы найти глобальный минимум или максимум функции на , нужно перебрать все точки локального минимума (максимума) на и среди них выбрать точку с наименьшим (наибольшим) значением функции, если таковое существует.
Если эти условия не выполняются, то не может быть точкой локального максимума (минимума). С другой стороны, если эти условия выполняются, то может и не быть точкой локального максимума (минимума).
Сформулируем достаточные условия, которым должна удовлетворять точка локального экстремума:
.
Определение 6.9. Стационарной точкой называется точка, в которой . Если стационарная точка не соответствует локальному оптимуму, то она является точкой перегиба или седловой точкой.
Пример 6.7. Исследуем свойства функции .
Вычислим:
1. , откуда очевидно, что стационарными точками являются .
2. .
Так как , то точки являются седловыми. А так как , то является точкой глобального минимума.
Классический метод исследования функции на экстремум следует использовать во всех тех случаях, когда достаточно просто удается выявить все подозрительные на экстремум точки и реализовать описанную выше схему отбора экстремальных точек. К сожалению, классический метод имеет весьма ограниченное применение. Дело в том, что вычисление производной в практических задачах зачастую является непростым делом. Например, может оказаться, что значения функции определяются из наблюдений или каких-либо физических экспериментов, и получить информацию о ее производной крайне сложно. Но даже в тех случаях, когда производную все же удается вычислить, решение уравнения и выявление других точек, подозрительных на экстремум, может быть связано с серьезными трудностями. Поэтому важно иметь также и другие методы поиска экстремума, не требующие вычисления производных, более удобные для реализации на современных ЭВМ.
Обобщим выше сказанное на случай функции конечного числа переменных, т.е. будем считать, что Р есть не пустое множество из , а - функция, определенная на этом множестве. Все определения, данные в параграфе 6.2, справедливы и в данном случае.
Сформулируем необходимые и достаточные условия, которым должна удовлетворять точка локального экстремума функции n переменных.
Необходимые условия, которым должна удовлетворять точка локального экстремума:
- необходимое условие первого порядка: для того чтобы точка являлась точкой локального максимума (минимума) , необходимо
- необходимое условие второго порядка:
- отрицательно полуопределенная матрица (положительно полуопределенная матрица).
Если эти условия не выполняются, то не может быть точкой локального максимума (минимума). С другой стороны, если эти условия выполняются, то может и не быть точкой локального максимума (минимума).
Сформулируем достаточные условия, которым должна удовлетворять точка локального экстремума:
- отрицательно определенная матрица (положительно определенная матрица).
Напомним, что - n-мерный вектор первых производных , а - симметрическая матрица порядка вторых частных производных .
Пример 6.8. Рассмотрим функцию
Требуется классифицировать точку .
Так как
то , и следовательно стационарная точка.
Определим матрицу :
Следовательно, = .
По критерию Сильвестра матрица является неопределенной, так как . Следовательно, представляет собой седловую точку.