Методы оптимизации. Особенности исследуемых экспериментальных областей и их ограничения.

Методы оптимизации позволяют достигать локальной оптимизации, но НЕ глобальной.

Исследуемая область:

1. Монотонность (нет точек перегиба, нет производных, равных нулю, экстремумов).

2. Время оптимизации (на выбор варианта).

Ограничения:

1. Выпуклые области– области, в которых нельзя найти такого отрезка, концы которого принадлежат области, а сам он пресекает ее границы;

2. Вогнутые области– те, в которых можно найти отрезок, концы которого принадлежат области, а сам он пересекает ее границы.

Понятие особых точек.

На экспериментальной поверхности могут существовать особые точки, в которых либо производные (градиенты) могут равняться нулю или отсутствовать, либо иметь бесчисленное множество решений, приводящих к тому, что алгоритмы вычислительных программ требуют дополнительных критериев к оптимизации.

1. Метод Гаусса-Зейделя.

При оптимизации по методу Гаусса-Зейделя последовательное продвижение к экстремуму осуществляется путем поочередного варьирования каждого фактора до достижения частного экстремума выходной величины.

Таким образом, точка перемещается попеременно вдоль каждой из координатных осей x_i факторного пространства.

При достижении целевой функции по предыдущей координате -

После достижения частного экстремума по последней переменной x_k , переходят снова к варьированию первой и т.д. Поиск экстремума прекращается в точке, движения из которой в любом направлении не приводят к уменьшению выходного параметра.

2. Метод случайного поиска (МСП).

Характерной чертой данного метода является случайный выбор направления движения на каждом шаге. Если точка после i-го шага занимает - положение в векторном пространстве, то следующий рабочий шаг будет совершен лишь после выполнения пробного эксперимента, которому будет соответствовать, где- случайный вектор определенной длины.

Значение исравниваются и производитсяi+1 рабочий шаг вдоль вектора .

Критерий выхода целевой функции является увеличение неудачных шагов.

Основным недостатком метода является большая трудоемкость и длительность поиска экстремума.

3. Метод градиента.

При оптимизации градиентным методом движение совершается в направлении наибольшего критерия градиента оптимизации, т.е. в направлении градиента целевой функции.

При этом направление движения корректируется после каждого рабочего шага, т.е. заново определяется значение градиента по результатам:

.

Поскольку координатами вектора градиента служат коэффициенты при линейных членах разложения функции в ряд Тейлора, то соответствующие компоненты вектора градиента могут быть получены как коэффициентылинейной аппроксимации поверхности отклика в близи исходной точки поверхности.

Линейные коэффициенты обычно оцениваются экспериментально. Наиболее просто каждый из коэффициентов определяется по результатам двух пробных экспериментов в окрестности исходной точки.

В этом случае, приращение целевой функции Δx_i можно считать пропорциональным значению величины частной производной

.

После нахождения соответствующего градиента, выполняется рабочий шаг по направлению к экстремуму.

Т.е. из вектора , где- параметр рабочего шага, показателем выхода к экстремуму является критерий.