4. ЧИСЛЕННЫЕ МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ

Численное решение задач безусловной минимизации функ­ ций многих переменных, как правило, значительно сложнее, чем решение задач минимизации функций одного переменного. В самом деле, с ростом числа переменных возрастают объемы вычислений и усложняются конструкции вычислительных алго­ ритмов, а также более сложным становится анализ поведения

целевой фунции.

Методы численного решения задач многомерной безуслов­ ной минимизации многочисленны и разнообразны. Условно их можно разделить на три больших класса в зависимости от ин­ формации, используемой при реализации метода.

1 . М етоды нулевого порядка, или прямого поиска, стратегия которых основана на использовании информации только о свойствах целевой функции.

2. Методы первого порядка, в которых при построе­ нии итерационной процедуры наряду с информацией о целевой функции используется информация о значениях первых произ­ водных этой функции.

3. Методы второго порядка, в которых наряду с ин­ формацией о значениях целевой функции и ее производных первого порядка используется информация о вторых производ­ ные функции.

Методы первого и второго порядков хорошо разработаны. Для большинства из них имеется строгое обоснование, прове­ дено аналитическое исследование их свойств, доказана сходи­ мость, получены оценки скорости сходимости для некоторых классов целевых функций. Описание алгоритмов этих мето­ дов и иллюстрирующие эти алгоритмы примеры представлены

ниже (см. 5). Методы прямого поиска (см. 6) менее изучены, большинство из них носят эвристический характер и не имеют теоретического обоснования. В то же время, они достаточно просты в реализации, что предопределяет их широкое приме­ нение при решении прикладных задач оптимизации.

В настоящее время не существует универсального метода, применимость которого была бы оправдана и эффективна во всех случаях. Выбор того или иного метода, его программная реализация должны быть согласованы с конкретными условия­ ми, вытекающими из специфики решаемой задачи безусловной минимизации. В этой главе изложены некоторые общие свой­ ства численных методов безусловной минимизации.

4.1. Релаксационная последовательность

Пусть требуется найти точку ж* Е Мп, в которой ограничен­ ная снизу целевая функция /(ж ), определенная в R71, достигает своего наименьшего значения. Будем считать, что эта точка существует, так что задачу оптимизации можно представить в виде

Отметим, что такая точка может быть и не единственной. Общей чертой всех численных методов решения этой задачи

является последовательный переход от точки x k~l к точке х к, k Е N, начиная с некоторой начальной точки ж0 G Кп, причем

Так как целевая функция ограничена снизу, то в силу признака Вейерштрасса [I] невозрастающая последовательность {Д } схо­ дится к некоторому пределу. Однако из этого в общем случае еще не следует, что итерационная последовательность {ж^}

Суммируя это неравенство по /с от 1 до тп, получаем

откуда следует (4.4). ►

Теорема 4.1. Пусть минимизируемая функция /(® ) вы­ пукла и дифференцируема на множестве а последователь­ ность {х к} является релаксационной. Если

то справедлива оценка (4.4). ◄ С учетом (4.10) запишем

<Рк- 1 ~<Рк = f k - 1 — fk —

______________f k - 1 ~ fk

' («r a d /<x ‘ “ 1)- x ‘ " ‘ - x ' ) 2 *

fk- 1 “ /fc

|grad/(® fc_1)|2 |®fc_1 — x*\2^k~l

Согласно лемме 4.1, получаем оценку (4.4). ►

Чтобы использовать теорему 4.1, необходимо располагать оценками для значений 7^, определяемых равенствами (4.5). В общем случае получить такие оценки до проведения численного решения задачи достаточно сложно, а в процессе этого реше­ ния остается неизвестной разность х к~1 —х* Однако для не­ которых численных методов безусловной минимизации удается установить, что 7 ^ const > 0 начиная с некоторого номера к. Тогда в соответствии с (4.4) величина <рт имеет порядок мало­ сти 1 /т при т -> оо.

Если для дифференцируемой в К" функции /(® ) множест­ во Хо = {® € Шп: /(® ) ^ /(® 0)} ограничено, т.е. его диаметр

diamXo = rj(x°) = rj конечен, то \xk 1 —х*\ ^ 77, и поэтому в условиях теоремы 4.1 с учетом (4.5) имеем

>fk—l - fk

^k ' 772|grad/(ccfc“ 1)|2’

В итоге оценка (4.4) принимает вид

Сумма в правой части полученной оценки имеет нулевое значение, если последовательность {Д } постоянна. Предполо­ жим, что эта последовательность не является постоянной и для некоторого номера га выполнено неравенство ffh-i ~ fm > 0- То­ гда при га > га

и, отбрасывая в знаменателе правой части (4.6) единицу, полу­ чаем оценку

Оценку (4.7) легко вычислить, и ее использование в процессе численного решения задачи минимизации не вызывает затруд­ нений.

Лемма 4.2. Если для элементов последовательности {(рь} выполнены условия

то справедлива оценка

ТТ1

к=1

◄ Из неравенств в (4.8) следует, что rjt 6 (0,1) и га

фт ^ (1 ~ Тт)фт—1 ^ ^РО

к=1

Отсюда, учитывая, что 1 — ^ ехр(—т>), приходим к (4.9). ►

Пусть минимизируемая целевая функция f(x ) является вы­ пуклой и дифференцируемой на множестве Шп. Тогда, согласно теореме 3.11 и неравенству Коши — Буняковского, для любого k Е N получаем

О < (pk-i = Д _ 1 - / , < (grad/(®fc-1), ж*-1 - ж*) ^

^ |grad/(®fc_1)j |ж*- 1 .-ж*|. (4.10)

Теорема 4.2. Пусть функция f(x ) выпукла и дифференци­ руема в Кп, множество X Q = {х Е W1: f(x ) ^ /(ж 0)} ограниче­ но, а последовательность {а^} является релаксационной. Если

Согласно лемме 4.2, получаем оценку (4.9). ►

Эти две оценки позволяют в процессе численного решения за­ дачи минимизации накапливать информацию о приближении значений Д к значению /*, а в случае сильно выпуклой мини­ мизируемой функции — и о приближении точки х к к искомой точке х* минимума этой функции.

Практически можно задать некоторое число е > 0, связанное с выбранной точностью вычислений, и проводить итерации до тех пор, пока не будет нарушено неравенство

а затем либо повысить точность вычислений, либо перейти к другому методу спуска.

Поиск точки х* обычно прекращают при выполнении на к-й итерации одного или обоих неравенств:

|*fc - я*-1 ! < £Ь |/(xfc) - f(x k~l)\< £2, (4.18)

где £\ и £2 — заданные достаточно малые положительные чи­ сла, называемые параметрами точности поиска. В слу­ чае минимизации дифференцируемой функции необходимым условием того, что ж* Е W1— точка ее минимума, является ра­ венство grad /(ж*) = 0. При этом условием прекращения поиска на к-й итерации может быть выполнение неравенства

Если при проведении итераций к значению Д = /(ж*) схо­ дится последовательность {Д } значений Д = f ( x k) миними­ зируемой функции /(ж ), то говорят о слабой сходимости применяемого метода (или соответствующего алгоритма), а если сходится к точке ж* и последовательность {ж*}, то о силь­ ной сходимости этого метода (или алгоритма).