книги / Начала инженерного творчества

2.2.1.1. Метод градиента

Метод градиента в чистом виде формирует шаг по переменным как функцию от градиента R(x) в текущей точке поиска. Простейший алгоритм поиска minR(x) записывается в векторной форме следующим образом:

Величина шага в направлении градиента grad R(x) зависит от величины градиента, который заранее учесть трудно, и от коэффициента пропорциональности шага h, с помощью которого можно управлять эффективностью метода.

Поиск каждой новой точки состоит из двух этапов:

1)оценка градиентов по каждому направлению поиска

grad R(xi) путем вычисления частных производных от функции по каждой переменной хi,

2)перемещение (рабочий шаг) по всем переменным одновременно.

Величина коэффициента h сильно влияет на эффективность метода. Большей эффективностью обладает вариант метода, когда шаг по переменной определяется направляющими косинусами градиента

где cos ϕj = (dRdx(j )) . grad R x

В этом случае величина рабочего шага не зависит от величины модуля градиента, и ею легче управлять, изменяя коэффициент шага h. В районе оптимума может возникать значи-

51

тельное «рыскание», поэтому используют различные алгоритмы коррекции h.

Наибольшее распространение получили следующие алгоритмы:

где α – угол между градиентами на предыдущем и текущем шаге; α1 и α2 – заданные пороговые значения выбираются субъективно (например, α1 = π/6, α2 = π/3).

Вдали от оптимума направление градиента меняется мало, потому шаг можно увеличить (второе выражение), вблизи от оптимума направление резко меняется (угол между градиентами R(x) большой), поэтому h сокращается (третье выражение).

Для оценки частных производных используются разностные методы:

1. Алгоритм с центральной пробой

где gi – пробный шаг по i-й переменной, выбираемый достаточно малым для разностной оценки производной.

Первый алгоритм требует меньших затрат по сравнению со вторым (обычно затраты выражаются количеством вычислений критерия оптимальности), но позволяет получить решение менее точно, чем второй, и эта погрешность зависит от величины пробного шага.

52

На рис. 5 приведена одна из возможных траекторий поиска минимума двумерной функции градиентным методом (наряду с другими ниже рассматриваемыми методами).

Условием окончания поиска может являться малость модуля градиента R(x), т.е. |grad R(x)| < ε.

Пример 4. Требуется найти минимум функции R(x1, x2 )=

= x13 + 2x22 −3x1 −4x2.

Интервал поиска: х1нач = –2, х1кон = 2, х2нач = –2, х2кон = 2. Начальная точка: х10 = –0,5, х20 = –1.

Параметры поиска: коэффициент шага h = 0,1, пробный

g = 0,01, погрешность ε = 0,01.

Алгоритм метода: алгоритм 1 (хi+1 = хi – h grad R(xi)). Алгоритм коррекции шага: без коррекции коэффициента

пропорциональности шага (h = const).

Способ вычисления производной: вычисление grad R с парными пробами.

Результаты вычислений. В начальной точке вычисляем градиент функции:

Значение критерия R = 7,3750. Делаем рабочий шаг, получаем

х1 = –0,275, х2 = –0,2.

В новой точке опять вычисляем производные:

R(x1 + g, x2 )=1,656, R(x1 − g, x2 )=1,712, dR = −2,7730; dx1

53

Значение критерия R = 1,3750.

Делаем рабочий шаг, получаем x1 = 0,002, х2 = 0,280. Далее аналогично осуществляем следующие шаги (табл. 4).

В последней точке модуль градиента меньше заданной погрешности (0,0063 < 0,01), поэтому поиск прекращается.

Пример 5. Отличается от предыдущего только величиной коэффициента пропорциональности шага h, который увеличен в 4 раза, теперь h = 0,4. Ниже, в табл. 5, приведены только первые 14 шагов (как и в предыдущем случае). Целесообразно сопоставить их путем построения траекторий поиска при обоих значениях шага h в координатах х1 – х2.

54

В этом случае поиск носит явно колебательный характер, плохо приближаясь к решению.

Проиллюстрируем графически табл. 4 и 5. На рис. 6 показана зависимость параметра оптимизации от номера шага для значений параметра h 0,01 и 0,04. Во втором случае видна неустойчивость счёта и невозможность получить решение задачи.

55

Втекущей точке вычисляется gradR(x), и затем в направлении градиента ищется минимальное значение функции minR(x). Практически это может быть осуществлено любым методом одномерной оптимизации (поиск по одному направлению – направлению градиента), наиболее часто используется сканирование до первого локального минимума по направлению gradR(x).

Врезультате вдали от оптимума эффективность метода повышается, район оптимума достигается быстрее, в его окрестности эффективность метода снижается из-за частой смены направления поиска и приближается к эффективности метода градиента.

Метод наискорейшего спуска, как и все градиентные методы, обладает невысокой эффективностью в овражных функциях. В ряде случаев можно повысить скорость выхода в район оптимума предъявлением невысоких требований к точности поиска по направлению. Которая задается величиной шага поиска по направлению h.

Условием окончания расчётов может быть малая величина

модуля градиента R(x) |gradR(x)| < ε. Можно также использовать и уменьшение приращений по переменным в результате шага, но только в том случае, если на данном шаге пропущен оптимум, иначе может оказаться, что малость шага обусловлена не близостью к оптимуму, а малостью коэффициента пропорциональности шага h.

В ряде случаев используется уменьшение шага поиска оптимума по направлению после каждой смены направления. Это позволяет с большей точностью каждый раз находить оптимум, но резко снижает эффективность поиска в овражных функциях. Метод используется для локализации «дна оврага» в специальных овражных методах. Условием окончания поиска в этом случае является достижение заданной малой величины шага.

Одна из возможных траекторий поиска минимума двумерной функции методом наискорейшего спуска приведена на рис. 5.

57

Пример 6. Для сравнения метода наискорейшего спуска

с методом градиента рассмотрим решение предыдущего примера при шаге h = 0,1.

Результаты расчетов. Расчет производных детально рассмотрен выше, поэтому здесь не приводится. Ниже, в табл. 6, приводятся результаты движения по градиенту с постоянным шагом.

Таблица 6

Вследующей точке (0,400, 2,00) значение критерия (R =

=–0,256) оказывается хуже, чем в последней (R = –2,1996). Поэтому в найденной точке оптимума по направлению снова вычисляем градиент и по нему совершаем шаги, до тех пор, пока не найдем наилучшую точку (табл. 7).

58

Окончание табл. 7

2.2.1.3. Метод сопряженных градиентов

Градиентные методы, базирующиеся только на вычислении градиента R(x), являются методами первого порядка, так как на интервале шага они заменяют нелинейную функцию R(x) линейной.

Более эффективными могут быть методы второго порядка, которые используют при вычислении не только первые, но и вторые производные от R(x) в текущей точке. Однако у этих методов есть свои труднорешаемые проблемы – вычисление вторых производных в точке, к тому же вдали от оптимума матрица вторых производных может быть плохо обусловлена.

Метод сопряженных градиентов является попыткой объединить достоинства методов первого и второго порядка с исключением их недостатков. На начальных этапах (вдали от оптимума) метод ведет себя как метод первого порядка, а в окрестностях оптимума приближается к методам второго порядка.

59

Первый шаг аналогичен первому шагу метода наискорейшего спуска, второй и следующий шаги выбираются каждый раз в направлении, образуемом в виде линейной комбинации векторов градиента в данной точке и предшествующего направления.

Алгоритм метода можно записать следующим образом (в векторной форме):

Величина α может быть приближенно найдена из выражения

Алгоритм работает следующим образом. Из начальной точки х0 ищут min R(x) в направлении градиента (методом наискорейшего спуска), затем, начиная с найденной точки и далее, направление поиска min определяется по второму выражению (2.15). Поиск минимума по направлению может осуществляться любым способом: можно использовать метод последовательного сканирования без коррекции шага сканирования при переходе минимума, поэтому точность достижения минимума по направлению зависит от величины шага h.

Для квадратичной функции R(x) решение может быть найдено за п шагов (п – размерность задачи). Для других функций поиск будет медленнее, а в ряде случаев может вообще не достигнуть оптимума вследствие сильного влияния вычислительных ошибок.

Одна из возможных траекторий поиска минимума двумерной функции методом сопряженных градиентов приведена на рис. 5.

60