Характерное зигзагообразное движение на рис. 8.3 в напра­ влении искомой точки х* связано с тем, что в данном случае при решении задачи (8.3) минимизации линейной функции Д(ж) на выпуклом множестве Г2 вспомогательными приближениями поочередно являются крайние точки (1 , 2) и (1 , 0) этого мно­ жества. #

Поиск вспомогательного приближения х к Е fi на /с-й ите­ рации метода условного градиента можно вести не только на основе линеаризации целевой функции /о (ж) в окрестности точ­ ки х к~1 Е Если /о(ж) — выпуклая функция, дважды диффе­ ренцируемая на выпуклом ограниченном замкнутом множестве Q, то ее приращение в окрестности точки х к~1 приближенно можно представить квадратичной функцией

f k(x) = (grad/o(*fc-1), х —х к~х) + (# (® fc_1)(® -a;fc-1), x - x k~l),

где H {xk~l) — матрица Гессе функции /о(ж), вычисленная в точке х к~1. Такое представление приводит к необходимости вместо решения задачи (8.3) минимизации линейной функции на допустимом множестве £1 решать на том же множестве за­ дачу минимизации квадратичной функции. Это существенно усложняет поиск точки х к, но благодаря более точной аппрок­ симации целевой функции в окрестности точки х к~1 может уменьшить общее число итераций.

8.2. Использование приведенного градиента

Если допустимое множество О, С W1 задано при помощи линейных ограничений, то для минимизации на нем дифферен­ цируемой целевой функции /о(ж), х Е К71, можно использовать подход, аналогичный покоординатному спуску в случае без­ условной минимизации. При этом ограничения удобно приве­ сти к форме, соответствующей стандартной задаче линейного программирования и содержащей ограничения типа равенства

в виде Ах = b с известными матрицей А размера т х п и век­ тором Ь£ Кт и условие неотрицательности параметров опти­ мизации в виде ж £ KJ, где М* — неотрицательный ортант

размерности п.

Итак, необходимо минимизировать дифференцируемую це­

Без ограничения общности можно считать, что ранг матрицы А в (8.8) равен числу т ее строк и меньше числа п ее столбцов, т.е. RgА = т <п . В самом деле, если Rg А = г < т , то в матри­ це можно выделить г линейно независимых строк. Остальные строки матрицы будут линейными комбинациями этих г строк [III]. В этом случае либо система Ах = Ънесовместна и задача оптимизации не представляет интереса (допустимое множество пусто), либо из системы можно удалить п —г уравнений, не меняя множества ее решений. В результате удаления мы при­ ходим к аналогичной задаче, в которой ранг матрицы равен количеству ее строк. Если Rg А = т = п, то система линейных уравнений Ах = Ъимеет единственное решение, которое можно записать в виде ж = А~1 Ъ. Значит, допустимое множество рас­ сматриваемой задачи оптимизации состоит из одного элемента, а сама задача не представляет интереса.

Итак, полагаем, что Rg А = т <п . Выберем в матрице А базисный минор В. Для удобства будем считать, что этот ми­ нор расположен в первых т столбцах матрицы А (этого можно добиться, изменив при необходимости порядок переменных ж*, г = 1,п). Тогда матрицу А можно записать как блочную ма­ трицу (В iV), где В — квадратная матрица, составленная из первых т столбцов матрицы А, а матрица N объединяет остав­ шиеся п — т столбцов. Матрица В, соответствующая базисно­ му минору, является невырожденной. Выбор базисного минора в системе линейных алгебраических уравнений (СЛАУ) Ах = b приводит к разделению неизвестных %= 1 ,п, на базисные

неизвестные х\, ..., хт и свободные неизвестные хт +\, ..., хп.

Первую группу неизвестных сгруппируем в вектор-столбец жв , а вторую — в вектор-столбец x N Введем также множества ин­ дексов J B = {1, 2, . , , , ш } и J N = {т + 1, ..., п}.

С учетом введенных обозначений СЛАУ Ах = b можно запи­ сать в виде матричного уравнения В хв + N X N = Ь. Поскольку матрица В невырождена, то это матричное уравнение можно преобразовать к виду

^1

где b —В _ 1Ь, N = B~lN. Параметры оптимизации, соста­ вляющие векторы х в и x N) называют обычно базисными и свободными переменными соответственно.

Матрицу Якоби целевой функции в некоторой точке ж0 Е ^ представим в виде блочной матрицы-строки (gB gN), где д в и gN — матрицы-строки длины т и п —т. Элементами этих матриц-строк являются частные производные uXj j = 1 , п, по

базисным и свободным переменным соответственно (д в и gN

называют матрицами Якоби функции /о (ж) по части пере­ менных). Тогда, используя (8.9), для полного дифференциала целевой функции получаем

df0(x°) = (grad/о(ж0), dx) = дв dxB + g NdxN =

= - д в N dxN + gN dxN = (gN —gBN )dxN = udxN, (8.10)

где и = gN — — матрица-строка длины n —га, называемая приведенным градиентом целевой функции /о (ж) относи­ тельно свободных переменных в точке ж0 Е fi.

Возможны разные стратегии поиска точки минимума в за­ даче оптимизации с линейными ограничениями, основанного на использовании приведенного градиента. Простейшая из них базируется на методе покоординатного спуска в пространстве свободных переменных. Последовательный перебор этих пере­

менных проводят по тем же правилам, что и при решении зада­ чи линейного программирования симплекс-методом, а метод, основанный на этой стратегии, называют выпуклым сим-

плекс-методом.

Рассмотрим другую стратегию поиска точки минимума с использованием приведенного градиента. На каждой итерации процесса минимизации будем изменять все свободные перемен­ ные. Метод, основанный на подобной стратегии, называют

методом приведенного градиента.

Из (8.10) следует, что значение целевой функции быстрее всего уменьшается при изменении свободных переменных в направлении, противоположном приведенному градиенту. Но при этом может быть нарушено условие их_неотрицательности. Чтобы этого избежать, приведенный градиент можно спро­ ектировать на неотрицательный ортант R*” m — допустимое множество для этих переменных. Поскольку Ш%~т является до­ статочно простым по структуре множеством, проектирование на него выполнить несложно. Это позволяет сформировать воз­ можное направление спуска, т.е. найти координаты pj, j Е J , вектора р Е R71, определяющего это направление. При uj ^ 0, j Е J N, увеличение свободного переменного Xj в окрестности рассматриваемой точки х° Е Cl приведет к уменьшению значе­ ния целевой функции. Поэтому для этого индекса принимаем Pj = —Uj. Если же Uj > 0, j Е J N, то увеличение свобод­ ного переменного Xj в окрестности рассматриваемой точки может привести к ее возрастанию. В этом случае положим Pj = —UjX^p Таким образом, для координат вектора р Е Rn, соответствующих свободным переменным и составляющих век­ тор рдг Е Шп ~ т , имеем

в направлении, которое задано вектором р G R", не были на­ рушены ограничения Ах = 6, определяющие допустимое мно­ жество вида (8.8), необходимо, чтобы выполнялось условие

Ах = Ах° + х(В N)p = 6, или Врв = —Nprf, поскольку Лж0 = = 6. Отсюда находим вектор

с координатами pj, j € J B = J \ J N (здесь J = {1, ..., n}), соответствующими базисным переменным. Значение х в (8.12) выбираем, минимизируя функцию ф(х) = /о(ж° + хр), х > 0, но при выполнении условия х € RJ, приводящего с учетом (8.12) для всех j € J к соотношениям 0 < Xj = ж^ + xpj, где Xj и

ж^ — координаты точек жиж0 соответственно. Отсюда, если множество X* = {j € J\ pj < 0} не пусто, получаем ограничение на максимально возможное значение х в виде

Если же X* = 0, то допустимо значение х 6 (0, +оо). Покажем, что если в некоторой точке ж* Gfl выполнено ра­

венство рдг = 0, то это равносильно выполнению необходимого условия того, что х* еП — точка минимума функции /о(ж) на множестве fl. Для рассматриваемой задачи оптимизации запи­ шем функцию Лагранжа

L(x, А, р) = /о (ж) + (А, Ах - Ь) - (р, ж),

где Л (ЕRm и p 6 R n — векторы множителей Лагранжа, соот­ ветствующие ограничениям Ах —6 = 0 типа равенства и —ж < 0 типа неравенства (последнее неравенство означает, что —жj < 0 для всех j = 1, п, т.е. ж € К” ). Согласно теореме 7.6 и замеча­ нию 4.1, если х* € П — стационарная точка этой функции, то существуют такие координаты A j, г = 1, тп, и р* ^ 0, j = 1, п,

j Е соответственно, а затем — приведенный градиент ик =

= 9к ~ 9 k Nk- По формулам

аналогичным (8.11), находим координаты вектора p kN Е Rn_m. Если |p^| < £3, то итерации прекращаем, полагая х* « х к~ 1 и /о(ж*) « fo(xk~l). В противном случае переходим к п. 2.

2. Используя (8.13), вычисляем вектор ркв = —NkP% € Mm

и формируем вектор рк = ({рв )Т (Рдг)Т) , определяющий воз­ можное направление спуска из точки ж*-1 . Формируем множе­

большим) и, минимизируя в полуинтервале (0, Лк] функцию

В противном случае полагаем к := к + 1 и возвращаемся к п. 1 .

щаемся к п. 1. В противном случае равно нулю хотя бы одно базисное переменное х\к\ i Е J B, и мы переходим к п. 4.

на блоки Вк и Nk, вычисляем обратную матрицу В~1, используя рекуррентные соотношения, связывающие ее с прежней обрат­ ной матрицей (см. Д.8.1), и, полагая к := к+ 1, переходим к п. 1.

Минимизируя в полуинтервале (0, х\] = (0,1/5] функцию

■ФЛх ) = fo(x° + яр1) = ^(Q{x° + xp1),x° + xp1) =

§) +£<* Ц-5(М)-

Поскольку базисное переменное осталось прежним, то вектор p2N найдем как сопряженный с вектором р]у:

Переходим к п. 2, так как |p^| = 450/169 > £3 = 0,1.

и формируем вектор

Р2=((Рв)Т (Р^)Т)Т = ^ ( 10 7 - 24)Т.

определяющий направление спуска из точки х 1. Длина это­ го вектора для дальнейших вычислений на этой итерации не

вычисления прекращаем и полагаем х* = х 3 = (1 , 1 , 0), /о(ж*) = = /о(®3) = 0.

Функция /о (аз) является выпуклой. Поэтому х* — точка наименьшего значения этой функции на множестве ft, опреде­ ляемом заданными ограничениями. Применение сопряженных направлений позволило найти точку х* за две итерации, по­ скольку минимизируемая функция является квадратичной, а свободных переменных всего два. Выполним вторую итера­ цию по основному алгоритму метода приведенного градиента и убедимся, что для достижения точки х* потребуется большее число итераций.

Согласно п. 1 этого алгоритма, используя координаты вычи­

Итак, получаем точку х 2 = х 1 + хгР2 = (1,0333, 0,6596, 0,6535). Сравнение расстояний I®1 — ®*| « 1,0356 и |®2 —®*| и 0,7376 показывает, что вторая итерация, выполненная по основному алгоритму метода приведенного градиента, привела лишь к некоторому приближению к точке х*.

является сильно выпуклой на замкнутом выпуклом множестве Cl С К” (см. пример 3.14), а значит, и просто выпуклой. Так как она определяет квадрат расстояния между точками z и х, то, согласно определению 8.2, проекция точки х € R” на множе­ ство О, должна быть точкой минимума этой функции. В силу теоремы 3.15 выпуклая функция Ф(г) достигает минимума в точке у € fi тогда и только тогда, когда выполнено неравенство ^гаёФ(у), z — у) ^ 0. В данном случае grac^(z) = 2(z — х) и, следовательно,

(К (gradФ(у), z —у) = 2 (у —х, z —у) = —2 (z —у ,х —у ) ,

что равносильно (8.19) для любых z € Г2.

Из проведенного доказательства следует, что проекцию фиксированной точки х 6 К71 на замкнутое выпуклое множество Q cM n можно найти путем решения задачи минимизации

квадратичной функции на множестве ГI, что согласуется и с определением 8.2. Однако трудность решения этой задачи не­ посредственно связана с формой задания множества Г2. Рассмо­ трим примеры множеств, проектирование точки на которые не представляет особых затруднений.

Пример 8.3. Если = {z € Rn: \z — ®о| ^ 1} — замкнутый единичный шар с центром в точке ®о G Кп, то, согласно опре­ делению 8.2 проекции точки на множество, для точки х ^ О. имеем

\у —х\= inf \z —х\ = \х —®ol —1 .

Нетрудно проверить, что этому равенству удовлетворяет точка

Используя неравенство Коши — Буняковского, убеждаемся, что она для любой точки z выпуклого замкнутого множества

fi удовлетворяет неравенству (8.19):

= (1 - |® - ®0|) (1 - \z - ®о|) < О,

поскольку |® — ®о| > 1 при X £ С1 И \z —®о| < 1 при Z € С1. Множество fi = { z 6 Rn: \z —®о| = 1} замкнутое, но не вы­

пуклое. Для точки х 0 £ й существует бесконечное множество проекций на Cl, а для всех других точек ® такая проекция един­ ственна и может быть найдена при помощи (8.21).

где п € й п — единичный нормальный вектор этой гиперплос­ кости, а Ь— постоянное число, является замкнутым выпуклым множеством (см. 3.1). Проекцию точки ® ^ С1 на множество П будем искать в виде у = Рп{х) = ® + Ап, Л = const. Найдем число А из условия у еС1, т.е. (п, у) = (п, ® + Ап) = Ь. Отсюда А = b—(п, ®), поскольку (n, п) = |n|2 = 1, и

Убедимся, что точка у, определяемая соотношением (8.23), удовлетворяет неравенству (8.19) при любых z € П, т.е. при

(n, z) = b

= —b2 + b(n, x) + b(x, n) —(®, n )2 + {b—(n, ®))2 = 0.

Несложно проверить, что точка у = Рп{х) является проек­ цией точки х £ ГГ на полупространство

так как она для всех z Е удовлетворяет неравенству (8.19).

Лемма 8.1 . Если ранг матрицы А равен количеству ее строк, то квадратная матрица ААТ невырожденная.

◄ Предположим противное: матрица ААТ вырожденная и су­ ществует такой ненулевой вектор у Е Rm, что ААТу = 0. Тогда получим утААту = (Ату)тА'ту = (Ату , Ату) = \АТу |2 = 0, откуда -А у = 0. Но система линейных уравнений А у = 0 не имеет ненулевых решений, поскольку ранг матрицы Атсистемы равен количеству столбцов матрицы [III]. ►

Пример 8.5. Найдем проекцию точки х Е W1 на множество Q, = {z Е Mn: (rii, z) = 62, i = 1, ?п}, которое является замкну­ тым и выпуклым (см. 3.1). Примем, что единичные нормаль­ ные векторы щ линейно независимы, причемm <п (если m = п, то множество fi состоит из одной точки). Искомую проекцию представим в виде

г=1

Из условия у Е получим систему линейных алгебраических уравнений (СЛАУ)

для нахождения коэффициентов А*>, к = 1, тп. При линейно независимых векторах гг* определитель этой СЛАУ отличен

от нуля, так что она однозначно разрешима относительно коэффициентов А*. Для этого решения подстановка (8.25) в (8.19) с учетом (8.26) дает

т.е. неравенство (8.19) выполнено для любых z € ft.

Пусть векторы щ, г = 1 , «г, являются строками прямоуголь­

симы, то, согласно лемме 8.1 , матрица АА* невырождена. По­

Тогда для координат любой точки z = (z\, ..., zn) € ft справед­ ливы неравенства ( z j - y j ) ( x j- y j ) < 0, j = 1, n. Суммируя эти неравенства no j от 1 до п и учитывая формулу для стандарт­ ного скалярного произведения в Еп, приходим к (8.19).

8.4. М е т о д п роекц и и то ч к и на м н ож еств о

Сочетание метода градиентного спуска, используемого при безусловной минимизации целевой функции, и операции про­ ектирования точки на допустимое множество Cl составляет существо метода проекции точки на множество, приме­ няемого для решения общей задачи (8.18) нелинейного програм­ мирования. Такое сочетание позволяет на каждой к-й итерации обеспечивать соблюдение ограничений, задающих множество

Cl. При этом элементы релаксационной последовательности {х к} находят из рекуррентного соотношения

х к = Рп(хк~ 1 + щи)к) = Рп(хк), к 'е N, х к >0, (8.28)

где х к = х к~1 + щи)к — точка, используемая в обычном мето­ де градиентного спуска, wk = —grad/о (ж*” 1) — вычисленный в точке x k~l Е Cl (на первой итерации — в выбранной на­ чальной точке х° Е Cl) антиградиент целевой функции /о (ж), х Е D (f), дифференцируемой в ее области определения D (f), а выбор значения определен используемым вариантом метода градиентного спуска. Таким образом, на каждой к-й итера­ ции в качестве следующего приближения к точке х* минимума целевой функции в соответствии с (8.28) берут проекцию х к = = Ра(хк) Е П точки х к на допустимое множество Cl.

Если С1 — замкнутое выпуклое множество, то проекцию x k = Рп(хк) Е Cl можно найти непосредственно минимизацией на множестве Cl квадратичной функции

= z e n .

В самом деле, эта функция является сильно выпуклой (см. при­ мер 3.14), а значит, и просто выпуклой. Она, согласно теоре­ ме 3.15, достигает минимума в точке х к 6 тогда и только тогда, когда выполнено неравенство (gradФ*(a:*), z — х к) ^ 0.

В данном случае grad^&^z) = z — x k~l —x^wk и поэтому О^ ^та.&Фк{хк), z - х к) = (хк - x k~l - x kwk, z - х к) =

= - { х к - х к, z - x k). (8.29)

Сравнивая с (8.19), убеждаемся, что точка х к минимума функ­ ции Фд:(Z ) на множестве ft является проекцией точки х к = = х к~ 1 + Kj^wk на это множество.

Различные варианты метода проекции градиента связаны со способами выбора значения в (8.28), пропорционально­ го шагу спуска в направлении антиградиента wk. Например, этот выбор можно провести, исходя из условия исчерпыва­ ющего спуска в направлении вектора wk или же, задавшись некоторым исходным значением XQ > 0, при необходимости на каждой к-й итерации уменьшать его до приемлемого значения ха;, гарантирующего сходимость последовательности {х к} к ис­ комому решению, т.е. использовать метод дробления шага.

Критерием прекращения поиска точки ж* £ ft минимума целевой функции на допустимом множестве ft С R n при приме­ нении метода проекции градиента служат те же условия вида (4.18) и (4.19), что и в случае безусловной минимизации.

На примере решения задачи (8.1) опишем подробнее после­ довательность действий при выполнении к-й итерации вариан­ та этого метода, в котором используется исчерпывающий спуск в направлении антиградиента wk. Примем, что допустимое множество ft задано ограничением д(х) = 0 типа равенства, где д(х) — функция, дифференцируемая на множестве Rn. Графическая иллюстрация к-й итерации в двумерном случае представлена на рис. 8.8. Здесь ft есть множество точек плос­ кой гладкой кривой Г, заданной уравнением д(х) = 0.

Пусть х к~ 1 £ ft — точка, найденная на предшествующей, (к — 1 )-й итерации (на первой итерации, к = 1 , она является выбранной начальной точкой ж0 £ ft). После вычисления ан­ тиградиента wk= — grad /о (ж*-1) в точке ж*"1, ортогонального линии уровня /о(ж) = fo{xk~l) целевой функции /о(ж), проведем

исчерпывающий спуск в направлении антиградиента до точ­ ки х к касания прямой спуска с линией уровня /о (х) = fo{xk) (см. рис. 8.8). Поскольку д(хк) = d ф 0, то ограничение типа равенства, задающее допустимое множество fi, нарушено. Для завершения к - й итерации и нахождения точки х к необходимо спроектировать точку х кна множество Q. В данном случае это означает, что нужно найти точку плоской кривой Г, наименее удаленную от точки х к. Так как функция д(х) дифференци­ руема, то можно доказать, что точка* х к будет основанием кратчайшего перпендикуляра, опущенного из точки х к на кри­

типа неравенства д(х) ^ 0, где функция д(х) дифференцируе­ ма в Rn. На рис. 8.8 это множество — часть плоскости, огра­ ниченная кривой Г, которая описывается уравнением д(х) = 0. При д(хк) = d > 0 имеем х к £ $7, так что геометрически про­ екция точки х к на множество Q снова является основанием кратчайшего перпендикуляра, опущенного из этой точки на кривую Г.

Рассмотрим условия сходимости последовательности {ж*}.

Теорема 8.1 . Если — замкнутое выпуклое множество, а целевая функция /о (ж) на этом множестве ограничена снизу, непрерывно дифференцируема и для любых аз, у £ П удовлетво­

ряет условию

то при любой начальной точке х° £ О для релаксационной последовательности {жк}, построенной по формуле (8.28), где

0 < £о ^ Xk ^ тттГ) £ > 0, верно равенство lim |a?fc_1 — хк\=

= 0. Если при этом множество Хо = {ж £ fi: /о(ж) ^ /о(ж0)} ограничено,. то такая последовательность имеет хотя бы одну предельную точку аз*, в которой для любых х £ Q выполнено неравенство

◄В силу леммы 4.4 из неравенства (4.26) при х = а :*-1 а у = х к имеем

Из равенства (8.28) при wk= —grad/о (ж*-1) и свойств операции проектирования точки на множество (см. 8.3) вытекает, что для любой точки х £С1

Так как последовательность {ж*} является релаксационной, т.е. fo(xk) ^ fo(xk~1), то последовательность {/o (* fc)} невоз­ растающая и ограничена снизу в силу огранйченности снизу функции /о(ж) на множестве П. Согласно признаку Вейер-

Проиллюстрируем возможности метода проекции точки на множество на конкретном примере.

Пример 8.7. Минимизируем квадратичную целевую функ­ цию

fo(xi,X2 ) = lOxf — 4iiX2 + 7a:2 —4\/5(5®1 — 22) — 16

на допустимом множестве

fi = {(zi, 22) € К2: х\ —22 —у/Ъ = О}.

В качестве начальной точки выберем х° = (0, —>/5) и исполь­ зуем два правила выбора значения щ в (8.28): постоянные значения х = 0,1 (рис. 8.9, а) и х = 0,05 (рис. 8.9,6) и выбор *к = Хк в процессе исчерпывающего спуска (рис. 8.9, в).

На каждой к-й итерации проектирование точки х к на мно­ жество Q, выполняем в соответствии с (8.23) по формуле

где b= i/5 /2 и п = (1 / - / 2, —1 /%/2) — нормальный вектор пря­ мой, заданной уравнением х\ — 22 —у/Ъ= 0. Условием прекра­ щения поиска точки х* = (2 *, 2 ^) минимума целевой функции является выполнение неравенства \хк— х к~1\< е\ = 0,01, после чего принимаем х* « х к и /(a:*) « f{x k).

Точное решение рассматриваемой задачи дает аз* = (-/5, 0) и /(ж*) = —66, причем у/Ъ« 2,2361 с точностью 5 •10-5 . Ре­ зультаты численного решения, представленные в табл. 8.2, по­