книги / Численные методы решения некорректных задач

причем

Покажем, что такие д;* существуют. Действуя на разложение z по. Т ^

/= -(/1-1) i* о

Выберем ак по следующему правилу: если Ък z > 0, то

Если эта сумма равна единице, то теорема доказана. Пусть

л - 1

2а/ = у < 1.

/» - ( „ - о

/* о

Вэтом случае вместо ау,а _ х достаточно взять

а\ =а\ +(1 -7 )/2 , a ii =д_1+(1 - у)/2.

Теперь задача построения последовательности, минимизирующей функционал Ф(г) на множестве Vc функций, вариации которых не пре­ восходят Q легко решается методом условного градиента. (Эта задача, как отмечалось, представляет самостоятельный интерес для приложений.)

Рис. 3.5 демонстрирует возможности условного градиента для реше­ ния задач на множестве функций, вариация которых не превосходит за­ данной константы.

Точное решение задачи (6)

z(s) = (е—(*—0,з)2/°>оз +е—<*-о.7)^о,оз)0>9550408„ 0,052130913.

Правую часть уравнения (6) возмутим равномерно распределенной случайной погрешностью таким образом, что б2 =5,56 * 10“6. Приближенное решение z (s) получено после 800 итераций. Значение функционала невяз­ ки Ф(z) = 2,27 • 10"5, что соответствует примерно 15 %от максимума пра­ вой части. Использовалось начальное приближение z *0;(s) = 0.

91

Таким образом, показано, что все методы, предложенные д § 2, 5 гл. II для решения некорректно по­ ставленных задач на множествах спе­ циальной структуры, легко реализу­ ются методом условного градиента, поскольку в каждом случае, пере­ ходя к конечно-разностной аппрок­ симации, мы приходам к задаче ми­ нимизации квадратичного функцио­ нала (оператор А линеен) на мно­ жестве, которое представляет собой выпуклый многогранник в R", вер­ шины которого удается найти в яв­ ном виде. После этого алгоритмы

решения задачи элементарно реализуются. В § 2 гл. IV приведем описание программ, реализующих эти алгоритмы.

З а м е ч а н и я . 1. Заметим, что даже в случае, когда оператор известен точно, при переходе к конечно-разностной аппроксимации мы заменяем оператор А на некоторый конечномерный оператор А В этом случае необходимо контролировать погрешность аппроксимации (выбором коли­ чества узлов сетки) так, чтобы выполнялось соотношение hC0 ^ 5 .

2. Сложности, возникающие при попытке перенести результаты настоя­ щей главы на случай нелинейного оператора А, хорошо известны и связаны

стем, что при этом функционал <t>(z) = II Az - us II2 может уже не являться выпуклым. Поэтому гарантировать сходимость итерационных алгоритмов

спроизвольного допустимого начального приближения невозможно.

§ 2. Применение метода проекций сопряженных градиентов для решения некорректно поставленных задач на множествах специальной структуры

В предыдущем параграфе были предложены алгоритмы приближенного решения некорректных задач на специальных множествах, основанные на методе условного градиента. Эти методы нашли широкое применение для решения целого ряда практических задач. Однако, как показала практика, указанные итерационные алгоритмы являются действительно эффективны­ ми лишь при относительно невысокой точности задания входной информа­ ции (приблизительно несколько процентов). В случае, когда требуется достигнуть меньших значений функционала невязки Ф(г) (более высокая точность задания входной информации), время счета резко возрастает. С другой стороны, в настоящее время точность задания входной информации в некоторых обратных задачах физики [71] составляет доли процента, и это еще не является пределом. Поэтому возникла необходимость создания высокоэффективных алгоритмов решения некорректно поставленных за­ дач с ограничениями. Ряд интересных алгоритмов решения некорректных задач на специальных множествах предложен в работах [48,141,149,150] .

92

В §2,3 этой главы будут предложены эффективные алгоритмьг^решения некорректных задач на специальных множествах, решающие задачу построе­ ния приближенного решения за конечное число шагов.

точно и линеен. За приближенное решение, как мы убедились, можно при­

множества

Функционал Ф(г) = II Az - и$ II2 переходит в квадратичную функцию <р(z). Таким образом, приходим к следующей задаче: построить минимизи­ рующую последовательность для функционала Ф(г) на одном из множеств (9 )-(1 1 ). w ^

Пусть У —одно из множеств М М или М I. Заметим, что любое огра­ ничение (9) —(11) может быть записано в виде

где F - матрица размерат0 Xп, т0 —количество условий,определяющих множество, g — вектор ограничений длины т0*Неравенство понимается в смысле покомпонентных неравенств.

Если z находится на границе множества, то одно или несколько нера­ венств в (12) могут обращаться в равенства. Множеством активных огра­ ничений /(z) (в точке z) будем называть множество индексов (быть мо­ жет, не всех), для которых в точке z выполнены равенства

2 Fy Zj-gf.

i= i

Через dim/ будем обозначать число элементов в множестве /. Назовем матрицей активных элементов матрицу Fj размера dim/ X п, строками ко­ торой являются строки матрицы F , номера которых принадлежат /(z).

93

Метод проекции сопряженных градиентов для минимизации функции (13) при ограничениях (12) проще всего записывается в алгоритмическом

проекции сопряженных градиентов без изменения матрицы активных огра­ ничений/: :=0.

Шаг 1.1. Поскольку метод сопряженных градиентов находит минимум в R” за п шагов, если к = п, то решение найдено. В этом случае переходим на шаг 6.

Шаг 1.2. Вычисляется направление спуска р ^ : если к = 0, то

р^к) =- grad^(zw ), иначе

II grad ip (z^ ) II2

p(fc>= —grad(/> |г = z(k)

llgrady>(z^fc-1^) II2

Шаг 1.3. Вычисляется ак —величина оптимального шага вдоль этого направления по формуле

1 (grad.?(z(fc>), р (*>) **= 2 (Qp<h\ p « b

Шаг 1.4. Вычисляется атях —величина максимально возможного шага

ходим на шаг 1.1; иначег^+1^: = z(** + amaxp ^ и переходим на шаг 2. Шаг 2. Появились новые активные ограничения. Находим одно из но­

вых активных ограничений и включаем его в множество активных ограни­ чений /(z). В соответствии с этим изменяем матрицу активных ограниче­ ний; т: - т + 1.

ный минимум на (п - га)-мерном линейном многообразии находится мето­ дом сопряженных градиентов за п - т шагов. Поэтому выход из шага 4 проводится по сравнениюк - п - т .

Если минимум на многообразии найден и т = 0, то переходим на шаг 6. Если минимум найден и т Ф 0, то переходим на шаг 5. Если минимум не найден (т.е.ак > дтах) , то переходим на шаг 2.

94

Шаг 5. Сюда мы попадаем лишь в том случае, если на соответствующем многообразии найден точный минимум. Дальнейшее перемещение в этом многообразии или в более узких, получаемых добавлением новых ограни­ чений не позволяет уменьшить значение у (z) . Необходимо выбросить одно из ограничений так, чтобы при движении по направлению, ставшему теперь возможным, функционал <^(z) убывал, а точка не выходила за пределы допустимого множества Y. Для этого поступим следующим образом.

Шаг 5.1. Вычисляем набор из т теневых параметров по формуле

и0 = (F /F J ^ F /g ra d ^ .

Шаг 6. Конец.

Как видно из алгоритма, при каждом переходе к новому подпрост­ ранству необходимо вычислять оператор проектирования РТ, а для этого в алгоритме необходимо обращать матрицу FjFj . Та же проблема возника­ ет при вычислении теневых параметров м°. Очевидно, что это возможно лишь в случае, когда строки матрицы Fj линейно независимы. Приведен­ ный алгоритм в случае, если строки матрицы активных ограничений неза­ висимы, решает задачу минимизации квадратичной функции <p(z) на мно­

рудно убедиться в том, что ряд ограничений, определяющих множества М, можно отбросить. Очевидно, что из условий - 2z( + zl+1 < 0 (/ = = 2, 3, . . . , п —1) и условий z i > 0, zn > 0 следуют неравенства z,- > 0 (/ = 2, 3, . . . , п —1). Таким образом, множество М можно задавать сово­ купностью п условий:

Z\ ^ 0

В обоих случаях все оставшиеся условия линейно независимы, поэтому во всех матрицах Fj, которые могут появиться при реализации метода проекции сопряженных градиентов, строки также будут линейно незави­ симы.

95

Для случая, когда решение задачи ищется на множестве Л/1^, мы име­

Однако нетрудно показать, что для любой выборки к ограничений, к < л, строки матрицы активных ограничений будут линейно независимы. Все /1+1 ограничений одновременно не могут быть активными, поскольку это приводит к равенству С = 0.

Таким образом, после указанных изменений в ограничениях, опреде-

Vw/ W

ляющих множества М^с* М, МI, задачу построения последовательности, ми­ нимизирующей ip(z) на одном из указанных множеств, можно решать методом проекции сопряженных градиентов. В § 4 гл. IV приведено описа­ ние программы, реализующей описанный алгоритм.

Проиллюстрируем возможности метода проекции сопряженных гради­ ентов решением модельных задач.

На рис. 3.6 приведены точное и приближенное решения модельной задачи (6) с использованием априорной информации о монотонном убыва­ нии искомой функции и ее ограниченности сверху константой С = 1. Точ­ ное решение z(s) = 1 - s2. Задача решалась с точной входной информацией 6 = 0 . Полученное приближенное решение соответствует значению невязки Ф(г) = 9,28 • 10“12. В качестве начального приближения использовалась функция z <°>(s) = 0,5. Для решения задачи потребовалось 15 минут време­ ни центрального процессора на БЭСМ-6. Было сделано 100 больших циклов.

Задача (6) с точным решением Y(s) = 1 —s2, но правой частью, возму­ щенной случайной погрешностью таким образом, что 52 = 6,63 • 10”5, имеет приближенное решение, изображенное на рис. 3.7. Это решение соответству­ ет значению функционала невязки Ф(г) = 6,62 • 10 , т.е. примерно 3 % по отношению к максимуму правой части. Для получения решения потре­ бовалось 23 больших цикла.

96

§3. Применение метода проекций сопряженных градиентов

спроецированием на множество векторов

снеотрицательными компонентами

для решения некорректно поставленных задач на множествах специальной структуры

Вернемся к задаче отыскания приближенного решения некорректно

поставленной задачи (1) на множествах Z l 9Z, ZI. В § 2 был предложен алгоритм построения приближенного решения задачи (1) для линейного оператора А за конечное число шагов. Однако при реализации этого алго­ ритма необходимо обращать матрицу FJ F J , что при достаточно большом числе активных ограничений приводит к значительным затратам машинно­ го времени. В настоящем параграфе предложен алгоритм, основанный на методе проекции сопряженных градиентов с проецированием на множество векторов с неотрицательными компонентами. В этом случае проектор вы­ числяется элементарно.

Рассмотрим сначала задачу построения минимизирующей последова­ тельности для квадратичного функционала у (z),z Е Rw, на одном из мно-

жеств М или Ml. Докажем предварительно ряд утверждений.

Пусть Y —одно из множеств М или M l, Т ^ (/ = 0 ,1 , ... , п) —соот- v.;

ветственно вершины выпуклых ограниченных многогранников М с, Ml с

/= i

причем aj > 0 (/ = 1, 2, . . . , п).

Д о к а з а т е л ь с т в у Справедливость леммы следует из линейной независимости векторов Т ^ (/ = 1 ,2 ,.. ., п) . Неотрицательность коэф­ фициентов aj следует из явного вида коэффициентов ду- (см. § 3 гл. II).

Рассмотрим оператор Т из R" в R", определенный по формуле

рим теперь функцию f(x) = <р(Тх), определенную на множестве П+. Тогда вместо задачи минимизации (z ) на Y можно решать задачу минимизации / ( х) на П+ , поскольку между К и П + оператор Т~1 осуществляет взаимно однозначное соответствие.

В силу линейности оператора Т функция/(х) —квадратичная, так же

как и функция <p(z). Таким образом, задача отыскания приближенного

__'

решения некорректно поставленной задачи (1) на множествах Z и ZI сво­ дится к построению последовательности, минимизирующей квадратич­

97

ную функцию f ( z ) на множестве векторов с неотрицательными компонен­

тами.

Аналогично можно решать задачу построения приближенного решения

(1) на множестве монотонных функций, если отказаться от ограниченности сверху константой С функций из множества Z

Рассмотрим

ся тривиально. Напомним, что нам необходимо найти такой элемент х& £ G П+ , что/(*б) < 62. Приближенное решение z6 задачи (1) находится пос­ ле этого по формуле z 6 = Тх&.

Описанный в настоящем параграфе метод предложен в работах [65,67], в § 5 гл. IV мы опишем его программную реализацию.

Проиллюстрируем возможности метода сопряженных градиентов с проецированием на множество векторов с неотрицательными компонента­ ми.

В качестве модельной задачи рассматривалась задача (6). Точное реше­ ние z (s) = 4s (1 - s). Использовалась априорная информация о выпуклос­ ти этого решения. Точность задания правой части принималась равной нулю. Полученное приближенное решение изображено на рис. 3.8 точками. Значе­ ние невязки Ф(г) = 1,05 • КГ14,что соответствует относительной погрешности примерно 5 • 10"5 % (по отношению к максимуму правой части). Всего для нахождения полученного решения потребовалось 42 итераций. В качест­ ве начального приближения использовалась функция z (°\s) = 0.

На рис. 3.9 изображено приближенное решение задачи (6) с возмущен­ ной правой частью. Величина возмущения выбиралась таким образом, что­ бы б2 =7,40 • 10"5, что составляет 3 % от максимума правой части. Приб­ лиженное решение было получено после 2 итераций метода проекции сопря­ женных градиентов и соответствует значению невязки Ф(г) =7,29 • 10~5.

Получаемое при решении задачи (6) на множестве монотонно убываю­ щих, выпуклых вверх функций с точным решением z(s) = 1 —s2 (погрешность задания правой части равна нулю) приближенное решение изображено на рис. 3.10. Это решение соответствует ’’точному” минимуму (с точностью до накопления погрешностей округления в программе) функционала невяз­ ки Ф(г).Для нахождения этого решения потребовалось 224 итерации метода проекции сопряженных градиентов. Значение функционала невязки на

*) Заметим, что в случае, когда точное решение z - монотонная ограниченная функция, для доказательства сходимости приближений к точному решению сущест­ венна информация о равномерной ограниченности функций из Z \ Q. Здесь мы эту информацию опускаем.

98