книги / Регулярные методы решения некорректно поставленных задач

Пусть теперь N = PX\ P 2 - сингулярное разложение матрицыN, т.е. Pi и Р2 —ортогональные, Л - ’’диагональная” матрица. Используя тот факт, чтоха удовлетворяет уравнению

(NTN + otE)xa = N Tf,

и выполнив несложные преобразования в (5), получаем оконча­ тельные формулы

где Л,- есть /-е сингулярное число матрицы N при /< и, X,

/ > есть /-я компонента вектора эТ/.

п, g( Р(

Представление (6) делает очевидным утверждение леммы о монотонности функций R s, ys и F s. Сформулированные в лемме свойства выпуклости следуют из того, что знак второй производной функции

( г д е bh Cj неотрицательны,к > 0 при а > 0, l> - \jk) совпадает со знаком / . Лемма доказана.

В дальнейшем значения s > —1, s Ф 0 удобно называть допусти­ мыми. Заметим еще, что функции R s, ys и F s легко доопределить

Непосредственным следствием леммы и условия разрешимости уравнений (2 )-(4 ) является

Т е о р е м а 99. Метод касательных Ньютона для определения корней уравнений (7) сходится для допустимых значений s при любом начальном приближении а > 0.

3. Выберем теперь значения степеней s, дающие наибольшее приращение параметра а на каждом шаге (начиная со второго) при

Исследуем Act как функцию s. Используя лемму 53 при s = 1, получаем, что множитель ( -у / у' ) в (8) положителен, а положитель­ ная величина q = еу/у меньше единицы, по крайней мере, начиная

s > —1 достигается при s = —1. Заметим, что при s < — 1 безуслов­ ная сходимость метода Ньютона для уравнений (7) не гарантирует­ ся, так что значение — 1 обеспечивает наибольшее приращение Да для любой из рассматриваемых функций на одном шаге метода Ньютона, т.е. наибольшую скорость сходимости метода.

Далее оценим скорость сходимости метода Ньютона при реше­ нии уравнений (7). При этом ограничимся случаем s = — 1 как наилучшим в указанном смысле.

сходимости метода касательных Ньютона определяется формулой

При otn , достаточно близких к значению корня соответствующе* го уравнения, справедливы следующие оценки:

//:X/ФО

212

лярные числа матрицы N. Таким образом, асимптотически

4. Переходим к описанию схемы вычислений при определении корней уравнений (7). Как видно из (7), для реализации одного шага метода Ньютона требуются значения у(ап) иу ' (ап) •Так как решение задачи минимизации (1) эквивалентно решению системы линейных уравнений

деления решения иа системы (И ) по одной из формул, определяю­ щих функцию у (а ).

Для вычисления значений у ’ (а) потребуются значения производ­

с той же матрицей, что и для вычисления иа , но с другой правой частью. Выражение (13) получается прямым дифференцировани­ ем (11). Производные для функций R (OL) и F(a) легко вывести, используя соотношения (12), а именно

Р'(а) = - Р2 (ир,Сир),

где принято обозначение р = 1/а. Векторы ир и Мр находятся из уравнений

Для сокращения объема вычислительной работы можно выпол­ нить преобразования, предложенные В.В. Воеводиным. Матрицу С

методом квадратного корня разложим в произведение КТК = С, где К — верхняя треугольная матрица. Затем матрицу N = АК~1 приведем к двухдиагональному виду: N= QDR, где Q VLR —ортого-

213

нальные матрицы, D — верхняя двухдиагональная. Полагая z a =

z a преобразованной системы (16) из соотношения

Киа = R Tza.

Легко получить выражения для функций p(a)=\\Dza -<р\\т,

У (л) = II za ||и, ^ (а) = р2 (а) + осу2(а)

идля их производных

р' (а) = -о. (^а>*а)

р(а )

F '(a ) = - P 2(2p, zp ),

где р = l/o, zp и Zp определяются последовательным решением трехдиагональных систем уравнений

с одной и той же матрицей коэффициентов.

Расчетные формулы (17), (18) и (19) требуют значительно меньшего объема вычислений, чем формулы (2 ) - (4 ), (14) и (15).

5. Мы рассматривали параллельно три способа определения па­ раметра регуляризации, которые для удобства назовем р-, <р- и 7-ме- тодами. Однако эти методы не одинаково эффективны с вычисли­ тельной точки зрения.

При «^-методе система уравнений решается один раз на каждом шаге метода Ньютона, а в других методах - дважды на шаге.

Далее, приближение к корням соответствующих уравнений про­ исходит слева, по крайней мере, начиная со второго шага. Для р- и ^-методов это благоприятный фактор, так как обусловленность систем уравнений (15) или (19) будет наилучшей при а = 0; с рос-

214

том а обусловленность ухудшается. Для 7-метода указанное обсто­ ятельство является неблагоприятным, так как при а = 0 систе­ мы (11) и (13) или (16) и (18) наиболее плохо обусловлены (воз­ можна даже вырожденность этих систем). Это может привести к большой потере точности или даже к переполнению разрядной сетки при определении иа или za, если а окажется достаточно близ­ ким к нулю в начальный момент или в результате выполнения ша­ га метода Ньютона.

Неравенства (10) показывают, что и в отношении скорости схо­ димости 7-метод находится в менее благоприятных условиях, чем остальные. Это связано с тем, что величина X^fin существенно за­ висит от поведения сингулярных значений матрицы N, в то время как величина Х^ах всегда ограничена числом || jVr jV||.

Заметим, что в р- и ^-методах в качестве начального приближе­ ния к корню можно всегда взять а = 0. Как легко вывести,

R (0+) = H/IU = II * IL. F(0+) = ||/и», = II * и*,.

F' ( 0+) = -dC-'lA Tf, A Tf ) = -II N Tf\\l = -II D T$ ||’ .

Описанный здесь p-метод выбора параметра регуляризации реа­ лизован на фортране (Численный анализ на ФОРТРАНЕ, вып. 6, 7, под ред. В.В. Воеводина. - М.: МГУ, 1974), при этом использова­ лись матричные разложения, приводящие исходную регуляризованную систему уравнений к системе (16) с трехдиагональной матри­ цей. Регуляризованное решение иа восстанавливается лишь после определения корня ар уравнения (2).

В качестве начального приближения к корню всегда берется а = 0. Выполненные расчеты показали неожиданно быструю сходимость p-метода. Так, нормальное решение системы уравнений 8-го поряд­ ка с вырожденной матрицей было определено за две итерации при относительной точности вычисления корня, равной 10’ 3. Это об­ стоятельство наводит на мысль, что при задании невысокой точ­ ности вычисления корня (2) и решении системы (15) с обычной точностью нет необходимости в выполнении соответствующих мат­ ричных разложений, так как они требуют значительной затраты ма­ шинного времени, окупаемой лишь при многократном решении регуляризованной системы уравнений. В рассматриваемом случае регуляризованное решение, удовлетворяющее (2), может быть получено за вполне разумное время непосредственно на основе формул (15).

6. Пусть L — матрица размера s X п такая, что квадратичная форма \\Аи ||2 + \\Lu\\2 положительно определена. Это предполо-

215

жение обеспечивает, очевидно, выполнение условия дополнитель­ ности. Пусть иа реализует минимальное значение функционала

Фа [м] = \\Аи - / | | 2 + a \ \ L u - g \ W u e R ni

где g Е Rs - заданный вектор. Таким образом, мы рассматриваем

Очевидно, их = м1/л. Обозначим p0 Q0 = II А и х - / | | . Тогда р0 (X) -

Используя определение р0 (X) и приведенные уравнения, получаем

216

Используя неравенство Коши—Буняковского, имеем

Теорема доказана.

З а м е ч а н и е . Матрица С = L TL может и не быть положитель­ но определенной. Если С > 0, то в теореме можно считать X > 0.

7. Пусть С > 0 и для определенности вектор g = 0. Выполняя разложения, указанные в п. 4, можно записать

Ро (X) = ||0z* -<pll,

где z x определяется из системы, аналогичной (16),

матрица которой трехдиагональна. Нетрудно видеть, что z x - z Xfx =

—za , ft —1 /X.

Использование (22) для вычисления р0 (X) связано с явным оп­ ределением решения z x этого уравнения. На самом деле для даль­ нейшего нам достаточно знать лишь вектор ех = Dzx — <р. Ниже предлагается простой метод, позволяющий непосредственно вычис­ лять только этот вектор. Это позволяет обеспечивать вычисление с большей точностью значений как функции р0 (X), так и ее произ­ водной, необходимых при численном решении уравнения

Именно, умножая (22) на матрицу р , видим, что ех удовлет­ воряет уравнению

(E + \ DDT)ex = -ip.

II (Е + \DDT) “1 || < 1 при всех X > 0.

Последовательные приближения к корню Хд уравнения 1/Ро (X)А 1/А,

равносильного (23), определяются согласно формуле

217

где начальное значение Х0, как правило, выбирается так, чтобы О ^Х 0 ^ Х д .

Остановимся на методе выбора начального приближения. Оче­ видно, в данном случае всегда можно брать Х0 = 0. Однако при незначительных дополнительных вычислительных затратах можно указать более точное начальное приближение к корню.

Идея заключается в построении простой функции г (X), являю­

все величины в которых легко вычислить.

8.Остановимся еще на некоторых моментах численной реализа­

ции. Замечая, что матрица

г* л

D D= ... ,

0

А

где D — верхняя двухдиагональная матрица порядка п, получаем

218

а векторы е и de/dX определя­ ются из ’’урезанных” систем уравнений

(£, + Х Ш г )е = -*>,

Преимущества, достигаемые при переходе к уравнениям (24), очевидны, особенно при т > п. Решение (24) можно осуществить методом прогонки. Вычисление р0 (X) иро(Х) осуществляется сог­

Решение z K системы уравнений (22) находится согласно формуле

z A= - XD'e

или непосредственно из системы уравнений

{E + \ D TD) z k =\DT$

при найденном значении параметра X = Хд, определяемом уравне­ нием (23).

9. Применение модифицированного (обобщенного) критерия выбора параметра регуляризации связано с необходимостью ре­ шать уравнение

где h > 0, т > 0 —некоторые фиксированные величины.

Опишем процесс нахождения корня а уравнения (25) при усло­

Из геометрических соображений (рис. 4) видно, что такое зна­ чение Oi существует и единственно. Для численного решения (26) естественно воспользоваться свойством выпуклости вниз функции

219

левая часть которого является выпуклой вниз, так к а к 7#(а0) < 0. Поэтому корень Л* уравнения (27) можно эффективно найти, например, методом касательных Ньютона. В качестве нулевого приближения в процессе определения \ \ естественно взять корень уравнения р0 (X) = т. Положим ах = 1/Хi . Очевидно, <*х является корнем уравнения (26).

ложив a = 1/Х. В качестве нулевого приближения к корню Х2 урав­ нения Ро (X) =у2 ( 1/Х) целесообразно взять X i . Ясно, что а2 = 1/Х2.

Рассмотрения данного параграфа были связаны с конечно­ мерными операторами А и L. Однако сформулированные резуль­ таты имеют место и в общем случае. Мы не будем их приво­ дить из-за излишней громоздкости соответствующих формули­ ровок.

§ 27. Эвристические методы выбора параметра регуляризации

Фа [и;и*] =\\Аи -f\\}? + a\\u - и * \\гн , а > 0 .

Предполагаем также, что оператор А ограничен и определен на всем Н.

ричным регуляризованным семейством. Аналогично определяет­ ся р-ичное регуляризованное семейство.

В целях упрощения дальнейшего анализа выразим р-ичное ре­ гуляризованное семейство через первичное. Имеем в силу урав-

220