что функция у = / (жх, жа) находится на «гребне» в точке (ж?, ж®), являются условия
»= (*x+ ei*a) < u ( xv Ла)
у(хV * » + в) < » ( * ! » *а)
Для функции с минимумом в аналогичной ситуации, т. е. У — f (жц ж2) говорят об «овраге».
Передвижение по «гребню» позволит ощутимо улучшить ре зультат поиска, однако описанный выше градиентный метод по зволит лишь вйшти'на «гребень»; дальнейшее же движение или
Рио. VI-7. Функция у as / |
ос*) о «греб |
Рис. VI-8. Поиск экстремума методом |
нем» . |
|
Гельфанда — Цетллна. |
|
|
|
|
I» 2, 3 — оптимальные |
точки при гради |
|
|
ентном поиске; |
сплошные |
кривые — ли |
|
|
нии равного уровня. |
|
|
очень длительно, |
или вообще |
невозможно., |
так |
как |
движение |
к истинному экстремуму оказывается зигзагообразным, причем |
изменение направления происходит тем чаще, чем ближе точка к экстремальной. Показано, что теоретически градиентный поиск вообще не может привести к истинной экстремальной точке, а мо жет лишь приблизить к ней.
Для движения к экстремуму по «оврагу» или «гребню» удобен метод, предложенный Гельфандом и Цетлиным, который часто называют методом «оврагов». В этом методе из исходной точки 1 (рис. VI-8) осуществляется два движения по градиенту, а затем большой шаг по линии 1—5. Легко заметить, что истинный экстре мум расположен вблизи этой линии. Для каждого из xj при пере мещении по этой линии справедливо соотношение
, |
ж/onp= xi\~Ьо, (х/з—Xji) |
„ / |
где |
а — параметр, одинаковый для всех переменных. |
|
После существенного перемещения можно, всю процедуру |
повторить. |
|
Из приведенного рисунка видно, “что метод «оврагов» эффекти |
вен для функции двух переменных и в случае, когда линии рав-
ного уровня имеют форму эллипсов. Действительно, при поиске минимума функции двух переменных метод «оврагов» дает хоро шие результаты. В случае же функций многих переменных этот метод хотя и позволяет сократить число расчетов по сравнению с обычным градиентным методом, все же является трудоемким, так как «овраги» сильно искривлены и приходится часто уточнять их направление. Поэтому в ряде работ предложены модификации метода «оврагов», позволяющие применять его для функций мно гих переменных.
В методе вращающихся координат (Розенброка) осуществляется поворот системы координат так, чтобы одна из осей совпала с на правлением «гребня». Для иллюстрации метода воспользуемся векторными представлениями.
Рис. VI-9. Модификация градиент ного метода для движения в около-
экстремальной области «овражной» функции.
Пусть гг — радиус-вектор точки 2, лежащей на «гребне»
и имеющей координаты х 1Л, х 2Л, ..., xktV Пусть ra — радиус-век тор точки 2 , лежащей на том же «гребне» и имеющей координаты x i,2 i ж2,2’ •••» хи,2- Тогда ось, проходящая по «гребшо», должна
проходить в |
направлении |
ах = |
г2—гх с составляющими ах = |
= (x i.2 ~ x i,i)l(2i xi. i)2’ |
Проводя перемещение по направлению |
ах из точки |
1, получаем |
параметрические уравнения |
|
, 1 “Ь 7 |
iPg — #2» i~f- Х#2 |
Это перемещение вдоль гребня проводим до наилучшен точки. Затем можно изменить направление движения в направлении пер пендикулярной оси. Охарактеризуем вторую ось. Ее можно полу.
чить, вводя вектор а 2,2> У которого первую составляющую аг
заменяем нулем. Проекция a 2i2 на а» является вектором с соста
вляющими, полученными по правилу проектирования векторов
— •>
в виде суммы произведений составляющих a 2t2 и аг
Вычитая вектор-проекцию |
■—г |
вектор |
а2, |
из а а,2> найдем новый |
перпендикулярный а г Этот |
вектор и определяет |
вторую |
ось |
новой системы координат. |
|
|
|
Возможны различные модификации градиентного метода, на правленные на ускорение движения в окрестностях экстремальной точки. Одна из модификаций заключается в следующем. Переме щаясь в направлении градиента из исходной точки 1, находят наилучшую точку 2 (рис. VI-9), но дальнейшее движение прово дим не из этой точки, а из точки 2', которая делит отреэок 1—2 в отношении, например, 9 : 1 или 8 : 2 и т. п. При этом удается избежать зигзагообразных движений по «гребню».
Отметим, что при движении по «гребню» лучше пользоваться нелинейной аппроксимацией.
Поиск экстремума с учетом ограничений
Такой поиск не вызывает затруднений, если ограничения заданы
на величины |
...» xk. В этом случае после выхода xj при гра |
диентном поиске |
па ограничение его величина фиксируется, |
и в дальнейшем поискеизменяются только |
другие переменные |
Х[ (i Ф /). |
|
|
|
Если же, кроме того, |
ограничения |
заданы в виде равенств |
(®i> . • |
= 0, i = l, |
. . ., |
Ш |
то можно использовать так называемый метод штрафов. Пусть ищется минимум функции у = / (хг, ..., xk). Введем для поиска экстремума вспомогательную функцию:
т
z = y + « 2 фГ »=1
где об — некоторое большое число. Эта функция будет достаточно большой во всех точках, где ф(- ф 0, т. е- не выполняются огра ничения. Поэтому минимумы функций у и z близки, и можно перейти от поиска экстремума (минимума) функции у с ограниче ниями к поиску минимума функции z без ограничений.
Рекомендуется вначале, выбрав для со некоторое значение оох, определить х 1Л ..., xk в околооптимальной области. Затем увели чивают C0j в 2 раза и проводят новый поиск. Если координаты экстремумов отличаются друг от друга не более чем на заранее заданную малую величину, можно считать поиск законченным.
Впротивном случае необходимо дальнейшее увеличение ое. Следует подчеркнуть, что для поиска условного экстремума
функции многих переменных метод .штрафов более экономичен, чем метод множителей Лагранжа, так как, во-первых, не при ходится увеличивать число подбираемых величин и, во-вторых, он применим к более широкому классу функций.
Весьма эффективен и метод Фельдбаума 16], если отсутствуют ограничения типа неравенств. Пусть движение по градиенту выводит поиск из допустимой области. Для возвращения в нее можно совершить обратное движение (по антиградиенту) с более мелким шагом. Но это невыгодно, так как поиск прерывается. Было предложено возврат в допустимую область сочетать с поис ком оптимума, учитывая градиенты как целевой функции у, так и нарушенного ограничения <р. Выбор движения между градиен тами целевой функции (быстрый поиск) и ограничения (быстрый возврат) в допустимую область может быть формализован, но
фактически выбирается движение по вектору г, полученному суммированием двух указанных векторов градиентов:
г= grad г/+ grad <p
4.ПОИСК ЭКСТРЕМУМА ПРИ НАЛИЧИИ ОШИБОК. СТОХАСТИЧЕСКАЯ АППРОКСИМАЦИЯ
Рассмотренные выше методы применимы для поиска экстре мума в детерминированных задачах, когда определенному набору
•••, xk отвечает одно определенное значение у. Однако из-за неточностей модели, ошибок определения ее коэффициентов или исходных экспериментальных данных при ее построении расчет
или эксперимент |
дадут лишь оценку величины у при |
заданном |
наборе х х, ..., х,г |
Это ставит задачу поиска экстремума |
случай |
ной величины у. |
|
|
Такой поиск развит для случаев, когда распределение у имеет некоторые ограничивающие свойства. Главное из них — ограни ченность дисперсии, так как только в этом случае оценка будет состоятельной, отличной от истинного значения на небольшую величину. Второе свойство — несмещенность результата, т. е. независимость совпадения математического ожидания и среднего значения от выбора х г, . . . , х к. Эти свойства выполняются для большого числа реальных ситуаций.
Отметим, что поиск экстремума, когда у является случайной величиной, рассмотрен при анализе планирования эксперимента (стр. 26). Он был основан на определении частных градиентов у по Х( (Ь,- = ду1дх{) и шаговом изменении xt в направлении гра диента:
где знак «минус» — движение к минимуму, «плюс» — к макси муму; п + 1 и п —■номера шагов; Axt — стандартное начальное изменение хг
Предполагалось, что для определения bt реализуется полный факторный план или дробная реплика и производится оценка
7* 195
значимости 6f. Движение к экстремуму продолжали с неизмен ными величинами Ъ{ до достижения наилучшего у (метод паискорейшего спуска). Однако для реализации полного факторного плана или дробной реплики может потребоваться большое число определений у, если направление градиента искривлено, с чем часто приходится сталкиваться в реальных ситуациях. Поиску в условиях неопределенности посвящен и рассмотренный выше (стр. 41) метод эволюционного управления. В этом методе при поиске оптимума используется как полученная ранее, так и «но вая» информация, что позволяет уменьшить число определений у при поиске.
Ниже рассмотрим еще один поисковый метод — стохастиче ской аппроксимации. Этот метод отличается от перечисленных выше тем, что для него не требуется определение уравнения регрес сии и оценки дисперсий параметров Ьг Вместе с тем ему при сущи положительные свойства известных методов: «быстрое» движение к экстремуму, использование при выборе движепия по лученных ранее данных.
Если значение у найдено по результатам п — 1 измерений при равных наборах х 1У ..., xk, в которых эти измерения поддер живали постоянными с возможной точностью, то, очевидно, наилучшей оценкой результата будет среднее значение yn_v Если выполнено еще одно измерение, то среднее значение после п
измерений |
будет |
|
|
|
2 VI |
|
П-1 |
|
ГС—1 |
2 у' |
1/л = |
i=1 |
i-1 |
ГС |
ГС-1 |
п |
Таким образом, «вес»ге-го измерения 1In. Последовательность 1In, называемую гармонической, впервые применили к задаче поиска решения уравнения у (х*) = 0 при наличии ошибок. Было найдено, что поиск быстро сходится, если величину х па шаг п находить из условия
* « = * * - 1 — «n-iJ/(*n-i) |
(VI .23) |
Показано 17], что для выполнения условий ограниченности дисперсии и несмещенности результата величина ап должна удовлетворять следующим уравнениям:
|
СО |
оо |
|
lim a„= 0, |
У а „ = оо, |
У а п < 00 |
(VI.24) |
|
л-? |
i |
|
Этим условиям удовлетворяет, например, гармоническая |
после |
довательность. |
|
|
|
Понятно, что при выполнении условий (VI.23) и (VI.24) раз личие между хп+со и х* приближается к нулю, но на произвольном шаге п при х — хп будет найдена лишь оценка величины у {хп),
которую обозначим z {хп). |
Пусть |
%(хп) отличается от у (хп) на |
небольшую |
величину 6п, |
т. е. |
|
и |
|
|
|
|
х п ~ |
ХП-1 |
an - lZ [Xn - l) = X n~1 |
а п-\У (z,t-i) — ял-]Дг-1 ~ |
|
|
— Т (лг„-|) |
|
Первый |
член |
правой части последнего уравнения Т (я,^ )— |
детерминированная составляющая, второй член (аЛ_1вп_х) харак теризует ошибку. В реальных поисковых ситуациях разделить детерминированную величину и ошибку невозможно; такое раз деление используется лишь для анализа роли ошибок. Оказы вается [3, 7], что для снижения влияния роли ошибок необходимо выполнение уже известных условий (VI.24).
Рассмотренный метод поиска применяют и для нахождения экстремума произвольной функции F (х), если при заданном х можно найти как F (х), так и ее производную у (х) = dF (x)idx. Понятно, что поиск экстремума сводится к определению корня уравнения у (х*) = 0.
Вместе с тем, если по каким-либо причинам вычисление произ
водной |
затруднительно, |
можно |
найти ее |
оценку |
в |
области от |
хп — сп до х,г |
сп (где |
сп — небольшая |
величина) |
по |
соотно |
шению: |
|
dl' (хп) |
= 1' (-г'ц ~4* си) F (х„ |
сп) |
|
|
|
|
|
|
|
|
|
|
|
|
dx |
|
|
|
|
|
|
В |
соответствии с условием |
(VI.23) величина |
хп+1 |
на шаге |
п + |
1 |
равна: |
|
|
|
|
|
|
|
|
|
|
|
F (хп Н~сл) —F (х„—сп) |
|
|
|
|
|
|
хп+1—хп—ап |
2 |
Дх |
|
|
|
|
|
|
|
\ |
|
|
|
|
|
Кифер и Вольфовиц |
[3, 7], |
исследуя такой поиск, показали, |
что он сходится к х*, если аа удовлетворяет уже известным усло
виям (VI.24), |
а сп — условиям: |
|
|
|
lim сп -> О |
Ж |
— оо |
|
п -> СО |
У |
|
|
|
п-1 |
|
|
Этим условиям отвечают, например, последовательности сп = |
’= 1/тг3, сп = |
const/л4 и т. п. Однако достаточно хорошая сходи |
мость может быть достигнута и в случае сп = |
const, что позволяет |
перейти к поисковому условию: |
|
|
|
|
F (x n+ c)—F (xn —c) |
|
Хп+1 — хп — а п |
|
2 с |
Ас |
где выбор с не вызывает затруднений, так как эта величина ока жется ощутимой по сравнению с ж на любом шаге поиска.
(Довольно просто можно обобщить рассматриваемую процедуру стохастической аппроксимации на случай поиска экстремума функции многих переменных. Такой поиск можно осуществлять обычным градиентным методом. Его итерационная процедура для
детерминированного поиска |
охарактеризована выше |
(стр. |
189). |
При стохастической аппроксимации выбор величин |
..., |
хк на |
шаге п + |
1 поиска проводится по соотношению вида |
(VI.23) для |
каждого |
из х : |
|
|
|
|
|
|
|
|
F |
(д1я~Ьс1я> х 2п> . . . » x kn)' |
F {хт схя< Д-аni ♦ •. >x kn) » |
п+1 — *1 •п — ап |
|
|
2 cln |
|
|
|
^Xl |
xk, л+1 —xkn — ®n |
Р (»1Д1 |
ч |
Xkn + Ckn) — |
F (x ln , |
•i xkn |
cktt) |
Д.т* |
|
|
|
|
|
|
2ckn
Таким образом, стохастический и детерминированный поиски различаются выбором интервала для определения производных и величиной стандартного шага (Дж4 при детерминированном поиске, а„Дж — при стохастической аппроксимации). Показано 171, что поиск методом стохастической аппроксимации удобно осуществлять, переходя к безразмерным переменным (см. главу I). В этом случае можно принять Джг = 1.
Подчеркнем, что стохастическая аппроксимация эффективна и в тех случаях, когда величина F получается в результате экспе римента, т. е. обязательно содержит случайную составляющую. Поэтому она полезна при поиске оптимума в экспериментальных исследованиях, в частности, в системах поиска оптимума при оптимальном управлении.
5. ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
В задачах химической технологии встречаются случаи, когда оптимизируемая функция у = f (хх, ..., xk) зависит от каждого их Xj линейно. Обычно для, такой функции справедливо уравнение
|
|
. .Ц-Ь^хь— i>o |
( V I . 2 5 ) |
а линейные ограничения имеют вид: |
|
к |
|
|
* |
^ aijxjzZ dh |
1 = 1, . . т, |
x j ^ O , |
; = 1, . . к (VI.26) |
Отметим, что каждое ограничение типа равенства позволяет уменьшит^» на единицу число независимых подбираемых перемен ных. Если, например, имеем ограничение вида
k
2 apjxl= d p h i
fe-1
dP __ ^ |
ар! Xj |
(VI.27) |
арк |
apk |
|
1-1
и число независимых переменных |
в уравнении (VI.25) |
будет |
(к— 1), так |
|
как |
хк определяется |
в |
соответствии с соотношением |
(VI. 27). |
|
|
|
|
|
|
|
Если же |
ограничение |
имеет вид неравенства: |
|
|
|
|
|
к |
< ip |
|
|
|
|
|
2 w |
(VI.28) |
|
|
|
|
1 -1 |
|
|
|
то, вводя дополнительную (к + |
1)-ю переменную, можно свести |
неравенство |
к |
равенству: |
|
|
|
|
|
|
|
к |
|
|
|
|
|
|
|
j S |
aplzl'\~xk*ls*ip |
|
В этом |
сл у ч а е ^ +1 также можно выразить через х г, |
..., хк |
но при этом число независимых переменных исходной задачи к не меняется.
Если в исходной задаче среди т ограничений вида (VI.26) имеем т' равенств и (т—т') неравенств, то последние можно заменить (т—т') равенствами, увеличив на столько же число переменных. Таким образом, получим новую систему линейных ограничений:
к'—к-\-(т—т')
l--- ■1, .■ , м fll 1 • • a, HI
hi
Вобщем случае, возвращаясь к принятой системе обозначений, получим:
к
^ £i/j x j с?/, I = 1, * P I (VI.29)
1-1
Эта система имеет сколь угодно большое число решений, но только часть из них — независимые. Для определения числа независимых решений, как показывается в матричной алгебре [8] необходимо определить ранг г матрицы А коэффициентов левой части системы (VI-29):
аи |
#12 |
alk |
а21 |
Д22 |
a2k |
яmi |
аП12 * |
amk, |
Определив методами матричной алгебры ранг матрицы А , для чего она должна быть преобразована в эквивалентную матрицу А'
1 |
а ’п |
|
а \ к |
0 |
1 |
• |
а ‘2к |
0 |
0 |
1 |
а )к |
|
|
• |
• • • |
• |
• |
0 |
0 |
0 |
0 |
J |
можно проверить, является ли система (VI.26) совместимой. Не обходимым и достаточным условием совместимости системы (VI.26) является равенство рангов г матрицы А и матрицы А", составлен ной из столбцов матрицы А и дополнительного столбца d.
Число независимых решений равно г и, следовательно, к—г переменных являются «свободными неизвестными», т. е. могут быть выбраны произвольно. Так называемое базисное решение можно получить, положив к—г переменных Xj (свободных пере
менных хг+1, ..., xk) равными нулю и определив |
оставшиеся г пере |
менных (базисные переменные х х, ..., хг) из |
системы (VI.26). |
Систему (VI.26), записанную в форме, удобной для выражения базисных переменных через свободные переменные, можно пред ставить в каноническом виде:
111+(а1|Г+1ат+1+» ••+ а 1кхк) = Pi
• I • |
• |
• |
• |
(VI.30) |
х г -Ь К . |
r+ ix r+ i -Ь * |
- •4 " &mkx k) — Ра |
|
В системе (VI.30) уравнения дают решения для всех базисных неизвестных, так как, задав любые значения для свободных неизвестных, находим базисные. Систему (VI.30) называют по этому приведенной к единичному базису (матрица коэффициентов у базисных переменных — единичная). Можно отметить, что при преобразовании системы к виду (VI.30) отпадает необходимость в предварительном определении ранга и совместимости.
Преобразование исходной системы к виду (VI.30) осущест вляется обычно методом последовательных исключений. По этому методу в матрице А выбирают ненулевой элемент а1Г Этот эле мент, а также строку, столбец и уравнение, в которых он нахо дится, называют разрешающими. Разделив разрешающее уравне ние на ац, получим:
а ц |
d, |
аХ1х1 +- •. + lx;+ a'klxk = d,t; а '{ - ац |
|
Это уравнение используют для исключения Xj из остальных. Для этого умножают преобразованное разрешающее уравнение последовательно на коэффициенты ajx, йу 2, при xj в остальных уравнениях и вычитают из них. В результате, например для пер вого уравнения получают:
(ви■—^7 ап )*1+ («И--~ Г ап ) *а+о*/+ . . - 0
