книги / Системы экстремального управления
..pdfДалее рассмотрим, как условие (8.4.14) определяет вы бор параметра а*. Для этого разложим функцию F (х) в степенной ряд в районе точки х* и ограничимся линей ным приближением (это означает, что рассматривается
fag |
№) |
frx) |
Pile. |
8.4.2. |
Процесс поиска |
корня при |
отсутствии |
помехи: |
я^ |
а\А |
< 1, |
б) ai-4 = 1 , в) |
1 < сцА < 2, |
г) <цА = 2, |
g) я*Л > |
2. |
довольно малая окрестность точки х*). Так как F (ж*)=0, то
F (Xi) ~ .А |
(ж* |
—х*), |
(8.4.16) |
|
где в соответствии с а = |
1 |
|
|
|
А = |
dF |
I |
> 0 . |
(8.4.17) |
|
dx |
х = х * |
|
|
Теперь условия сходимости регулярной составляющей. |
||||
(8.4.14) можно записать в виде |
|
|
||
|
<цА < |
2. |
(8.4.18) |
|
На рис. 8.4.2 показаны процессы отыскания корня при различных значениях параметра а для случая отсутствия помех. Хорошо видно, что при достаточно малых значе ниях этого параметра процесс сходится, а при больших — расходится.
Если имеется информация о величине наклона А, то выбор а = 1/А обеспечивает в среднем наилучшие уело-
вия отыскания корня (см. рис. 8.4.2, б). Если же о значе нии А никакой априорной информации нет (кроме знака), то однократный выбор значения параметра а* теряет смысл, так как при очень малом at сходимость в среднем будет также очень мала. Это видно из (8.4.9).
Поэтому значение параметра at следует сделать изме няющимся на каждой итерации, т. е.
at = f(i), |
(8.4.19) |
причем с ростом i значение аг должно монотонно умень шаться к нулю:
lim Étj = 0, |
(8.4.20) |
t—*oo
что при любом конечном А обеспечивает выполнение усло вия сходимости регулярной составляющей (8.4.18), начи ная с определенного номера итерации.
Определим путь, проходикшй в процессе отыскания корня. На N-м этапе он равен
N N
h |
= 2 |
|A*il — S fliIPixi) + eiI- |
(8.4.21) |
|||
Очевидно, что |
7=1 |
|
|
i=i |
|
|
|
N |
|
N |
|
|
|
|
|
|
|
|
||
|
IN ^ |
S |
aiF (x i) + 2 |
aiEh |
(8.4.22) |
|
откуда следует, |
что |
г=1 |
г=1 |
|
|
|
|
|
|
|
|
||
|
|
|
N |
|
N |
|
м |
(W < |
E «!*■ (*■)<•*” 2 «ч, |
(8.4.23) |
|||
где |
|
|
i=i |
|
i=i |
|
F* = |
max |
F fa) < |
oo. |
|
||
|
(8.4.24) |
|||||
|
|
i=l... N |
|
|
|
|
Это означает, что функция F должна быть конечна.
А так как исходное расстояние до цели | х0 — х* | не известно — оно может быть очень большим, — то для схо димости необходимо, чтобы М (Ц) было сколь угодно ве лико, т. е. равно бесконечности (иначе легко построить такой пример, когда процесс остановится, так и не дойдя до х*). Это требует, чтобы во всяком случае имело место
246 поиск в обсФановке ПОМЕ& trji. 8
выражение, которое следует из (8.4.24) при М (lx) = с»:
оо
|
З а* = |
оо. |
(8.4.25) |
|
г=1 |
|
|
Определим дисперсию IN- Она равна |
|
||
N |
|
оо |
|
D (h )< 3 |
«?В Д |
< & (е) 3 а\ , |
(8.4.26) |
i=l |
i=l |
|
|
где |
max |
Я(еО<С°°* |
(8.4.27) |
П*(е) = |
|||
|
Î=1....N |
|
|
Это означает, что дисперсия помех должна быть ограни ченной. Для того чтобы процесс сошелся, необходимо выполнение условия
D (U) = О, |
(8.4.28) |
что с учетом (8.4.26) требует выполнения |
неравенства |
оо |
|
2 а ? < о о . |
(8.4.29) |
i=l |
|
Теперь выпишем все условия, необходимые для сходи мости процесса стохастической аппроксимации:
|
оо |
|
а) |
3 a i = °°* |
|
|
i= l |
|
|
ОО |
(8.4.30) |
б) |
3 ai < |
|
|
i= l |
|
в) |
max / (xi) < |
оо; |
г) |
max D (ег) < |
оо. |
Условие (8.4.20) покрывается условием (8.4.29) и поэтому не включено в этот список. Последние два условия (8.4.30), как видно, накладывают ограничения на объект и помеху. Эти условия естественны и необременительны.
Первые два условия (8.4.30) определяют характер по ведения параметра at- Этим условиям удовлетворяет после довательность вида
где |
J |
Y 1, а с —некоторый постоянный коэффици |
ент. При у = 1 получаем гармоническую последователь ность.
Теперь рассмотрим применение метода стохастиче ской аппроксимации к решению задачи об отыскании экст ремума однопараметрической функции регрессии Q (х), заданной своими реализациями Q' (яг).
Б. Определение экстремума функции регрессии (про цедура Кифера — Вольфовица). Как указано выше, зада ча отыскания экстремума сводится к задаче отыскания корня, если в качестве функции F'(x) в уравнении (8.4.4) взять производную
(8.4.32)
т. е. к предыдущей задаче.
Процедура имеет вид |
|
|
|
||
s i+1 =Xi — аа{ |
dx |
(8.4.33) |
|||
где |
|
|
|
||
+ 1 |
для |
min, |
|
||
а = |
(8.4.34) |
||||
— 1 |
для |
max. |
|||
|
|
||||
Для сходимости этого процесса, как показано выше, необ ходимо выполнение условий (8.4.30), где вместо F (х) следует подставить dQ/dx. Для определения (8.4.32) ёстественно воспользоваться точечной оценкой производной:
= щ \Ч '(*1 + g,) - Q' (*. - ft)l- (8.4.35)
Теперь процедура (8.4.33) принимает вид
xi+1 = х{— а - ^ - [Q' (xj + gi) - Q'(xJ — g {)]. (8.4.36)
Однако дисперсия оценки (8.4.35) с уменьшением gi воз растает неограниченно и, следовательно, нарушается условие конечности дисперсии (8.4.27). Для преодоления этого обстоятельства необходимо, чтобы в (8.4. 36) величи на df с ростом i уменьшалась быстрее, чем g(. Покажем это,
Ив (8.4.1) получаем для малого gi
Q' + gi) — Q' (X i — gi) ~ %8i---faT--- Ь el }— e2 }- (8.4.37;
Подставляя это выражение в (8.4.36), можно опреде лить путь, проходимый за N шагов в процессе решения
эадачиз
N
|
|
hi — 2 |
I Дач К |
|
|
|
1=1 |
N |
|
|
|
|
dQ(з~) |
|
|
|
|
S ai |
|
|
|
|
dx + |
|
|
|
|
1=1 |
|
Рис. 8.4.3. Плоскость |
пара |
+ |
|
(8.4.38) |
1=1 |
gi |
|
||
метров стохастической |
аппро |
|
||
ксимации. Заштрихована зона, |
Очевидна оценка |
|||
где процесс сходится. |
||||
г«<(тг-)’ .S “i+ T .2 'îr (Eî >- ^ >).
где
dQ \* |
max |
dQ |
х ' = |
----- — |
|
dx J |
^ |
]\j dx |
|
i= i,..., |
N |
Ее математическое ожидание
x 1 t=i
и дисперсия
N
Z > (W < D -(e )2 (r-) 1=1 ' *1 '
где
D*(e) = max D (&(*>).
(8-4.39)
(8.4.40)
(8.4.41)
(8.4.42)
(8.4.43)
Отсюда, налагая естественные условия, необходимые для сходимости процесса в различных ситуациях:
М (Q = оо я D (/„) = 0, |
(8,4.44) |
получаем необходимые условия сходимости:
оо |
|
|
2 |
= °°> |
|
1=1 |
|
|
ОО |
|
|
£Ш '<- |
(8.4.45) |
|
max |
dF(Xi) |
|
dx < |
001 |
|
max 2X(e(t>) < OO.
Первым двум условиям можно удовлетворить последо вательностями вида
1 |
êi ~ |
1 |
|
(8.4.46) |
|
“ i* ’ |
*0 |
’ |
|||
|
где на а и р наложены очевидные ограничения:
0 < |
а < 1 , 0 < |
р, 2(а |
— Р) > 1 . |
(8.4.47) |
|
Зона допустимых значении а |
и р |
показана на |
|||
рис. 8.4.3. |
|
|
|
|
|
Заметим в заключение, что процедура стохастической |
|||||
аппроксимации |
применима |
лишь при отсутствии дрейфа |
|||
экстремума. Действительно, наличие дрейфа не позволя ет бесконечно уменьшать параметр шага что являет ся необходимым условием сходимости процедуры. Если же снять условия (8.4.20) и ^ —>0, то получим обычный вариант градиентного шагового поиска (см. § 5.1), лишен ного специфической для стохастической аппроксимации сходимости при N —►оо. Это обстоятельство исключает применение алгоритма стохастической аппроксимации в экстремальных регуляторах [8.9].
МЕТОДЫ УЛУЧШЕНИЯ РАБОТЫ ПОИСКА
В ОБСТАНОВКЕ ПОМЕХ
Как показано в предыдущей главе, эффективность по иска в обстановке помех существенно уменьшается, причем ухудшение поиска проявляется в уменьшении его быстро действия и надежности тем сильнее, чем выше уровень помех. Поэтому, естественно, появились специальные ал горитмические приемы, предназначенные для улучшения процесса поиска в обстановке помех. Эти методы опирают ся на идеи фильтрации и накопления. Рассмотрим их при менение к процессам экстремального управления в обста новке помех.
§9.1. Пороговая фильтрация
Рассмотрим простейший вид фильтрации — порого вую фильтрацию. Ее идея опирается на то, что помехи легко «забивают» малые сигналы, а большой сигнал трудно исказить помехой. Поэтому, выделяя большие (по модулю) сигналы, можно снизить влияние помех Алгоритм пороговой фильтрации записывается в следую щей форме [9.1]:
Axi+1 = — ааи |
(9.1.1) |
где параметр а; изменяется в зависимости от полученных результатов:
(sign AQi, если |
| A $ | > ô , |
(9.1.2) |
||
ai = i |
0, |
если |
. ,, |
|
I |
|AÇi|<Ô. |
|
||
Здесь AQi = Q' (xj +ff) |
— Q' (%i — g), ô > |
0 —некото |
||
рый порог. Алгоритм, как видно, заключается в том, что рабочий шаг делается только в том случае, если модуль приращения измеренного значения показателя качества превысит некоторый заданный положительный порог Ô.
Блок-схема оптимизатора, использующего пороговую фильтрацию (она обведена пунктиром), показана на
рис. 9.1.1. Здесь в схему обычного оптимизатора, рабо тающего по алгоритму с парными пробами, введен порого вый элемент ПЭ, на выходе которого образуется величина а. При а = 0 оптимизатор повторяет пробные шаги
Xi ± g•
Рис. 9.1.1. Блок-схема оптимизатора с пороговой фильтрацией.
Рассмотрим статистические свойства алгоритма поис ка с такой пороговой фильтрацией. Определим вероят ность ошибки
|
|
Рот = |
Вер (sign AÇ ф sign AÇ'] |
(9.1.3) |
||
при |
I AQ' I |
Ô и |
вероятность |
правильного решения |
||
|
|
Рпр = |
Вер [sign AQ = |
sign Д(?'] |
(9.1.4) |
|
при |
том же |
условии | AÇ' | > |
Ô. |
Вероятность |
отказа, |
|
т. е. вероятность Дя = 0 (а = 0), равна |
|
|||||
|
Р0 = |
Вер [| Д<? | < Ô] = |
1 - Рош - Рпр- |
(9.1.5) |
||
Так как задача симметрична относительно знака произ водной экстремальной характеристики, то будем, как и в предыдущей главе, рассматривать случай
|
|
*1 = |
dQ(*,,) |
> о . |
|
Тогда |
dx |
|
|||
|
|
|
|
||
|
Рот - |
Вер [2kig |
+ e f - |
e f < -Ô ] |
= |
|
= |
Вер [ g | < |
— ô — 2kig], |
(9.1.6) |
|
где |
= ejl)— 8a*—независимая нормальная случай |
||||
ная |
величина |
с нулевым математическим |
ожиданием и |
||
дисперсией 2а2. В этом случае получаем
(9.1.7)
где Ф —функция Лапласа [8.1].
Аналогично вероятность правильного решения равна
Рпр = Вер [2fc{g + e[l) —4 l) > ô] =
= Вер U, > 6 - 2 ад = 4 [l - Ф |
)] . (9.1.8) |
Вероятность отказа |
|
Pо = Ф |
(9.1.9) |
На рис. 9.1.2 показано поведение этих величин в функции порога big. Как видно, вероятность ошибки уменьшается с ростом порога. Но при
|
этом уменьшается и веро |
|
|
ятность правильного реше |
|
|
ния. |
Это происходит за |
|
счет роста вероятности от |
|
|
каза, т. е. система больше |
|
|
простаивает, так как при |
|
|
этом Ах = 0. |
|
Рис. 9.1.2. Поведение вероятно |
Поэтому эффективность |
|
стей ошибки и отказа в зависи |
введения пороговой филь |
|
мости от порога. |
трации следует оценивать |
|
шагов только среди рабочих, |
по вероятности ошибочных |
|
когда |
Ах Ф 0, т. е. исклю |
|
чая простои из-за отказов. Эта относительная вероятность ошибки равна
р |
° _____ /о л |
^» .1 . |
1 |
ош — Т> ТГр . |
ОШ 1" •'пр
На рис. 9.1.3 показано поведение вероятности относитель ной ошибки с ростом порога. Как видно, ошибки в систе ме поиска уменьшаются не только абсолютно (9.1.7), но и относительно (9.1.10). Это обстоятельство и оправдывает применение пороговой фильтрации.
Теперь рассмотрим быстродействие цоиска при порого вой фильтрации. Как обычно, быстродействие будем
оцеиивать по величине среднего смещения к цели за один этап поиска. Формулу для смещения к цели х* из состоя ния х<С х* можно теперь записать в виде
|
а с вероятностью Рпр, |
|
S t = |
О с вероятностью Р0, |
(9.1.11) |
|
к—а с вероятностью .Рош. |
|
Среднее смещение к цели х* |
|
|
*?! = |
ô + 2kig |
(9.1.12) |
2а |
||
Ha рис. 9.1.3 показано поведение среднего смещения с ро стом порога. Оно монотонно уменьшается, что и следовало ожидать, так как простои не могут увеличить быстродей ствие поиска.
Рассмотрим зависимость среднего смещения от уровня
помех %— -щ-. Характер по
ведения этой зависимости показан на рис. 9.1.4 для различных значений порогов. Как видно,_при ô <; 2kg за висимость S (к) имеет макси мум. Это означает, что при малом уровне помех для по
вышения быстродействия следуетувеличить помехив систе ме или уменьшить величину kg (!). Этот на первый взгляд парадоксальный результат объясняется довольно просто. Действительно, указанное явление имеет место лишь для больших порогов ô^>2kg, превышающих полезный сигнал. Такой порог при отсутствии помехи вообще не пропускает сигнала и тем самым прекращает поиск. В этом случае случайная помеха, накладывающаяся на полезный сигнал 2kg, создает возможность прохождения сигнала через указанный высокий порог, что «оживляет» поиск.
Таким образом, из указанного вовсе не следует, что нужно увеличивать уровень помех. Это говорит лишь о том, что порог Ôвыбран неверно — он слишком велик. И поэтому достаточно уменьшить порог, что и приведет к возрастанию быстродействия поиска.