книги / Системы экстремального управления
..pdfуменьшается номере уменьшения модуля наклона /^экст ремальной характеристики. На рис. 8.2.3 показано по ведение среднего смещения к цели для квадратичного объекта вида (8.2.16) при различных значениях параметра зашумленности объекта к (8.2.19).
Теперь перейдем к другому алгоритму поиска.
Б. Поиск с совмещенными рабочими и пробными шагами. Работа этого алгоритма при отсутствии помех рассмотрена подробно в § 4.3. Алгоритм шага записы вается в виде
Axi = àxi-i sign !(?' (xi-1) — Q' (*<)!• (8.2.24)
Здесь модуль шага равен а, т. е. |Дж| = а.
Очевидно, что этот алгоритм отличается от предыду-
р |
щего |
только тем, |
что |
|
|
решение онаправлении |
|||
Xi*а |
дальнейшего движения |
|||
принимается на основе |
||||
Рис. 8.2.2. Возможные переходы при |
информации, |
получае |
||
реализации рабочего шага в обста |
мой |
в точках, отстоя |
||
новке помех. |
щих друг от |
друга не |
||
|
па расстоянии 2g, |
а на |
||
расстоянии а. Это дает возможность сразу определить ве
роятность |
ошибки в этом случае.В формуле (8.2.15) вме |
сто 2g следует поставить а, |
|
т. е. |
| |
ОШ
(8.2.25)
Дальнейший расчет сред него смещения происходит аналогично предыдущему и приводит к
Si+1 = аФ (4g -) . (8.2.26)
Рис. 8.2.3. |
Среднее |
смещение |
к цели в обстановке |
помех для |
|
квадратичного |
объекта |
(х2> Х !). |
Сопоставим быстродействие обоих алгоритмов. Для этого нужно сравнить их средние смещения с учетом затрат на эти смещения. Как обычно, затраты будем измерять временем, затрачиваемым на одно определение Q'(x).
Временные затраты одного шага для первого ал горитма равны 2Г, а для второго — Т, где Т — время
определения одного значения показателя качества. Сле довательно, быстродействие (средняя скорость движения к экстремуму) первого алгоритма (с парными пробами) равно
у >= - г г ф (-т-). |
<8-2-27> |
а второго (с совмещенными пробными и рабочими шагами)
(8.2.28)
Теперь, приравнивая эти средние скорости, получим условие целесообразного применения обоих алгоритмов поиска:
'<^0, то лучше первый
алгоритм, если ф ( £ ) - 4 - Ф ( - т - ) = ^>0, то лучше второй
алгоритм.
(8.2.29)
Введем параметр зашумленности я (8.2.19). Тогда условие (8.2.29) запишется в виде
(8.2.30)
Рассмотрим плоскость па раметров я и gla. В каж дой точке этой плоскости определено быстродейст вие обоих алгоритмов, и, следовательно, по формуле (8.2.29) можно решить, какой из алгоритмов будет эффективнее по быстродей ствию.
На рис. 8.2.4 показана эта плоскость, на которой проведена граница, разде
ляющая зоны целесообразного применения рассматривае
мых алгоритмов. Уравнение |
границы очевидно: |
Ф |
(8.2.31) |
Из этого рисунка хорошо видно, что при малом уровне помех, т. е. при к < 1,03, всегда лучше второй алгоритм, (и = 1,03 —решение уравнения (8.2.31) при gla —»■оо.) Аналогично при а > g, т. е. при малых пробных шагах для первого алгоритма, второй алгоритм также всегда будет иметь большее быстродействие, независимо от уров ня помех. Такоепреимущество второго алгоритма естествен но, так как он более экономичен. Но это вовсе не означает, что первый алгоритм (с парными пробами) вовсе не пред ставляет интереса. Как видно из рис. 8.2.4, область его применения —высокий уровень помех и большие проб ные шаги.
§8.3. Статистические свойства случайных блужданий
впроцессе поиска
Впроцессе поиска в обстановке помех система поиска никогда не выходит на предельный цикл. Такого цикла
при помехах быть не может. В связи с этим затрудняется
иопределение потерь на рысканье.
Врезультате помех вместо предельного цикла система поиска случайно блуждает в районе цели. Это блуждание носит стационарный характер и определяет потери на рысканье экстремальной системы. Чем больше уровень помех, тем значительней «амплитуда» этих случайных блужданий и тем больше потери на рысканье.
Стационарный характер случайных блужданий по зволяет утверждать, что каждому состоянию х соответст вует число, определяющее частотные свойства попадания в это состояние в процессе блужданий.
Пусть р (х) — плотность вероятности пребывания в состоянии х в процессе установившихся случайных блуж даний. Тогда потери на рысканье определяются как сред нее значение превышения показателя качества над эк стремальным и записываются в виде
оо
R = ^ [Ç (ж) — Ç*]р (х) dx, |
(8.3.1) |
—оо |
|
где, как обычпо, Q* — минимальное значение показателя качества.
[ Как видно, для определения потерь на рысканье необходимо знать плотность распределения положения системы в процессе установившихся случайных блужда ний вокруг цели.
Для простоты в дальнейшем будем рассматривать движение экстремальной системы при поиске с постоян ным шагом |Дя| = а. В этом случае система может нахо диться лишь в определенных равноотстоящих состояниях
Я?1, |
Х[^1 |
|
|
xi+1 = Xi + а (г = 1, |
., N —1). (8.3.2) |
(Здесь для простоты предполагается, что число этих со стояний конечно, хотя возможно рассмотрение систем с бесконечным числом состояний, что однако не соответ ствует реальным условиям.)
Для этого случая плотность вероятности р (х) запи сывается через дельта-функцию в виде
N |
|
Р(*) = 2 р£ (* — *i), |
(8.3.3) |
i=l |
|
где pi —вероятность пребывания системы в состоянии xi. Эти вероятности удовлетворяют очевидному условию
N |
|
2 а = 1, |
(8.3.4) |
i=i |
|
которое выражает то, что в процессе случайных блужда ний система находится в одном из заданных состояний Xi (i = 1, . ., N), a &(х —Xi) —дельта-функция с из вестными свойствами;
Ô(х — х^ |
О |
при |
x=f=x„ |
(8.3.5) |
|
оо |
при |
X = Xi, |
|||
|
|
§ ô {х — Xi)dx = 1.
Подставляя выражение для плотности распределения (8.3.3) в (8.3.1), получаем, воспользовавшись вторым свойством дельта-функции,
N |
|
я = 2 л и? (*<)-<?•]• |
(8.3.6) |
1=1
Таким образом, задача свелась к определению вероятно стей Pi (i = 1, . N) в процессе случайных блужданий вокруг цели.
Определим эти вероятности.
Прежде всего, отметим, что случайные блуждания оптимизируемой системы определяются ее локальным поведением. А локальное поведение описывается вероят ностями правильного и ошибочного решения (шага) Р и Рош. В предыдущих параграфах этой главы определены эти вероятности в зависимости от локальных свойств объекта —наклона его характеристики и уровня помех в этом состоянии для алгоритма поиска с парными проба ми. Анализируя локальное поведение системы в процессе поиска так, как это сделано в предыдущем параграфе, по
лучаем вероятность перехода из состояния х в |
состояние |
х ± а: |
|
p (* .± a M = -!-[l± ® (-l i ?2jL)], |
(8.3.7) |
где |
|
и помеха, как обычно, предполагается нормально распреде ленной с дисперсией а2. Выражение р (х ± а/х) называет ся переходной вероятностью, таккак выражает вероятность
перехода из одного состояния в |
другое (в |
данном |
|
случае из х в х ± а). Это выражение каждому состоянию |
|||
Xi ставит в соответствие |
вероятность |
перехода |
в одно |
из соседних состояний (Xi |
+ а или xi |
—а). |
состоя |
Теперь рассмотрим вероятность пребывания в |
|||
нии Xi вообще, независимо от предыстории. |
В это состоя |
||
ние система может попасть из состояния xi |
— а с вероят |
||
ностью р (xi/xi |
— а) и из состояния х |
а с вероятностью |
|
р (xi/xi + а). |
Но вероятность пребывания в каждом |
||
из этих состояний по условию равно соответственно pi-x и pin. Поэтому можно написать следующее выражение:
Pi = Pi-iP {Xi/Xi —a) -\~Pi+xp (xi/xi + а), (8.3.8)
которое является естественным осреднением переходных вероятностей р (Xilx ± а). Это выражение и является исходной формулой для определения вероятностей pi,
которые обычно называют предельными. Выражение (8.3.8) имеет место для i = 2, 3, ., N — 1. В крайних точках xt и XN оно естественно записывается несколько иначе. Для рг получаем
|
Pi = PiP (V*i) |
+Р2Р (xi/x2), |
|
(8.3.9) |
||
где |
p (xx/xj) — вероятность |
остаться |
в |
состоянии |
хх. |
|
|
Для рн аналогично имеем |
|
|
|
|
|
|
P N = PN_x Р Ы х п — а) + P NP (XN/Xn), |
(8.3.10), |
||||
где |
p (XN/XN) — вероятность остаться |
в |
состоянии |
х^. |
||
Эти два уравнения замыкают систему из N уравнений |
||||||
относительно предельных вероятностей P t { i = 1, |
-,N). |
|||||
Эта система уравнений линейна и поэтому легко решается стандартными методами.
Для иллюстрации рассмотрим следующий простой пример. Пусть кусочно-линейный объект Q (х) = к | х | (рис. 8.3.1, а) может пребывать в одном из четырех состоя ний (N = 4);
Хх = — у а; х2= — Y я; #з = у а; х4= у а. (8.3.11)
Движение системы в процессе поиска экстремума удобно изображать в виде стохастического графа (рис. 8.3.1, б), где каждая дуга —стрелка обозначает переход, а буква над ней —вероятность этого перехода:
Р = т [ 1 + Ф (-£)] • i = 1 - р. |
(8-3.12) |
Г Д в £ < - | - И р > ? .
Выпишем в соответствии с рассмотренным уравнения для определения предельных вероятностей:
Pi = Р1Я + /> 2g,
P2 — PiP +РэР,
Pa = РгР |
+ P tP , |
(8.3.13) |
P4 = PaQ |
-\~PAQ> |
|
PI Л-Рг -\-Pa + /Ч =
Матрица этой системы имеет вид
р |
— g |
0 |
0 |
р |
— 1 |
р |
0 |
0 |
р |
— 1 |
(8.3.14) |
g |
|||
0 |
0 |
— g |
р |
Разрешая эту систему, получаем
я
Pi — Pi — 2 *
(8.3.15)
Pi — Ря — ~2 •
График pi = р (x,) показан на рис. 8.3.1, в.
Рис. 8.3.1. Стационарное |
блуждание в районе |
экстремума. |
а) показатель качества, |
б) граф переходов;д в) |
предельные |
вероятности. |
|
|
Отсюда видно, что pt < Рг, т. е. поиск способствует блуждапию системы в районе цели. И лишь при р = q = —1
что соответствует бесконечной дисперсии помехи (а |
оо), |
все состояния становятся равновероятными |
|
= -^ J, что и |
|
следовало ожидать. |
|
|
|
Определим потери на рысканье |
|
|
|
R = 2к 2 Р& = |
^ |
. |
(8.3.16) |
1=1 |
|
|
|
откуда получаем верхнюю и нижнюю границы |
потерь; |
■^min ~ ~2 ~> -^гпах = ко,. |
(8.3.17) |
Заметим, что в этих выражениях для потерь на рысканье не учтены пробные шаги, которые, строго говоря, изме няют исходную формулу. Однако для кусочно-линейного объекта точное выражение для потерь на рысканье сов падает с полученным (8.3.16).
§ 8.4. Поиск точного положения экстремума в обстановке помех (стохастическая аппроксимация)
Задача точного (или почти точного) определения поло жения экстремума в обстановке помех может решаться по-разному. Однако два фактора при этом нельзя не учи тывать. С одной стороны, следует Вводить фильтрацию как средство уменьшения уровня помех. С другой, — необхо димо уменьшать,длину рабочих шагов, так как.вначалельзя выити в заданную зону экстремума. Эти два обстоя тельства и лежат в основе метода стохастической аппрок симации.
Задачу отыскания экстремума функции Q (х) по заме рам с ошибкой
Q' (х) = Q(x) + 8 |
(8.4.1) |
можно представить в виде минимизации математического ожидания:
М \Q‘(ж)] —э- min . |
(8.4.2) |
ОС |
|
Трансформируем ее к задаче отыскания корня уравнения
где F (ж) в силу (8.4.1) определяется тоже с помехой. По этому следует искать корень уравнения
М [F' (ж).] = 0, |
(8.4.4) |
где М — знак математического ожидания, a F' (ж) — из меренное значение производной, которое изменяется от одного измерения к другому.
В связи с этим целесообразно рассмотреть сначала за
дачу определения корня |
(8.4.4), |
а уж затем вернуться |
|||
|
|
к |
экстремальной |
задаче |
|
|
|
(8.4.2). |
|
корня в |
|
|
|
А. Определение |
|||
|
|
обстановке помех (процедура |
|||
|
|
Роббинса — Монро). Пусть |
|||
|
|
F' (ж) = F (ж) + б (а), (8.4.5) |
|||
|
|
где |
б (а) — центрированная |
||
|
|
случайная помеха с диспер |
|||
|
|
сией о2. Тогда |
|
|
|
Рис. 8.4.1. |
Взаимоотношения |
М (F'{ж)) = |
F (ж) |
(8.4.6) |
|
регулярной |
и случайной со |
— регулярная |
функция, ко |
||
ставляющих в процессе. |
|||||
рень которой необходимо оп ределить. На рис. 8.4.1 показан пример взаимоотношения регулярной F (ж) и случайной е составляющих. Целью поиска является отыскание корня ж* регулярной состав ляющей
F (ж*) = 0. |
(8.4.7) |
Относительно регулярной составляющей F (ж) необходимо знать знак ее наклона в точке ж*, т. е.
а = sign |
dF (х) |
(8.4.8) |
|
dx |
х=х* 9 |
что обычно известно.
Идея стохастической аппроксимации проста и про зрачна. Она хорошо видна из рис. 8.4.1, где показан пере ход из жi в ж|+1:
ж*+1 = жI —aa-iF' (ж,), |
(8.4.9) |
где ai 0 — некоторая последовательность положитель ных чирел, каждое из которых определяет наклон пря-
мой. Проанализируем это выражение. Определил! эффек тивность i-го шага отношепиел!
f t - |
*i+i ~ ** |
(8.4.10) |
|
l*i — **1 ’ |
|||
|
модуль которого показывает скорость приближения к це ли х* на i-м шаге. Действительно, если | (3* | ]> 1, то про изошло удаление от ж*, если же | р* | «< 1, то точка ж1+1 приблизилась к х* по сравнению с ж*. Для упрощения выкладок, но не снижая общности изложения, можно пред положить, что а = 1 и Xi ]> ж*, т. е. рассматривается случай, показанный на рис. 8.4.1.
Подставляя (8.4.9) в (8.4.10) и воспользовавшись (8.4.5), получаем
f t - 1 |
aFfy) |
|
е. |
(8.4.11) |
----- Ч----а ----- |
— 7 |
|||
|
X. —X* |
X. |
—X* |
|
|
г |
% |
|
|
Очевидно, что Р, является случайной величиной. Иссле |
||||
дуем ее вероятностные свойства. |
|
|
|
|
Математическое |
ожидание |
|
|
|
|
= |
|
|
(8.4.12) |
характеризует работу регулярной составляющей. Для
сходимости |
процесса |
в |
среднем необходимо, |
чтобы |
|
| Мъ(pi) | < |
1, т. е. |
|
|
|
|
|
1 |
|
(*i |
< 1 |
(8.4.13) |
|
1 X. —X' |
||||
или |
|
|
F (x0 |
|
|
|
O O i |
< 2 . |
(8.4.14) |
||
Отсюда следует, что необходимым условием сходимости регулярной составляющей процесса является условие
*(»«) |
(8.4.15) |
X. —в* > 0 , |
|
I |
|
что, очевидно, выполняется при а = 1 |
(это легко про |
верить). |
|