книги / Нейронные сети для обработки информации
..pdf
На рис. 6.2 представлен график аппроксимируемой функции. В качестве обучающих данных использовалось 500 значений этой функции, равномерно распределенных по всему диапазону. В качестве тестирующих данных были сгенерированы 1000 значений функции в друшх точках того же диапазона. Сеть обучалась исходя из условия, ’гго значение целевой функции должно быть меньше 0,01. Кривая обучения сети (график изменения погрешности обу чения в зависимости от номера итерации) представлена на рис. 6.3. Ожидаемое
О500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Ноиер итврвции
Рнс. 6.3. График кривой обучения сети каскадной корреляции на примере преобразования трехмерной функции
значение погрешности обучения было получено на выходе сети при вве дении в ее струкзуру 41-го скрытого нейрона. Результаты тестирования подтвердили хорошие обобщающие способности сети. График функции, восстановленной по результатам тестирования, приведен на рнс. 6.4<з, а график погрешности восстановления структуры поверхности - на рис. 6.46.
6.2. Сеть Вольтерри
Сеть Вольтсрри - это динамическая есть для нелинейной обработки последо вательности сигналов, задержанных относительно друг друга. Возбуждеш1См для сети в момент л служит вектор д:= [х„, Хц-ь —»*л-1 )т» ВДвI - количество единичных задержек, а (1+1) означает длину векторе. В соответствии с определением ряда Вопътеррн выходной сигнал у генерируется но формуле [123, 137].
></!)= 1*,дс(л-0+ X X |
+ |
(6.3)
где х обозначает входной сигнал, а оеса IV/, щ , и т.д., называемые ядрами Вольтерри, соответствуют реакциям высших порядков. Нелинейная функциональная зависимость Вольтерри является естественным полиномннальным обобщением опиевпня линейного фильтра РЖ [137]. Порядок этого полинома К также называется степенью ряда Вольтерри. В случае адаптации реакции системы Вольтерри к заданной последовательности значений необходимо определить соответствующую целевую функцию, например Е = 0,5[у(л) - фг)]2, и минимизировать ее значение с исполь зованием универсальных способов оптимизации нейронных сетей, сводящихся к решению системы дифференциальных уравнений, описываемых выражением (2.16), которое в данном случае приобретает вил
4в> _ |
ц.дЕ |
(6.4) |
|
ей |
И дн> ’ |
||
|
Вектор IV обозначает вектор весов сети, Е - целевую функцию, а дем» - градиент. Легко показать, что при ограничении в разложении К = 3 система дифференциальных уравнений может быть записана в виде
01 |
(6.5) |
|
|
<йМл) |
(6.6) |
— = ~м[у(») - Ф )Ы » -О Ф ’Л . |
|
01 |
|
*г = - У* (У(н) “ ф)]лс(»-|)я(и-Лх(и -/) |
(6.7) |
ДДя /,У, / = 1 ,2 ,.... 1, Нейронная сеть, основанная на такой модели, миними зирует целевую функцию Г - 0,5 [у(и)-4(н)]2, которая, как следует из принятого определения, является квадратичной относительно весов и-/, щ, щи •••. Если эта стратегия реализуется техническими средствами, следует считаться со значительной сложностью системы, выэввнноА огромным количеством весов сети. Ужо при длине фильтра I = б и порядке К = 3 количество подбираемых весов составит 84. Это количество геометрически возрастает с увеличением длины Ь и порядка К.
Еще один недостаток непосредственного подхода к подбору весов системы Оопьтеррн - ухудшение обусловленности задачи с возрастанием порядка К и длины |Ь. Следует отмстить, что поскольку расчет значений ядер Вольтерри относится к процедурам линейного типа, обусловленность задачи является неудовлетворительной, так как содержащая многочисленные произведения выборок х ( я - ц ) матрица корреляции системы имеет, как правило, очень большое число обусловленности.
6.2.1. Структура и особенности обучения сети
Для упрощения структуры сети и уменьшения ее вычислительной сложности разложение Волътеррн (6.3) можно представить в следующей форме:
Уп = |
+ Д дг»->[и%+&>Хп к |
+ |
")] ] - |
(6-8) |
|||
тде используются обозначения уп |
= у{п), |
= |
*(м - |
0 |
и тд. |
Каждое сла |
|
гаемое в квадратных |
скобках |
представляет |
собой |
линейный фильтр |
|||
первого порядка, в котором соответствующие веса представляют импульсную реакцию другого лилейного фильтра следующего уровня. Количество уровней, на которых создаются фильтры, равно порядку К. На рис. 6.5 по
казано |
распространение |
сигналов по сети, реализующей зависимость |
|
(6.8), |
при ограничении |
К |
3. Система представляет собой структуру |
типичной многослойной однонаправленной динамической нейронной сети. Эго сеть с полиномиальной нелинейностью. Подбор весов производится после-
довательио слой за слоем, причем эта процессы независимы друг от друга, н, следовательно, увеличение как количества весов в слое, так и коли чества самих слоев в сети в незначительной степени сказывается на обусловленности задачи. Это дает возможность существенно увеличить дли ну I и порядок К системы при сс практической реализации. Обучение нейронной сети, структура которой изображена на рис. 6.5, лучше всего проводить с использованием технологии сопряженных графов, представленной в разделе 3.
Сопряженный граф для сети, представпе1шоЙ на рис. 6.5, строится без особого труда. Поело его создания можно получитьдостаточно простые формулы, определяющие компоненты вектора градиента, составляющие основу процесса обучения. Сопряженный граф сети изображен ив рис. 6.6. В соответствии с обозначениями, пришлыми на этих рисунках, возбуждением сопряженного графа служит разностный сигнал (Ун ~ ^я)« Я*® обозначает ожидаемое, а Ун - фактическое значение в выходном узле системы в момент п. Принимая во внимание выражение (3 .2 2 ), определяющее компоненты градиента, на основе
исходного к сопряженного с ним графа можно простым образом вывеете конкретные компоненты этого вектора. В частности.
дЕ |
, |
. , |
’| * и |
1н >г> |
|
1 |
|
|
дЕ |
|
|
Ч Г 5^ -
ЪЕ «
{Щ
(6.10)
(6.1 1 )
(6.12 )
с'ИРи.4г-Л В приведенных формулах сигналы, обозначенные символом л , соотвстст-
вуют сопряженному, а остальные - исходному графу системы. После определения конкретных компонентов градиента обучение сети с применением оптимизационного метода иаискорсйшего спуска может быть сведено к решению системы дифференциальных уравнений:
И |
II |
|
* |
|
|
бжу _ _ |
_ае_ |
|
6/ |
^дж? |
|
!* б ■ |
1 и |
=?• ЗУ |
“"У. - , ЭЕ
(6.13)
(6.14)
(6.15)
(6.16)
где т обозначен коэффициент обучения. Важным достоинством метода сопряженных графов считается простота учета равных значений весов в различных ветвях сети. Легко заметить, что симметрия ядер Вольтерри приводит к равенству весов ж,л _,4 для всех перестановок индексов //, /2* 1к [137]. Это означает, что в случае двухнндексных весов наблюдается равенство жу = ж;*, а в случае трехиндсксных весов - жуд = ж/ц = жду = щц = жду = ж#,. Подобное соотношение, только еще более громоздкое, относится к чстырсхиндексным, пятинндексным и т.д. весам. Анализ обозначений весов сети, изображенной на рис. 6.5, позволяет легко найти веса, которые должны иметь одни и те же значения. После расчета |радиента относительно таких весов следует обратить внимание, что они присутствуют на различных позициях дифференцируемого выражения. При использовании правила суперпозиции дифференцирования такой функции можно заметить, что расчет градиента потребует повторения операции дифференцирования относительно всех ветвей сети, описанных общим
весом, с последующим суммированием отдельных компонентов. С учетом сим метрии ядер Вольтерри выражения, описывающие компоненты (радиола относительно весов шу, щь и т.д., могут быть определенным образом модифицированы но сраоненню с оведеннымн ранее формулами. Их можно представить в виде (см. формулу 3.28)
+ |
(6.17) |
дЕ |
(6.18) |
^ — =Хп-кУу + х,н у ц +*„-*>> + х^,уц + хн рц + х^Ры • |
При ислольэованни ядер Вольтерри высших порядков будет действовать аналогичное правило, обусловленное существованием ветвей, которые описываются весами с одинаковыми значениями. Выделение соответствующих компонентов градиента позволяет реализовать процесс оптимизации путем сведения его к решению системы дифференциальных уравнений, описываемых формулами (6.13) - (6.16).
6.2.2. Примеры использования сети Вольтерри
Идентификация нелинейного объекта
В процессе идентификации объекта одна и та же последовательность входных сигналов х(л) подавалась параллельно на объект к его модель так/ как это показано на рис. 6-7. Разность фактических реакций модели у(н) и объекта 4(н) (последняя рассматривалась как ожидаемое значение) воспринималась как сигнал погрешности е{п) = у(п) - 4(н), управляющий адаптивным алгоритмом, который подбирает параметры модели таким образом, чтобы уменьшить сигнал рассогласования е(л) до нуля. Использование в качестве модели нелинейной системы, описываемой полиномом Вольтерри, позволило значительно расширить класс идентифицируемых объектов. При этом следует учитывать, что сеть
Рис. 6.7. Схема включения сети Вольтерри в адаптивной системе иле1П1(фик&цнн динамического объекта
Вольтеррн является обобщением линейного фильтра типа Р1К, поэтому она накрывает классы как лилейных, так н нелинейных систем. При применении ее для идентификации объекта реализовалась опкевнная выше общая стратегия адаптации, основанная на разложении Вольтеррн (6 .8) и на концепции сопряженных графов. В экспериментальных, исследованиях ужсшвапся принцип естественной симметрии ядер Вольтеррн, вследствие которой все веса имеют один и те же значения для каждой комбинации индексов /], т* г*.
Уравнения адаптации весов были представлены в форме дифферепциальпых уравнении (6.13)-(6.16) при описании компонентов вектора градиента выражениями (6.9), (6.17), (6.18). Вся адаптивная система была реализована на языке 8шиПпк со значением коэффициента обучения т = 106. На рис. 6.8
|Ц г - | - | - —
О |
0 .2 |
0 .4 |
0.8 |
Дв |
1 |
1.2 |
1.4 |
1,8 |
|
|
|
|
Время |
|
|
|
я 10~* |
Рис. 6.8. Процесс обучения сети Вольтеррн в примере идешификащш
представлен график обучения г (я) как функция от времени для системы, идентифицирующей нелинейный динамический объект, который описывается зависимостью
4. = *„-» + *«-1*^2 + *.*.-!*л-2 .
За время, меньшее 15 микросекунд, погрешность 1(дс1гтифнкацик была уменьшена до нуля, а реакции объекта и модели стали совпадать с точностью до второго знака после запятой. Параметры объекта были идентифицированы следующим образом:
*012 = Щи “ "'юг = “'но = и'м» = и-,10 = 0,1649, ж,2 = н>2| = 0,4999, ^ = 1,0 2 .
Значения остальных весов фильтра были равны нулю с толерантностью 10*3. В итоге объект был 1сде1т(фнцироваи в виде
Уш=102х„., +0,999х„.,х„_2 +0,989хяхя_йхя_2 §
который с высокой точностью обеспечивает получение принятых в качестве исходных значений
Устранение интерференционных шумов
Общая структура адаптивной системы для устранения интерференционных шу^ов представлена на рис. 6.9. Полезный сигнал хсмешан с иекоррелируемым с ним шумом по. Сигнал п является установочным, он не коррелирован с я, однако неизвестным образом коррелирует с сигналом помехи по. Считается, что я, п
Ряс. 6.9. Схема включения сети Вольтеррн в адаптивной системе исключения
Ш1терфсрс11ци01шых шумов
н ло статистически стационарны, а их средние значения равны нулю. Задача сети Вольтеррн состоит в такой обработке сигнала л, чтобы сигналу ив выходе сети был как можно более близок к сигналу помехи ло. Сигнал П01рсш1юстн е, вырабатываемый сумматором (рис. 6.9), определяется хок
е = л - л 0 - у |
(6.19) |
Целевуюфункцию можно представить в форме ожидаемогозначения Е квадратичной погрешности
4= 0,5Я(Е2]=0,5Е(д3+(ло-у)1+2х(ло-у». |
(6.20) |
Бели принять во внимание, что сигналлис коррелирует с сигналами помехи, то ожидаемое значение ^ ( по-у)] =0 и целевая функция упрощаются до выражешм
^=0,5(ЕИ+Б1/1о-у]г)- |
(6.21) |
Поскольку фильтр не изменяет сигнал т, минимизацияфункции погреш ности 4 обеспечивается таким подбором его параметров, чтобы значение Я[л0- у ]2 было ьпппгмальным. Таким образом, достижение минимума целевой