книги / Нейронные сети для обработки информации

изменение значений подбираемых параметров сспг. Если среднее измсиенке значений весов после определенного числа обучающих циклов слишком

мало Х(Ди',)< < ^ 1 добавляются две базисные функции (2 нейрона) с центрами,

соответствующзЬни наибольшей н наименьшей погрешности адаптации, после чего обучение расширенной таким образом структуры продолжается. Одновременно контролируются абсолютные значения весов и*; всех отдельно взятых нейронов. Если они меньше установленного вначале порога б, соответствующие им нейроны подлежат удалению из сети. Как добавление нейронов, так и их удаление начинается после выполнения определенного количества обучающих циклов и может происходить в течение всего процесса обучения вплоть до достижения требуемой точности отображения.

Другой подход к управлению количеством скрытых нейронов предложил Дж. Платт в! работе [130). Это метод, объединяющий элементы самоорганизации и обучежЬ) с учителем. После предъявления каждой очередной обучающей выборки определяется эвклидово расстояние между ней и центром ближайшей существующей радиальной функции. Если это расстояние превышает установленный порог 5(А), то создастся центр новой радиальной функции (т.е. добавляется нейрон), после чего сеть подвергается стандартной процедуре обучения с использованием градиентных методов (обучение с учителем). Процесс добавления нейронов продолжается вплоть до достижения требуемого уровня погрешнодтн отображение Принципиально важным длр этого метода считается подбор значения $(*), в соответствии с которым принимается решение о расширении ссто. Обычно <5 (А) экспоненциально изменяется с течением времени (в зависимости от количества итераций) от значения 6 ши в начале процесса до $(шл в конце его. Недостающ этого подхода состоит в невозможности уменьшения количества нейронов в процессе обработки информации даже тогда, когда в результате обучения какие-то из них дегенерируют (вследствие неудачного размещения центров) либо когда несколько нейронов начинают дублировать друг друга, выполняя одну н ту же функцию. Кроме того, этот метод очень чувствителен к подбору параметров процесса обучения, особенно значений ^„„х к 5 т |„.

5.5,2. Метод ортогоналиэации Грэма-Шмидта

Наиболее эффективным методом управления количеством скрытых нейронов остается применение специальной технологии обучения сети, основанной на методе ортогонвлизвцин наименьших квадратов, использующем классический алгоритм ортогоналнэацил Г^эма-Шмндта [В]. Отправная точке этого метода - представление задачи обучения в виде линейной адаптации вектора весов сети н» = [н'о, ич ,..., ик]г, направленной на минимизацию значения вектора погрешности е. Для р обучающих выборок вектор ожидаемых зна­ чений имеет вид: й = [«/о, <^| , 4Р]Т. При использовании К базисных функцкй н р обучающих пар реакции скрытых нейронов образуют матрицу С вида

При таких обозначениях на каждом этапе обучения будет выполняться

где ж - вектор весов, а е = [ей <?2......вр\Т - вектор фактической погрешности обучения. Квадрат произведения Стк соответствует ожидаемой энергии, исходящей от сигналов, задаваемых вектором 4, которой и подвергается максимизации в процессе обучения.

Метод ортогонализации наименьших квадратов основан на преобразовании векторов ф во множество базисных ортогональных векторов, позволяющее оценить индивидуальный вклад каждого из них в общую энергию, предс­ тавляемую произведением С №. Это в свою очередь позволяет удалить тс векторы, влияние которых на процесс оказывается минимальным.

В процессе обучения матрица СеКр** раскладывается на произведемте

а матрица <} соответствует условию

д*д = н.

При этом Н - диагональная матрица с элеме1гтямн //„ - => . Решеум *

пне зависимости (5.50) методом наименьших квадратов может быть спроецировано в пространство, образуемое ортогональными векторами 0/. Если ввести новую векторную переменную Ь, определенную как

С учетом треугольной структуры матрицы Л вычислительная сложность решения уравнения (5.56) относительно вектора ж невелика.

Оргогонализация матрицы О, описанная выражением (5.51), может быть проведена различными методами, наиболее эффективным из которых считается алгоритм Грэма-Шмидта. Б соответствии с этим методом матрица Л формируется последовательно, столбец за столбцом с одновременным форми­ рованием очередных столбцов ортогональной матрицы О. На А-м шаге создастся столбец ад, ортогональный ко всем созданным ранее (А-1 ) столбцам ад (г = 1 , 2 ,....

Ы ). Процедура повторяется для значений к = 2 , 3,.... К. Математическая модель этой операции имеет вид:

01 = и . (5-57)

лиэацни позволяет сформировать все ортогональные векторы ад и матрицу А, на основе которых можно получить методом наименьших квадратов

Однако важнейшим достоинством описываемого метода ортогонвлизацин считается возможность селекции векторов ад с учетом их важности для отображения обучающих данных. В случае априори определенного количества

К радиальных функций задача заключается в такой рассшиовкс векторов чтобы отобрать из них первые Кг наиболее значимые в энергетическом плане, при этом, как правило, Кг « К. Использование в дальнейших вычислениях только Кг радиальных функции означает сокращение количества скрытых ней­ ронов с начального их числа К до Кп Принимая во внимание энергию сигналов,

Если принять, что вектор ожидаемых реакций Л имеет нулевое среднее

базисной функции. Относительная доля этого составляющего в общем энергетическом балансе может быть определена по формуле

_ъ}ч(Тч(

(5.61)

для / = 1, 2, .... К. Расчет значений е* для всех базисных функций дает возможность оценить их важность дня функционального отображения обучающих данных, что упрощает принятие решения о ликвидации тех, чей вклад оказывается наименьшим. После отбора наиболее значимой радиальной функции процесс ортоганалиэации повторяется для получения нового реше­ ния и выбора следующей по значимости радиальной функции. При фиксации падальной величины К а р после многократного повторения ортогонализации Грэма-Шмидта можно отобрать Кг наиболее значащих базисных функций и исключить остальные. Таким образом количество скрытых нейронов уменьшается от начального» числа К до К,. Алгоритм отбора наиболее значимых базисных функций выглядит следующим образом [8]:

1.На первом этапе <Аг=* 1) для 1 < I <К рассчитать

6| 0 )=

*,(!) = [>.(оГи,(оГв,<щ

л ’л

Предполагается, что е (I) = пах (еД1)} для I 3 / * К , а всетор ц\ = д/, = д,.

2. На следующих этапах ^ 2) для 1 & К , г * /| *... * /ы следует провести очередные циклы ортогонализации:

а также оценить влияние очередных радиальных функций на суммарное значение энергетической функции путем расчета:

ц ц , —н а в с * - . ( М « (М*И

.

е,()----

Если наибольший вклад радиальной функции о общую энергию обозна­ чить е [, (А), т.е.

«-,,(*) = тах{:Д*)}

для I ^ / & К , / * »1 *... * тоща очередной выделенный вектор будет соответствовать радиальной функции со следующим по важности вкладом в общую энерлцо. Этот вектор определяется выражением

вкотором коэффициент а ^ = а ^ ] для

3.Процедура выявления наиболее значимых для отображения радиальных

функций завершается на этапе к = КТ, в момент выполнения условия

ще 0 < р < I - это заранее установленный порог толерштюсти.

В результате выполнения процедуры в сети остается только Кг иаи: более значимых радиальных функции, расположенных в ранее определенных центрах (например, путем самоорганизации). Одновременно при реализации алгоритма вычисляются конкретные составляющие вектора 6, на основе которых по формуле (5.52) находятся значения весов ту выходного слоя сети.

Геометрическая интерпретация представленной процедуры ортогонал1пации достаточно проста. На Дг-м этапе выполнения алгоритма размерность базисного пространства увеличивается на единицу, с (к-\) до к%за счет введения дополнительной базисной функции. Вводя всякий раз наиболее значимую базисную функцию, мы получаем оптимальный их набор, что позволяет получить нанлучшне результаты обучения.

Толерантность р, определяющая момент завершения процесса обучения, - это важный фактор, от которого зависит, с одной стороны, точность отображеш1Я обучающих данных, а с другой стороны, - уровень сложности нейронной сетн. Во многих случаях сс значение можно оценить на основе статистического анализа

обучающих донных н фактических успехов в обучении. С методами подбора оптимальных значений р можно ознакомиться в [8].

Еще одно достоинство процесса ортогоналнэацни - возможность избежать неудачной комбинации параметров процесса обучения. Выполнение условия 4 *4 означает, что соответствующий вектор;* является линейной комби­ нацией векторов # 1, 82> •••» выПоэтому если в процессе ортогоналиэации произведение як ц к меньше, чем заданное (пороговое) значение, то функцию

^можно не включать во множество базисных функций.

5.6.Сравнение радиальных

исигмоидальных сетей

Радиальные нейронные сети откосятся к той же категории сетей, обучаемых с учителем, что и многослойный псрсептрон. По сравнению с многослойными сетями, имеющими сигмоидальные функции активации, они отличаются некоторыми специфическими свойствами, обеспечивающими более простое отображение характеристик моделируемого процесса.

Сигмоидальная есть, в которой ненулевое значение сигмоидальной функ­ ции распространяется от некоторой точки в пространстве до бесконечности, решает задачу глобальной аппроксимации заданной функции. В то же время радиальная сеть, основанная на функциях, имеющих ненулевые значения только в определенной области вокруг их центров, реализует аппроксимацию локального типа, сфера которой, как правило, более ограничена. Поэтому необходимо понимать, что обобщающие способности радиальных сетей несколько хуже, чем у сигмоидальных сетей, особенно на границах области обучающих данных. Вследствие глобального характера сигмоидальной функции многослойные сети нс обладают встроенным механизмом идентификации области данных, на который сильнее всего реагирует конк­ ретный нейрон. Из-за физической невозможности связать зону активности нейрона с соответствующей областью обучающих данных для сигмоидальных сетей сложно определить исходную позицию процесса обучения. Принимая во внимание полимодальность целевой функции, достижение глобального минимума в такой ситуации становится чрезвычайно трудным даже при самых совершенных методах обучения.

Радиальные сети решают эту проблему гораздо лучше. Наиболее часта применяемые на практике радиальные функции гауссовского типа по своей природе имеют локальный характер и принимают ненулевые значения только в зоне вокруг определенного центра. Эго позволяет легко установить зависимость между параметрами базисных функций и физическим разме­ щением обучающих данных в многомерном пространстве. Поэтому удастся относительно просто найти удовлетворительные начальные условия процесса обучения с учителем. Применение подобных алгоритмов обучения при начальных

условиях, близких к оптимальным, многократна увеличивает вероятность

Считается [85,154], что радиальные сети лучше, чем сигмоидальные, решают такие классификационные задачи, как обнаружение повреждений в различных системах, распознавание образов и т.п. Применение радиальных сетей для прогнозирования таких сложных временных процессов, как ежемесячные колебания занятости трудоспособного населеиня в масштабах страны'[ 8], экономические тренды и т.д., также даст неплохие результаты, сравнимые или даже лучшие, чем получаемые с использованием сигмоидальных сетей.

Важное достоинство радиальных сетей - значительно упрощенный алгоритм обучения. При наличии только одного скрытого слоя и тесной связи активности нейрона с соответствующей областью пространства обучающих данных точка начала обучения оказывается гораздо ближе к оптимальному решению, чем это имеет место в многослойных сетях. Кроме того, можно отделить этап подбора параметров базисных функций от подбора значений весов сети (гибридный алгоритм), что сильно упрощает и ускоряет процесс обучения. Выигрыш во времени становится еще большим, если принять во внимание процедуру формирования оптимальной (с точки зрения способности к обобщению) структуры сети. При использовании многослойных сетей это очень трудоемкая задача, требующая, как правило, многократного повторения обучения нпн дообучения. Для радиальных сетей, особенно основанных но ортогоналкзации, формирование оптимальной структуры с е т оказывается естественным этапом процесса обучения, нс требующим никаких дополнительных усилий.

Каждый нейрон старается так адаптировать веса своих связей, чтобы быть1 востребованным для выполняемого сетью отображения данных. На начальной этапе формируется сеть, состоящая только из входных узлов и выходных нейронов. Количество входов и выходов зависит исключительно от специфик решаемой задачи к не подлежит модификации. Каждый вход соединен со всеми выходами посредством связей, веса которых уточняются в процессе обучения. Выходные нейроны могут быть как линейными, так и нелинейными, с практически произвольной функцией активации. Скрытые нейроны добавляются

всеть по одному. Каждый добавляемый нейрон подключается ко всем входам сети

ико всем ранее добавленным скрытым нейронам. В момс1Гт подключения нейрона к ранее созданной структуре фиксируются веса его входных связей, которые в дальнейшем нс подлежат модификации, тогда как веса его связей с выходными нейронами постоянно уточняются. Каждый добавляемый скрьпый нейрон образует отдельный одноэлементный слон.

Процесс обучения сети начинается до ввода в нее скрытых нейронов. Непосредственные соединения входов н выходов тренируются таким образом, чтобы минимизировать значение целевой функции. Для этого мотут применяться любые методы обучения. В оригинальной работе Фальмана [34] исполь­ зовался алгоритм ^и^скр^ор, характеризующийся быстрой сходимостью к точке

решения.

Если результат функционирования сети считается удовлетворительным с точки зрения ожидаемой или допустимой погрешности, процесс обучения и' формирования структуры сети завершается. В противном случае следует расширить структуру сети добавлением одного скрытого нейрона. Для этого применяется специальная процедура, при выполнении которой вначале формируются и фиксируются входные веса нового нейрона, после чего он вводится в существующую сетевую структуру и его выход подключается ко всем выходным нейронам посредством связен с соответствующими весами. После подключения очередного скрытого нейрона происходит уточнение (с использованием выше описанной процедуры) весов выходных нейронов. Если полученный результат признается удовлетворительным, обучение завершается. В противном случае процедура включения в сеть очередного скрытого нейрона повторяется вплоть до достижения желаемых результатов обучения.

Формирование скрытого нейрона начинается с подключения его в качестве кандидата. Он представляет собой обособленный элемент, соединяемый со всеми входами сети и с выходами ранее введенных скрытых нейронов. Веса связей иейрона-каидлдата подвергаются обучению, но его выходной сигнал на этом этапе никуда не подается. В таком состоянии вновь вводимый нейрон обучается с использованием множества обучающих выборок. Цель обучения состоит в током подборе весов, при мотором максимизируется корреляция между его активностью, определяемой выходным сигналом, и значением погрешности на выходе сети. Эта зависимость определяется коэффициентом корреляции 5 в виде

значение погрешности /-го выходного нейрона для А-Л обучающей выборки,

= ^ ~ у/®' ^ н е1 обозначены средние значения соответственно V и е, рассчитанные по всему множеству обучающих выборок.

^ Для максимиэоцнн значения функции 5 следует определить ее производную относительно весов ич всех входных связен иеПрона-кандидвта. На основе

правила разложения составной функции и с учетом физической интерпретации отдельных се компонентов, по аналогии с методом обратного размножения получаем

(62)

где а,-- обозначение корреляции между неПроном-кандндатом и/-м выходом се­ ти, /'№ - рассчитанная для /г-н обучающей выборки производная функции акп1вацни нейрона-кандндата опюситслыю взвешенном суммы его выходных сигналов, а //*>- импульс, получаемый от /-го возбуждающего сигнала (входного сигнала сети либо выходного сигнала от ранее введенных скрытых нейронов). После определения вектора градиента функции 5 относительно всех под­ бираемых весов нейрона выполняется максимизация 5 (на практике обычно минимизируется значение функции 5) на основе любого методе оптимизации. В оригинальной работе Фальмана это тот же самый алгоритм ди!скргор, который применяется для подбора весов выходных нейронов. После достижения максимального значения 5 нейрон-кандидат включается в существующую структуру нейронной сети, подобранные веса его входных связей фиксируются, и возобновляется процесс подбора значений весов выходных нейронов за счет минимизации целевой функции. Следует подчеркнуть, что, несмотря на большое количество слоев, в сети Фальмана ие требуется использовать алгоритм обратного распространс1П(я ошибок, поскольку в процессе минимизации целевой функции задействованы только весовые коэффициенты выходного слоя, для которых погрешность рассчитывается непосредственно.

Для достижения наилучшнх результатов корреляционного обучения, как правило, одновременно обучается не один, а несколько иейронов-кандидагов. Принимая во внимание, что обучение начиностся со случайных значений, каждый кандидат получает различные конечные значения весов, характеризующиеся различными значениями коэффициента корреляции. Среди таких обученных кандидатов выбирается имеющий ноибольшее значение 51, который и вводится в

структуру сети. Параллельное корреляционное обучение нескольких нейроновка1щидатов уменьшает вероятность попадания в точку локального минимума и ввода в сеть нейрона с плохо подобранными весами, которые на последующих