книги / Нейронные сети для обработки информации

еДг+1) < 1,05е,(0, очередной шаг считается целесообразным, и уточнение весов проводится. Если же <?*(/+!) = 1,05е, (г), изменения игнорируются, при­ нимается Д»^</)-0, и в выражении (2.17) 1?адиент1шя составляющая оказы­ вается доминирующей над составляющей момента.

2.3. Нейрон типа “адалайн”

Модель нейрона типа “адалайн” (англ.: АОАрИуе Ипеог МЕигоп - адаптивный линейный нейрон) была предложена Б. Вкдроу [167]. Ео структурная схема, демонстрирующая адаптивный способ подбора весовых .коэффициентов, изображена на рис. 2.5. По методу весового суммирования сигналов нейрон типа “адалайн” аналогичен представленным ранее моделям нейронов. Функция активации имеет тип в^ршт, т.е.

Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

(2.19)

Следует обратить внимание, что, несмотря на нелинейный характер модели, в целевой функции присутствуют только линейные члены, представляющие собой сумму взвешенных входных сигналов. В связи с выполнением условия непрерывности целевой функции стало возможным применение алгоритма градиентного обучения. Как и в ситуации с сигмоидальным нейроном, в

показаны схемы таких соединений. Конкретные сигналы у<суммируются с учетом порогового значения, устанавливаемого раздельно для каждого типа связи. Для схемы ОК порог имеет значение (л -1 ), для схемы АМО - значение ( 1-л), а для мажоритарной схемы - нулевое знпченме. Благодаря применению функции активации типа з^п и т выходной сигнал у принимает значение +1, когда хотя бы одни из входных сигналов имеет значение +1 (ОК), когда осе входные сиг­ налы у1имеют значения +1 (АТ^ГО) либо когда большинство сигналов .у,- имеет значение +1 (мажоритарное соединение).

2.4. Инстар и оутстар Гроссберга

Нейроны типа инстар и оутстар - это взаимодополняющие элементы. Иистлр адаптирует веса сигналов, поступающих на сумматор нейрона, х своим вход­ ным сигналам, а оутстар согласовывает веса выходящих из нейрона связей с узлами, в которых формируются значения выходных сигналов. Нейрон типа инстар был определен С. Гроссбсргом. На рис. 2.7 Представлена структурная схема инстара.

Рнс. 2.7. Структурная схема ннстара

Сигналы X}, подаваемые с весовыми коэффициентами щ на вход /-го инстара, суммируются в соответствии с выражением

В соответствии с функцией активации на выходе нейрона вырабатывается выходной сигнал у, = /(и,). Часто в ннстаре применяется линейная форма функции активации, и тогда у/ = н/ . Обучение инстара (подбор весов щ ) производится по правилу Гроосбсрге, в соответствии с которым

где I) - это коэффициент обучения, значение которого, как правило, выби­ рается из интервала (0,1). Входные данные, представляемые в виде вектора х, выражены чаще всего в нормализованной форме, в которой ||х ||= 1. Норма­ лизация компонентов вектора х выполняется по формуле

(2.24)

+ * ?+ •••+ 4

Результаты обучения по методу Гроссберга в значительной степени зависят от коэффициента обучения Ц. При выборе г} = I веса Щу становятся равными эначениям ху уже после первой итерации. Ввод очередного входного вектора х вызовет адаптацию весов к новому вектору и абсолютное "забывание" предыдущих значений. Выбор г| < I приводит к тому, что в результате обучения весовые коэффициенты щ принимают усредненные значения обучающих векторов .V.

Допустим, что 1-й инстпр был обучен на некотором нормали­ зованном относительно своих компонентов входном векторе дг*. В этом случае нв векторе весов ннстора выполняется отношение: и = [иу|, ш#, ..., 1^.у)г = Х|. В режиме классификации при вводе очередного входного вектора Х2 инстар вырабатывает сигнал щ вида

При выполнении условия ДГ2=Х| реакция инстара будет равна и<=]. В слу­ чае, когда входные векторы отличаются друг от друга, реакция ннстора будет пропорциональна косинусу угле между этими векторами. Для ортогональных векторов и,-= 0.

В итоге натренированный киствр функционирует как векторный класси­ фикатор, сопоставляющий очередной поданный на его вход вектор с вектором, сформированным в процессе обучения. В случае максимального совпа­ дения этих векторов реакция ннствра будет максимальной (наиболее близкой к единице). Если инстар обучался на группе достаточно похожих векторов с коэффициентом обучения ц < I, то его весовые коэффициенты примут значения, усредненные по этим векторам, н в режиме классифи­ кации он будет лучше всего реагировать на входные векторы, параметры которых наиболее близки к средним значениям векторов, входивших в обучающую группу.

Необходимо подчеркнуть, что ннсгар может обучаться кок с учителем, так и без него. Во втором случае в правиле Гроссберга в качестве значения у( принимается фактическое значение выходного сигнала ннсторп. При обучении с учителем значение у,-заменяется ожидаемым значением г/;, т.е.ут =

Нейрон типа оутстар Гроссбсрга прсдставляег собой комплементарное доиолненне инстара. Если инстор обучается с целью распознавать вектор, подаваемый на его вход, то оутстар должен генерировать вектор, необходимый связанным с ним нейронам. Структурная схема оутстара представлена на рис. 2.8. г-й нейрон-источник высылает свой выходной сигнал у,- взаимодействующим с ним нейронам, выходные сигналы которых обозначены уу(/ = 1, 2, .... М). Оутстар, как правило, является линейным нейроном. Обучение состоит в таком подборе его весов щ , чтобы выходные сигналы оутстара были равны ожидаемым значениям уу взаимодействующих с ним нейронов. Обучение оутстара согласно правилу Гроссбсрга проводится в соответствии с выражением

в котором т) - это коэффициент обучения, а у,- - выходной сигнал /-го нейрона, выступающего в роли источника. Зависимость (2.27) для оутстара аналогична выражению (2.23), по которому обучается икстар. В режиме распознавания в момент активизации нейрона-источника оутстар будет генерировать сигналы, соответствующие ожидаемым значениям уу.

Нейроны тина инстар и оутстар существенным образом отличаются от нейронов трех типов, определенных ранее в этом разделе. Основу обучения лсрсегпронв, ежмондалыюго нейрона и адалайна составляет пара обучающих векторов (г, </). Они могут обучаться только с учителем. При обучении инстора и оутстара весовые коэффициенты подстраиваются под входные или выходные векторы, Обучение может проводиться как с учителем, так и без него.

2.5. Нейроны типа ШТА

Нейроны типа \УТА (англ.: Шппег Такев АН- Победитель получает все) [46, 73, 114] имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами щ . Выходной сигнал 7-го сумматора определяется согласно формуле

(2.28)

Группа конкурирующих между собой нейронов (рис. 2.9) получает одни и те же входные сигналы ху. В зависимости от фактических значений весовых коэффициентов суммарные сигналы щ отдельных нейронов могут различаться. По результатам сравнения этих сигналов победителем приз­ нается нейрон, значение и( у которого оказалось наибольшим. Нсйрон-побс- днтсль вырабатывает на своем выходе состояние I, а остальные (проигравшие) нейроны переходят в состояние 0. ,

Для обучения нейронов типа ОТЛ не требуется учитель, оно протекает аналогично обучению инстара, с использованием нормализованных входных векторов х. На начальном этане случайным образом выбираются весовые коэффициенты каждого нейрона, нормализуемые относительно I. После нодачи

Рис. 2.9. Схема соединения нсПронов типа \УТЛ

Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения их весовых коэффициентов. Вследствие бинарности значений выходных сигналов конкурирующих нейронов (0 или I) правило Гроссберга может быть несколько улрощено:

На фу)1кцнош!рование нейронов типа ЧГГА оказывает существенное влия­ ние нормализация входных векторов и весовых коэффициентов. Выходной сиг­

Поскольку ||и> || = II.гII = 1, значение щ определяется углом между векторами х и и», щ = со5ф>/. Поэтому лобедителем оказывается нейрон, вектор весов кото­ рого оказывается наиболее близким текущему обучающему вектору х. В результате победы нейрона уточняются его весовые коэффициенты» значения которых приближаются к значениям текущего обучающего вектора х. Если на вход сети будет подаваться множество близких по значениям векторов, побеждать будет один и тот же нейрон. Поэтому его веса станут равными усредненным значениям тех входных векторов, благодаря которым данный нейрон оказался победителем. Проигравшие нейроны не изменяют свои веса. Только победа при очередном представлении входного вектора позволит им произвести уточнение весовых коэффициентов и продолжить процесс обучения в случае еще одной победы.

Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои веса таким образом, что при предъявлении группы близких по значениям входных векторов победителем всегда оказывается одни л тот же нейрон. В процессе функционирования именно этот нейрон благодаря соперничеству распознает свою категорию входных данных. Сис­ темы такого типа чаще всего применяются для классификации векторов.

Рис. 2.11. Процесс обучен! изображенной на рнс. 2.10 нейронной сел! типа №ТА

В качестве примера рассмотрим нейронную сеть, состоящую из четырех нейронов типа №ТЛ и предназначенную для классификации входных двухкомлонентных векторов (рис. 2.10). Входные обучающие векторы х представлены в нормализованной форме:

Процесс обучения сети представлен на рис. 2.11. Окружностями обозначены позиции очередных векторов весов тех нейронов, которые побеждали в соревновании. Можно отметить, что в процессе обучения побеждали только три нейрона. Четвертый нейрон остался мертвым (он не победил ни разу) л не построился Ш1 на одну категорию векторов.

При значении коэффициента обучения г]=■0,05 после 320 обучающих циклов были получены следующие веса трех первых нейронов:

самостоятельно разделено множество исходных данных.

Серьезной проблемой при обучении >УТА остается проблема мертвых нейронов, которые после инициализации ни одного раза нс победили в конкурс1гтной борьбе н остались в состоянии, сформнровашюм в начальный момент времени. Каждый мертвый нейрон уменьшает эффективное коли­ чество элементов, прошедших обучение, и соответственно увеличивает общую погрешность распознавания данных. Для разрешения этой проблемы применяется модифицированное обучение, основвиное на учете прошлых побед каждого нейрона и штрафовании (временной дисквалификации) тех из них, которые побеждали чаще всего. Дисквалификация слишком активных нейронов может осуществляться либо назначением порогового

2.6.Модель нейрона Хебба

Д.Хебб в процессе исследования нервных клеток (49, 51] заметил, что связь между двумя клетками усиливается, если обе клетки пробуждаются (становятся активными) в одни и тот же момент, времени. Если у-я клетка с выходным сигналом у} связана с г-й клеткой, имеющей выходной сигнал уи связью с весом жу, то на силу связи этих клеток влияют значения выходных сигналов у§ и у^

Д.Хебб предложил формальное правило, в котором отрезвись результаты ого наблюдений. В соответствии с правилом Хебба [49], вес щ нейрона изменяется пропорционально произведению его входного и выходного сигналов1

(2.31)

1Известнотакже антшеббоведо правило («ил.: апПНеЬЫоп/еого/лв), в соответствии

скоторым Дж/у 2 ~1}у/У{-

|де г/ - это коэффициент обучения, значение которого выбирается а интервале (0,1)- Правило Хебба может применяться для нейронных сетей различных типов с разнообразными функциями активации моделей отдельных нейронов.

Структурная схема нейрона Хебба, представленная на рис. 2.12, соответствует стандартной форме модели нейрона.

Связь с весом н'у, способ подбора значения которого задается отноше­ нием (2.31), соединяет входной сиг­ нал у] с сумматором /-го нейрона, вы­ рабатывающего выходной сигнал у(. Обучение нейрона па правилу Хебба может проводиться как с учителем, так и без него. Во втором случае в пра­ виле Хебба используется фактическое значение у\ выходного сигнала ней­ рона. При обучении с учителем вместо знвчення выходного сигнала у^ ис­ пользуется ожидаемая от этого ней­

рона реакция ф. В этом случае правило Хебба записывается в виде

Правило Хебба характеризуется тем, что в результате его применения веса могут принимать произвольно большие значения, поскольку в каждом цикле обу­ чения происходит суммирование текущего значения веса и его приращения Ди^:

Одни из способов стабилизации процесса обучения по правилу Хебба состо1гг в учете для уточнения веса последнего значения умеиынешюго на коэф­ фициент забывания у[51]. При этом правило Хебба представляется в виде

Значение коэффициента забывания у выбирается, как правило, из интервала (0, 1) и чаще всего составляет некоторый процент от коэффициента обучения т/. Применение больших значений у приводит к тому, что нейрон забывает зиачитальную часть того, чему он обучился о прошлом. Рекомендуемые значения коэффициента забывания -у<0,1 , при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.

В качестве примера рассмотрим обученно без учителя с забыванием сети, состоящей из четырех нейронов с одноступенчатой нелинейностью, причем на входы каждого нейрона подаются все четыре компо1Ю1гтв вектора х (рис. 2.13). Примем, что веса поляризации ито для I = 1, 2, 3, А постоянны и равны -0,5.