книги / Обнаружение, распознавание и пеленгация объектов в ближней локации
..pdfНа основании результатов |
|
|
работ по построению аналогич |
|
|
ных нейросетей в качестве ис |
|
|
ходной выбрана сеть с количе |
|
|
ством слоев, равным 2. Такая |
|
|
размерность сети соответствует |
|
|
предъявляемым |
требованиям |
|
как по рабочим |
характеристи |
|
кам, так и по занимаемому объ |
|
|
ему при реализации на сущест |
Рис. 5.21. Граф многослойной ней |
|
вующей элементной базе. По |
ронной сети с последовательными |
|
этому основным |
содержанием |
связями |
исследований |
рациональной |
|
структуры нейросети является поиск необходимого количества нейронов в каждом из слоев и наиболее подходящей активацион ной функции. Тогда на каждом к-м выходе сети отклик на входной вектор X размерностью Щможет быть представлен в виде
У к = Л ^ |
w l f \ I i w 'jix j + WQi + W,Ok |
V'=> |
Ы |
где Nj — количество нейронов в первом слое; /\ и / 2 — функции активации нейронов, соответственно, первого и второго слоев;
Wjj — весовые коэффициенты первого слоя; w~k — весовые ко-
I 9
эффициенты второго слоя; w0i и wQk — нулевые веса нейронов, соответственно, первого и второго слоев.
Выходной слой нейросети содержит два нейрона по количест ву распознаваемых классов (самолет и вертолет). При решении задачи рассматривались активационные функции:
сигмоидальная, или логистическая,
1 / ( * ) - 1 + е~
пороговая
а, х>х,,
/(* ) =
13* |
203 |
ступенчатая
/00 =
a, х>0,
B, *<0.
При обучении нейронной сети пороговая и ступенчатая функции активации аппроксимировались дифференцируемыми функциями, при этом предполагалось, что учитель точно знает тип объекта для каждой реализации. Обучение проводилось на обучающем множест ве из 150 реализаций (по 50 для каждого из классов), полученных на основании модельных сигналов. Тестирование сети осуществлялось на тестовом множестве, включающем по 25 реализаций для каждого класса объектов, полученных экспериментально в натурных услови ях. В соответствии с выбранным функционалом оптимизации — ми нимумом среднего значения квадрата ошибки между реальным и требуемым значениями выходного сигнала, в качестве алгоритма обучения был выбран алгоритм back-propagation. Нейронная сеть в режиме обучения представляла собой замкнутую сеть, состоящую в общем случае из разомкнутой сети и блока настройки.
Ошибка, %
Номер итерации, тыс.
Номер итерации, тыс.
Рис. 5.23. Скорость обучения нейронной сети с пороговой активационной функцией:
1— 2 нейрона; 2 — 4 нейрона
В процессе оптимизации исследовалась скорость обучения (количество итераций п) нейросети определенной конфигурации. Процент ошибок при обучении нейросети зависит от количества нейронов первого слоя и вида активационной функции нейронов первого слоя (рис. 5.22—5.24).
Результаты анализа зависимостей ошибки обучения от номера итерации свидетельствуют о влиянии количества нейронов в пер вом слое на скорость обучения. Для всех трех представленных ак тивационных функций увеличение количества нейронов приводит к уменьшению времени процесса обучения сети. Это уменьшение происходит, однако, по-разному. Наибольшее относительное уменьшение времени наблюдается у сетей с логистической функ цией активации и наименьшее — у сетей со ступенчатой функцией активации. Таким образом, наилучшими показателями в отноше нии скорости обучения обладают нейросети с логистической акти вационной функцией. Несколько хуже показатели сетей с порого вой функцией активации. Использовать же ступенчатую активаци-
О |
6,25 |
12,5 |
18,75 |
25 |
31,25 |
37,5 |
43,75 |
50 |
|
|
|
Номер итерации, тыс. |
|
|
|||
Рис. 5.24. Скорость обучения нейронной сети с логистиче ской активационной функцией:
1— 2 нейрона; 2 — 4 нейрона
онную функцию лучше, если количество нейронов в первом слое больше двух.
Важной характеристикой систем принятия решения является робастность (см. 5.4). В рассматриваемом случае это особенно важно, поскольку объем обучающего множества относительно не велик. В ходе тестирования обученных нейросетей использованы распределения длительностей интервалов (РДИ), полученные из имеющихся реализаций сигналов и размытые шумом определен ного уровня с гауссовским распределением.
При этом задавалось различное относительное среднеквадра тическое значение подмешиваемого шума к компонентам вектора РДИ в диапазоне от 0 до 100%. Результаты тестирования ней ронных сетей с различным количеством нейронов и активацион ными функциями в первом слое получены путем усреднения результатов нескольких экспериментов (проводилось по 10 тес тирований). Это обусловлено тем, что каждый раз при тестирова нии на вход нейронной сети подавались различные входные век-
Рис. 5.25. Ошибка тестирования нейронной сети со ступен чатой активационной функцией:
1— 4 нейрона; 2 — 2 нейрона
торы из-за вероятностного характера подмешиваемого шума (рис. 5.25—5.27). Анализ полученных зависимостей ошибок рас познавания от количества нейронов и типа активационной функ ции в первом слое показывает, что при относительном изменении среднеквадратического значения шума от 0 до 10 % наилучшими показателями обладают нейросети с логистической активацион ной функцией и примерно одинаковыми сети с пороговой и сту пенчатой функциями. При дальнейшем увеличении относитель ного уровня шума среднее количество ошибок тестирования ста новится примерно одинаковым для всех типов сетей.
Все типы активационных функций характеризует то, что с увеличением количества нейронов возрастает и средняя ошибка тестирования при одинаковых относительных уровнях шума. Сле дует отметить, что в нейронной сети с логистической функцией активации процент ошибок практически не зависит от количества нейронов в первом слое. Нейронные же сети с пороговой и сту пенчатой функцией таким свойством не обладают.
Рис. 5.26. Ошибка тестирования нейронной сети с пороговой активационной функцией:
/— 4 нейрона; 2 — 2 нейрона Ошибка, %
Скорость обучения и ошибки тестирования при робастном обучении
Для улучшения рабочих характеристик рассмотренных нейро сетей проводилось их робастное обучение с использованием век торов РДИ, размытых шумом с наихудшим распределением и от носительным среднеквадратическим значением подмешиваемого шума 0...10 %.
Наихудшим распределением шума в рассматриваемом случае при формировании вектора РДИ является нормальный некоррели рованный шум (см. 5.4). Как показали исследования, максималь ный относительный уровень среднеквадратического значения подмешиваемого шума в рассматриваемом случае, при котором возможно обучение нейросети, равен приблизительно 10%. На рис. 5.28—5.30 приведены результаты, характеризующие время обучения сети в зависимости от функций активации первого слоя при различном количестве нейронов. Следует отметить значительное увеличение общего времени обучения всех типов
Ошибка, %
Номер итерации, тыс.
Номер итерации, тыс.
Рис. 5.29. Скорость робастного обучения нейронной сети с пороговой активационной функцией:
I — 2 нейрона; 2 — 4 нейрона
исследуемых нейронных сетей по сравнению с обучением без добавления к обучающему множеству шумовой составляющей (см. рис. 5.22—5.24). В среднем время обучения увеличилось в два с половиной раза.
Анализ полученных результатов свидетельствует о том, что наименьшее время обучения имеет нейронная сеть с логистиче ской активационной функцией. Процесс обучения обладает непло хой сходимостью к глобальному минимуму и не попадает в ло кальные минимумы. Больше времени затрачивается на обучение нейросети с пороговой активационной функцией. Сравнивая ее характеристики с полученными ранее, без добавления шума в про цессе обучения, можно отметить значительное ухудшение сходи мости процесса обучения к глобальному минимуму, особенно при небольшом количестве нейронов в первом слое. Время обучения при этом увеличилось в среднем в два раза.
В случае ступенчатой активационной функции время обуче ния нейросети становится неограниченно большим или сеть про-
Номер итерации, тыс.
Рис. 5.30. Скорость робастного обучения нейронной сети с логистической активационной функцией:
I — 2 нейрона; 2— 4 нейрона
сто не обучается. Процесс обучения такой сети не обладает при знаками сходимости к глобальному минимуму, и средняя ошибка обучения остается практически постоянной. По сравнению с обу чением без добавления шума характеристики нейросети данного вида сильно ухудшились.
В целом для сети с различными активационными функциями характерно снижение времени обучения при увеличении числа нейронов в первом слое, а также уменьшение средней ошибки обучения. Данные результаты полностью совпадают с результата ми, полученными в ходе обучения этих же нейросетей без добав ления шума. Наиболее заметны отличия в скорости обучения в се ти со ступенчатой функцией активации, поскольку увеличение числа нейронов в ней не приводит к ускорению сходимости про цесса обучения к глобальному минимуму и практически не снижа ет среднюю ошибку обучения.
Обобщая полученные результаты, можно сделать вывод о том, что обучение нейронной сети с добавлением шума к обучающему
множеству резко увеличивает время обучения сетей с различными типами активационных функций и разным количеством нейронов в первом слое. Однако процесс обучения для логистической и по роговой активационных функций завершился успешно, что свиде тельствует о приемлемости данного способа обучения нейросетей в аналогичных задачах.
Худшие результаты показала нейросеть со ступенчатой акти вационной функцией, поскольку она смогла обучиться в данных условиях лишь при четырех нейронах в первом слое. Данный факт ставит под сомнение возможность ее успешного использования в нейросетевом распознавателе акустических сигналов.
Тестирование робастно обученных нейронных сетей проводи лось на тестовом множестве, сформированном по размытым шу мом входным векторам РДИ. В качестве добавляемого к реализа циям РДИ использовался некоррелированный шум с гауссовским распределением и диапазоном изменения относительного средне квадратического значения от 0 до 100 %.
Анализ результатов тестирования нейронных сетей с различны ми количеством нейронов в первом слое и активационными функ циями в зависимости от относительного уровня среднеквадратиче ского значения подмешиваемого шума показал (рис. 5.31—5.33), что
Ошибка, %
Рис. 5.31. Ошибка тестирования робастной нейронной сети со ступенчатой активационной функцией и четырьмя нейро нами во входном слое