4.4.Специализированные структуры нс

Специализированные НС обеспечивают оптимальный выбор архитектуры, сочетая определение структуры НС с ее обучением. К их числу относятся сеть каскадной корреляции Фальмана и сеть Вольтерри.

4.4.1.Нс каскадной корреляции Фальмана

Эта сеть представляет собой многослойную конструкцию, в которой формирование структуры НС происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона. Архитектура сети каскадной корреляции представляет собой объединение нейронов взвешенными связями в виде развивающегося каскада (рис. 4.5), где каждый очередной добавляемый нейрон подключается ко всем уже существующим нейронам (входным, скрытым, выходным), причем входные узлы НС напрямую подключаются также и к выходным нейронам.

Начальный этап включает формирование структуры НС только из входных и выходных нейронов, количество которых определяется спецификой решаемой задачи и не подлежит модификации. Каждый вход соединен со всеми выходными нейронами, функция активации которых может быть любой. Обучение состоит в подборе весов связей любым методом обучения (в оригинале Quickprop Фальмана) на основе минимизации целевой функции . Если результат обучения удовлетворителен с точки зрения допустимой погрешности, процесс формирования структуры НС считается законченным. В противном случае в структуру НС добавляется один скрытый нейрон, образующий одноэлементный скрытый слой, в котором веса входных связей фиксированы, а обучению (коррекции) подлежат только веса его связей с выходными нейронами.

Формирование каждого скрытого слоя начинают с подготовки нейронов–кандидатов (обычно 5…10), подбор входных весов которых (фиксируемых при включении в НС) осуществляется по значению максимума функции корреляции S, зависящей от выходного сигнала кандидата при подаче всех обучающих выборок. Каждый нейрон–кандидат представляет собой обособленный элемент, соединенный со всеми входами сети и с выходами ранее введенных нейронов. Начальные веса нейронов–кандидатов выбирают случайным образом, после обучения в каскадную НС ставится лучший из претендентов, что уменьшает вероятность попадания НС в точку локального минимума из-за ввода в сеть нейрона с плохо подобранными входными весами, которые уже невозможно будет откорректировать на последующих этапах обучения.

Каждый нейрон, претендующий на включение в сетевую структуру, может иметь свою функцию активации – сигмоидальную, гауссовскую, радиальную и т.п. Поскольку побеждают те нейроны, которые лучше приспосабливаются к условиям, созданным множеством обучающих данных, то сеть Фальмана может объединять нейроны с различными функциями активации. Заметим, что, несмотря на большое количество слоев, НС Фальмана не требует применения алгоритма ОРО при обучении, поскольку в процессе минимизации задействованы весовые коэффициенты только выходного слоя, для которых погрешность рассчитывается непосредственно.

Для проверки обобщающих свойств НС Фальмана был рассмотрен пример аппроксимации функции двух переменных для значений x,y[–1, 1]. В качестве обучающих данных использовались 500 значений этой функции, равномерно распределенных по всему диапазону, сеть обучалась из условия . График изменения в зависимости от номера итерации представлен на рис. 4.6. Ожидаемое значение погрешности обучения было получено на выходе НС при введении в ее структуру 41–го скрытого нейрона. В качестве тестирующих данных были сгенерированы 1000 значений функции в других точках того же диапазона. Результаты тестирования подтвердили хорошие обобщающие способности сети.