81. Архитектуры нейронных сетей: радиально-базисные сети; нейронные сети Хопфилда; нейронные сети Кохонена; рекуррентные нейронные сети.

Известно более 200 архитектур НС

различаются по:

• свойствам,

• алгоритмам обучения,

• спектру решаемых задач

1.Радиально-базисные сети РБФ-сети (RBFN, Radial Basis Functions Networks) Относятся к классу многослойных НС прямого распространения

Архитектура РБФ-сети включает в себя три слоя нейронов. Первый (входной) слой выполняет распределительные функции. Второй (скрытый) слой осуществляет фиксированное нелинейное преобразование вектора входов X в новое пространство U без использования настраиваемых весовых коэффициентов. Выходной слой объединяет полученные таким образом выходы нейронов скрытого слоя путем вычисления их линейной взвешенной комбинации.

Радиально-базисная сеть:

f_i (x) – функция активации нейронов скрытого слоя.

- вектор-эталон, ("центр" области входных образов); – радиальная базисная функция ( ). Функция принимает максимальное значение при нулевом значении аргумента и быстро убывающая при .

Например, функции могут быть выбраны в классе гауссовых функций

В РБФ-сетях настраиваемые параметры сети линейно связаны с выходами y_i. Для их нахождения возможно использование метода наименьших квадратов, в котором минимизируется суммарная квадратичная ошибка сети

i - й выход НС, r − входной образ

Функция активации нейрона скрытого слоя

Вычисляя частные производные

и приравнивая их к нулю с учетом выражений

п риходим к системе из (p+1)m линейных уравнений относительно (p+1)m неизвестных коэффициентов

2. Нейронные сети Хопфилда НС Хопфилда − динамическая система, построенная на основе однослойной необучаемой НС с обратными связями. Число нейронов равно числу входов и числу выходов сети. Все нейроны связаны друг с другом взвешенными связями, веса связей w_ij фиксированы. Каждый выход сети y_i представляет собой задержанное значение выхода соответствующего нейрона; z^-1 – оператор временного сдвига на один такт. Поведение сети Хопфилда во времени описывается системой разностных уравнений

x_i – суммарное возбуждение (переменная состояния) i-го нейрона, k – дискретное время. Состояние сети определяет в каждый момент времени некоторую точку в фазовом пространстве. Сигнал с выхода каждого нейрона подается на входы всех остальных, состояние сети изменяться до тех пор, пока сеть не придет в одно из ближайших устойчивых состояний. В устойчивом состоянии все нейроны на каждом последующем шаге будут вырабатывать тот же сигнал, что и на предыдущем. Достаточные условия сходимости сети Хопфилда к устойчивому состоянию:

1. симметричность матрицы весов синаптических связей ( ), т.е.

2. все элементы главной диагонали матрицы W должны быть нулевыми

Выбор весов синаптических связей представляет самостоятельную задачу. Выбор весов синаптических связей определяет "память" НС, т.е. совокупность запомненных образов, каждый из которых связывается с некоторым устойчивым состоянием сети. Если входной образ (т.е. вектор U) частично неправилен или неполон, то сеть из совокупности запомненных образов выбирает прототип, наиболее похожий на предъявляемый образ. Область применения сетей Хопфилда – распознавание образов (в том числе восстановление полной информации по фрагментам), построение ассоциативной памяти, решение различных задач оптимизации комбинаторного типа.

3. Нейронные сети Кохонена

К ласс самоорганизующихся нейронных сетей (Self-Organizing Maps). Используют алгоритмы обучения без учителя для настройки весов синаптических связей. Нейронная сеть состоит из двух слоев. 1-й (входной) слой осуществляет распределение входных сигналов между нейронами второго слоя. Во 2-ом слое нейроны связаны между собой связями, сила которых зависит от расстояния между нейронами.

Обучение нейронной сети осуществляется путем поочередного предъявления ей входных образов Х₁, Х₂, ..., Х_R с последующей настройкой весов связей нейронов 2-го слоя, которая производится с учетом расстояния между нейронами 2-го слоя:

W_ij – весовой вектор нейрона с координатами (i, j), h(p, t, k) – функция притяжения р-го и t-го нейронов, γ(k) =1/k

4 . Рекуррентные нейронные сети Рекуррентные НС − НС, имеющие одну или несколько обратных связей. Пример − рекуррентные нейронные сети на базе многослойного персептрона (RMLP, Recurrent Multi – Layer Perceptron).

Это нелинейный адаптивный фильтр с конечной памятью (т.е. рекурсивный фильтр).

Рекуррентные сети получили широкое применение при решении задач идентификации, прогнозирования и управления нелинейными динамическими объектами. В качестве функций активации нейронов при их построении обычно используется сигмоидная функция или гиперболический тангенс. Наиболее распространенные алгоритмы обучения – алгоритм обратного распространения и его модификации. НС адаптивного резонанса, рециркуляционные сети, сети встречного

распространения, сети Хэмминга, автоассоциативные НС и др.