5.2.Рекуррентные нс на базе персептрона

Многослойные рекуррентные сети представляют собой развитие однонаправленных НС типа МСП за счет добавления в них ОС, сигнал которых может исходить как из выходного, так и из скрытых слоев. В каждом контуре ОС присутствует элемент единичной задержки, благодаря которому распространение сигнала можно считать однонаправленным (выходной сигнал предыдущего цикла рассматривается как заданный, что просто увеличивает размерность входного вектора сети). Тем не менее, алгоритмы обучения таких НС являются более сложными из-за зависимости сигналов в момент времени t от их значений в предыдущие моменты и, соответственно, из-за более громоздких формул для расчета вектора градиента. К наиболее известным НС с ОС на базе МСП относятся RMLP (Recurrent Multilayer Perceptron), сеть Эльмана и RTRN (Real Time Recurrent Network).

5.2.1.НС RMLP

Сеть RMLP, обобщенная структура которой приведена на рис. 5.4, представляет собой динамическую сеть, характеризующуюся запаздыванием входных и выходных сигналов, объединяемых во входной вектор сети. Такая НС реализует отображение (для простоты считаем, что сеть содержит один входной x(t) и один выходной y(t) узлы, а также один скрытый слой)

(5.19)

где (N–1) – число задержек входного сигнала; Р – число задержек выходного сигнала. Согласно рис. 5.4 функционирование НС RMLP можно описать следующими зависимостями:

(5.20)

где f – функции активации нейронов (чаще всего сигмоиды как обеспечивающие меньшее значение К).

Обучение сети RMLP – с учителем на основе минимизации целевой функции (режим «online») любым градиентным методом, чаще всего с использованием только первой производной. Значения коэффициента обучения  либо остаются постоянными в течение всего процесса ( < 0.1), либо адаптируются на каждом шаге в соответствии с динамикой изменения погрешности . Применение НС RMLP – для моделирования динамических процессов в режиме «online». Типичный пример – имитация нелинейных динамических объектов (рис. 5.5), где НС RMLP играет роль модели, а алгоритм уточнения весов, контролируемый величиной погрешности e(t)=y(t)–d(t), служит для идентификации параметров этой модели. Масштабирующий усилитель с коэффициентом усиления М обеспечивает соответствие уровней выходных сигналов y(t) и d(t).

5.2.2.Рекуррентная сеть Эльмана

Рекуррентная НС Эльмана характеризуется частичной рекуррентностью в форме ОС между скрытым и входным слоями (рис. 5.6), реализуемой с помощью единичных элементов задержки z ^–1. Из структуры рис. 5.6 видно, что функционирование НС Эльмана можно описать соотношениями:

(5.21)

где – входной вектор сети; [W⁽¹⁾], [W⁽²⁾] – матрицы весов скрытого и выходного слоев; f₁, f₂ – функции активации нейронов этих слоев.

Практические реализации алгоритмов обучения сети Эльмана обычно строятся на методе АНС, усиленном моментом. Обучение ведется в режиме «offline» с использованием целевой функции типа [2.24]. Для управления процессом обучения вводится понятие допустимого прироста погрешности, как правило, в пределах 2…4%. Самое сложное при этом – выбор оптимального значения коэффициента момента, для чего обычно требуется значительное количество численных экспериментов, целью которых является адаптация значения этого коэффициента к решаемой проблеме. Чаще всего удовлетворительным считается субоптимальное значение, обеспечивающее достижение хороших показателей обучения.

В плане применения НС Эльмана лучше всего приспособлена для моделирования временных рядов, проблема прогнозирования которых возникает при распознавании сигналов, многочисленных финансовых, экономических, экологических задачах и самых разнообразных технических приложениях. Обычно для прогноза временных рядов применяются статистические методы, которые требуют построения адекватной динамической модели данных (например, регрессионной) изучаемого явления, что для указанных практических задач чаще всего не представляется возможным. В таких случаях наиболее удобным инструментом являются нейросетевые экстраполяторы типа сети Эльмана.

5.2.3.НС RTRN (Real Time Recurrent Network)

Среди рекуррентных НС особого внимания заслуживает сеть RTRN, предложенная Р. Вильямсом и Д. Зипсером для обработки сигналов в реальном масштабе времени (рис. 5.7), функционирование которой подчиняется следующей зависимости:

(5.22)

где расширенный входной вектор имеет вид

. (5.23)

Сеть содержит N входных и К скрытых нейронов, из которых только М образуют выход сети. Из рис. 5.7 видно, что НС RTTN представляет собой частный случай сети Эльмана, в которой веса выходного слоя (_ij – символ Кронекера), т.е. w_ii=1, а w_ij=0 при ij. В этом случае для ее обучения можно использовать алгоритм Вильямса–Зипсера:

1. Выбрать начальные значения весов w_ij случайным образом из интервала (–1, +1) на основе равномерного распределения.

2. Рассчитать состояния всех К скрытых нейронов в моменты t=0,1,2,… с использованием (5.22), (5.23) и на этой основе определить входной вектор .

3. Рассчитать значения

(5.24)

4. Уточнить значения весов по АНС согласно

(5.25)

где i=1,2,…,K; j=0,1,2,…,N+K. Циклы (2–4) повторять до стабилизации всех весов сети.

Контрольные вопросы

1. Что такое ассоциативная память и каковы ее варианты?

2. Что используется в качестве меры близости элементов множеств в теории НС? В чем это выражается?

3. Приведите обобщенную структуру НС Хопфилда. Чем она отличается от оригинала?

4. Опишите режимы функционирования НС Хопфилда.

5. Почему методы обучения НС Хопфилда на основе «псевдоинверсии» показывают лучшие результаты, чем обучение по Хеббу?

6. В чем отличие структур и выходных параметров НС Хемминга и Хопфилда?

7. Каким образом обеспечивается устойчивость функционирования в НС ДАП Коско?

8. Как осуществляется взаимодействие сигналов в рекуррентных НС на базе персептрона?

9. Опишите структуру и процесс обучения НС RMLP.

10. Для решения каких задач используется рекуррентная НС на базе МСП.

11. Как осуществляется обучение и функционирование НС Эльмана?

12. Определите основные этапы обучения НС RTRN с помощью алгоритма Вильямса–Зипсера.