10. Правило останова переходного процесса в сети Хопфилда. Теорема Коэна (Сohen) и Гроссберга ( Grossberg)

Нейро́нная сеть Хо́пфилда — полносвязная нейронная сеть с симметричной матрицей связей. В процессе работы динамика таких сетей сходится (конвергирует) к одному из положений равновесия. Эти положения равновесия являются локальными минимумами функционала, называемого энергией сети (в простейшем случае — локальными минимумами отрицательно определённой квадратичной формы на n-мерном кубе). Такая сеть может быть использована как автоассоциативная память, как фильтр, а также для решения некоторых задач оптимизации. В отличие от многих нейронных сетей, работающих до получения ответа через определённое количество тактов, сети Хопфилда работают до достижения равновесия, когда следующее состояние сети в точности равно предыдущему: начальное состояние является входным образом, а при равновесии получают выходной образ.

Память человека часто является ассоциативной; один предмет напомина&# 414f515e 1077;т нам о другом, а этот другой о третьем. Если позволить нашим мыслям, они будут перемещаться от предмета к предмету по цепочке умственных ассоциаций. Кроме того, возможно использование способности к ассоциациям для восстановления забытых образов. Если мы забыли, где оставили свои очки, то пытаемся вспомнить, где видели их , в последний раз, с кем разговаривали и что делали. Посредством этого устанавливается конец цепочки ассоциаций, что позволяет нашей памяти соединять ассоциации для получения требуемого образа.

Ассоциативная память, рассмотренная в гл. 6, является, строго говоря, автоассоциативной, это означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Данный факт является результатом одноуровневой структуры ассоциативной памяти, в которой вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.

Двунаправленная ассоциативная память (ДАП) является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напомина&# 414f515e 1102;т процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

В последних публикациях [9,12] представлено несколько форм реализации двунаправленной ассоциативной памяти. Как большинство важных идей, изложенные в этих работах идеи имеют глубокие корни; например, в работе Гроссберга [6] представлены некоторые важные для ДАП концепции. В данной работе ссылки приводятся не с целью разрешения вопроса о приоритете исследовательских работ, а исключительно для освещения их вклада в исследовательскую тематику.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов. Теорема Кохен-Гроссберга [1] показывает, что такая сеть является безусловно стабильной, если весовые матрицы симметричны. На практике сети обычно стабильны даже в случае отсутствия симметрии весовых матриц. Однако неизвестно, какие особенности весовых матриц могут привести к неустойчивости функционирования сети.

Сеть встречного расспространения

Слой Гроссберга

Сеть встречного распространения (СВР) была предложена Робертом Хехт*Нильсеном в 1987 г.

Она состоит из двух слоев нейронов: слоя Кохонена и слоя Гроссберга (рис. ). Слой Кохонена рабо*

тает в режиме интерполяции или аккредитации. Все слои полносвязны.

Слой Гроссберга предназначен для совместной работы со слоем, дающим единственную единицу

на выходе (как у слоя Кохонена в режиме аккредитации) или такой набор выходов, что их сумма

равна единице (как слой Кохонена с функцией SOFTMAX в режиме интерполяции). Нейроны слоя

Гроссберга вычисляют взвешенную сумму своих входов. Функция активации не используется (ли*

нейная).

Благодаря линейности слоя Гроссберга можно осуществлять интерполяцию кодов. Слой Кохоне*

на работает в режиме интерполяции. В этом случае если вектор x1 на входе сети соответствует коду

c1 на выходе сети, и вектор x2 на входе коду c2 на выходе, то при непрерывном изменении входного

вектора x1 →x2 выходной вектор (код) непрерывно меняется c1 →c2 по тому же закону, что и вход.__