19. Характеристика полносвязных сетей Хопфилда

Сеть Хопфилда — однослойная сеть. Все нейроны связаны друг с другом связями w_ij , причем сигнал с выхода нейрона может подаваться на его же вход и необязательно w_ij = w_ji . 

  Рис. 13.4. Полносвязная сеть Хопфилда

Поскольку сигнал с выхода каждого нейрона подается на входы всех остальных, входной вектор начинает циркулировать, преобразуясь по сети до тех пор, пока сеть не придет в устойчивое состояние (то есть когда все нейроны на каждом последующем цикле будут вырабатывать тот же сигнал, что и на предыдущем). Оче­видно, возможны случаи бесконечной циркуляции входного вектора без достиже­ния устойчивого состояния.  Выберем функцию элементов в виде:

 

Состояние сети — множество текущих значений сигналов х от всех нейронов. Функционирование сети геометрически может быть представлено как движение вектора х ,характеризующего состояние сети, на кубе [0,1]^п. Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизиру­ется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой.  Таким образом, если связь между двумя какими-то нейронами имеет большой положительный вес, то сочетания, в которых эти нейроны активны, характеризуются низким уровнем энергии — именно к таким сочетаниям и будет стремиться вся сеть. И, наоборот, нейроны с отрицательной связью при активации добавляют к энергии сети большую величину, так что сеть стремится избегать подобных состояний.  Динамику сети Хопфилда удобно описывать так называемой функцией энергии, которая в достаточно общем виде может быть определена как 

  Функция энергии определяет устойчивость сети, всегда убывает при изме­нении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети.  По определению такая сеть является устойчивой. Сети Хопфил­да называются также сетями, минимизирующими свою энергию. Сети Хопфилда имеют многочисленные применения. Некоторые из них связа­ны со способностью этих сетей запоминать , а затем восстанавливать даже по неполной входной информации различные образы. Другие применения связаны с возможностью использования сетей Хопфилда для решения оптимизационных задач.

20. Характеристика двунаправленной ассоциативной памяти

Двунаправленная ассоциативная память является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда , двунаправленная ассоциативная память способна к обобщению, вырабатывая правильные ре­акции, несмотря на возможные искажение входа.  Очевидно, состояние нейронов можно рассматривать, как кратковременную память, так как она может быстро изменяться при появлении другого входного вектора. В то же время значения коэффициентов весовой матрицы образуют долговременную память (ассоциации) и могут изменяться на более длительном отрезке време­ни, используя соответствующий метод обучения. Обучение производится с ис­пользованием обучающего набора из пар векторов х и у. Предположим, что все запомненные образцы представляют собой двоичные векторы.  Решение задачи с помощью двунаправленной ассоциативной памяти можно разбить на два этапа: режим обучения и непосредственно решение (распознавание).