5.1.2.Нс Хемминга

В целом ряде задач воспроизводить распознаваемый образ, как это делают сети Хопфилда, не требуется, достаточно указать номер эталона, ближайший к предъявленному входному вектору. В этом случае может быть использована НС Хемминга, которая требует меньших вычислительных затрат (объемов памяти и вычислений) при обучении (рис. 5.2). Она состоит из трех слоев: входного (из N нейронов), скрытого и выходного – по K нейронов, где K – число эталонных образов. Нейроны входного слоя обработки сигнала не производят, матрица весов [W] скрытого слоя определяется на этапе обучения, все нейроны выходного слоя связаны постоянной ОС, величина которой положительна (+1) для передачи сигнала «самого на себя» и отрицательна (–~1/K) для всех остальных нейронов. Благодаря этому нейроны выходного слоя функционируют в режиме WTA, при котором подача каждого входного вектора активирует только один нейрон, соответствующий эталону с минимальным расстоянием Хемминга (5.3), (5.4) до предъявленного образа.

На этапе инициализации параметрам НС Хемминга присваиваются значения

(5.13)

затем на входы сети подается неизвестный вектор , на основе которого рассчитываются выходные сигналы нейронов скрытого слоя, определяющие расстояние Хемминга между поданными на вход и векторами весов отдельных нейронов этого слоя, т.е.

(5.14)

или, в нормированной форме,

(5.15)

Из выражения (5.15) ясно, что при и при , в остальных случаях значения .

На следующем этапе входной сигнал убирается, а выходные сигналы u_j скрытого слоя запускают итерационный процесс определения победителя выходного слоя согласно алгоритму WTA

(5.16)

при начальном y_j(0)=u_j, где

– функция активации выходного слоя. Итерационный процесс завершается в момент стабилизации состояния нейронов, когда активным остается один нейрон – «победитель» с выходным сигналом y_j=1, указывающим на запомненный с минимальным расстоянием .

Сеть Хемминга представляет собой НС гетероассоциативного типа с емкостью К, поскольку каждый нейрон выходного слоя представляет единственный класс. В результате многочисленных компьютерных экспериментов было показано, что НС Хемминга демонстрирует лучшие результаты, чем сеть Хопфилда, используя при этом меньшее число взвешенных связей между нейронами. Так, например, НС Хопфилда со 100 входами для кодирования 10 различных векторных классов, требует 10⁴ взвешенных связей с подбираемыми значениями весов, а аналогичная ей НС Хемминга требует всего 1100 связей, из которых 10³ находятся в первом слое, а 10² – во втором.

5.1.3.Двунаправленная ассоциативная память

Память человека является ассоциативной: один предмет напоминает нам о другом, другой – о третьем и т.д., т.е. при свободном течении мысли перемещаются от предмета к предмету по цепочке умственных ассоциаций. Ассоциативная память Хопфилда автоассоциативна, т.е. образ ею может быть завершен или исправлен, но не может быть ассоциирован с другим образом, что является следствием ее одноуровневой структуры, в которой выходной вектор формируют те же нейроны, на которые поступает входной.

Обобщением НС Хопфилда на случай двухслойной рекуррентной структуры, позволяющей кодировать множества двух взаимосвязанных векторов, является двунаправленная ассоциативная память (ДАП), структура которой (рис. 5.3) и правило обучения были предложены Б. Коско в 1988 г. В ДАП входной вектор поступает на один набор нейронов, а выходной вектор формируется на другом, т.е. она является гетероассоциативной. Сигналы в ДАП распространяются в двух взаимно противоположных направлениях до достижения устойчивого равновесия. При прямом распространении сигнала веса связей описываются матрицей [W], а при обратном – [W]^Т. Функции активации нейронов – биполярные крутые сигмоиды или пороговые функции.

Обучение сети ДАП осуществляется до начала функционирования вычислением элементов матрицы [W] по формуле (Б. Коско):

(5.17)

где – совокупность р обучающих пар. В режиме функционирования ассоциирующий вектор или его часть кратковременно устанавливается на выходах нейронов скрытого слоя. После его обработки матрицей [W] образуется выходной сигнал , поступающий на входы нейронов скрытого слоя (первоначальный сигнал при этом удаляется), которые обрабатывают его транспонированной матрицей [W]^Т, формируя . При этом в каждом цикле происходит уточнение выходного вектора до тех пор, пока не наступает устойчивое равновесие, при котором и не изменяются. Каждое устойчивое состояние соответствует локальному минимуму энергетической функции Ляпунова

(5.18)

где – компоненты конечных значений векторов .

Как и любая ассоциативная память, ДАП имеет ограничения на максимальное количество хранимых ассоциаций, при превышении которого она может выработать неверный выходной сигнал. По одним оценкам, для безошибочной работы ДАП число р запоминаемых векторов не должно превышать по другим – . Поскольку оригинальная структура ДАП Коско характеризуется относительно невысоким качеством распознавания, были предложены различные модификации, улучшающие ее работу, однако все они связаны с увеличением размерности сети и количества межнейронных соединений. Заметим, что к числу достоинств ДАП можно отнести структурную простоту сети, позволяющую реализовывать ее в виде БИС/СБИС, а также быструю сходимость процесса обучения и восстановления информации.