5.1.Ассоциативная память на основе рекуррентных нс

Благодаря наличию аттракторов рекуррентные НС могут быть использованы как устройства ассоциативной памяти, определяющей взаимную зависимость векторов. Если взаимозависимыми оказываются компоненты одного и того же вектора, говорят об автоассоциативной, если различные векторы – о гетероассоциативной памяти. Функционирование ассоциативной памяти состоит в генерации ответа, к какому из запомненных в процессе обучения векторов наиболее близок вновь поступивший образ. Наиболее часто в качестве меры близости отдельных множеств используется расстояние Хемминга. Для двоичных векторов и это расстояние (число несовпадающих бит векторов)

(5.3)

для биполярных –

(5.4)

Очевидно, что мера Хемминга равна нулю, если .

5.1.1.Автоассоциативная нс Хопфилда

Обобщенная структура НС Хопфилда представлена на рис. 5.1, ее характерная особенность состоит в том, что выходные сигналы нейронов одновременно являются входными сигналами сети, т.е. x_i(t)=y_i(t–1), причем возбуждающий вектор особо не выделяется. В классической схеме сети Хопфилда ОС нейронов с собственным выходом отсутствуют, что соответствует w_ii=0, а матрица весов [W] является симметричной (w_ij=w_ji), что в конечном итоге гарантирует сходимость процесса обучения. Полагая, что каждый нейрон имеет функцию активации типа sign (Хопфилд), выходной сигнал i–го нейрона можно представить как

(5.6)

при начальном условии y_i(0)=x_j.

В процессе функционирования НС Хопфилда можно выделить два режима:

• обучение, когда на основе известных обучающих выборок подбираются весовые коэффициенты w_ij, причем обучение не носит рекуррентного характера, если для выбора w_ij использовать правило Хебба, согласно которому для единичного

(5.7)

а для р обучающих векторов (k=1,2,…,р)

(5.8)

Действительно, при таком выборе из, например, (5.7) следует , поскольку для компонент двоичных векторов .

• классификация, когда при фиксированных w_ij и вводе конкретного начального состояния в сети возникает переходной процесс, протекающий согласно (5.6) и завершающийся в одном из локальных минимумов, для которого .

К числу важнейших характеристик ассоциативной памяти относятся:

• стабильность, для выполнения которой необходимо чтобы реакция i‑го нейрона на l‑й обучающий вектор совпала с его i‑й компонентой . Заметим, что хорошо обученная и стабильно работающая сеть обладает способностью к коррекции, т.е. к восстановлению частично искаженных тестовых данных;

• емкость, под которой понимается максимальное количество запомненных образов, классифицируемых с допустимой погрешностью _max. Показано, что при обучении по правилу Хебба с _max = 0,01 максимальная емкость памяти (число запомненных образов) составит ~14% от количества нейронов, что свидетельствует о невысокой эффективности этого обучающего правила для НС Хопфилда. Обусловлено это тем, что НС Хопфилда–Хебба хорошо запоминает только взаимно ортогональные или близкие к ним векторы.

Гораздо лучшие результаты показывают методы обучения, основанные на псевдоинверсии, в основе которой лежит предположение, что при правильно подобранных w_ij каждая поданная на вход выборка генерирует на выходе саму себя. В матричном виде это можно представить как

(5.9)

где [W] – матрица весов сети размерностью NN, [X] – прямоугольная матрица размерностью Np, составленная из р обучающих векторов , т.е. . Решение линейной системы (5.9) имеет вид

(5.10)

где знак + означает псевдоинверсию. Если обучающие векторы линейно независимы, то решение (5.10) можно упростить

(5.11)

заменив псевдоинверсию матрицы Np обычной инверсией квадратной матрицы [X]^Т [X] размерностью рp. Выражение (5.11) позволяет организовать итерационный процесс расчета [W] без вычисления обратной матрицы (X^Т X)^–1, используя процедуру уточнения [W] после подачи каждого обучающего вектора при начальном [W]⁽⁰⁾=0. Процедура предполагает однократное предъявление всех р обучающих выборок, в результате чего матрица весов принимает фиксированное значение [W]=[W]^(р). Зависимость (5.11) является математической основой метода проекций.

Модифицированный вариант этого метода – метод –проекций –предполагает минимизацию некоторой (подобно МСП) целевой функции, когда веса w_ij подбираются рекуррентно с помощью циклической процедуры, многократно повторяемой на всем множестве обучающих выборок вплоть до стабилизации [W]

(5.12)

где [0.7…0.9].

Использование методов обучения с псевдоинверсией для НС Хопфилда:

• увеличивает максимальную емкость сети до N–1, потому что в методе проекций требование ортогональности векторов заменено менее жестким требованием их линейной независимости;

• улучшает работу НС в режиме распознавания, допуская большее отклонение предъявленных образов от оригинала.