5.5.3 Эффект разнасыщения
Из-за того, что НС Хопфилда позволяли создавать только дискретные ассоциативные устройства, характеризовавшиеся небольшим объемом запоминаемой информации, им долгое время уделялось крайне мало внимания. Лишь в начале 90-х годов в Институте проблем математических машин и систем НАН Украины ими заинтересовалась группа ученых. В 1995 г. Д.О. Городничий, изучая НС с перенасыщенной памятью, обнаружил, что при уменьшении веса связей, замыкающих выход нейрона на его вход, НС способна вспоминать образы, которые казались безнадежно утерянными. Этот “эффект разнасыщения” был положен в основу разработки нового метода повышения объема ассоциативной памяти НС Хопфилда, что позволило почти в два раза увеличить теоретический предел для объема памяти и сделало возможным регулировать количество запоминаемых образов.
Теоретическая граница объема памяти для псевдоинверсного обучающего правила составляет 50% от количества нейронов сети, но практически она является недостижимой. При обучении на основе псевдоиверсного обучающего правила поведение сети существенно зависит от уровня обратной связи нейронов. Уменьшение обратной связи будет благоприятствовать улучшению характеристики обучающего правила НС.
Теоретический анализ этой методики и ее экспериментальная проверка путем программного моделирования, показывают, что объем памяти модифицированной псевдоинверсной НС может не только достигать теоретической границы 50% от количества нейронов, но и значительно превышать ее. Предложенную методику назвалиразнасыщением сети, а сеть, построенную по этой методике, -разнасыщенной псевдоинверснойНС.
Для псевдоинверсного обучающего правила при увеличении заполнения памяти НС (M/N) диагональные элементы синаптической матрицы начинают доминировать над остальными ее элементами, а с увеличением веса диагональных элементов уменьшается вероятность попадания сети в локальные минимумы. Эти два факта позволили предложить такую модификацию псевдоинверсного обучающего правила:
После того, как значения синаптической матрицы найдены, все диагональные элементы этой матрицы необходимо частично уменьшить по правилу:
wii* = Dwii, 0 < D < 1.
Такое сокращение ослабляет уровень отрицательной обратной связи нейронов, что приводит к определенной дестабилизации поведения НС.Уменьшая диагональные элементы матрицы, мы уменьшаем величину соотношенияwii /wij, что дает эффект, похожий на сокращение количества запомненных эталонов, то есть сокращение уменьшения насыщения памяти сети. Поэтому псевдоинверсное обучающее правило с сокращенными обратными связями называютразнасыщенным псевдоинверсным правилом. Полную НС, построенную по этому правилу, назвалиразнасыщенной сетью. Синаптическая матрицаw*для разнасыщенного псевдоинверсного правила может быть определена как
w*=w- (1 - D)I =xxT - (1 - D)I,
где D – коэффициент разнасыщения, 0< D <1, оптимальное значение коэффициента D лежит в пределах 0,1-0,2; I - единичная матрица.
При разнасыщении после обучения НС диагональные элементы синаптической матрицы умножаются на положительный коэффициент D<l. При экзамене такой сети, постсинаптический потенциал каждого нейрона получает приращение:
.
Поскольку D < 1, аwii> 0, приращение имеет знак, противоположный выходу нейрона, и действует как дестабилизирующий фактор. Критический объем памяти сети при деформации увеличивается, удваиваясь при D = 0.
Экспериментально подтверждена возможность значительного (в 2-3 раза) увеличения объема ассоциативной памяти НС при ослаблении диагонали в 3-5 раз (D = 0,2-0,3). Дальнейшее уменьшение веса диагональных элементов синаптической матрицы при параллельной организации нейровычислений увеличивает риск потери стабильности сети.