14. Сеть Хопфилда

Нельзя строго сказать происходило обучение с учителем или без

Нейроны с обратной связью (распространяются на другие нейроны, и начинается все снова)Обратная связь к (n-1) нейрону

• н

  n

  ейрон

х-входы

y-вектор выход

х=у

1 слой

Сеть называется ассоциативной

Два этапа:

1.Режим обучения ( Для обучения обучающую область представляют одновременно на вход и на выходю и подбираются синоптические веса, чтобы сигналы совпадали)

2. Режим работы (сеть направляет данные из входного слоя к слою Хопфилада, который колеблется (например до ошибки или пока не перестанет изменятся), конеченый сигнал передается на выходной слой. На выходе будет 1 из образов, который давали сети на этапе обучения.

Например Распознавание испорченного фото.

Сеть принимает 0,15*n образов (т.е. 15% от количества нейронов)

14. Сеть Хемминга

Каждый сигнал подается на каждый нейрон 1ого слоя.

m-количество образов, нейронов в слое

n-размерность

Реализуется ассоциативная память,т.е. сеть запоминает образы и по зашумленному сигналу определ. наиболее подходящие образы.

Отличие от Сети Хопфилада в том, что на выходе не изображение, а номер образа. Есть утверждение, что сеть Хемминга может распознать только слабозашумленные образы. Работает быстрее, больше емкость, простая, лучше распознание.

Емкость N₀=числу выходных нейронов. N₀₌m

В обучении сети используются Хемминоговы Расстояния –это расстояния между двумя векторами, количество отличающихся позиций в них.Н-р: размерность =5

Вектор х1=(1,0,0,1,0)

Вектор ч2=(1,2,0,8,0)

Хеммингово расстояние между ними =2, т.к. 2 несовпадающие позиции.

Использование этого расстояния используется для восстановления слова с ошибкой. Для этого каждый символ заменяется битовой маской. Например А-оо1, В-010, С-011, m=1000000 (количество слов). Подаем на вход конкретное слово, состоящие из n букв и идет поиск. Сеть на выходе дает слово ближайшее по Хеммингову расстоянию.

Х=(х,л,а,г)

Y1-(ф,л,а,г)

d(x,y1)=1-Хем.расстояние

Y2-(г,у,л,а,г)

d(x,y2)=2

При пропущенной или лишней букве Хем.расстояние резко увеличивается, поэтому правильный образ не будет найден. Поэтому необходимо на входе добавлять все буквы без одной .Потом на вход после каждой буквы лишнюю.

Для клавиатуры битовая маска соответствует расположению клавиш.й-0001, ц=0100. Если распознается рукописный текст, то по похожести символов а=0000, о=0001,ф=0010 и т.д

Вид активационной функции сетей Хем.

Это активационная функция имеет вид порога с линейным переходом, похожа на сигмоиду, но линейна.

Требования к F- она должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению. Как правило F равно количеству обучающих примеров (F=m)

Алгоритм обучения сети

(w12) Wij-это веса между ш iым входом и jым нейроном 1ого слоя

1. Стадия инициализации

1 ВАРИАНТ

_m-1

x^k_ix^k_j, i=j

Wij= ^k=0

0

к-номер образа, соответствующего образу

2ВАРИАНТ

Wij=x^k_i/2, i от 1…n, x^k_i-это iтая компонента катого образца.

2. Расчет входных сигналов первого слоя

_n

Y ⁽¹⁾_j=S⁽¹⁾_j= w_ij*x_i+b_j

ⁱ⁼¹

Все выполняется в данном случае без активации функции

3. Расчет расстояния нейронов 2ого слоя

_m

S⁽²⁾_j(р+1)=y_j*(p)-Е* Y ⁽²⁾_k(р), k не = j, j от 1…m, 0<E<1/m

^К=0

S⁽²⁾-состояние нейрона второго слоя

Е-случайный коэффициент

p-номер литерации (т.к. связь рекурсивная)

y²_j(p+1)=F(Sj(p+1))

Сигнал колеблется во втором слое до тех пор, пока не перестанет изменятся

26