Обучение слоя гроссберга

Слой Гроссберга обучается относительно просто. Входной вектор, явля-ющийся выходом слоя Кохонена, подается на слой нейронов Гроссберга, и выходы слоя Гроссберга вычисляются, как при нормальном функциониро-вании. Далее, каждый вес корректируется лишь в том случае, если он соеди-нен с нейроном Кохонена, имеющим ненулевой выход. Величина коррекции веса пропорциональна разности между весом и требуемым выходом нейрона Гроссберга, с которым он соединен. В символьной записи

(33)

где k_l– выходl-го нейрона Кохонена (только для одного нейрона Кохонена он отличен от нуля);у_j –j-ая компонента вектора желаемых выходов.

Первоначально берется равным ~0,1 и затем постепенно уменьшается в процессе обучения.

Отсюда видно, что веса слоя Гроссберга будут сходиться к средним вели-чинам от желаемых выходов, тогда как веса слоя Кохонена обучаются на средних значениях входов. Обучение слоя Гроссберга – это обучение с учи-телем, алгоритм располагает желаемым выходом, по которому он обучается. Обучающийся без учителя, самоорганизующийся слой Кохонена дает выхо-ды в недетерминированных позициях. Они отображаются в желаемые выхо-ды слоем Гроссберга.

6.3.2. Проектирование искусственной нейронной сети встречного распространения

Ход проектирования искусственной нейронной сети встречного распространения производится в соответствии со следующими этапами:

1. Проводится анализ задания на проектирование. Выполняется коди-рование (при необходимости) входной информации. Определяется размер-ность входного вектора и выходного вектора.

2. Разрабатывается структурная схема нейронной сети.

3. Выбираются начальные значения составляющих вектора весовых коэффициентов слоя Кохонена.

4. Определяются значение сетевой функции каждого нейрона слоя Кохонена на один из сигналов первой из распознаванемых групп в соответствии с выражением:

5. Выбирается нейрон, значение сетевой функции которого на выбранный сигнал оказывается большей. Принимается решение, что данный нейрон закрепляется за распознаванием образов первой группы.

6. Осуществляется расчет вектора весовых коэффициентов для этого нейрона для выбранной группы входных векторов в соответствии с выражением:

,

где - скорректированное значениеj-той составляющей вектора весовых коэффициентовi-того нейрона дляμ-того входного сигнала;

- значениеj-той составляющей вектора весовых коэффици-ентовi-того нейрона после коррекции поμ-1входному сигналу;

-j-тая компонентаμ-того входного сигнала;

 – коэффициент скорости обучения.

или в соответствии с (30)

,

где - новое значение вектора весовых коэффициентов, определяемое на текущем шаге,- старое значение вектора весовых коэффициентов, определенное на предыдущем шаге,Х– вектор входного сигнала, для которого проводится коррекция весовых коэффициентовi– того нейрона.

Указанная операция осуществляется последовательно для каждого из сигналов выбранной группы заданное число раз.

7. После выполнения последней итерации вычисляются значения сетевой функции как для сигналов группы, на которую настраивается нейрон, так и для сигналов второй группы.

8. Определяется значение пороговой величины θ, которое должно быть не больше, чем минимальное значение сетевой функции для сигналов распознаваемой группы, но не меньше максимального значения сетевой функции для других групп сигналов. Этим достигается единичный эффект на выходе преобразователя Хевисайда при наличии на входе сигналов распознаваемой группы и нулевой эффект для сигналов других групп.

9. Аналогично осуществляется обучение следующих нейронов слоя Кохонена.

10. Осуществляется проверка правильности реакции слоя Кохонена на группы входных сигналов.

11. После обучения всех нейронов слоя Кохонена осуществляется обучение слоя Гроссберга, на выходе которого должны формироваться сигналы, ассоциированные с группами входных сигналов.

Формирование весов слоя Гроссберга осуществляется в соответствии с выражением (33)

де k_l– выходl-го нейрона Кохонена (только для одного нейрона Кохонена он отличен от нуля);у_j –j-ая компонента вектора желаемых выходов.

6.3.3. Пример. Выполнить проектирование сети встречного распространения для групп сигналов и ассоциированных с ними:

Группа 1 Группа 2

х₁₁ =000111 х₂₁=111000

х₁₂ =000110 х₂₂ =101000

х₁₃ =000011 х₂₃=011000

y₁=1001 y₂ =0110

1. В соответствии с исходными данными размерность входного вектора равна 6, а выходного – 4.

2. В соответствии с п.1 сеть должна иметь 6 входов и 4 выхода. Так как распознается 2 группы сигналов, то слой Кохонена должен состоять из двух нейронов. Так как размерность выходного сигнала равна 4, то слой Гроссберга должен состоять из 4 нейронов. Структурная схема сети приведена на рис. 9.

Рис. 9

3. Начальные значения весовых коэффициентов слоя Кохонена выбираем равными

W₁: w₁₁=0,2; w₁₂=0,5; w₁₃=0,4; w₁₄=0,2; w₁₅=0,7; w₁₆= 0,3

W₂: w₂₁=0,5; w₂₂ =0,4; w₂₃ =0,2; w₂₄ = 0,3; w₂₅ =0,8; w₂₆=0,6

4. Определяются значение сетевой функции каждого нейрона слоя Кохонена на один из сигналов первой из распознаваемых групп в соответствии с выражением:

В качестве такого сигнала выбираем первый сигнал первой группы. Для него

net₁=0,2*0+0,5*0+0,4*0+0,2*1+0,7*1+0,3*1=1,2

net₂=0,5*0+0,4*0+0,2*0+0,3*1+0,8*1+0,6*1=1,7

5. Выбирается нейрон, значение сетевой функции которого на выбранный сигнал оказывается большей. В данном случае наибольшее значение сетевой функции получилось у второго нейрона слоя Кохонена. Поэтому он выбирается в качестве нейрона, настраиваемого на первую группу сигналов.

6. Осуществляется расчет вектора весовых коэффициентов для этого нейрона для выбранной группы входных векторов в соответствии с выражением (30):

,

где - новое значение вектора весовых коэффициентов, определяемое на текущем шаге,- старое значение вектора весовых коэффициентов, определенное на предыдущем шаге,Х– вектор входного сигнала, для которого проводится коррекция весовых коэффициентовi– того нейрона.

Для расчета вектора весовых коэффициентов используем две итерации.

6.1. Первая итерация.

Выбирается значение коэффициента  , равное 0,7.

С учетом этого при корректировке по первому сигналу получаем

При корректировке по второму сигналу

Для третьего сигнала первой группы

6.2. Вторая итерация.

Выбирается значение коэффициента  , равное 0,4.

С учетом этого при корректировке по первому сигналу получаем

При корректировке по второму сигналу

Для третьего сигнала первой группы

7. Вычисляем значения сетевой функции:

для первой группы сигналов:

net₁₁=0*0,003 + 0*0,002+0*0.001+1*0,444+1*0,999+1*0,7=2,143

net₁₂=0*0,003 + 0*0,002+0*0.001+1*0,444+1*0,999+0*0,7=1,443

net₁₃=0*0,003 + 0*0,002+0*0.001+0*0,444+1*0,999+1*0,7=1,69

для второй группы сигналов

net₂₁=1*0,003 + 1*0,002+1*0.001+0*0,444+0*0,999+0*0,7=0,006

net₂₂=1*0,003 + 0*0,002+1*0.001+0*0,444+0*0,999+0*0,7=0,005

net₂₃=0*0,003 + 1*0,002+1*0.001+0*0,444+0*0,999+0*0,7=0,003

8. Определяем значение пороговой величины из условия:

Этому условию удовлетворяет значение θ =1,0.

9. Аналогично осуществляется обучение первого нейрона слоя Кохонена для распознавания второй группы сигналов.

10. Осуществляется проверка правильности реакции слоя Кохонена на группы входных сигналов.

11. После обучения всех нейронов слоя Кохонена осуществляется обучение слоя Гроссберга, на выходе которого должны формироваться сигналы, ассоциированные с группами входных сигналов.

Формирование весов слоя Гроссберга осуществляется в соответствии с выражением (33)

де k_l– выходl-го нейрона Кохонена (только для одного нейрона Кохонена он отличен от нуля);у_j –j-ая компонента вектора желаемых выходов.

Так как выходная последовательность представляет собой бинарный сигнал, то в значения весовых коэффициентов принимаются равными 1 для тех составляющих ассоциированных сигналов, которые равны единице. То есть для первого выхода нейрона Кохонена, связанного со второй группой входных сигналов и ассоциированным с ним сигналом, значения весовых коэффициентов связей выхода этого нейрона с нейронами слоя Гроссберга определятся как

v₁₁=0; v₂₁=1; v₃₁=1; v₄₁=0.

Для второго нейрона слоя Кохонена, связанного со первой группой входных сигналов, весовые коэффициенты примут значения:

v₁₂=1; v₂₂=0; v₃₂=0; v₄₂=1.

Если привязать эти коэффициенты к нейронам слоя Гроссберга, то соответственно вектора весовых коэффициентов каждого нейрона Гроссберга когут бать представлены в виде:

V₁ = (v₁₁,v₁₂) = (0, 1);V₂ = (v₂₁,v₂₂) = (1, 0);V₃ = (v₃₁,v₃₂) = (1, 0);

V₄= (v₄₁,v₄₂) = (0, 1).

Так как на выходе сумматоров нейронов слоя Гроссберга могут быть только 1 или 0, то в качестве пороговых значений θ_i необходимо выбрать величину, большую нуля, но меньше, чем удиница. Например, 0,5.

Выполняется проверка работы сети путем подачи на вход всех сигналов обоих групп и определения совпадений полученных сигналов с ассоциированными.

6.4. Задание 3. Линейная ассоциативная память

6.4.1. Общие сведения

Известны два способа доступа к информации, хранящейся в запоминающем устройстве: адресный и ассоциативный. Адресный способ характеризуется тем, что ис­комая информация жестко задана адресом - местом ее расположения в па­мяти.Ассоциативный способ доступа к информации основан на установ­лении соответствия (ассоциации) между хранимой в памяти информацией и поисковыми признаками. Содержимое ассоциативной памяти можно представить в виде множества пар

(34)

где - входные векторы, задающие значения поисковых при­знаков образов; - выходные векторы, соответствующие извле­каемым образам.

Выделяют два основных типа ассоциативной памяти: гетероассоциативную иавтоассоциативную. В первом случае входному векторуX , который "достаточно близок" "к векторуX(μ), хранимому в памяти, ставится в соответствие выходной век­торY(μ), где μ =1,2,…,p. Во втором случаеX(μ)= Y(μ), для всех пар из (34). Поэтому при подаче на вход запоминающего устройства вектораX, "дос­таточно близкого" к векторуX(μ), на выходе формируется векторX(μ).

Можно сказать, что ассоциативная память выполняет отображение об-разов входного пространства в выходное пространство. В случае автоас­со-циативной памяти размерности входного и выходного пространств сов­пада-ют, в случае гетероассоциативной памяти размерности указанных прост-ранств различные.

Структурная схема линейной ассоциативной памяти (ЛАП) изобра­жена на рисунке 10.

Рис. 10. Линейная ассоциативная память

ЛАП представляет собой однослойную ШНМ с прямыми связями. Веса связей в такой сети являются фиксированными. Они вычисляются на этапе подготовки сети к работе. Цель функциониро­вания сети заключается в вос-становлении выходного образа на основе полной или неполной входной ин-формации. Входные и выходные значе­ния сети могут быть либо веществен-ными, либо бинарными. Число нейронов ЛАП определяется размерностью выходного вектора.

Матрица весов связей сети соответствует корреляционной матрице, устанавливающей взаимосвязь входных и выходных образов сети

(35)

где - внешнее векторное произведение, определяемое как произведение вектор-столбца на вектор-строку.

Если входные и выходные векторы являются униполярными бинарными векторами со значениями 0 и 1, то матрица весов связей определяется выражением

, (36)

где y_i(μ) иx_j(μ)n– соответственноi– тая иj– тая компонентыμ– того выходного и входного векторов. В этой формуле автоматически учитывается среднее значение двоичного признака, равное 0,5. Для того, чтобы сформиро-вать бинарный выходной вектор, каждый выходной НЭ сети сравнивает компоненты вектора с порогом

. (37)

Если

, (38)

То соответствующий НЭ формирует y_i= 1, в ином случаеy_i= 0.

6.4.2. Проектирование линейной ассоциативной памяти

Ход проектирования линейной ассоциативной памяти производится в соответствии со следующими этапами:

1. Проводится анализ задания на проектирование. Выполняется коди-рование (при необходимости) входной информации. Определяется размер-ность входного вектора и выходного вектора. Определяется число нейронов сети.

2. Разрабатывается структурная схема линейной ассоциативной памяти.

3. В соответствии с выражением (36) определяются весовые коэффици-енты .

4. В соответствии с выражением (37) определяются пороговые значения .

5. Осуществляется проверка правильности работы сети.