2.2.2 Обучение сетей с помощью алгоритма обратного распространения ошибки
Использование алгоритма обратного распространения ошибки предполагает проход по сети в прямом и обратном направлениях. Прямой подход обеспечивает получение выходного сигнала на основе входного, веса нейронов при этом зафиксированы. Обратный подход предполагает настройку весов на основе входного и соответствующего ему выходного сигналов. При этом, фактический выходной сигнал сети вычитается из ожидаемого выходного сигнала.
Алгоритм обратного распространения ошибки состоит из следующих шагов:
Генерация случайных значений весов.
Выбор обучающей пары, подача входного сигнала на вход сети.
Вычисление выходного сигнала (фактический сигнал).
Вычисление разности между фактическим и ожидаемым сигналами.
Корректировка весов.
Повторение шагов со второго по пятый для всех обучающих пар с целью минимизации ошибки.
Схематично, работа алгоритма приведена на рисунке 2.5.
Рисунок 2.5 – алгоритм обратного распространения ошибки
На рисунке использованы следующие обозначения:
каждому слою сети поставлена в соответствие буква – А (входной слой), В (внутренний), С (выходной);
нейроны каждого слоя имеют порядковый номер;
–синаптический
вес между нейронами (в данном случае,
между первыми нейронами слоев А и В;
–выход
нейрона.
2.3 Персептрон как модель распознавания образов
Значительный вклад в развитие нейрокибернетики сделал нейрофизиолог Френк Розенблатт. Он представил модель узнающей машины, которая была названа «Персептрон» (лат. – «понимаю, познаю»).
Разрабатывая данную модель, он исходил из общепринятых представлений о структуре мозга. Для воспроизведения функций мозга, Розенблатт применял простую модель биологического нейрона и систему связей между нейронами. Модель представлена на рисунке 2.6.
Рисунок 2.6 – Персептронный нейрон
В качестве воспринимающего устройства для персептрона используется фотоэлектрическая модель сетчатки. Данная модель представляет собой поле рецепторов, которое состоит из нескольких сотен S-элементов.
Элементы поля рецепторов могут находиться в следующих состояниях: возбужденное, невозбужденное. Текущее состояние зависит от того, попадает или нет на соответствующее фотосопротивление контур фигуры, проектируемой на поле.
В качестве выхода каждого элемента используется сигнал xi (i = 1, 2, …, n, n- число элементов). Значение сигнала равно единице в том случае, если элемент возбужден. В противном случае, значение ноль. Следующая ступень персептрона – ассоциативные элементы(А-элементы).
А-элементы имеют несколько входов и один выход. Во время подготовки персептрона к эксперименту, на входы А-элементов подаются выходы рецепторов. При этом, подключение любого из них может быть как с положительным знаком, так и с отрицательным. Рецепторы выбираются в случайном порядке.
При проведении эксперимента взаимосвязь рецепторов и А-элементов не изменяется. А-элементы осуществляют алгебраическое суммирование поступивших сигналов [33].
Внешний вид устройства сети представлен на рисунке 2.7.
Рисунок 2.7 – Персептронное устройство с одним выходом
Если сумма больше, А-элемент выдает на выходе сигнал, равный единице. Если меньше, выходной сигнал А-элемента равен нулю.
Следовательно, выходной сигнал j-го Α-элемента: n 1, если (Σ rij * xi - ϑ) ≥ 0, yi = i=1 n 0, если (Σ rij * xi - ϑ) < 0, i=1 где величина rij принимает значение +1, если i -й рецептор подключен ко входу j-го Α- элемента со знаком плюс; и значение -1, если рецептор подключен со знаком минус, и значение 0, если i-ый рецептор к j-му Α-элементу не подключается (j = 1, 2, …, m, где m – число Α-элементов). Выходные сигналы Α-элементов с помощью специальных устройств (усилителей) умножаются на переменные коэффициенты λj. Каждый из этих коэффициентов может быть положительным, отрицательным или равным нулю и меняться независимо от других коэффициентов.
Выходные сигналы усилителей суммируются, и суммарный сигнал поступает на вход, m σ = Σ λj * yj (2.9) j=1 так называемого, реагирующего элемента или R-элемента. Если σ положительна или равна нулю, R-элемент выдает на выходе единицу, а если σ отрицательна – нуль. Персептронное устройство с одним выходом. Таким образом, выходной сигнал R-элемента (являющийся также выходным сигналом персептрона) будет иметь следующий вид: m 1, если Σ λj * yj ≥ 0, j=1 R = (2.10) m 0, если Σ λj * yj < 0, j=1 Предположим, что на поле рецепторов проектируются фигуры, принадлежащие к двум различным образам. Если окажется возможным привести персептрон в такое состояние, чтобы он с достаточной надежностью выдавал на выходе 1, при появлении на его входе фигур одного образа, то это будет означать, что персептрон обладает способностью обучаться различению двух образов (рисунок 2.8).
Рисунок 2.8 – Персептронное устройство с несколькими выходами
Описанная структура ро персептрона позволяет д разделять предъявляемые объекты только на два множества. При необходимости распознать большее количество образов, необходимо использовать другую схему.
Выходной сигнал А-элементов подается на несколько усилителей. Количество усилителей равно числу распознаваемых образов После того, как выходные сигналы умножены на λ, они поступают на сумматоры Σ. Количество сумматоров равно числу различаемых образов.