Xijl — I-й входной сигнал j-го нейрона в слое l ;

w_ijl — весовой коэффициент i -го входа нейрона номер j в слое l ;

NET_jl — сигнал NET j -ro нейрона в слое l;

OUT_jl — выходной сигнал нейрона;

θ_jl — пороговый уровень нейрона j в слое l.

Введем обозначения: w_jl – вектор-столбец весов для всех входов нейрона j в слое l; W_l – матрица весов всех нейронов в слое l. В столбцах матрицы расположены векторы w_jl. Аналогично x_jl – вход­ной вектор-столбец слоя l.

Каждый слой рассчитывает нелинейное преобразование от линейной комбинации сигналов пре­дыдущего слоя. Отсюда видно, что линейная функция активации может применяется только для тех моделей сетей, где не требуется последовательное соединение слоев нейронов друг за другом. Для многослойных сетей функция активации должна быть нелинейной, иначе можно построить эквива­лентную однослойную сеть, и многослойность оказывается ненужной. Если применена линейная функция активации, то каждый слой будет давать на выходе линейную комбинацию входов. Следу­ющий слой даст линейную комбинацию выходов предыдущего, а это эквивалентно одной линейной комбинации с другими коэффициентами, и может быть реализовано в виде одного слоя нейронов.

Многослойный персептрон может формировать на выходе произвольную многомерную функцию при со­ответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов.

Многослойный персептрон является сетью без обратных связей, поэтому его называют сетью прямого распространения. Они не обладают внутренним состоянием и не позволяют без дополнительных приемов моделировать развитие динамических систем.

Предложенный Ф.Розенблаттом метод обучения персептрона состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает несколько шагов:

1. Начальные значения весов всех нейронов W(t = 0) полагаются случайными.

2. Сети предъявляется входной образ x_k, в результате формируется выходной образ y_k ≠ ŷ_k .

3. Вычисляется вектор ошибки δ_k = y^k – ŷ_k, которую сеть делает на выходе. Дальнейшая идея состоит в том, что изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе, и равно нулю если ошибка равна нулю.

4. Вектор весов модифицируется по следующей формуле:

W(t + Δt) = W(t) + n∙x_k∙δ_k^T,

где 0 < n < 1 – темп обучения.

5. Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, если а) итерации сойдутся, т.е. вектор весов перестает измеяться, или б) полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения

Используемая на шаге 3 формула учитывает следующие обстоятельства:

а) модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов;

б) знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка (δ > 0, т.е. значение выхода меньше требуемого) проводит к усилению связи;

в) обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответсвует важному с биологической точки зрения, принципу локальности обучения.

Данный метод обучения был назван Ф.Розенблаттом “методом коррекции с обратной передачей сигнала ошибки”. Позднее более широко стало известно название «δ -правило». Представленный алгоритм относится к широкому классу алгоритмов обучения с учителем, поскольку известны как входные вектора, так и требуемые значения выходных векторов (имеется учитель, способный оценить правильность ответа ученика).