Многослойные нейронные сети прямого распространения

Наиболее распространенный тип нейронных сетей — персептрон. В дальнейшем его структура была обобщена и получила название многослойной нейронной сети прямого распространения

Рассмотрим многослойную нейронную сеть прямого распространения (МНСПР), структура которой изображена на рис.1. Она состоит из простых вычислительных элементов (нейронов), которые связаны между собой посредством синаптических связей (синапсов). Ее особенностью является послойная организация нейронов и односторонняя передача сигнала от предыдущего слоя к последующему. Слои нейронов с первого по предпоследний называются скрытыми слоями (промежуточными), а последний слой называется выходным.

Рис.1. Структура МНСПР

Нейрон представляется, как последовательное соединение сумматора и функции преобразования . На рис.2. представлена структураj-го нейрона в k-м слое. На его вход поступают сигналы с выходов всех нейронов предыдущего (k–1) слоя, умноженные на соответствующий весовой коэффициент связи (синапс).

Рис.2. Структура нейрона

Функционирование МНСПР можно описать следующими уравнениями:

— для первого слоя

, j=1,...,N1;

(1)

— для промежуточных (скрытых) слоев (для k=2,...,L-1)

, j=1,...,Nk;

(2)

— для последнего (выходного) слоя,

, j=1,...,NL;

(3)

где —i-й вход, —i-й выход, — выходj-го нейрона в k-м слое, — весовой коэффициент связиi-го нейрона (k–1) слоя с j-ым нейроном k-го слоя, N_k— количество нейронов в k-м слое, — функция преобразованияj-го нейрона в k-м слое. Приведенные уравнения (1)—(3) применимы только для нейронных сетей, синхронно функционирующих в дискретные моменты времени, когда все нейроны срабатывают одновременно.

Рассмотрим основные функции преобразования, используемые в нейроне и их особенности. Самая простая функция — линейная, которая описывается уравнением

,

(4)

где — коэффициент усиления нейрона и смещение соответственно.

Применение линейной функции преобразования (рис.3а) в скрытых слоях ограничивает возможности МНСПР. В этом случае уравнения (1) —(3) значительно упрощаются и их можно записать одним эквивалентным выражением

,

которое соответствует уравнению однослойной НС с матрицей весовых коэффициентов . Поэтому линейное преобразование обычно используется только в нейронах выходного слоя, когда требуется работать в широком или неограниченном диапазоне выходного сигнала.

Использование нелинейных функций преобразования позволяет обеспечить более широкие возможности преобразований входных векторов. Одной из самых простых нелинейных функций является пороговая, которая имеет следующий вид

(5)

где — порог срабатывания нейрона.

Пороговая функция (рис.3в) удобна для аппаратной реализации, но существенно ограничивает возможности функционального преобразования НС так как нет гладкости при аппроксимации. Ее использование исключает применение методов обучения нейронной структуры, основанных на алгоритме обратного распространения ошибки, так как в нем требуется, чтобы функция нейрона имела производную по входу в любой точке ее характеристики.

Рис.3. Функции преобразования в нейроне

Для того чтобы избежать недостатков нейрона с пороговой функцией преобразования используются гладкие сжимающие функции, которые обладают следующими свойствами:

• имеют ограниченные значения выходного сигнала, причем и;

• имеют первую производную по входу для всех значений без разрывов первого рода.

Перечисленным выше требованиям удовлетворяет большое количество функций, но для удобства реализации обучения, желательно выбирать функцию, которая имеет простой вид функционала первой, а иногда, и второй производной по входу и по настраиваемому (изменяемому) параметру нейрона. К таким преобразованиям (рис.3б) можно отнести следующие сжимающие функции:

• удобные для программной реализации

,	(6)
,	(7)

— удобные для аппаратной реализации

,

(8)

где — параметры нейрона (крутизна и смещение характеристики соответственно).

Функция преобразования нейронов может быть одной и той же для всех нейронов МНСПР. В этом случае сеть называют однородной (гомогенной). Если же функции преобразования еще зависят от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной). Составление сети из нейронов стандартного вида не является обязательным.

 

ОБУЧЕНИЕ МНСПР

Особенностью нейронных сетей является способность к обучению, которая позволяет им решать задачи, представляющие большие трудности при другом подходе. Существует большое количество разнообразных методов обучения НС