13.1.2. Сигмоидальный нейрон

Н ейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции. Униполярная функция, как правило, представляется формулой:

Униполярная функция

,

а биполярная функция формулой:

.

П

Биполярная функция

араметр  подбирается пользователем. Он влияет на форму функции активации. При    сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона. На практике обычно используется  = 0. Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции производная определяется по формуле:

,

а для биполярной функции:

Сигмоидальный нейрон обучается с учителем с применением градиентных методов, позволяющих минимизировать целевую функцию обучения на каждом его шаге:

.

В соответствии с методом наискорейшего спуска уточнение весов w_ij проводится в направлении отрицательного градиента целевой функции:

,

где , .

Значения весовых коэффициентов уточняются по формуле:

,

где  — коэффициент обучения, который обычно принадлежит интервалу (0, 1).

Применение градиентного метода для обучения нейрона гарантирует только достижение локального минимума. Выход из его окрестности при использовании простого алгоритма наискорейшего спуска невозможен, поэтому на практике применяют обучение с разбросом или моментом. В этом методе процесс уточнения весов определяется не только информацией о градиенте функции, но также и фактическим трендом изменения весов:

,

где    .

Влияние момента на подбор весов увеличивается с ростом значения , поэтому следует выбирать  таким, чтобы момент не доминировал в процессе обучения, так как это приводит к нестабильности (расходимости) алгоритма обучения.

13.1.3. Нейрон типа «адалайн»

М

одель нейрона типа «адалайн» (ADAptive LInear NEuron — адаптивный линейный нейрон) была предложена Б. Видроу. По методу весового суммирования сигналов нейрон типа «адалайн» аналогичен представленным ранее моделям нейронов. Функция активации имеет тип signum, т. е.:

Адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки:

.

В связи с тем, что целевая функция непрерывна в алгоритме Видроу, для ее минимизации применяется метод наискорейшего спуска. При этом веса уточняются по формуле:

,

г

Выход типа OR.

де .

В

Выход типа AND.

практических приложениях нейроны типа «адалайн» всегда используются группами, образуя слои, называемые мaдалайн (Many adaline — много адалайн). Каждый входящий в слой нейрон обучается по правилу «адалайн». Выходные сигналы отдельных нейронов такого слоя могут формироваться различными способами. Б. Видроу предложил три базовых типа межнейронных соединений: OR, AND и мажоритарное.

К

Мажоритарный выход.

онкретные сигналы y_i суммируются с учетом порогового значения, устанавливаемого раздельно для каждого типа связи. Для схемы OR порог имеет значение N – 1, для схемы AND — значение 1 – N, а для мажоритарной схемы — нулевое значение. Благодаря применению функции активации типа signum выходной сигнал у принимает значение + 1, когда хотя бы один из входных сигналов имеет значение + 1 (OR), когда все входные сиг­налы y_i имеют значения + 1 (AND) либо когда большинство сигналов y_i имеет значение + 1 (мажоритарное соединение).