Активационные функции

1. Жесткая ступенька:

Рис. Жесткая ступенька.

Здесь θ – пороговый уровень нейрона. Данная функция используется в классическом искусственном нейроне. Нейроны с такой нелинейностью требуют малых вычислительных затрат. Данная функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов.

2. Логистическая функция (сигмоида):

Рис. Логистическая функция.

Эта функция часто применяется для сетей с непрерывными сигналами.

Она симметрична относительно точки с координатами NET = 0, OUT = 0,5, что делает равноправными значения OUT = 0 и OUT = 1. Тем не менее диапазон выходных значений от 0 до 1 несимметричен, что замедляет обучение соответствующей нейронной сети. Данная функция является сжимающей, т.к для малых значений NET коэффициент передачи K = OUT/NET велик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким. Производная непрерывна и легко выражается через саму функцию, что ускоряет обучение нейрона.

3. Гиперболический тангенс:

Рис. Гиперболический тангенс

Также часто применяется для сетей с непрерывными сигналами. Фунция симметрична относительно точки (0, 0), что является преимуществом по сравнению с сигмоидой. Производная также непрерывна и легко выражается через саму функцию.

4. Пологая ступенька:

Легко рассчитывается, но имеет разрывную производную в точках NET = θ, NET = θ + Δ, что усложняет алгоритм обучения.

Рис. Пологая ступенька.

5. Гауссова кривая: .

Рис. Гауссова кривая.

Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения NET.

Выбор функции активации определяется следующими факторами:

1. Спецификой задачи.

2. Удобством реализации на ЭВМ, в виде электрической схемы или другим способом.

3. Алгоритмом обучения: некоторые алгоритмы накладывают ограничения на вид функции акти­вации, что необходимо учитывать.

Чаше всего вид нелинейности не оказывает принципиального влияния на решение задачи. Одна­ко удачный выбор может сократить время обучения в несколько раз.

Ограничения модели нейрона

1. Вычисления выхода нейрона предполагаются мгновенными, не вносящими задержки. Непо­средственно моделировать динамические системы, имеющие "внутреннее состояние", с помо­щью таких нейронов нельзя.

2. В модели отсутствуют нервные импульсы. Нет модуляции уровня сигнала плотностью импуль­сов, как в нервной системе. Не появляются эффекты синхронизации, когда скопления нейро­нов обрабатывают информацию синхронно, под управлением периодических волн возбужде­ния-торможения.

3. Нет четких алгоритмов для выбора функции активации.

4. Нет механизмов, регулирующих работу сети в целом (пример - гормональная регуляция активности в биологических нервных сетях).

5. Чрезмерная формализация понятий: "порог", "весовые коэффициенты". В реальных нейронах нет числового порога, он динамически меняется в зависимости от активности нейрона и обще­го состояния сети. Весовые коэффициенты синапсов тоже не постоянны. "Живые" синапсы обладают пластичностью и стабильностью: весовые коэффициенты настраиваются в зависимо­сти от сигналов, проходящих через синапс.

6. Существует большое разнообразие биологических синапсов. Они встречаются в различных частях клетки и выполняют различные функции. Тормозные и возбуждающие синапсы реали­зуются в данной модели в виде весовых коэффициентов противоположного знака, по разнооб­разие синапсов этим не ограничивается. Дендро-дендритные. аксо-аксональные синапсы не реализуются в модели ФН.

7. В модели не прослеживается различие между градуальными потенциалами и нервными им­пульсами. Любой сигнал представляется в виде одного числа.

Итак, модель формального нейрона не является биоподобпой и скорее похожа на математичес­кую абстракцию, чем на живой нейрон. Тем не менее с помощью таких нейронов решается большое многообразие задач.