8.Применимость различных активационных функций нейрона

1.1.1.1Активационные функции

Активационная функция нейрона определяет нелинейное преобразование, осуществляемое нейроном.

Существует множество видов активационных функций, но более всего распространены следующие четыре:

1. Пороговая функция. На рис. 7.2, априведен ее график.

.                                                                  (7.5)

Первая из введенных активационных функций, она была описана в ра­боте Мак-Каллока и Питтса. В честь этого модель нейрона с пороговой акти­ва­ционной функцией называется моделью Мак-Каллока-Питтса.

2. Кусочно-линейная функция. Она изображена на рис. 7.2, б и опи­сы­ва­ется следующей зависимостью:

.                                                     (7.6)

В данном случае a=1, и коэффициент наклона линейного участ­ка выбран еди­ничным, а вся функция может интерпретироваться как аппроксимация нели­ней­ного усилителя. При бесконечно большом ко­эф­фициенте наклона линейного участка функция вырождается в пороговую.

В большинстве типов искусственных нейронных сетей ис­поль­зуются ней­ро­ны с линейной активационной функцией  , пред­ставляющей собой част­­ный случай (7.6) с неограниченным ли­ней­ным участком.

Рис. 7.2. Типы активационных функций а), г) пороговая; б) линейная; в) сигмоидальная;  д) тангенциальная; е) радиально-базисная активационные функции

3. Сигмоидальная функция. Это наиболее широко используемый тип акти­ва­ционной функции. Она была введена по аналогии с пороговой функцией, но вез­де является строго монотонно возрастающей, непрерывной и диф­фе­рен­ци­ру­е­мой (рис. 7.2, в). Дифференцируемость является важным свой­ством для анализа нейронной сети и некоторых методов их обучения.

В общем виде сигмоидальная активационная функция описывается зависимостью:

,                                                                     (7.7)

где a — параметр, определяющий наклон функции.

Варьированием его могут быть получены разные виды сигмоида. Наи­бо­лее часто используется a = 1. В случае бесконечно большого a сигмоидальная функция вырождается в пороговую.

Помимо перечисленных функций, изменяющихся в диапазоне [0, 1], вводятся также их аналоги с областью значений [–1, 1]. Так, например (рис. 7.2, г), пороговая функция может быть переопределена как

.                                                              (7.8)

То есть

.                                                                           (7.9)

Вместо сигмоидальной активационной функции широко применяется гиперболический тангенс, обладающий аналогичными свойствами (рис. 11, д)

.                                                             (7.10)

Нечетность этой функции делает ее удобной для решения задач уп­рав­ле­ния.

4. Во введенных Брумхеадом и Лоуе нейронных сетях в качестве активационной применяется функция Гаусса(рис. 7.2, е)

.                                                                             (7.11)

Ее аргумент рассчитывается по формуле:

,                                                                                     (7.12) где

z — вектор входных сигналов нейрона,

c — вектор координат центра окна активационной функции,

s  — ширина окна,

||  || — евклидово расстояние.

В теории нейронных сетей активационные функции типа

                                                                            (7.13)

называются радиально-базисными функциями (РБФ), а основанные на них сети — РБФ-сетями (RBF — radial basis function).