§ 3.14.3. Виды активационных функций.

В современных нейронных сетях наиболее часто применяются следующие виды активационных функций.

Пороговые активационные функции. C помощью формул (3.1)-(3.3) была введена пороговая активационная функция нейрона, представленная на рис.3.24. Если в уравнении (3.1) под S понимать разность между взвешенной суммой входных сигналов и пороговым значением нейрона, т.е. S =, то активационная функция у = f(S) будет иметь вид, показанный на рис.3.29,а. Однако чаще в нейросетях применяется пороговая функция, симметричная относительно начала координат (рис.3.29,б).

а) б)

Рис.3.29. Пороговые активационные функции с несимметричной (а) и

симметричной (б) областями изменения

Линейные активационные функции. На рис.3.30,а показан график линейной активационной функции у = S с неограниченной областью изменения. Такие функции могут быть и с ограниченной областью изменения: у=-1 при S<-1; у=S при -1S1; у=1 при S>1 (рис.3.30,б).

Сигмоидные активационные функции. На рис.3.31,а изображен график сигмоидной функции, заданной уравнением

а на рис.3.31,б — уравнением

а) б)

Рис.3.30. Линейные активационные функции с неограниченной (а) и

ограниченной (б) областями изменения

а) б)

Рис.3.31. Сигмоидные активационные функции с несимметричной (а) и

симметричной (б) областями изменения

Аналогичный последнему графику характер имеют функции арктангенса

и гиперболического тангенса у=thS, a также функция

,

которые тоже называют сигмоидами.

Радиально-базисные активационные функции. В последнее время получают распространение нейросети, нейроны которых имеют активационные функции в форме функции Гаусса (рис.3.32)

где S - евклидово расстояние между входным вектором X и центром активационной функции С, S=||Х-С||; σ - параметр гауссовой кривой, называемый шириной окна.

Такие активационные функции называют радиально-базисными (RBF), а соответствующие нейронные сети — RBF-сетями.

Отметим, что все приведенные выше активационные функции, за исключением пороговой (см. рис.3.29) и кусочно-линейной (рис.3.30,б), являются непрерывно дифференцируемыми. Линейная функция (см. рис.3.30,а) выполняет преобразование бесконечного входного множества значений переменных S в идентичное ему бесконечное множество переменных у.

Рис.3.32. Радиально-базисная активационная функция

Пороговые активационные функции преобразуют множество S в бинарные множества у=0 и у=1 или у=-1 и у=1. Остальные активационные функции преобразуют бесконечное входное множество S в ограниченные выходные множества: у(0, 1), у(-1, 1) и у(0, 1]. От вида используемых активационных функций зависят функциональные возможности нейросетей, а также способы их обучения.

Вопросы для самоконтроля

1. Расскажите о персептроне и этапах его развития.

2. Расскажите о многослойном персептроне.

3. Расскажите об алгоритме обратного распространения ошибки.

4. Расскажите о видах активационных функций.