Активационные функции. Сигмоида.

Ранее в качестве активационной функции нейронов применялась функция-ступенька. Эта функция является бинарной (принимает в качестве своих значений только два числа – 0 или 1). На практике этого оказывается мало. В итоге дальнейшим развитием нейронных сетей стало использование в качестве активационной функции сигмоидальной или просто сигмоиды.

Сигмоида – это функция, использующаяся для сглаживания некоторой величины.

График этой функции приведен ниже.

sigm

Аналитически функцию можно задать с помощью уравнения:

formula_sigm

где а – параметр наклона функции.

 

Еще одной широко используемой активационной функцией является гиперболический тангенс. Данная функция симметрична относительно начала координат и в качестве своих значений может принимать величины разных знаков. Функция гиперболического тангенса имеет вид:

hyperbolic_tg_1

Аналитически функция задается с помощью уравнения:

formula_hyperbolic_tg

В следующих статьях мы поговорим об ограниченности возможностей однослойных персептронах и переходе к многослойным нейронным сетям, рассмотрим популярный алгоритм Обратного распространения ошибки и даже напишем небольшую игру с обучением игрового AI нейросетевыми методами!

 

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *