Модель Маккаллока—Питтса

Исходя из весьма упрощенных нейрофизиологических рассмотрении предыдущего параграфа, введем следующую модель нейрона, которая впервые была предложена Маккаллоком и Питтсом.

Определение 2.1.Формальным нейрономназывается элемент сmвходами и одним выходомd.Он характери­зуетсяm+1числом: порогоми весами. Каждому входусопоставляется вес. Нейрон работает в дискретном времениt=1, 2, 3, 4,... Его выход в моментп+1 зависит только от вхо­дов в моментп.Эта зависимость задается следующим правилом (сравнить с утверждением (2.1)): нейрон в мо­ментп+1передает импульс по своему аксону в том и только в том случае, когда сумма всех весов возбужденных входов в моментппревышает порог нейрона.

Введем обозначения:

для «i-й вход не возбужден в моментt»,

для «i-й вход возбужден в моментt»,

d(t)=0для «выход не возбужден в моментt»,

d(t)=1для «выход возбужден в моментt».

Тогда приведенное выше правило формально мож­но записать следующим образом:

d(n+1)=1

тогда и только тогда, когда

.

Заметим, что положительный вес указывает на то, чтоi-й вход (синапс) является возбуждающим, а отрицательный весозначает, чтоi-й вход является тормозящим входом.

Пользуясь этой крайне упрощенной моделью нейрона, определим теперь модель нервной сети.

Определение 2.2.Нейронной сетьюназывается множество нейронов, соединенных между собой так, что выход каждого нейрона ветвится на подходящее число линий, каждая из которых присоединяется к некоторому входу какого-либо нейрона. Выход каждого нейрона может быть соединен с любым числом входов, но каждый вход не может быть соединен более чем с одним выходом. Все нейроны сети работают в одной и той же шкале вре­мени.

Входными линиямисети называются те входынейронов сети, которые не подсоединены к выходам нейронов.Выходными линиямисети на­зываются те линиивыходов нейронов, которые не соединены с входами нейронов.

В сети, показанной на рис. 2.3, имеются три вход­ные и четыре выходные линии. Отметим, что входные линии могут ветвиться, а выходные линии не обязаны идти от различных нейронов.

Прежде чем приступить к изучению этой модели, укажем на то, что она получена при следующих весь­ма существенных ограничениях:а) предполагалось, что все нейроны работают синхронно; б) предполага­лось, что порог и вес каждого нейрона не меняются с течением времени; в) мы не учитывали химических воздействий (например, алкоголя) и влияния гормо­нов на изменение поведения мозга; г) мы пренебрегли всеми взаимодействиями между нейронами (например, с помощью электрического поля, возникающего в ре­зультате импульсов), кроме синапсических; д) нами игнорировались глиальные клетки.

Рис. 2.3. Простая нейронная сеть.

Этот список ограничений можно продолжить. От­сюда следует, что предложенная модель является только отправным пунктом для изучения и, конечно, далека от окончательной.

Другие модели.

Рис. 2.4. Искусственный нейрон.

Функционирование нейрона определяется формулами:

	(2.1)
	(2.2)

где - входные сигналы,

- весовые коэффициенты,

d - взвешенная сумма входных сигналов,

- пороговый уровень нейрона,

F– нелинейная функция.

Рис. 2.4. Виды функций активации.

1. Жесткая ступенька.

Используется в классическом нейроне. Функция вычисляется двумя тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат. Эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов для обучения таких нейронов. Сети на классических ФН чаще всего формируются, синтезируются, т.е. их параметры рассчитываются по формулам, в противоположность обучению, когда параметры подстраиваются итеративно.

2. Логистическая функция.

Применяется очень часто для многослойных перцептронов и других сетей с непрерывными сигналами. Гладкость, непрерывность функции – важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки).

Функция симметрична относительно точки (d=0,y=1/2),это делает равноправными значенияy=0иy=1, что существенно в работе сети. Тем не менее, диапазон выходных значений от 0 до 1 несимметричен, из-за этого обучение значительно замедляется. Данная функция – сжимающая, т.е. для малых значенийdкоэффициент передачиK=y/dвелик, для больших значений он снижается. Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким. Значение производной легко выражается через саму функцию. Быстрый расчет производной ускоряет обучение.

3. Гиперболический тангенс.

Тоже применяется часто для сетей с непрерывными сигналами. Функция симметрична относительно точки (0,0), это преимущество по сравнению с сигмоидой. Производная также непрерывна и выражается через саму функцию.

4. Пологая ступенька.

Рассчитывается легко, но имеет разрывную первую производную в точках , что усложняет алгоритм обучения.

5. Гауссова кривая.

Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения d.

6. Линейная функция.

Применяется для тех моделей сетей, где не требуется последовательное соединение слоев нейронов друг за другом.

Выбор функции активации определяется: спецификой задачи; удобством реализации; алгоритмом обучения.