3. Формальные нейроны, входная функция и функции активации или выхода нейрона и их виды

Рассмотрим формальный нейрон – простейший элемент теории нейронных сетей. По структуре и принципу работы – это, по сути Персептрон Розенблатта, первой нейросетевой архитектуры.

Формальный нейрон

Нейрон состоит из взвешенного сумматора и нелинейного элемента. Функционирование нейрона определяется формулами:

Где - входные сигналы, совокупность которых формируют вектор ;

- весовые коэффициенты, совокупность которых образуют вектор весов ;

 - взвешенная сумма входных сигналов, значение  передается на нелинейный элемент;

 - пороговый уровень данного нейрона;

 - нелинейная функция, называемая функцией активации.

Нейрон имеет несколько входных сигналов  и один выходной сигнал .

Виды функций активации

Рассмотрим наиболее распространненые функции активации .

1)Жесткая ступенька

Работа описывается следующей формулой:

2)Сигмоида (функция Ферми)

Функция описывающая сигмоиду:

Часто применяются для многослойных перцептронов и других сетей с непрерывными сигналами. Гладкость, непрерывность функции — важные положительные качества. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки).

Функция симметрична относительно точки (NET=0, OUT=1/2), это делает равноправными значения OUT=0 и OUT=1, что существенно в работе сети. Тем не менее, диапазон выходных значенийот 0 до 1 несимметричен, из - за этого обучение значительно замедляется. Значение производной выражается через саму функцию, что приводит к увеличению скорости расчета производной при обучении сети (см. ниже).

3)Гиперболический тангенс

Функция:

Также часто применяется в сетях с непрерывными сигналами. Производная выражается через саму функцию.

4)SOFTMAX – функция

В данном случае суммирование ведется по всем нейронам данного слоя сети. Такой выбор обеспечивает сумму выходов слоя, равную единице при любых значениях сигнала  данного слоя. Это позволяет трактовать выход  как вероятность событий, совокупность которых образует полную группу.

Выбор функции активации выбирается в зависимости от задачи, удобством программной (аппартной) реализации, а также алгоритмом обучения.

Ограничения модели нейрона

-В теории нейронных сетей считается, что:

-Вычисления нейрона происходят мгновенно, не внося задержку.

-Нет четких алгоритмов для выбора функции активации.

-Нет механизмов регулирующих работу сети в целом, на подобии гормональной регуляции активности в нервных клетках.

-Модель формального нейрона не является биоподобной и это скорее математическая абстракция.

4. Интерполяция и аппроксимация функций с помощью rbf-сетей

5. Динамические нейронные сети. Сети с внешней и внутренней динамикой

Следующий класс нейронных сетей, который мы рассмотрим, — динамические, или рекуррентные, сети. Они построены из динамических нейронов, чье поведение описывается дифференциальными или разностными уравнениями, как правило, — первого порядка. Сеть организована так, что каждый нейрон получает входную информацию от других нейронов (возможно, и от себя самого) и из окружающей среды. Этот тип сетей имеет важное значение, так как с их помощью можно моделировать нелинейные динамические системы. Это — весьма общая модель, которую потенциально можно использовать в самых разных приложениях, например: ассоциативная память, нелинейная обработка сигналов, моделирование конечных автоматов, идентификация систем, задачи управления.

Нейронные сети с временной задержкой

Перед тем, как описать собственно динамические сети, рассмотрим, как сеть с прямой связью используется для обработки временных рядов. Метол состоит в том, чтобы разбить временной ряд на несколько отрезков и получить таким образом статический образец для подачи на вход многослойной сети с прямой связью. Это осуществляется с помощью так называемой разветвленной линии задержки, см. рис. 1.6.

Архитектура такой нейронной сети с временной задержкой позволяет моделировать любую конечную временную зависимость вида

Поскольку рекуррентные связи отсутствуют, такая сеть может быть обучена при помощи стандартного алгоритма обратного распространения ошибки или какого-то из его многочисленных вариантов. Сети такой конструкции успешно применялись в задачах распознавания речи, предсказания нелинейных временных рядов и нахождения закономерностей в хаосе.

Сети Хопфилда

С помощью рекуррентных сетей Хопфилда можно обрабатывать Неупорядоченные (рукописные буквы), упорядоченные по времени (временные ряды) или пространстве (графики, грамматики) образцы. Рекуррентная нейронная сеть простейшего вида была введена Хопфиллом;она построена из N нейронов, связанных каждый с каждым, причем все нейроны являются выходными.

Сети такой конструкции используются, главным образом, в качестве ассоциативной памяти, а также в задачах нелинейной фильтрации данных и грамматического вывода.

6. Применение сетей Хопфилда (Hopfield) для решения проблем оптимизации (TSP-проблема). Заданы 4 города A,B,C,D. Опишите маршрут С,B,D,A с помощью матрицы Хопфилда. Двунаправленная ассоциативная память

Применение сетей Хопфилда для решения транспортной задачи

Если число пунктов = 50-70 – то эта задача на сегодняшний день точного решения не имеет. Довольствуются примерно оптимальным (квази-оптимальными) решениями. Хопфилд и Танк предложили использовать способ кодирования маршрутов, позволяющий использовать сети Хопфилда для решения транспортной задачи. Одно из практических применение транспортной задачи – оптимизация трассировки многослойных печатных плат.

	Позиция маршрута
Пункты		1	2	3	4	5
	A			1
	B				1
	C	1
	D					1
	E		1

Соответствеющая сеть Хопфилда выполняется в виде квадратной матрицы n*n, где n- число пунктов и позиций маршрутов. На пересечении строк и столбцов располагаются нейроны. обозначим через выход нейрона, расположенного на пересечении строки x и столбца i. Строка х соответствует пункту х, а i соответствует позиции в маршруте. Если выход , то пункт x проходится на i этапе.

Т.о. решается задача минимизации соединения, например, в многослойных печатных платах.

Двунаправленная ассоциативная память (Bidirectional Associative Memory - BAM)

ЗУ называется ассоциативным, если между адресом ячейки памяти и информации, записанной по этому адресу существует связь. Время реакции (ответа) системы или БД на основе АЗУ меньше на порядок, чем в соответствующих систем на основе не ассоциативных ЗУ. Важной особенностью АЗУ является то, что в неё могут вводится искаженные данные, однако если степень искажения не велика, то по искаженному адресу АЗУ идентифицирует эталонный адрес и по этому эталонному адресу считывает необходимую информацию.

Почему ассоциативная память называется двунаправленной?

Мы описали случай, когда в сеть вводится искаженный адрес, по нему идентифицируется эталонный адрес. Однако в качестве других входов можно использовать искаженную информацию, записанную а некоторую ячейку. По этой искаженной информации двунаправленная сеть в результате переходного процесса идентифицирует эталонную информацию и соответствующий эталонный адрес.