10. Характеристика многослойных однонаправленных сетей

Однонаправленны сети – все связи направлены строго от входных нейронов к вы-ходным. Такие сети еще называют многослойным персептроном, по аналогии с обычным персептроном Розенблатта, в котором только один слой.

Многослойная нейронная сеть может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании.

Каждый нейрон связан с каждым последующим и предыдущим слоем.

По соврменной классификации сеть относится к однослойной.

В настоящее время модель не используется, а используется многослойная однонаправленная сеть. Эта сеть «к» скрытых слоев. Нейроны не участвуют в преобразовании входных сигналов. Их функция заключается в распределении сигналов между нейронами первого скрытого слоя. Выход нейронной сети не равен входу. В основе обучения наиболее часто лежит дельте правило.

H – Шаг обучения

Dj – эталон

Yj Фактическое значения выхода

Изменение силы связи происходит в соответствии с ошибкой выходного сигнала.

1.Выбираем обучающую пару: [x,D). Подаем на вход вектор Х.

2. Вычисляем реальный фактический выход (у).

3. Вычисляем ошибку

4. Подкорректировать веса так, чтобы минимизировать ошибку.

5. Повторение шагов 1-4 для каждой обучающей пары, пока ошибка не достигнет прием-лемого уровня.

11. Характеристика полносвязных сетей Хопфилда

Сеть Хопфилда— однослойная сеть. Все нейроны связаны друг с другом связями wij , причем сигнал с выхода нейрона может подаваться на его же вход и необязательно wij = wji .

Поскольку сигнал с выхода каждого нейрона подается на входы всех остальных, входной вектор начинает циркулировать, преобразуясь по сети до тех пор, пока сеть не придет в устойчивое состояние (то есть когда все нейроны на каждом последующем цикле будут вырабатывать тот же сигнал, что и на предыдущем). Очевидно, возможны случаи бесконечной циркуляции входного вектора без достижения устойчивого состояния. Выберем функцию элементов в виде:

Состояние сети — множество текущих значений сигналов х от всех нейронов. Функционирование сети геометрически может быть представлено как движение вектора х , характеризующего состояние сети, на кубе [0,1]п. Когда подается но- вый входной век-тор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если вход-ной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой.

В общем случае все возможные состояния сети образуют некое подобие холмистой поверхности, а текущие состояния сети аналогичны положениям тяжелого шарика, пущенного на эту поверхность, — он движется вниз по склону в ближайший локальный минимум. Каждая точка поверхности соответствует некоторому сочетанию активностей нейронов в сети, а высота подъема поверхности в данной точке характеризует «энергию» этого состояния. Энергия данного сочетания активностей определяется как сумма весов связей между парами активных нейронов, взятая со знаком минус (при 0 = 0).

Таким образом, если связь между двумя какими-то нейронами имеет большой положи-тельный вес, то сочетания, в которых эти нейроны активны, характеризуются низким уровнем энергии — именно к таким сочетаниям и будет стремиться вся сеть. И, наоборот, нейроны с отрицательной связью при активации добавляют к энергии сети большую величину, так что сеть стремится избегать подобных состояний.

Динамику сети Хопфилда удобно описывать так называемой функцией энергии, которая в достаточно общем виде может быть определена как

Функция энергии определяет устойчивость сети, другими словами — это функция Ляпунова сети Хопфилда , то есть функция, которая всегда убывает при изменении состояния сети. В конце концов эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети.

Изменение состояния какого-либо элемента сети всегда вызывает уменьшение энергии сети. Действительно, пусть изменил свое состояние элемент k ( k = 1 : n ) , то есть его со-стояние изменилось с +1 на 0 (или -1) или наоборот, тогда

Видно, что в результате изменения k ro элемента Δ Ek ≤ 0, Δ Ek = 0, когда в сети не происходит никаких изменений. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая сеть является устойчивой. Сети Хопфилда называются также сетями, минимизирующими свою энергию. Сети Хопфилда имеют многочисленные применения. Некоторые из них связаны со способностью этих сетей запоминать, а затем восстанавливать даже по неполной входной информации различные образы. Другие применения связаны с возможностью использования сетей Хопфилда для решения оптимизационных задач.