6.Нейронные сети с самоорганизацией

Основу самоорганизации (СО) НС образует подмеченная закономерность, что глобальное упорядочение сети возможно в результате явлений СО, независимо друг от друга проходящих в различных ее локальных областях. При подаче входных сигналов происходит активация нейронов, веса которых в процессе СО адаптируются к поступающим обучающим выборкам. При этом происходит естественное расслоение нейронов на группы, которые как сотрудничают, так и конкурируют между собой. Среди механизмов СО можно выделить два основных класса: СО по ассоциативному правилу Хебба и СО на основе конкуренции между нейронами на базе обобщенного правила Кохонена. Однако, независимо от способов обучения НС с СО особое значение имеет избыточность обучающих данных, без которого нормальное обучение без учителя просто невозможно.

6.1.Самоорганизующаяся нс Кохонена

НС Кохонена – это сеть с СО, основу обучения которой составляет конкуренция между нейронами. Как правило, это однослойные сети, в которых каждый нейрон соединен со всеми компонентами N–мерного входного вектора так, как это показано на рис. 6.1 для N=2. Веса нейронов слоя Кохонена образуют векторы . На стадии обучения входной вектор попарно сравнивается с всех нейронов слоя Кохонена и в конкурентной борьбе побеждает тот нейрон, веса которого меньше всего отличаются от компонентов , т.е. для нейрона – «победителя» l выполняется соотношение

(6.1)

где – расстояние (в смысле выбранной метрики) между векторами и ; К – количество нейронов. В качестве меры расстояния между нейронами чаще всего используются:

• эвклидово расстояние (6.2)

• скалярное произведение (6.3)

• мера относительно нормы L1 (6.4)

• мера относительно нормы L_ (6.5)

Доказано, что связное разделение N–мерного пространства входных данных R^N происходит только при нормализации (или ), обычно в соответствии с , при этом эвклидова мера и скалярное произведение становятся равнозначными.

Вокруг нейрона – «победителя» образуется топологическая окрестность G_il(t) с определенной энергетикой, уменьшающейся с течением времени. Нейрон – «победитель» и все нейроны из его окрестности адаптируют свои веса в направлении по обобщенному правилу Кохонена

(6.6)

где _i(t)(0,1) и G_il(t) уменьшаются с течением времени. Показано, что коррекция весов согласно (6.6) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

(6.7)

где в качестве функций близости используются функции, аналогичные RBF.

Если мы имеем классический алгоритм Кохонена типа WTA, где уточняются веса только нейрона – «победителя», а веса остальных нейронов уточнению не подлежат. При других функциях реализуются алгоритмы типа WTM («Winner Takes Most» – «Победитель получает больше»), в которых уточняются, хоть и в меньшей степени, и веса соседей. Например, при получаем алгоритм WTM с соседством гауссовского типа, при , где m(i)=0,1,2,…,K-1; =(t) – параметр соседства, уменьшающийся с течением времени, – алгоритм «нейронного газа».

В результате обучения каждый нейрон слоя Кохонена должен представлять определенный класс (кластер) обучающих данных. Однако на практике при начальной инициализации весов сети случайным способом часть нейронов может оказаться в области пространства с ничтожно малым количеством данных. Эти нейроны имеют мало шансов победить и фактически выпадают из процесса обучения (остаются «мертвыми»), что увеличивает погрешность квантования. Идея решения проблемы активации всех нейронов возникла при наблюдении за поведением нервных клеток, когда после возбуждения нейрон на некоторое время терял активность (явление рефрактерности). Введение механизма учета активности нейронов («утомления»), когда, например, нейрон с наибольшим числом побед v_i «штрафуется» увеличением расстояния позволяет за два–три цикла обучения активировать все нейроны, которые в дальнейшем соревнуются уже на основе «честной» конкуренции. Сравнение алгоритмов СО показывает, что наилучшие результаты при обучении НС Кохонена обеспечивают алгоритмы CWTA (WTA с «утомлением») и «нейронного газа».