6.4.Нс адаптивной резонансной теории (арт)

Одной из серьезнейших проблем функционирования ИНС является проблема стабильности–пластичности при запоминании образов, когда обучение новым данным уничтожает или существенно изменяет результаты предшествующего обучения. Если ИНС работает в реальном времени, то обучающее множество может все время меняться, вызывая постоянное изменение ее весов без достижения удовлетворительного результата. Известны примеры, в которых циклическое предъявление всего 4^х векторов заставляло непрерывно изменяться веса НС, никогда не сходясь. Человеческая память, напротив, эффективно хранит и корректирует запоминаемые образы: ни предъявление новых образов, ни изменение старых не приводит к уничтожению памяти или невозможности запоминания.

Неспособность традиционных ИНС решить дилемму стабильности–пластичности побудило к исследованию новых конфигураций НС и, в конечном итоге, созданию АРТ–НС (Карпентер и Гроссберг, 1986–91 гг.), важное качество которых – динамическое запоминание новых образов без полного переобучения и отсутствие потерь уже запомненных данных при предъявлении новых. Все модификации АРТ–НС (АРТ–1, АРТ–2, АРТ–3, АРТ «МАР», Fuzzy–АРТ) представляют собой векторные классификаторы, в которых входной вектор , если он не похож на ранее запомненные (с точки зрения выбранного критерия сходства), создает новый класс, характеризующийся появлением нового («своего») нейрона в слое распознавания, при этом веса остальных нейронов не изменяются. Если же похож на один из ранее запомненных, то веса соответствующего нейрона будут подстраиваться под этот входной вектор. Таким образом, новые образы могут создавать дополнительные классификационные категории, но не могут заставить измениться существующую память.

Упрощенная структурная схема НС АРТ–1, предназначенной для обработки двоичных векторов, состоящих из нулей и единиц, приведена на рис. 6.4. Основную работу по классификации производят слои сравнения и распознавания, логические элементы и схема сброса управляют режимом работы сети. Нейроны слоя сравнения осуществляют функцию мажоритарного срабатывания по правилу «2 из 3», слой распознавания классифицирует входные векторы путем взаимодействия К (число запомненных образов) нейронов по латерально–тормозящей схеме (алгоритм WTA, аналогичный функционированию выходного слоя НС Хемминга), схема сброса осуществляет контроль близости входного и запомненных , вырабатывая сигнал сброса, если степень отличия и превышает некоторый заданный порог.

Основные этапы функционирования НС АРТ–1 выглядят следующим образом:

1. Инициализация. Случайным образом устанавливают значения с соблюдением условия

(6.11)

где N – число компонентов входного вектора (число нейронов слоя сравнения); К – число нейронов слоя распознавания, затем выбирают для всех компонентов и (0,1) – параметр степени сходства.

2. Обучение НС АРТ (без учителя) бывает двух типов: медленное – при кратковременных предъявления входного вектора – и быстрое, когда устанавливается на время, достаточное для полной адаптации весовых коэффициентов. В ходе быстрого обучения последовательно подаются на входы сети, а элементы вычисляются согласно

для всех k = 1, 2, … , N, (6.12)

где y_i – i–тый компонент ; j – номер возбудившегося нейрона в слое распознавания.

3. Распознавание. В исходном положении на выход элемента ИЛИ2 подается уровень логического «0» , который обнуляет выходы всех нейронов слоя распознавания, т.е. . При подаче на вход ненулевого на выходах ИЛИ1, ИЛИ2 устанавливается уровень логической «1», что обеспечивает прохождение через слой сравнения без изменений, т.е. . Далее, для каждого j–го нейрона слоя распознавания вычисляется свертка его весового вектора с вектором , по максимальному значению которой происходит активация соответствующего нейрона (переход в состояние «1») с торможением остальных нейронов (переходом в «0»).

4. Сравнение. Единица с выхода k–го возбужденного нейрона распознающего слоя (вектор ) подается со своим весом на каждый i–й нейрон слоя сравнения, устанавливая на его входах z_i уровни либо «0», либо «1». Поскольку теперь , то выход ИЛИ1 переходит в состояние «0» и в слое сравнения могут возбуждаться лишь те нейроны, для которых соответствующие компоненты x_i и z_i одновременно равны «1». Иными словами, если и не имеют совпадающих компонентов, т.е. не соответствует хранимому образу , схема сброса выдает сигнал торможения, переводящий в состояние «0» выход возбужденного нейрона.

5. Поиск. Если условие близости и какого-либо выполняется, то процесс классификации завершен, если нет, то опять переводит ИЛИ1 в «1», что снова позволяет прохождение к слою распознавания с возбуждением другого нейрона и новой операцией сравнения. Процесс повторяется до тех пор, пока не будет найден образ с заданной степенью близости к . В этом случае осуществляется цикл дополнительного обучения с целью уточнения весовых коэффициентов победившего нейрона. Если среди запомненных векторов ни один не соответствует входному, то в распознающем слое вводится новый (k+1)–й нейрон с соответствующими и ; при этом весовые коэффициенты остальных нейронов не изменяются.

В заключении отметим, что АРТ–НС организованы по принципу подобия с биопрототипами, а происходящие в них процессы, аналогично механизмам мозга, позволяют решить проблему стабильности–пластичности. К числу их достоинств можно отнести быстрый доступ к запомненным образам в процессе классификации, устойчивость процесса поиска, конечность процесса обучения, к числу недостатков – недостаточную надежность хранения информации, поскольку в случае «потери» одного образа разрушается вся память.