лекции ННТЗУ / Лекция_9_ГА_4
.pdf
Анализ нейронных сетей
Подобный «инструментарий» (iexplanation facilities)
используется в большинстве экспертных систем. Построение этих инструментов для их применения в нейронных сетях считается более масштабной проблемой, относящейся к анализу сетей.
Генетический алгоритм применялся для построения так называемых кодовых векторов (codebook vectors), представляющих собой входные сигналы, при которых функция активации конкретного выходного нейрона сети принимает максимальное или близкое к нему значение.
Подбор либо преобразование параметров
Генетический алгоритм используется при подготовке данных для нейронной сети, играющей роль классификатора. Эта подготовка может выполняться путем преобразования пространства параметров либо выделением некоторого подпространства, содержащего необходимые параметры
Подбор либо преобразование параметров
Первый из этих методов, так называемое преобразование пространства параметров, применяется чаще всего в алгоритмах типа «ближайший сосед», хотя известны также его приложения в нейросетевых классификаторах.
Второй подход заключается в выделении подмножества учитываемых параметров. Оказывается, что ограничение множества параметров часто улучшает функционирование нейронной сети в качестве классификатора и, к тому же, сокращает объемы вычислений. Подобное ограничение множества учитываемых нейронной сетью параметров применялось, в частности, для контроля сценариев происшествий на ядерных объектах, а также для распознавания китайских иероглифов.
Подбор параметров и правил обучения
Генетический алгоритм также применяется для подбора параметров обучения - чаще всего скорости обучения (learning rate) и так называемого момента для алгоритма обратного распространения ошибки
Такое адаптивное уточнение параметров алгоритма обратного распространения (они кодируются в хромосомах) в результате эволюции может рассматриваться как первая попытка эволюционной модификации правил обучения
Вместо непосредственного применения генетического алгоритма для подбора параметров обучения развивается эволюционный подход, направленный на построение оптимального правила (алгоритма) обучения
Применение генетических алгоритмов для обучения нейронных сетей
Как правило, задача заключается в оптимизации весов нейронной сети, имеющей априори заданную топологию. Веса кодируются в виде двоичных последовательностей (хромосом).
Каждая особь популяции характеризуется полным множеством весов нейронной сети. Оценка приспособленности особей определяется функцией приспособленности, задаваемой в виде суммы квадратов погрешностей, т.е. разностей между ожидаемыми (эталонными) и фактически получаемыми значениями на выходе сети для различных входных данных.
Применение генетических алгоритмов для обучения нейронных сетей
Два важнейших аргумента в пользу применения генетических алгоритмов для оптимизации весов нейронной сети.
Прежде всего, генетические алгоритмы обеспечивают глобальный просмотр пространства весов и позволяют избегать локальные минимумы.
Кроме того, они могут использоваться в задачах, для которых информацию о градиентах получить очень сложно либо она оказывается слишком дорогостоящей.
Генетические алгоритмы для выбора топологии нейронных сетей
В качестве наиболее очевидного способа объединения генетического алгоритма с нейронной сетью интуитивно воспринимается попытка закодировать в генотипе топологию объекта (в рассматриваемом случае - нейронной сети) с указанием количества нейронов и связей между ними при последующем определении весов сети с помощью любого известного метода
Проектирование оптимальной топологии нейронной сети может быть представлено в виде поиска такой архитектуры, которая обеспечивает наилучшее (относительно выбранного критерия) решение конкретной задачи. Такой подход предполагает перебор пространства архитектур, составленного из всех возможных вариантов, и выбор точки этого пространства, наилучшей относительно заданного критерия оптимальности
Адаптивные взаимодействующие системы
К равноправному объединению генетических алгоритмов и нейронных сетей следует отнести комбинацию адаптивных стратегий обоих методов, составляющую единую адаптивную систему. Можно привести три примера систем такого типа
Первый из них - это нейронная сеть для оптимизационной задачи с генетическим алгоритмом для определения весов сети
Второй пример относится к реализации генетического алгоритма с помощью нейронной сети. В этом случае нейронные подсистемы применяются для выполнения генетических операций репродукции и скрещивания
В третьем примере, несколько похожем на предыдущий, нейронная сеть также применяется в качестве оператора скрещивания в генетическом алгоритме, предназначенном для решения оптимизационных задач
Типовой цикл эволюции
типовой процесс эволюции включает следующие шаги:
-декодирование;
-обучение;
-оценивание приспособленности;
-репродукция;
-формирование нового поколения.
Типовой цикл эволюции
При реализации типового цикла эволюции необходимо сконструировать множество соответствующих нейронных сетей (фенотипов):
-сети с фиксированной архитектурой и множеством закодированных хромосомами весов - в случае эволюции весов;
-сети с закодированной хромосомами архитектурой - в случае эволюции архитектуры;
-сети со случайно сгенерированными архитектурами и начальными весами - в случае эволюции правил обучения.
Наилучшая особь из последнего поколения считается искомым решением данной задачи. Таким образом получается наилучшее множество весов, наилучшая архитектура либо наилучшее правило обучения.