1.1.2.1 Независимое применение генетических алгоритмов и нейронных сетей

Генетические алгоритмы и нейронные сети могут незави­симо применяться для решения одной и той же задачи. Этот подход иллюстрируется на рисунке 1.1.

Например, описаны независимые применения нейронных се­тей, генетических алгоритмов и алгоритма KNN «ближайший сосед» (К - means nearest neighbour) для решения задач классификации. В работе [3] проведено сравнение трехслойной однонаправленной нейронной сети с обучением по методу обратного распространения ошибки (обучение с учителем), сети Кохонена с самоорганизацией (обучение без учителя), системы классификации, основанной на гене­тическом алгоритме, а также алгоритма KNN «ближайший сосед».

Рисунок 1.1 – Генетический алгоритм и нейронная сеть независимо

применяются для решения одной и той же задачи

Ав­торы работы [2] считают независимое применение этих методов для решения задачи автоматической классификации результатов ЭМГ (электромиография - регистрация электрической активности мышц) вспомогательным объединением.

Известны и другие работы, в которых сравниваются возможно­сти применения различных методов (в частности, генетических алго­ритмов и нейронных сетей) для решения одних и тех же задач [4]. Примером задачи, которую можно решить с помощью как нейронной сети, так и генетического алгоритма, может служить задача о комми­вояжере [5,6,7].

1.1.2.2 Нейронные сети для поддержки генетических алгоритмов

Большинство исследователей изучали возможности применения генетических алгоритмов для обеспечения работы нейронных сетей. К немногочисленным обратным случаям относится гибридная система, предназначенная для решения задачи трассировки [8, 9], которая классифицируется в [2] как пример вспомогательного объединения нейронных сетей и генетических алгоритмов. В этой системе генетический алгоритм используется в качестве оптимизационной процедуры, предназначенной для нахождения кратчайшего пути. Нейронная сеть применяется при формировании исходной популяции для генетического алгоритма. Этот подход схематически иллюстрируется на рисунке 1.2.

Рисунок 1.2 – Вспомогательное объединение нейронной сети с генетическим

алгоритмом

1.1.2.3 Генетические алгоритмы для поддержки нейронных сетей

Подход, основанный на использовании генетического алгоритма для обеспечения работы нейронной сети, схематически представлен на рисунке 1.3. Известно множество работ, посвященных подобному объединению рассматриваемых методов. Можно выделить три области проблем [2]:

• применение генетического алгоритма для подбора параметров либо преобразования пространства параметров, используемых нейронной сетью для классификации;

• применение генетического алгоритма для подбора правила обучения либо параметров, управляющих обучением нейронной сети;

• применение генетического алгоритма для анализа нейронной сети.

Рисунок 1.3 – Вспомогательное объединение генетического алгоритма с

нейронной сетью

1.1.2.4 Применение генетических алгоритмов для обучения нейронных сетей

Мысль о том, что нейронные сети могут обучаться с помощью генетического алгоритма, высказывалась различными исследовате­лями. Первые работы на эту тему касались применения генетическо­го алгоритма в качестве метода обучения небольших однонаправлен­ных нейронных сетей [10], но в последующем было реализовано при­менение этого алгоритма для сетей с большей размерностью [2].

Как правило, задача заключается в оптимизации весов нейрон­ной сети, имеющей априори заданную топологию. Веса кодируются в виде двоичных последовательностей (хромосом). Каждая особь по­пуляции характеризуется полным множеством весов нейронной сети. Оценка приспособленности особей определяется функцией приспо­собленности, задаваемой в виде суммы квадратов погрешностей, т.е. разностей между ожидаемыми (эталонными) и фактически получае­мыми значениями на выходе сети для различных входных данных.

Приведем два важнейших аргумента в пользу применения ге­нетических алгоритмов для оптимизации весов нейронной сети. Прежде всего, генетические алгоритмы обеспечивают глобальный просмотр пространства весов и позволяют избегать локальные мини­мумы. Кроме того, они могут использоваться в задачах, для которых информацию о градиентах получить очень сложно либо она оказыва­ется слишком дорогостоящей.