лекции ННТЗУ / Лекция_9_ГА_4
.pdf
Эволюция правил обучения
Известно, что для различных архитектур и задач обучения требуются различные алгоритмы обучения. Поиск оптимального (или почти оптимального) правила обучения, как правило, Происходит с учетом экспертных знаний и часто - методом проб и ошибок. Поэтому весьма перспективным считается развитие автоматических методов оптимизации правил обучения нейронных сетей. Развитие человеческих способностей к обучению от относительно слабых До весьма сильных свидетельствует о потенциальной возможности применения эволюционного подхода в процессе обучения искусственных нейронных сетей.
Эволюция правил обучения
Схема хромосомного представления в случае эволюции правил обучения должна отражать динамические характеристики. Статические параметры (такие как архитектура или значения весов сети) кодировать значительно проще.
Попытка создания универсальной схемы представления, которая позволила бы описывать произвольные виды динамических характеристик нейронной сети, заведомо обречена на неудачу, поскольку предполагает неоправданно большой объем вычислений, требуемых для просмотра всего пространства правил обучения.
По этой причине на тип динамических характеристик обычно налагаются определенные ограничения, что позволяет выбрать общую структуру правила обучения.
Эволюция правил обучения
Чаще всего устанавливается, что для всех связей нейронной сети должно применяться одно и то же правило обучения, которое может быть задано функцией вида
Главная цель эволюции правил обучения заключается в подборе соответствующих значений коэффициентов θ
Типовой цикл эволюция правил обучения
1) Декодирование каждой особи текущей популяции для описания правила обучения, которое будет использоваться в качестве алгоритма обучения нейронных сетей
2) Формирование множества нейронных сетей со случайно сгенерированными архитектурами и начальными значениями весов, а также оценивание этих сетей с учетом их обучения по правилу, полученному на шаге 1, в категориях точности обучения или тестирования, длительности обучения, сложности архитектуры и т.п.
Типовой цикл эволюция правил обучения
3) Расчет значения приспособленности каждой особи (закодированного правила обучения) на основе полученной на шаге 2 оценки каждой нейронной сети, что представляет собой своеобразный вид взвешенного усреднения.
4) Репродукция особей с вероятностью, соответствующей их приспособленности или рангу в зависимости от используемого метода селекции
5) Формирование нового поколения в результате применения таких генетических операторов, как скрещивание, мутация и/или инверсия.
Эволюция правил обучения