3. Биологические предпосылки и общая схема мгуа для решения задачи аппроксимации функции по экспериментальным данным

Биологические предпосылки

Заимствование алгоритмов переработки информации у природы является одной из основных идей кибернетики. «Гипотеза селекции» утверждает, что алгоритм массовой селекции растений или животных является оптимальным алгоритмом переработки информации в сложных задачах. При массовой селекции высевается некоторое количество семян. В результате опыления образуются сложные наследственные комбинации. Селекционеры выбирают некоторую часть растений, у которых интересующее их свойство выражено больше всего. Семена этих растений собирают и снова высевают для образования новых, еще более сложных комбинаций. Через несколько поколений селекция останавливается, и ее результат является оптимальным. Если чрезмерно продолжать селекцию, то наступит «инцухт» - вырождение растений. Существуют оптимальное число поколений и оптимальное количество семян, отбираемых в каждом из них.

Общая схема МГУА

В основу МГУА положено несколько основных принципов:

• Неокончательность промежуточных решений,

• Внешнее дополнение,

• Самоотбор промежуточных решений,

• Единственность окончательного решения,

которые дают возможность решать задачи обучения распознаванию образов при ограниченном числе изображений в обучающей последовательности.

Метод группового учета аргументов позволяет избежать многих трудностей, связанных как с объемом вычислений, так и с ограниченностью экспериментальных данных. Основная особенность этого метода состоит в том, что нормальные уравнения составляются и решаются не относительно всего полинома (V.1) или его частей, а относительно более простых полиномов с небольшим числом членов, учитывающих только некоторые признаки (группы аргументов). При этом каждый упрощенный полином рассматривается как самостоятельный и независимый классификатор, коэффициенты которого определяются путем решения нормальных уравнений малой размерности. После обучения каждый упрощенный полином проверяется (на специальной проверочной последовательности). После чего отбирается всего лишь несколько наилучших (в смысле результатов классификации) полиномов. А левая часть каждого из полиномов (т. е. результат классификации) используется в качестве аргумента (признака) для построения более сложного полинома и т. д. В результате нескольких отборов образуется гибкая математическая структура, которая дает удовлетворительную классификацию и в то же время может быть сравнительно легко реализована на вычислительных машинах.

Представим полином (V.1) в виде , (V.4)

где — некоторая сложная функция. Это сложное описание заменяется несколькими простыми частными описаниями.

1-й ряд: (V.5) где ; функция всюду одинакова.

Каждое уравнение (V.5) представляет собой некоторый элементарный Классификатор, для определения коэффициентов которого составляется столько условных уравнений, сколько объектов в обучающей последовательности. Переменной присваивается число, соответствующее тому классу, которому принадлежит объект. Если рассматривается всего два класса, то может принимать только два значения: 0 или 1. Если же классов больше двух, то каждому классу может быть присвоено любое число, отличающееся от чисел, присвоенных другим образам. Каждое такое число представляет некоторую точку на оси (см. рисунок 2) и определяет высоту функции над изображениями каждого класса.

После этого полученная система условных уравнений преобразуется в систему нормальных уравнений по общему правилу .

Здесь — матрица исходной системы условных уравнений;

— транспонированная матрица;

— матрица-столбец неизвестных коэффициентов;

— матрица-столбец, соответствующая независимым переменным.

В результате такого преобразования получаем столько нормальных уравнений, сколько коэффициентов надо определить. Решая эту систему уравнений, получаем искомые коэффициенты. Такая процедура проводится раз, вследствие чего получаем s элементарных классификаторов. Затем составляются новые уравнения.

2-й ряд: (V.6) где .

Эти уравнения решаются точно так же, как и уравнения первого ряда. Повторив такую процедуру многократно, можно получить в результате полином любой сложности, если исключить промежуточные переменные из описания, полученного на соответствующем ряду усложнения. Описанная процедура является лишь основной схемой МГУА и не несет в себе его основных принципов, кроме принципа неокончательности промежуточных решений.

Чтобы получить какой-либо алгоритм МГУА из этой процедуры, нужно, используя принцип внешнего дополнения, организовать самоотбор промежуточных моделей. Для этого (по аналогии с гипотезой селекции) все полученные уравнения 1-го (V.5), 2-го (V.6) и последующих рядов следует проверить на новой, не участвовавшей в определении коэффициентов проверочной последовательности и оценить качество каждого элементарного классификатора в смысле выбранного критерия (селекции). На каждом ряду все элементарные уравнения ранжируются по выбранному критерию, а в следующий ряд пропускается определенное число (от 2 до 10) лучших аргументов из предыдущего ряда. Процедура наращивания сложности модели проводится до тех пор, пока не прекратится улучшение качества всех новых классификаторов. Как только качество начинает ухудшаться, процесс усложнения прекращается и на этом ряду выбирается единственная лучшая модель. После выполнения всех этих операций может быть построен один из алгоритмов МГУА, которые могут отличаться друг от друга выбором критерия селекции, числом пропускаемых в следующий ряд переменных, способом конструирования обучающей и проверочной последовательностей и др.

[ В процессе усложнения отдельные элементарные модели могут становиться все более близкими друг к другу, что приводит к плохой обусловленности матриц нормальных уравнений и, как следствие, к большим ошибкам в определении коэффициентов последующих моделей. Поэтому в некоторых алгоритмах МГУА предусмотрена процедура сохранения разнообразия переменных. На каждом ряду отбираются только такие модели, которые содержат разнообразные исходные переменные и предыдущие промежуточные описания. И уже только среди отобранных таким образом моделей выбираются претенденты на дальнейшее усложнение общей модели по выбранному критерию самоотбора. В некоторых алгоритмах МГУА для этой цели используются первичные переменные в каждом ряду усложнения. В этом случае начиная со второго ряда составляются уравнения вида . Переменные участвуют во всех уравнениях последующих рядов. Кроме того, и в первом и во втором случае частные описания с плохо обусловленными матрицами часто сразу же отбрасываются и не принимают участия в ранжировке.]

В сущности, алгоритмы МГУА воспроизводят схему массовой селекции. Вначале из всех входных признаков образуются всевозможные комбинации. На практике в каждую комбинацию входит только два признака (попарный учет аргументов). Относительно каждой пары составляется частное описание – опорная функция, т. е. некоторое простое уравнение (обычно не выше второго порядка), аргументами которого является выбранная пара исходных признаков. Вид опорной функции одинаков для всех групп в течение всего процесса вычислений! В качестве уравнений могут выступать полиномы 1-2 порядка, различные периодические функции, ортогональные или ортонормированные функции, многочлены Эрмитта, Ладжанда и др. Коэффициенты частных описаний определяются по экспериментальным данным.