6.5.Когнитрон и неокогнитрон Фукушимы

Использование биологических моделей при создании перспективных технических систем обусловлено поразительной способностью человека к решению сложных задач. В 1975 году К. Фукушимой была разработана гипотетическая модель биологической системы восприятия и распознавания зрительной информации – когнитрон, инвариантная к перемещению, поворотам и изменению масштабов образов. Когнитрон, организованный подобно зрительной коре мозга человека, состоит из нескольких однотипных слоев нейронов, реализующих, тем не менее, различные уровни обобщения (рис. 6.5). Нейрон из каждого последующего слоя связан с ограниченным набором нейронов предыдущего, что позволяет каждому нейрону выходного слоя реагировать на все входное поле при ограниченном количестве слоев.

Каждый слой когнитрона содержит 2 типа нейронов (рис. 6.6): возбуждающие нейроны (ВН) одного слоя стремятся вызвать активацию соединенного с ними нейрона следующего слоя, тормозящие (ТН) – нейтрализовать это возбуждение. Значение выхода ВН определяется отношением взвешенных сумм возбуждающих и тормозящих входов:

(6.13)

где ; a_i>0 – вес i–го возбуждающего входа; u_i – выход i–го ВН предыдущего слоя; b_j >0 – вес j–го тормозящего входа; v_j – выход j–го ТН предыдущего слоя. Особенность когнитрона – его весовые коэффициенты могут только возрастать в процессе обучения. Этот рост не ограничен, однако условием ограничения значений y^B является одинаковый диапазон изменения значений возбуждающих и тормозящих входов, т.е. при и . В этом случае значение выхода нейрона изменяется по закону Вебера–Фехнера и он достаточно точно моделирует поведение своего биопрототипа.

Тормозящие нейроны соответствуют области связи ВН, их веса устанавливают заранее, сумма весов равна единице, они не изменяются в процессе обучения. Значение на выходе ТН представляет собой среднее взвешенное значение выходов ВН из соответствующей области связи

(6.14)

где c_i – вес i–го возбуждающего входа. Во втором слое нейроны тоже конкурируют, т.е. на каждый нейрон второго слоя оказывают латеральное (со стороны «соседей», местное) торможение (ЛТ) нейроны из области его конкуренции (рис. 6.6). Соответствующий ТН суммирует выходы всех нейронов из этой области и вырабатывает (при ускоренном ЛТ) тормозящий сигнал согласно (рис. 6.7)

(6.15)

где y_l – выход l–го нейрона в области конкуренции; g_l – вес связи l–го нейрона к нейрону ЛТ.

Обучение когнитрона представляет собой обучение без учителя, когда сеть самоорганизуется путем изменения весовых коэффициентов при получении обучающего набора входных образов. Вначале значения всех выходов нейронов одинаковы, но поскольку нейроны конкурируют между собой, в результате обучения в заданной области слоя возбуждается только один нейрон, который будет оказывать ЛТ воздействие на соседние нейроны из области его конкуренции. В результате веса возбужденного нейрона будут возрастать, а веса соседей останутся неизменными. Возбуждающие веса данного нейрона изменяются как

(6.16)

где c_j – вес тормозящей связи j–го нейрона с тормозящим нейроном i; u_j – выход нейрона j в слое 1; a_i – вес i–го возбуждающего входа;  – коэффициент скорости обучения. Изменение значений тормозящих весов того же нейрона второго слоя вычисляется по формуле

(6.17)

Если ВН в области конкуренции (во втором слое) отсутствуют, например, на этапе инициализации процесса обучения, то изменение весов производится согласно

(6.18)

где 0<< – коэффициент скорости обучения. Рассмотренная процедура обучения обеспечивает более быстрое увеличение возбуждающих весов по сравнению с тормозящими у активированных нейронов. И наоборот, у проигравших нейронов возбуждающие веса возрастают незначительно, а тормозящие – сильнее.

Неокогнитрон – модификация и дальнейшее развитие идей когнитрона. Он имеет иерархическую структуру, состоящую из последовательности слоев нейронов, каждый из которых образован двумя плоскостями, разделенных на двумерные массивы простых (первая плоскость) и сложных (вторая плоскость) нейронов. Простые нейроны, получающие сигналы извне (первый слой) или от сложных нейронов предыдущих слоев, выделяют (классифицируют) входные образы, а получающие от них информацию сложные нейроны обрабатывают ее так, чтобы уменьшить позиционную зависимость реакции неокогнитрона на эти образы. Рецептивное поле каждого нейрона от слоя к слою возрастает, количество же нейронов в слое при этом уменьшается. Наконец, в каждом массиве выходного слоя остается только один сложный нейрон, который реагирует только на свой, определенный входной образ независимо от его пространственной ориентации.

Процедура обучения и подход при реализации ЛТ когнитрона и неокогнитрона аналогичны. При этом выходы простых и сложных нейронов являются непрерывными, неотрицательными и изменяются по линейному закону. При срабатывании простого нейрона из некоторого массива на поданный входной образ его веса увеличиваются, как и веса его соседей из того же массива, т.е. все нейроны в массиве обучаются распознавать одни и те же свойства образа. Это определяет способность неокогнитрона к самовосстановлению: если активируемый нейрон выйдет из строя, среди соседей найдется другой, реагирующий наиболее сильно, который и будет обучен распознаванию входного образа, заменив отказавший.