Нейронные сети в компьютерной инженерии

Нейронные сети (НС) представляют новую и перспективную вычислительную технологию, дающую новые подходы к исследованию сложных и трудно формализуемых задач. Первоначально они были разработаны для решения задач распознавания образов. В настоящее время применяются в следующих областях: распознавание образов и изображений, обработка зашумленных данных (фильтрация), сжатие данных, классификация и кластеризация данных, ассоциативный поиск, решение оптимизационных задач, задачи диагностики, управление сложными процессами, моделирование сложных процессов, финансовая математика , задачи прогнозирования и многие другие.

Идея разработки интеллектуальных систем обработки информации по образу нервной системы возникла давно. В 1943 г. Маккалах и Питс создали упрощенную модель нервной клетки – искусственный нейрон. Параллельно с прогрессом в области нейроанатомии и нейрофизиологии были разработаны модели человеческого обучения. Далее в 50-60 годы XXвека, группа исследователей, объединив эти два направления, создала первые искусственные нейросети и методы их обучения.

В последние годы нейросетевые технологии бурно развиваются поскольку: во-первых, в этой области сформировалась серьезная теоретическая база; во-вторых, достижения современной электроники позволяют практическую реализацию быстродействующих и недорогих нейрокомпьютеров, которые с успехом используются во многих сферах человеческой деятельности. За последние десять лет на русском языке опубликовано достаточно много литературы, часть которой представлена в приведенном списке литературы (в частности, [1-4]).

Отношение НС и компьютерной инженерии двоякое. С одной стороны, нейрокомпьютеры являются подклассом параллельных компьютерных систем, которые постепенно вытесняют классические машины фон Неймана; и с другой стороны, нейросетевые технологии широко используются в компьютерной инженерии в качестве инструментария, в частности при проектировании компьютерных систем.

Основы нейронных сетей

Модель искусственного нейрона.

Биологический (естественный) нейрон состоит из тела (сомы) и отростков нервных волокон 2-х типов: дендритов, по которым принимаются входные импульсы и единственного аксона, благодаря которому нейрон может передавать импульс другим нейронам. Нейрон получает сигналы (импульсы) от аксонов других нейронов через дендриты (приемники) и передает сигналы, генерированные телом клетки по аксону, который в конце разветвляется на волокна, что показано на рис.1. На окончании волокон находятся специальные образования – синапсы, которые влияют на величину передаваемого импульса.

Рис.1. Естественный нейрон

Таким образом, нейрон имеет много входов (дендритов) и один выход (аксон). Соединение между нейронами реализуется в синапсах. Принятые синапсом сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие воспрепятствовать возбуждению. Когда сумма возбуждающих сигналов в теле превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал возбуждения другим нейронам. У этой функциональной схемы есть много обобщений, но, тем не менее, большинство моделей искусственного нейрона моделируют только эти простейшие свойства.

Искусственным или формальным нейроном называется элементарный процессор, используемый в узлах нейронной сети. Математическую модель искусственного нейрона можно представить выражением

, (1),

где у - выходной сигнал нейрона; - функция выходного блока нейрона; - синаптический коэффициент - вес i-го входа; - i-й входной сигнал; - начальное возбуждение или смещение нейрона, - номер входа нейрона и n - число входов. Выражению (1) может быть поставлена в соответствие структурная схема искусственного нейрона, представленная на рис.2. Как видно из рисунка, схема формального нейрона включает n входных блоков умножения на коэффициенты , один сумматор (часто называемый разными авторами адаптивным сумматором) и выходной блок функционального преобразования. Функция, которую реализует выходной блок, получила название функции активации (функции возбуждения или переходной функции). Коэффициенты называются синаптическими коэффициентами или коэффициентами межнейронной связи. Эти коэффициенты являются аналогами синапсов биологических нейронов. Если значение коэффициента отрицательное, то принято считать i-ю связь тормозящей, если положительное - возбуждающей.

Рис.2 Искусственный нейрон

В общем случае функционирование искусственного нейрона заключается в следующем (Рис.2). Перед началом работы на блок сумматора подают сигнал начального смещения (начального возбуждения) . На каждый i-й вход нейрона поступают сигналы либо от других нейронов, либо с устройства ввода. Каждый i-й входной сигнал умножается на коэффициент межнейронной связи (синаптический коэффициент) . В блоке сумматора взвешенные входные сигналы и начальное возбуждение алгебраически складываются. Результат суммирования (взвешенная сумма) s подается на блок функционального преобразования . Итак, на выходе первого каскада рис.2, как правило, реализуется скалярное произведение вектора синаптических коэффициентов W (параметры нейрона) и входного вектора X (поступающего из окружения нейрона) - s=W*X. Во втором каскаде реализуется активационная функция, вид которой может быть различным для разных типов (или даже слоев) нейросетей. Основные типы используемых во втором каскаде активационных функций представлены ниже на рис.3