- •Московский государственный технический университет
- •Аэрокосмический факультет
- •Нейропроцессоры
- •2006 Г.
- •Краткая историческая справка.
- •Поняте нейросети.
- •Особенности нейросети как вычислительной среды.
- •Применение процессоров общего назначения для построения нейросред.
- •Применение dsp для построения нейросред.
- •Dsp фирмы Analog Devices.
- •Быстрая выборка и исполнение команд.
- •Возможность работы в мультимикропроцессорных конфигурациях.
- •Мощные блоки вычислений.
- •Simd-режим выполнения операций.
- •Применение плис для построения нейросред.
- •Применение аналоговых и гибридных решений для построения нейросред.
- •Сбис etann 80170nx.
- •Сбис clnn32/clnn64 фирмы Bellcore.
- •Применение систолических процессоров для построения нейросред.
- •Некоторые замечания по разработке систол
- •Систолический процессор sand.
- •Систолический процессор cnaps
- •Применение нейросигнальных процессоров для построения нейросред. Нейросигнальный процессор nm6403.
- •Структура нейропроцессора nm6403.
- •Возможности создания многопроцессорных вычислителей на базе nm6403.
- •Реализация нейронной сети на нейропроцессоре nm6403.
- •Задачи, для решения которых используют нейросети.
- •Сравнение быстродействия различных решений.
- •Основные достоинства и недостатки различных решений
- •Литература:
Поняте нейросети.
Базовым элементом нейронной сети как математической модели является формальный нейрон. Формальный нейрон имеет некоторое множество однонаправленных входных каналов аналоговой или булевой информации и один выходной канал. По аналогии с биологическими нейронами входные каналы называются синапсами, а выходной - аксоном. Нейрон может быть булевым, то есть оперирующим с однобитовыми сигналами, или аналоговым. При работе с аналоговым нейроном обычно производится нормирование сигналов таким образом, чтобы значения входов и выходов принадлежали интервалу (0,1). Каждому входному каналу с номером jформального нейрона ставится в соответствие числоwj, называемое весом этого канала. Вектор весовw= <w1,,wn> является внутренней характеристикой формального нейрона сnвходами.
Рис. 1: Формальный нейрон
Текущее состояние формального нейрона с nвходными каналами определяется как взвешенная сумма его входов:s=j = 1nwjxj, гдеx= <w1,,wn> есть входной сигнал.
Выходной сигнал формального нейрона есть функция его состояния: y=F(s). ФункцияFявляется внутренней характеристикой формального нейрона и называется активационной функцией. Отметим, что в случае булевых формальных нейронов часто используется пороговая функция с внутренней характеристикой:
|
В случае специального вида формальных нейронных сетей - клеточных автоматов - обычно применяется пороговая колоколоидальная функция
|
Одной из самых популярных функций для обработки сигнала внутреннего возбуждения в случае аналогового нейрона является логистическая функция или сигмоид с внутренней характеристикой :
|
При уменьшении сигмоид становится более пологим, в пределе при= 0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличениисигмоид приближается по внешнему виду к функции единичного скачка с порогом в точкеs= 0. Эта функция очень популярна из-за некоторых свойств. Например, она дифференцируема на всей оси абсцисс, причем её производная имеет простой видF(s) =F(s)(1-F(s)).
Рис. 2: Пример логистической функции
Нейронная сеть состоит из набора нейронов, связанных со входами, выходами и между собой. Формальные нейроны могут объединяться в сети различными способами, но самым распространенным видом нейросети стал многослойный перцептрон.
Рис. 3: Многослойный перцептрон
Сеть состоит из произвольного количества нейронов, разбитых на слои. Нейроны каждого слоя соединяются только с нейронами предыдущего и последующего слоев (в общем случае по принципу каждый с каждым). Отдельно выделяют входной и выходной слои, остальные слои называются внутренними или скрытыми. Каждый слой рассчитывает нелинейное преобразование от линейной комбинации сигналов предыдущего слоя. Отсюда видно, что линейная функция активации может применяться только для однослойной сети. Для многослойных сетей с линейной функцией активации можно построить эквивалентную однослойную сеть.
Многослойная сеть может формировать на выходе произвольную многомерную функцию при соответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов.