http://citforum.ru/hardware/neurocomp/neyrocomp_04.shtml виды нейрочипов

http://citforum.ru/hardware/neurocomp/neyrocomp_03.shtml плис

http://citforum.ru/hardware/neurocomp/neyrocomp_05.shtml

http://www.3dnews.ru/825544

1. Способы реализации нейронных сетей.

Нейронные сети могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпью­теры, нейроплаты и нейроБИС (большие интегральные схемы). Одна из самых простых и дешевых нейроБИС - модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и 120 синапсами. Среди перспективных разработок можно выделить модели фирмы Adaptive Solutions (США) и Hitachi (Япония). Раз­рабатываемая фирмой Adaptive Solutions нейроБИС является од­ной из самых быстродействующих: объявленная скорость обра­ботки составляет 1,2 млрд межнейронных соединений в секунду (мнс/с). Схемы, производимые фирмой Hitachi, позволяют реализовывать ИНС, содержащие до 576 нейронов.

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относят­ся, например, компьютеры серии FMR фирмы Fujitsu. Возмож­ностей таких систем вполне хватает для решения большого числа прикладных задач методами нейроматематики, а также для раз­работки новых алгоритмов. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Типичными представителя­ми таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Ф. Розен-блатом, называлась Mark I). Модель Mark III фирмы TRW пред­ставляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элемен­тов с более чем 1 млн настраиваемых соединений, позволяет об­рабатывать до 450 тыс. мнс/с.

Другим примером является нейрокомпьютер NETSIM, со­зданный фирмой Texas Instruments на базе разработок Кембридж­ского университета. Его топология представляет собой трехмер­ную решетку стандартных вычислительных узлов на базе процес­соров 80188. Компьютер NETSIM используется для моделирова­ния сетей Хопфилда—Кохонена. Его производительность дости­гает 450 млн мнс/с.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, приме­няют более дешевые программные реализации. Одним из самых распространенных программных продуктов является семейство программ BrainMaker фирмы CSS (California Scientific Software). Первоначально разработанный фирмой Loral Space Systems no заказу NASA и Johnson Space Center пакет BrainMaker был вскоре адаптирован для коммерческих приложений и сегодня используется несколькими тысячами финансовых и промышленных ком­паний, а также оборонными ведомствами США для решения за­дач прогнозирования, оптимизации и моделирования ситуаций.

Назначение пакета BrainMaker — решение задач, для которых пока не найдены формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся прогнозирование курсов валют и акций на биржах, мо­делирование кризисных ситуаций, распознавание образов и мно­гие другие. BrainMaker решает поставленную задачу, используя математический аппарат теории нейронных сетей (более кон­кретно — сеть Хопфилда с обучением по методу обратного рас­пространения ошибки). В оперативной памяти строится модель многослойной нейронной сети, которая обладает свойством обу­чаться на множестве примеров, оптимизируя свою внутреннюю структуру. При правильном выборе структуры сети после ее обу­чения на достаточно большом количестве примеров можно до­биться высокой достоверности результатов (97% и выше). Существуют версии BrainMaker для MS DOS и MS Windows, а также для Apple Macintosh. Кроме базовой версии пакета в семейство BrainMaker входят следующие дополнения:

BrainMaker Student — версия пакета для университетов. Она особенно популярна у небольших фирм, специализирующихся на создании приложений для не очень сложных задач.

Toolkit Option — набор из трех дополнительных программ, увеличивающих возможности BrainMaker: Binary, которая пере­водит обучающую информацию в двоичный формат для ускоре­ния обучения; Hypersonic Training, где используется высокоскоростной алгоритм обучения; Plotting, которая отображает факты, статистику и другие данные в графическом виде.

BrainMaker Professional — профессиональная версия пакета BrainMaker с расширенными функциональными возможностями. Включает в себя все опции Toolkit.

Genetic Training Option (для BrainMaker Pro) — программа ав­томатической оптимизации нейронной сети для решения задан­ного класса задач, использующая генетические алгоритмы для селекции наилучших решений.

DataMaker Editor — специализированный редактор для авто­матизации подготовки данных при настройке и использовании нейронной сети.

Training Financial Data — специализированные наборы дан­ных для настройки нейронной сети на различные виды аналитических, коммерческих и финансовых операций, которые включа­ют реальные значения макроэкономических показателей NYSE, NADDAW, ASE, OEX, DOW и др., индексы инфляции, статисти­ческие данные биржевых сводок по различным видам продук­ции, а также информацию по фьючерсным контрактам и многое другое.

BrainMaker Accelerator — специализированная нейроплата-акселератор на базе сигнальных процессоров TMS320C25 фирмы Texas Instruments. Вставленная в персональный компьютер, она в несколько раз ускоряет работу пакета BrainMaker.

BrainMaker Accelerator Pro — профессиональная многопроцессорная нейронная плата. Она содержит пять сигнальных про­цессоров TMS320C30 и 32 Мбайт оперативной памяти.

В настоящее время на рынке программных средств имеется большое количество разнообразных пакетов для конструирова­ния нейронных сетей и решения различных задач. Пакет BrainMaker можно назвать ветераном рынка. Кроме представите­лей этого семейства, к хорошо известным и распространенным программным средствам можно отнести NeuroShell (Ward System's Group), Neural Works (Neural Ware Inc.) и NeuroSolutions (NeuroDimension Inc.). Объектно-ориентированные програм­мные среды семейства NeuroSolutions предназначены для модели­рования ИНС произвольной структуры. Пользователю систем NeuroSolutions предоставлены возможности исследования и диа­логового управления. Все данные в сети доступны для просмотра в процессе обучения посредством разнообразных инструментов визуализации. Проектирование ИНС в системе NeuroSolutions ос­новано на модульном принципе, который позволяет моделиро­вать стандартные и новые топологии. Важным преимуществом системы является наличие специальных инструментов, позволя­ющих моделировать динамические процессы в ИНС.

Нейрокомпьютеры

Работы по созданию аппаратно реализованных нейрокомпьютеров ведут многие фирмы: Intel, Fujitsu, Neural Semiconductor и др.

Так фирма Fujitsu разработала аппаратно реализованную сеть на 256 узлов, которая, по мнению ее специалистов, в 2000 раз превосходит по быстродействию рабочие станции SPARC-10.

Быстродействие нейрокомпьютера определяется числом переключений в секунду. Под переключением понимается шаг работы нейросети, связанный с одновременным вычислением значений во всех узлах сети. Система Fujitsu обладает скоростью 500 млн. переключений в секунду (Mcups)

В Европе разработаны проекты Pygmalion и Callatea, целью которых является создание мощных нейрокомпьютеров и внедрение их в наукоемкие производства и научные разработки.

Многопроцессорные ускорительные платы

Особенностью нейросетевых методов обработки информации является высокая параллельность вычислений, и  следовательно, целесообразность использования средств аппаратной поддержки, в частности плат-ускорителей.  Такие платы работают параллельно с процессором обычного персонального компьютера и несут основную нагрузку вычислений.

 

В нашей стране также ведутся работы в этом многообещающем направлении. В частности, создана нейроплата, которая вставляется в свободный слот персонального компьютера (см. лекциюАксенова О.Ю.)  В ее состав входит транспьютер, память для весовых коэффициентов, память для программ и данных и нейровычислитель.

Транспьютер осуществляет связь нейроплаты с персональным компьютером, на котором готовятся коэффициенты и данные для нейровычислителя и загрузки обучающей выборки. Собственно нейровычислитель обеспечивает 2 млн. переключений в секунду. Разрядность входных/выходных данных составляет либо 1 разряд, либо 8 разрядов. Блок-схема нейроплаты представлена на рис. 8.

Нейровычислитель представляет собой арифметический конвейер и не является параллельно работающей сетью, тем не менее он значительно ускоряет вычисления. Топология сети связи между узлами реализуется списочными структурами в памяти весовых коэффициентов входящих в узел дуг. 

К настоящему времени разработано несколько нейрокомпьютерных приставок к персональным компьютерам, содержащих в своем составе десятки вычислительных узлов-нейронов, которые работают действительно параллельно.

На базе мультипроцессорных систем ICL DAP, Computing Surface, AAP-2, Connection Maсhine (CM) успешно проводится моделирование нейронных сетей. Так на системе ICL DAP моделировалась полносвязная сеть Хопфилда, решающая задачи коммивояжера.

Условная производительность при решении задачи распознавании слов на этой установке оценивается в 25 млн. операций в секунду. Система ICL DAP использовалась также для анализа изображений в растре 64х64 элементов, при этом производительность оценивалась в 100 тыс. кадров в секунду. При этом следует учесть, что ICL DAP по своей номинальной производительности имеет весьма скромные технические характеристики.

Установка Computing Surface, состоящая из 30 транспьютеров, использовалась для обработки нейросетевым образом изображений на 256х256 точек. В максимальном варианте моделировалась трехслойная сеть из 5040 нейронов более чем с 5 млн. связей.

На машине СМ-5 фирмы ThM также велись успешные работы по эмуляции специальной нейросети NETtall с использованием уникальных возможностей этой установки по выполнению быстрой параллельной сортировки.