§ 3.13.2. Нейропакеты.
Нейропакетом называется программная система, эмулирующая среду НК на обычном компьютере. НП классифицируются на семь основных классов.
1. НП для разработки других НП (инструментарий построения НП).
2. Универсальные НП. Под универсальностью понимается возможность моделирования ИНС разной структуры и с разными алгоритмами обучения.
3. Специализированные НП, использующие нейроны сложной функциональности и включающие специализированные средства для: обработки изображений; распознавания образов; распознавания рукописных и печатных символов; распознавания речи; управления динамическими системами; финансового анализа и др.
4. Нейронные ЭС.
5. Пакеты генетического обучения нейросети.
6. Пакеты нечеткой логики, использующие нейросети.
7. Интегрированные пакеты, использующие нейросети.
Примеры НП первого класса:
OWL (разработчик — Hyper Logic Corp.);
Neuro Windows (разработчик — Ward Systems Group);
NNet+ (разработчик — NeuroMetric Vision System);
Neural Network Toolbox for Matlab (разработчик — Math Works);
Neuro Office (разработчик — ЗАО «АльфаСистем»).
Коротко охарактеризуем последний НП. Он предназначен для создания программных модулей, реализующих модель ИНС с ядерной организацией. Процесс разработки состоит из четырех этапов:
визуальное проектирование структуры и топологии ИНС;
определение синаптической карты и функций активации нейронов;
обучение построенной НС;
тестирование обученной НС (в том числе оценивание скорости работы НС).
Нейропакет Neuro Office позволяет сформировать обученную НС с программным интерфейсом на базе технологии СОМ. Пакет включает три основных компонента:
NeuroView+ — редактор структуры и топологии нейросети НС;
NeuroEmulator — средство для определения синаптической карты и функций активации нейронов, обучения и тестирования НС;
ActiveX-элемент «нейронная сеть» — компонент, встраиваемый в приложения и реализующий программный интерфейс с НС.
В NeuroView+ можно одновременно редактировать несколько НС. Размеры формируемых НС программно не ограничены. В файл с описанием НС также заносятся данные о графическом представлении сети на экране дисплея и комментарии разработчика.
Система NeuroEmulator, как и NeuroView+, позволяет одновременно работать с несколькими НС. Предусмотрены четыре способа инициализации синаптической карты НС (рис.3.16): ручное определение синаптических весов; случайный выбор синаптических весов (±0,5); заполнение синаптической карты указанной константой; статическое обучение НС.
Обучение НС (рис.3.17) основано на методе обратного распространения ошибки. В системе реализованы два режима обучения: индивидуальное обучение выбранному примеру и обучение на множестве примеров. На любом этапе обучения пользователь может просмотреть и изменить синаптическую карту НС. Процесс обучения иллюстрируется изменением цветов в графическом представлении НС.
Для тестирования обученной НС предназначен режим эмуляции нейрообработки на входном наборе данных, состоящем из одного или множества примеров. При тестировании на отдельном примере можно контролировать преобразование данных по слоям НС. Результаты тестирования представляются в табличном и графическом виде.
Примером интегрированного НП служит информационно-поисковая система Excalibur RetrievalWare.
Работа с НП включает два базовых этапа. На первом этапе осуществляется обучение НС на примерах. На втором — обученная НС применяется для решения прикладных задач. После накопления и обобщения опыта использования программных реализаций нейросети в рамках НП может создаваться НК.
Рис. 3.16. Режим редактирования синаптической карты и функций активации
нейронов в системе NeuroEmulator
Рис. 3.17. Режим обучения нейронной сети в системе NeuroEmulator
Аппаратной базой для НП служат рабочие станции или персональные ЭВМ, обладающие высокой производительностью. Архитектура универсального НП представлена на рис.3.18. Укрупненные структуры подсистемы формирования ИНС и подсистемы проведения экспериментов с ИНС изображены на рис.3.19. Из-за ограниченного объема пособия технологии создания НП подробно не рассматриваются. Остановимся на важном для пользователей вопросе сравнения универсальных НП. Для анализа выбраны пять наиболее мощных на начало 2000 г. зарубежных НП:
Рис. 3.18. Архитектура универсального нейропакета
Рис. 3.19. Укрупненная структура подсистемы формирования нейросети
НП1 — NeuroSolutions (разработчик - NeuroDimension, Inc.);
НП2 — NeuralWorks Professional II/Plus (разработчик - Neural-Ware, Inc.);
НПЗ — Process Advisor (разработчик — AI Ware, Inc.);
НП4 — NeuroShell 2 (разработчик — Ward Systems Group);
НП5 — BrainMaker Pro (разработчик — California Scientific Software).
При тестировании НП использовались IBM-совместимые персональные компьютеры. Все НП работали с моделью многослойной НС. Главным показателем эффективности функционирования НП служит скорость обучения НС. Поскольку во всех рассматриваемых НП механизм обучения реализован на основе алгоритма обратного распространения ошибки, данный показатель у них принимает близкие значения и поэтому для оценки используют следующие критерии, оцениваемые по 11-балльной шкале:
1) простота формирования и обучения НС при использовании интуитивно принятого графического интерфейса НП;
2) простота подготовки обучающей выборки;
3) наглядность и полнота представления информации в процессе формирования и обучения НС;
4) состав поддерживаемых нейронных моделей, критериев и алгоритмов обучения;
5) возможность создания собственных (т.е. нетиповых) нейронных структур;
6) возможность использования собственных критериев оптимизации;
7) возможность использования собственных алгоритмов обучения НС;
8) простота обмена информацией между НП и другими приложениями;
9) открытая архитектура пакета (возможность его расширения за счет внешних программных модулей);
10) наличие генератора исходного кода;
11) наличие макроязыка для ускорения работы с НП.
Данные критерии делят на три класса:
первые три критерия оценивают НП с точки зрения начинающих пользователей;
критерии с четвертого по восьмой оценивают НП с точки зрения опытных пользователей;
последние три критерия оценивают НП с точки зрения профессиональных разработчиков НП.
Результаты оценки: НП1 – 104; НП2- 87; НП3 – 43; НП4 – 57; НП5 – 33 балла. Достоинства лучшего пакета НП1:
поддержка традиционно используемых моделей – полносвязных многослойных НС и самоорганизующихся карт Кохонена;
наличие мощного редактора визуального проектирования НС;
возможность простого задания собственного алгоритма обучения и критериев обученности НС;
наличие хорошо продуманных средств визуализации (НП1 позволяет визуализировать множество моделей и характеристик – структуру НС, процесс и результаты обучения и т.д.).
НП1 функционирует на базе операционных систем семейств Win9x и WinNT, поддерживает OLE2, содержит генратор программного кода С++. Он имеет открытую архитектуру: можно реализовать надстройку над пакетом с помощью макроязыка и подключать внешние модули при проектировании и обучении НС
Он поддерживает три типа нейронов: взвешенный сумматор (нейрон 1-го порядка); нейроны высших порядков с перемножением кодов; интегрирующие нейроны.
Для активации нейронов используются 5 функций:
стандартная функция знака;
кусочно-линейная;
три сигмоидальных функции произвольного вида.
Искусственная нейронная сеть, с которой работает НП1, может содержать прямые, перекрестные и обратные связи между нейронами. При организации связей в многослойной НС используются так называемые векторные связи. Они задаются матрицей весов, а не набором скалярных связей с весовыми коэффициентами. Это значительно увеличивает производительность при подготовке данных для обучения НС и повышает наглядность визуального представления НС, так как вместо множества скалярных связей отображается одна обобщенная, соответствующая векторной связи.
При формировании обучающих выборок, благодаря наличию встроенных конвертеров данных, НП1 позволяет предъявлять НС как графические изображения (в формате BMP), так и текстовые файлы, содержащие числовые и символьные данные, а также описания функций непрерывных аргументов (в том числе времени). Исходные данные для эксперимента могут быть представлены в виде аналитических выражений или выборок числовых значений.
На этапе обучения используются дискретные и непрерывные критерии обученности ИНС (последние важны для НС с интегрирующими нейронами). Помимо традиционного квадрата ошибки можно использовать критерии из функционального пространства Lp (для р = 2 имеем квадрат ошибки).
Нейропакет НП1 позволяет накладывать на исходные данные аддитивный белый шум, а также любой заданный пользовательским приложением тип шума.
В качестве примера специализированного НП отметим продукт Excel Neuro Package компании «НейрОК Интелсофт». Данный НП включает два компонента:
Winnet 3.0 — программный эмулятор многослойной нейросети;
Kohonen Map l .0 — средство построения самоорганизующихся карт Кохонена.
Названные компоненты реализованы в виде программных надстроек (add-ins), расширяющих возможности Microsoft Excel.
Компонент Winnet 3.0 представляет собой инструмент статистического анализа и прогнозирования, основанный на использовании НС и позволяющий выявлять скрытые зависимости в больших массивах числовой информации.
Компонент Kohonen Map 1.0 служит средством визуализации и анализа многомерных данных, отображаемых в виде наглядной двумерной цветной карты. Он предназначен для решения задач кластеризации и визуализации многомерной информации.
Таким образом, разработка НП — наиболее быстро развивающаяся область нейротехнологий. Нейропакеты подразделяют на семь основных классов. Фундамент архитектуры универсального НП составляют подсистема формирования нейросети, БД нейросети и подсистема проведения экспериментов с нейросетью.
Существует развитая система критериев сравнения универсальных НП, отражающая интересы начинающих и опытных пользователей, а также профессиональных разработчиков НП.