инфа в тех универе

6. Нейронные семиотические системы

	JS^mmm ш									|Д|.^.||
			^		ш			Ф	Б-еяаро	"И
								#	5-еяаро
				^'^н^ишюй^!		G		Ф	7'еяаро
					0.000	0 219
								Ф	В-еяаро
					0.414	0.016
								Ф	З-еедро
					-0..352	0.348
								Ф	10-еяаро
					0.426	-0.332
								Р 3-й спой
					-0.188	0.469		Ф	^^e яарю
				^'^fHRfiWH				Ф	2-е!ЭД,ро
								Ф	4-еяарс.
				"1шамгш«г						JULT'
		"3		'•,^!.fef.,^f				zl
leer	^ ^~'			tmt
		^~"*^^^'ь:/		ШЖ1±1
	0.142	l^Ж:J^^\				0184	„ J ™	0 526		067
		0.282	0.415				0.361
0,000	0.415	0.755	0.953		0.000	0 528	0 895	0.996		0 79
0.000	0.655	0.390	0-842		0.000	0,798	0 962		-0.52 I
^
ы % Ч Ш ^ <lpl#H(!^iJ)r~~			1Ф#1(ШЩ!!(ф^Ш 4 ЩШ^0^1&$^
IWMSCtbi I		Чртщ	j 0 001	T©4H<x?M&f					Зтщт> 1

Рис. 6.3. Режим обучения нейронной сети в системе NeuroEmulator

ется для решения прикладных задач. После накопления и обобщения опыта использования программных реализаций нейросети в рамках НП может соз­ даваться НК.

Аппаратной базой для НП служат рабочие станции или персональные ЭВМ, обладающие высокой производительностью.

Архитектура универсального НП представлена на рис. 6.4. Укрупнен­ ные структуры подсистемы формирования ИНС и подсистемы проведения экспериментов с ИНС изображены на рис. 6.5 и 6.6.

Из-за ограниченного объема пособия технологии создания НП под­ робно не рассматриваются. Остановимся на важном для пользователей во­ просе сравнения универсальных НП, Результаты подобного исследования приведены в [231]. Для анализа выбраны пять наиболее мощных на начало 2000 г. зарубежных НП:

•НП1 — NeuroSolutions (разработчик - NeuroDimension, Inc.);

•НП2 — NeuralWorks Professional II/Plus (разработчик — NeuralWare, Inc.);

•НПЗ — Process Advisor (разработчик — AI Ware, Inc.);

•НП4 — NeuroShell 2 (разработчик — Ward Systems Group);

240

6.2. Нейропакеты

Интерфейс начинающего пользователя нейропакета (в том числе средства визуального представления нейросети и результатов на всех этапах работы)

	Подсистема		БД	Подсистема
	формирования				о
		нейросети		проведения
	нейросети				о
				экспериментов
					ю
				с нейросетью	ю
	о	"	о
	1 S 2
				X
	e-g,s	ж	2^
				S
	& « о
			д S	О
			о
	ж		р.		ID
					О

Интерфейс опытного пользователя нейропакета (в том числе средства визуального представления нейросети и результатов на всех этапах работы)

Рис. 6.4. Архитектура универсального нейропакета

			Визуальный интерфейс
		,1	к	i1
		''
		Выбор параметров		Библиотека типовых
		нейросети		нейросетей
	БД		Т	Библиотека типовых
		Выбор типов
	формируемой
		нейронов		нейронов
	нейросети
				1
		Выбор функций		Библиотека функций
		активации нейронов		активации

Рис. 6.5. Укрупненная структура подсистемы формирования нейросети

• НП5 — BrainMaker Pro (разработчик — California Scientific Software). При тестировании НП использовались IBM-совместимые персональ­

ные компьютеры. Все НП работали с моделью многослойной ИНС. Главным показателем эффективности функционирования НП служит

скорость обучения ИНС. Поскольку во всех рассматриваемых HIT механизм

241

6. Нейронные семиотические системы

БД нейросети Визуальный интерфейс

	;	к
i 1	к		i
	'г
	Выбор алгоритма		Библиотека алгоритмов
	обучения нейросети		обучения
Синтезируемая	Выбор критерия	Т	Библиотека крите­
программа
обучения	обученности		риев обученности
нейросети			\
	Выбор типа
			Библиотека
	задаваемого шума		генераторов шумов

Рис. 6.6. Укрупненная структура подсистемы проведения экспериментов с нейросетью

обучения реализован на основе алгоритма обратного распространения ошибки, данный показатель у них принимает близкие значения. С учетом сказанного были выделены 11 дополнительных критериев, оцениваемых по 10-балльной шкале:

1) простота формирования и обучения ИНС при использовании ин­ туитивно понятного графического интерфейса НП;

2)простота подготовки обучающей выборки;

3)наглядность и полнота представления информации в процессе фор­ мирования и обучения ИНС;

4)состав поддерживаемых нейронных моделей, критериев и алгорит­ мов обучения;

5)возможность создания собственных (т. е. нетиповых) нейронных структур;

6)возможность использования собственных критериев оптимизации;

7)возможность использования собственных алгоритмов обучения ИНС;

8)простота обмена информацией между НП и другими приложениями;

9)открытая архитектура пакета (возможность его расширения за счет внешних программных модулей);

10)наличие генератора исходного кода;

11)наличие макроязыка для ускорения работы с НП.

Названные критерии можно разделить на три класса:

•первые три критерия оценивают НП с точки зрения начинающих пользователей;

•критерии с четвертого по восьмой оценивают НП с точки зрения опытных пользователей;

•последние три критерия оценивают НП с точки зрения профессио­ нальных разработчиков НП.

242

6.2. Нейропакеты

Экспертная оценка НП на основе перечисленных критериев приведена втабл. 6.2[231].

						Таблица 6.2
	Критерии			Нейропакеты
	сравнения	НП1	НП2	НПЗ	НП4	НП5
	1	9	9	8	10	6
	2	9	9	7	8	7
	3	10	9	7	6	4
	4	8	10	5	8	6
	5	10	8	5	5	5
	6	8	7	0	0	0
	7	10	7	3	0	0
	8	10	8	5	8	5
	9	10	10	3	2	0
	10	10	10	0	10	0
	11	10	0	0	0	0
	Суммарная	104	87	43	57	33
	оценка

Отметим достоинства лучшего пакета НП1:

•поддержка традиционно используемых моделей — полносвязных многослойных ИНС и самоорганизующихся карт Кохонена [233];

•наличие мощного редактора визуального проектирования ИНС;

•возможность простого задания собственного алгоритма обучения и критериев обученности ИНС;

•наличие хорошо продуманных средств визуализации (НП1 позволя­ ет визуализировать множество моделей и характеристик — структуру ИНС, процесс и результаты обучения и т. д.).

Нейропакет НП1 функционирует на базе операционных систем се­ мейств Win9x и WinNT, поддерживает OLE2, содержит генератор про­ граммного кода на СН-+. Он имеет открытую архиггектуру: можно реализо­ вать надстройку над пакетом с помощью макроязыка и подключать внешние модули при проектировании и обучении ИНС.

Нейропакет HUl поддерживает три типа нейронов:

•взвешенный сумматор (нейрон 1-го порядка);

•нейроны высших порядков с перемножением кодов;

•интегрирующие нейроны.

Для активации нейронов используются пять функций: 1) стандартная функция знака; 2) кусочно-линейная функция; 3) три сигмоидальных функ­ ции произвольного вида.

243

6. Нейронные семиотические системы

Искусственная нейтронная сеть, с которой работает НП1, может со­ держать прямые, перекрестные и обратные связи между нейронами. При организации связей в многослойной ИНС используются так называемые векторные связи. Они задаются матрицей весов, а не набором скалярных связей с весовыми коэффициентами. Это значительно увеличивает произво­ дительность при подготовке данных для обучения ИНС и повышает нагляд­ ность визуального представления ИНС, так как вместо множества скаляр­ ных связей отображается одна обобщенная, соответствующая векторной связи.

При формировании обучающих выборок, благодаря наличию встро­ енных конвертеров данных, НП1 позволяет предъявлять ИНС как графиче­ ские изображения (в формате BMP), так и текстовые файлы, содержащие числовые и символьные данные, а также описания функций непрерывных аргументов (в том числе времени). Исходные данные для эксперимента мо­ гут быть представлены в виде аналитических выражений или выборок чи­ словых значений.

На этапе обучения используются дискретные и непрерывные крите­ рии обученности ИНС (последние важны для ИНС с интегрирующими ней­ ронами). Помимо традиционного квадрата ошибки можно использовать критерии из функционального пространства Lp (для р= 2 имеем квадрат ошибки).

Нейропакет НП1 позволяет накладывать на исходные данные адди­ тивный белый шум, а также любой заданный пользовательским прршожением тип шума.

В качестве примера специализированного НП отметим продукт Excel Neuro Package компании «НейрОК Интелсофт». Данный НП включает два компонента:

•Wimiet 3.0 — программный эмулятор многослойной нейросети;

•Kohonen Map 1.0 — средство построения самоорганизующихся карт Кохонена.

Названные компоненты реализованы в виде программных надстроек (add-ins), расширяющих возможности Microsoft Excel. Их пользовательский интерфейс иллюстрирует рис. 6.7.

Компонент Wimiet 3.0 представляет собой инструмент статистическо­ го анализа и прогнозирования, основанный на использовании ИНС и позво­ ляющий выявлять скрытые зависимости в больших массивах числовой ин­ формации.

Компонент Kohonen Map 1.0 служит средством визуализации и анали­ за многомерных данных, отображаемых в виде наглядной двумерной цвет­ ной карты. Он предназначен для решения задач кластеризации и визуализа­ ции многомерной информации.

244

6.2. Нейропакеты

Рис. 6.7. Пакет Excel Neuro Package

Основные выводы

1. Разработка НП — наиболее быстро развивающаяся область нейротехнологий.

2.Нейропакеты подразделяют на семь основных классов.

3.Фундамент архитектуры универсального НП составляют подсисте­ ма формирования нейросети, БД нейросети и подсистема проведения экспе­ риментов с нейросетью.

4.Существует развитая система критериев сравнения универсальных НП, отражающая интересы начинающих и опытных пользователей, а также профессиональных разработчиков НП.

245

6.Нейронные семиотические системы

6.3.Модели сенсорных и языковой систем человека

Мозг рационален, сознание — мооюет быть, нет.

Дуглас Р. Хофштадтер

Содержание данного параграфа базируется на интересных и перспек­ тивных гипотезах, лежащих в основе подхода к моделированию ряда функ­ ций в н е человека. Этот подход развивается научной школой нейротехнологий МГУ.

В высшей нервной системе человека выделяют две системы функций, реализуемые нейронными семиотическими системами:

•сенсорные системы;

•языковая система.

Рассматриваемые модели этих систем называются элементарной сенсорной (ЭСС) и элементарной языковой (ЭЯС) системами человека. Эти системы описываются в нейрофизиологических терминах. Заметим, что большинство функций в н е пока не доступны для описания с других позиций. В этих же нейрофизиологических терминах описываются до сих пор конструктивно не объяснимые феномены мозга, о которых шла речь в §6.1.

Как известно, человек обладает шестью сенсорными системами. Все они, кроме обонятельной, являются многоканальными. Например, зритель­ ная система имеет два канала: ахроматический, обеспечивающий анализ формы, и цветовой. Для упрощения дальнейшее изложение строится на примере одноканальной обонятельной системы. Схема модельного подхода представлена на рис. 6.8.

Сформулируем основные парадигмы моделирования сенсорных систем:

•общие принципы моделирования отдельных сенсорных каналов нейросетями;

•иерархическая организация ИНС;

•выделение в ИНС специальных групп нейронов;

•однородность способов восприятия сенсорными системами внешне­

го мира.

Интеллектуальная среда

ЭСС

ЭЯС

Внешний мир

Рис. 6.8. Схема модельного подхода

Сенсоризм рассматривается как интерфейс между внешним миром и ин­ теллектуальной средой. С помощью ре­ чи нейросети отдельных индивидуумов «объединяются в единую сеть». В ре­ зультате обучение происходит быстрее, и может быть организована специализа- щ^^ индивидуумов.

246

6.3.Модели сенсорных и языковой систем человека

Воснове подхода к моделированию лежат следующие основные идеи.

1.Сенсоризм как часть мозга от рецепторов до эффекторных структур по отношению к внешнему миру (внешней ПрО) понимается как отобра­ жающая система (модель).

2.Внешний мир организован, не хаотичен, существует объективно, имеет многоуровневую иерархическую структуру и эволюционирует.

3.Отображающая система (сенсоризм) организована иерархически та­ ким образом, чтобы соответствовать внешнему миру.

4.По модельным средствам сенсоризм является нейронным, т. е. объ­ екты представляются нейронами (а не молекулярными и субклеточными структурами), а отношения — связями между нейронами, реализуемыми в возбуждающих/тормозящих нейромедиаторных взаимодействиях.

Мир невообразимо сложен, поэтому возникает вопрос, можно ли его представить внешней нейронной моделью? Известно, что информационная емкость мозга колоссальна и вполне покрывает множество объектов и свя­ зей между ними, которые человек наблюдает в течение жизни. Кроме того, в ходе исследований в области нейрофизиологии открываются новые специа­ лизированные нейроны, способные выполнять весьма сложные функции. Поэтому можно сделать два вывода.

Во-первых, модельный подход предусматривает интерпретацию структурной и функциональной организации нейронов как нейронной се­ миотической модели мира. При этом нейроны выступают в качестве мате­ риальных знаков объектов, а связи между нейронами — в качестве отноше­ ний между объектами.

Во-вторых, нейронная модель является не только моделью внешнего мира, но и организма, служащего носителем нейросети, и его поведения, т. е. понятие субъекта занимает центральное место в модели. В качестве внешней ПрО для нейронной системы выступают внешний мир (по отноше­ нию к субъекту) и внутренний мир субъекта.

При построении ЭСС и ЭЯС выдвигаются две нейрофизиологические гипотезы:

•ЭЯС морфологически и функционально параллельна ЭСС;

•во время работы ЭЯС и ЭСС отображаются одна в другую. Моделируемая далее обонятельная система действует по принципу

разложения запаха на простые составляющие. Система обрабатывает ин­ формацию о запахе. Главным качеством для нее является оттенок запаха.

Исследования показывают, что одноканальная сенсорная система со­ храняет все принципы многоканальной. Запаховые характеристики кодиру­ ются на основе иерархической схемы. Множество запахов, потенциально свойственных объекту внешнего мира, разбиваются на группы, которые, в свою очередь, делятся далее. В таком виде в модели они поступают на за-

247

		6. Нейронные	семиотические системы
	1-я гр>т1па	КРН О	01	012
	качеств
			02
	2-я группа			013
		КРН 1
	качеств		03
				023
	3-я группа		12
		КРН 2
	качеств		13	123
	4-я группа
		КРН 3	23	0123
	качеств
		Квазирецепторные	Символьные нейроны
		нейроны

Рис. 6.9. Организация одного уровня модели обонятельной сенсорной системы: КРН — квазирецепторные нейроны

паховые квазирецепторы. С них сигналы, соответствующие комбинациям качеств запаха, передаются на нейроны коры мозга (рис. 6.9).

В ЭСС нейроны делятся на квазирецепторные (КРН) и символьные (СН). Символьные нейроны переходят в возбужденное состояние, когда на их входе срабатывает определенная комбинация сигналов КРН (рис. 6.10).

Дальнейшая детализация модели основана на гипотезе о том, что СН в ЭСС, представляющим некоторые образы объектов внешнего мира, в ЭЯС соответствуют также СН, представляющие понятия. Модель такого типа называется элементарной сенсорной моделью (ЭСМ). В ней каждому ие­ рархическому уровню ПрО соответствует определенный синаптический уровень. Простые стимулы представлены КРН, а сложные — СН. Нейроны могут проецироваться на другие нейроны, расположенные на другом уровне

Символьные нейроны

Квазирецепторные нейроны

Синаптический уровень 2

Синаптический уровень 1

Синаптический уровень О (рецепторные поля)

Рис. 6.10. Организация элементарной сенсорной системы

248

6.3. Модели сенсорных и языковой систем человека

или в другой системе. Проекции позволяют нейронам активировать друг друга. На данном синаптическом уровне СН образуются за счет конверген­ ции, т. е. сочетания проекций нейронов предыдущих уровней, а КРН обра­ зуются на основе проекций нейронов предыдущего уровня по принципу «один к одному».

В элементарной сенсорной модели не отражены различные вставоч­ ные нейроны, выполняющие функции контрастирования, выделения сигнала из шума, усиления, извлечения, воспроизведения и т. д.

Можно показать, что ЭСМ адекватно представляет следующие меха­ низмы:

•распознавание образов;

•воспроизведение образов;

•кратковременная и долговременная память;

•ассоциативная память;

•формирование и оперирование абстрактными понятиями и др. Рассмотрим некоторые из этих механизмов.

Воспроизведение образов. Различают два подобных механизма. Пер­

вый заключается в воспроизведении прямого информационного значения СН (денотата) путем проекции СН на соответствующие КРН. Второй состо­ ит в воспроизведении смыслового информационного содержания образа (сигнификата). Данные механизмы работают параллельно. Они активизиру­ ются, когда возникает необходимость воспроизведения образа.

Рассматриваемая модель является достаточно общей. Она иллюстри­ рует принцип функционирования ЭСМ, но не отражает множество важных деталей. В частности, она не раскрывает:

•способы активации механизма (когда он срабатывает, что вызывает его действие);

•механизм затухания воспроизведения, тормозящие его связи;

•продолжительность воспроизведения.

Заметим, что активный СН может активировать связанные с ним СН. Этот механизм обеспечивает воспроизведение контекста ситуации.

Механизмы памяти. Сеть СН в ЭСС выступает в качестве долговре­ менной памяти. Эта память может функционировать отдельно от рецепторных полей, поддерживая механизмы воспроизведения образов. Актуализа­ ция соответствующих нейронов, вызываемая активностью рецепторных по­ лей, обеспечивает опознание и извлечение информации о соответствующем фрагменте ПрО из долговременной памяти.

Формирование долговременной памяти состоит из кодирования и за­ поминания. Считается, что этот процесс в ЭСС может быть реализован как обучение. Механизмы кодирования и запоминания определяются генетиче­ ской программой и развиваются еще до рождения человека в онтогенезе.

249