LR-1

послойно. Нейроны различных слоёв также соединяются между собой, а в некоторых топологиях, между собой также соединяются нейроны одного слоя.

Теоретически число слоёв и число нейронов в каждом слое может быть произвольным. Фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуются ИНС. Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Проблема синтеза ИНС зависит от решаемой задачи, поэтому в большинстве случаев оптимальный вариант получается на основе интуитивного подбора.

Как показали исследования, значения весов синапсов составляют долговременную (постоянную) память ИНС. Соответственно, вопросы нахождения оптимальных значений весов синапсов занимают центральное место в исследованиях теории искусственного интеллекта, связанных с применением ИНС. При обучении ИНС выполняются два этапа адаптации: структурная (определяется топология ИНС, число скрытых слоев и нейронов в них) и параметрическая (определение оптимальных значений весов синапсов).

Данные, с которыми работают ИНС при обучении, можно разбить на две группы: обучающая выборка и контрольная выборка.

Обучающая выборка — это последовательность примеров (ситуаций) с указанием, к какому классу они относятся, которая используются для обучения ИНС.

Контрольная выборка — это последовательность примеров (ситуаций) с указанием, к какому классу они относятся, которая используется для контроля корректности функционирования обученной ИНС.

Говоря об обучающей и контрольной выборках, особое внимание следует уделить репрезентативности данных. Если данные нерепрезентативны, то модель, как минимум, будет некачественной, а в худшем случае — бесполезной.

Процесс обучения сети новому классу задач включает следующие этапы (см. Рис. Ошибка! Текст указанного стиля в документе отсутствует..3):

1.Выделение набора значимых параметров для обучения ИНС и подготовка максимально широкого набора обучающих примеров. Выполнение данного этапа на практике возлагается на аналитика.

2.Выбор модели нейронной сети. На данном этапе выбирается топология ИНС с указанием количества скрытых слоев и числа нейронов в них (если необходимо).

3.Обучение ИНС до тех пор, пока не будет удовлетворено условие остановки процесса обучения. Наиболее часто используемыми критериями остановки на практике являются: прохождение определенного количества эпох, достижение ошибкой некоторого определенного уровня малости, условие, когда ошибка обучения

перестает уменьшаться. Под эпохой понимается разовое предъявление ИНС всей обучающей выборки.

4.Тестирование ИНС на объектах контрольной выборки.

5.Если результаты тестирования приемлемы, то перейти к этапу 6. Если результаты тестирования сети неприемлемы, например, количество правильно распознаваемых объектов контрольной выборки недопустимо мало, то перейти к этапу 2.

6.Принять решение о том, что полученная ИНС пригодна для решения стоящей перед ней задачи.

Начало

1	Выделение значимых параметров для
	обучения ИНС. Подготовка
	максимально широкого набора
	обучающих примеров
2
	Выбор модели нейронной сети
3
	Обучение ИНС до тех пор пока не
	будет удовлетворено условие
	остановки процесса обучения
4
	Тестирование ИНС на примерах
	контрольной выборки
	5
	Результаты	нет
	тестирования
	ИНС приемлемы?

	да
6	Полученная ИНС пригодна для
	решения стоящей перед ней задачи
	Конец

Рис. Ошибка! Текст указанного стиля в документе отсутствует..3 Процесс

обучения сети новому классу задач

Существует два типа обучения ИНС: с учителем и без учителя. Обучение с учителем требует, чтобы для каждого входного вектора

задавался целевой вектор, который используется для вычисления выходной ошибки, необходимой для коррекции весов ИНС.

Обучение без учителя не требует задания целевых векторов ИНС. В этом случае веса ИНС корректируются так, чтобы предъявление достаточно близких входных векторов обеспечивало одинаковые выходы ИНС, то есть входные векторы группируются в классы. До окончания обучения ИНС предсказать, какой выходной вектор сформируется при предъявлении входных векторов некоторого класса, невозможно.

В общем случае пользователь сам может сконструировать ИНС, однако, это не гарантирует устойчивой работы ИНС. По этой причине при решении большинства задач прибегают к использованию хорошо известных топологий ИНС. Для этих сетей существуют устойчивые алгоритмы обучения и выявлены типичные особенности каждой топологии.

Можно выделить следующие основные классы нейронных сетей, применимых к задаче распознавания и классификации образов: многослойные сети с обратным распространением ошибки (многослойный перцептрон), сети на радиальных базисных функциях (вероятностная нейронная сеть), сети Хопфилда и самоорганизующиеся карты Кохонена. Поскольку представленный нейросетевой базис является достаточно широким, далее приведена краткая характеристика этих топологий с целью выбора наиболее подходящей для решения стоящей задачи.

2.3 Многослойный перцептрон

Среди различных структур искусственных нейронных сетей одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами ИНС. Такие ИНС называются полносвязными. Схема многослойного перцептрона приведена на Рис. Ошибка! Текст указанного стиля в документе отсутствует..4.

Рис. Ошибка! Текст указанного стиля в документе отсутствует..4 Схема

многослойного перцептрона

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети. В этой сети каждый элемент строит взвешенную сумму своих входов с поправкой в виде слагаемого, затем вычисляет значение активационной функции от полученной суммы. Полученное значение подаётся на выход этого элемента. Сеть подобной структуры может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции.

Распространение сигналов ошибки происходит от выходов ИНС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения ИНС получил название процедуры обратного распространения (error backpropagation). Суть метода заключена в использовании метода наименьших квадратов, который минимизирует целевую функцию ошибки ИНС:

		E(w)		1	( y(jN, p) d j, p )2 ,	(1.5)
			2
где	y j , p				j, p
		– реальное выходное состояние j–го нейрона выходного слоя N
	( N )
нейронной сети при подаче			на ее входы p-го образа, d j , p			– идеальное

(желаемое) выходное состояние этого нейрона.

Помимо традиционного алгоритма обратного распространения бывает целесообразно использовать некоторые более сложные методы нелинейной оптимизации: спуск по сопряженным градиентам, метод Левенберга– Марквардта, эвристические методы (Quickprop, RPROP) или методы глобальной оптимизации (метод имитации «отжига», генетические алгоритмы).

Преимуществами многослойного перцептрона являются:

малый объём сети,

высокая скорость распознавания,

возможность моделирования нелинейных разделяющих функций

практически любой степени сложности.

Основным недостатком многослойного перцептрона является необходимость его довольно длительного предварительного обучения. Альтернативные алгоритмы обучения, такие как RPROP, позволяют существенно сократить время обучения многослойного перцептрона.

3. Индивидуальные варианты практикума

№ варианта	Тип активационной	Способ обучения
	функции
1	Сигмоидальная	Метод	обратного
	функция	распространения
2	Сигмоидальная	Метод	сопряженных
	функция	градиентов
3	Сигмоидальная	Метод	Ридмилера-
	функция	Брауна
4	Сигмоидальная	Метод	имитации
	функция	отжига
5	Гиперболический	Метод	обратного
	тангенс	распространения
6	Гиперболический	Метод	сопряженных
	тангенс	градиентов
7	Гиперболический	Метод	Ридмилера-
	тангенс	Брауна
8	Гиперболический	Метод	имитации
	тангенс	отжига

Рекомендованная литература

1. Хайкин С. Нейронные сети: полный курс, 2-е изд.: пер. с англ. – М.: Издательский дом «Вильямс», 2006. – 1104.

Контрольные вопросы:

1.Какие функции выполняют искусственные нейронные сети?

2.Обобщенная структура ИНС, основные элементы.

3.Назначение активационной функции в нейроне. Виды активационных функций.

4.Основные этапа процесса обучения ИНС новому классу задач.

5.Основные типы обучения ИНС. Их особенности.

6.Преимущества и недостатки многослойного перцептрона.