63

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«ВОРОНЕЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

Нейросетевые структуры и технологии

Часть 1. Электрические и математические модели нейронов. Нс прямого распространения.

Учебное пособие для вузов

Составители: В.И. Клюкин,

Ю.К. Николаенков

Издательско-полиграфический центр

Воронежского государственного университета

2008

Утверждено научно–методическими советами физического факультета 14 февраля 2008 г., протокол № 6 и факультета компьютерных наук 4 декабря 2008 г., протокол № 4.

Рецензент д.т.н., профессор кафедры информационных систем факультета компьютерных наук ВГУ А.А. Сирота.

Предлагаемое пособие содержит материал по основным принципам построения, функционирования и применения искусственных нейронных сетей. В первой части рассмотрены биологические основы функционирования нервных клеток, электрические и математические модели нейронов, а также основные структуры и методы обучения многослойных НС прямого распространения. Пособие подготовлено на кафедре физики полупроводников и микроэлектроники физического факультета Воронежского государственного университета при частичной поддержке гранта РФФИ № 08-07-99018-р_офи.

Рекомендуется для самостоятельной работы студентов 3, 4 курсов факультета компьютерных наук и 4, 5 курсов физического факультета.

Для специальностей: 010300 – Математика. Компьютерные науки

(071900) 230201 – Информационные системы и технологии

(010400) 010803 – Микроэлектроника и полупроводниковые приборы

202100 – Нанотехнологии в электронике

Содержание

ВВЕДЕНИЕ 4

1. ЭЛЕКТРИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ 5

1.1. Биологические основы функционирования нервных клеток 5

1.2. Аналоговая модель Ходжкина–Хаксли 7

1.3. Оптоэлектронная модель нейрона 9

2. МАТЕМАТИЧЕСКИЕ МОДЕЛИ НЕЙРОНОВ 14

2.1. Персептрон 16

2.2. Сигмоидальный нейрон 17

2.3. Адаптивный линейный нейрон 19

2.4. «Instar» и «Outstar» Гроссберга 19

2.5. Модель нейрона Хебба 20

2.6. Нейроны типа WTA 21

2.7. Стохастическая модель нейрона 22

3. АРХИТЕКТУРА, ПРОБЛЕМЫ ПОСТРОЕНИЯ И ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ 24

3.1. Основные конфигурации ИНС и их свойства 24

3.2. Методы обучения нейронных сетей 26

3.2.1. Градиентные методы 27

3.2.1.1. Алгоритм наискорейшего спуска (АНС) 28

3.2.1.2. Алгоритм переменной метрики (АПМ) 29

3.2.1.3. Алгоритм Левенберга–Марквардта (АЛМ) 30

3.2.1.4. Алгоритм сопряженных градиентов (АСГ) 31

3.2.2. Эвристические методы обучения НС 31

3.2.3. Подбор коэффициентов и сравнение эффективности детерминированных алгоритмов обучения НС 32

3.2.4. Методы глобальной оптимизации 34

3.2.4.1. Метод имитации отжига (ИО) 35

3.2.4.2. Генетические алгоритмы (ГА) 36

3.2.4.3. Метод виртуальных частиц (ВЧ) 37

3.3. Проблемы практической реализации ИНС 38

3.3.1. Выбор оптимальной архитектуры 38

3.3.2. Методы редукции и наращивания НС 41

3.3.3. Методы инициализации весов и подбора обучающих данных 43

3.3.4. Обеспечение устойчивости функционирования НС 45

4. МНОГОСЛОЙНЫЕ НС ПРЯМОГО РАСПРОСТРАНЕНИЯ 47

4.1. Многослойный персептрон (МСП) 48

4.2. Алгоритм обратного распространения ошибки (ОРО) 48

4.3. Радиальные нейронные сети (RBF–НС) 50

4.4. Специализированные структуры НС 55

4.4.1. НС каскадной корреляции Фальмана 55

4.4.2. НС Вольтерри 57