- •Нейросетевые структуры и технологии
- •Часть 1. Электрические и математические модели нейронов. Нс прямого распространения.
- •Содержание
- •Введение
- •1.Электрические модели нейронов
- •1.1.Биологические основы функционирования нервных клеток
- •1.2.Аналоговая модель Ходжкина–Хаксли
- •1.3.Оптоэлектронная модель нейрона
- •2.Математические модели нейронов
- •2.1.Персептрон
- •2.2.Сигмоидальный нейрон
- •2.3.Адаптивный линейный нейрон
- •2.4.«Instar» и «Outstar» Гроссберга
- •2.5.Модель нейрона Хебба
- •2.6.Нейроны типа wta
- •2.7.Стохастическая модель нейрона
- •3.Архитектура, проблемы построения и обучения нейронных сетей
- •3.1.Основные конфигурации инс и их свойства
- •3.2.Методы обучения нейронных сетей
- •3.2.1.Градиентные методы
- •3.2.1.1. Алгоритм наискорейшего спуска (анс)
- •3.2.1.2. Алгоритм переменной метрики (апм)
- •3.2.1.3. Алгоритм Левенберга–Марквардта (алм)
- •3.2.1.4. Алгоритм сопряженных градиентов (асг)
- •3.2.2. Эвристические методы обучения нс
- •3.2.3. Подбор коэффициентов и сравнение эффективности детерминированных алгоритмов обучения нс
- •3.2.4. Методы глобальной оптимизации
- •3.2.4.1. Метод имитации отжига (ио)
- •3.2.4.2. Генетические алгоритмы (га)
- •3.2.4.3. Метод виртуальных частиц (вч)
- •3.3. Проблемы практической реализации инс
- •3.3.1. Выбор оптимальной архитектуры
- •3.3.2. Методы редукции и наращивания нс
- •3.3.3. Методы инициализации весов и подбора обучающих данных
- •3.3.4. Обеспечение устойчивости функционирования нс
- •4.Многослойные нс прямого распространения
- •4.1.Многослойный персептрон (мсп)
- •4.2.Алгоритм обратного распространения ошибки (оро)
- •4.3.Радиальные нейронные сети (rbf–нс)
- •4.4.Специализированные структуры нс
- •4.4.1.Нс каскадной корреляции Фальмана
- •4.4.2.Нс Вольтерри
- •Литература
2.7.Стохастическая модель нейрона
В отличие от детерминированных моделей (2.1)…(2.6), в стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы ui, но и от некоторой случайной переменной, выбираемой при каждой реализации из интервала (0,1). Это означает, что yi структуры ФН (рис. 2.1) принимает значения ±1 с вероятностью
(2.22)
где ui определяется (2.4), а > 0 (чаще всего = 1).
Процесс обучения нейрона стохастической модели состоит из следующих этапов:
расчет ui (2.4) для каждого нейрона сети;
расчет вероятности P(yi=1) по формуле (2.22);
генерация значения случайной переменной R(0,1) и формирование выходных сигналов yi , если P(yi)>R, или –yi , если P(yi)<R;
адаптация весовых коэффициентов wij (при фиксированных yi) по используемым правилам, например, при обучении с учителем – по правилу Видроу–Хоффа
(2.23)
Доказано, что такой подбор wij минимизирует целевую функцию
(2.24)
где n – число нейронов, р – количество обучающих выборок.
Контрольные вопросы и задачи
Какие процессы в нервной клетке отражает структура ФН МакКаллока–Питтса?
Какие особенности имеют сигмоидальные функции активации?
Какие стратегии обучения НС Вы знаете? Каковы их особенности?
Приведите структуру и алгоритм обучения персептрона.
Почему проблему обучения нейрона можно свести к минимизации некоторой функции?
Опишите достоинства и недостатки градиентных методов оптимизации.
Почему «ADALINE» с функцией активации типа signum называют линейным нейроном?
Каковы основные особенности структур нейронов «Instar» и «Outstar» Гроссберга?
Расскажите о структуре и правилах обучения нейрона Хебба.
Какие методы преодоления расходимостей весов при обучении по Хеббу Вы знаете?
В чем заключается механизм конкуренции и правила обучения нейронов типа WTA?
В чем заключается и как решается проблема «мертвых» нейронов при обучении структур WTA?
Укажите принципиальное отличие стохастической модели нейрона от остальных моделей и что это дает?
Приведите алгоритм обучения стохастической модели нейрона?
В чем заключается правило обучения Видроу–Хоффа?
Определите область значений, выражение для производной и ее значение в начале координат для функции активации типа алгебраической сигмоиды
Пусть х1, х2, … хN – компоненты вектора входных сигналов, подаваемых на вход нейрона с порогом w0 и логистической функцией активации (табл. 2.1), где – произволен. Как нужно изменить компоненты х1, х2, … хN, чтобы получить на выходе прежний сигнал при =1?
Нейрон j получает входной сигнал от четырех других нейронов, уровни возбуждения которых равны 10; –20; 4; –2, а соответствующие веса связей – 0.8; 0.2; –1.0; –0.9. Вычислите выходной сигнал нейрона, если его функция активации:
а) пороговая; б) линейная (с k=1); в) логистическая (с =1).
Покажите, в каких случаях ФН МакКаллока–Питтса можно аппроксимировать сигмоидальным нейроном?
При каких условиях нейрон с сигмоидальной функцией активации может аппроксимировать линейный нейрон?