Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
LektsiiProshkina / Нейронные сети - лекции_готовое.docx
Скачиваний:
108
Добавлен:
18.05.2015
Размер:
1.27 Mб
Скачать

Линейные нейронные сети

Рисунок 27 Линейная нейронная сеть

Рисунок 28 График линейной сети

Линейные сети по своей структуре аналогичны персептроным и отличаются лишь функцией активации.

Обучение

Для заданной линейной сети и соответствующим множествам вектором входа и целей можно вычислить вектор выхода сети и сформировать разность между векторами выхода и целевым вектором, который определяет некоторую погрешность обучения. Функция среднеквадратичной ошибки имеет вид:

, где

Для линейной нейронной сети используется правило обучения Видроу-Хоффа. Процесс обучения состоит в следующем. Сформируем частную производную по весам и смещением от квадрата погрешности на k-ой итерации.

Сети с самоорганизацией на основе конкуренции

Основу самоорганизации нейронных сетей составляет закономерность, что глобальной упорядочение сети становится возможным в результате самоорганизации операций, независимо происходящих в различных локальных сегментах сети. В соответствии с поданными на вход сигналами осуществляется активация нейрона, который вследствие изменения значений синоптических весов адаптируется к поступающим обучающим выборкам.

Среди механизмов самоорганизации выделим 2:

  1. Самоорганизация, основанная на ассоциативном правиле Хэбба;

  2. Самоорганизация, основанная на конкуренции между нейронами на базе обобщенном правила Кохонена;

Рисунок 29 правило Кохонена

Для сетей с самоорганизацией, основу обучения которых составляет конкуренция между нейронами, обязательным является наличие связей для каждого нейрона со всеми компонентами входного вектора. При активации сети вектором X в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора.

Для j-того нейрона-победителя соотношение:

d- расстояние между вектором X и . Вокруг нейрона-победителя образуется топологическая окрестность. Все нейроны в пределах этой окрестности подвергаются адаптации по правилу Хопфилда:

Алгоритм Кохоненапредполагает приписывание нейронам определенных позиций в произведении и связывание их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но и все его соседей, находящихся в ближайшей окрестности. В классическом алгоритме Кохонена функция соседства определяется так:

Рисунок 30 АЛгоритм Кохонена

В этом выражении (расстояние междуi-ым нейроном и нейроном-победителем) – расстояние, измеряемое в количестве нейронов. Коэффициент 1 выступает в качестве уровня соседства. Соседство такого рода называется прямоугольным. Другой тип соседства – соседства гауссовского типа, где:

, где - определяет уровень соседства.

Степень адаптации нейронов-соседей определяется не только , но и уровнем соседства. В отличии от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптируется в равной степени, при соседстве гаусовского типа уровень адаптации отличается.

Процесс самоорганизации предполагает определение победителя каждого этапа. При инициализации весов сети случайным образом, часть нейронов может оказаться в области правила, в котором отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Для активации всех нейронов сети в алгоритме обучения необходимо предусмотреть учет побед каждого нейрона с использование либо соседства гауссовского типа, либо так называемого механизма утомления. Также используется механизм штрафов для самых активных нейронов.

Калькулятор

Сервис бесплатной оценки стоимости работы

  1. Заполните заявку. Специалисты рассчитают стоимость вашей работы
  2. Расчет стоимости придет на почту и по СМС

Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности и на обработку персональных данных.

Номер вашей заявки

Прямо сейчас на почту придет автоматическое письмо-подтверждение с информацией о заявке.

Оформить еще одну заявку