- •Одесса онпу 2011
- •1. Цель курсового проектирования
- •2. Задание на курсовую работу
- •3. График выполнения работы
- •4. Рекомендации по выполнению кр
- •5. Содержание пояснительной записки Пояснительная записка к курсовой работе должна содержать
- •6. Теоретическая часть
- •6.2. Задание 1. Проектирование однослойной искусственной нейронной сети. Общие сведения.
- •6.3. Задание 2. Проектирование сети встречного распространения.
- •6.3.1.Общие сведения
- •Нормальное функционирование Слои Кохоненна
- •Слой Гроссберга
- •Обучение слоя кохонена
- •Предварительная обработка входных векторов
- •Выбор начальных значений весовых векторов
- •Обучение слоя гроссберга
- •6.4.3. Пример.
Выбор начальных значений весовых векторов
Всем весам сети перед началом обучения следует придать начальные зна-чения. Общепринятой практикой при работе с нейронными сетями является присваивание весам небольших случайных значений. При обучении слоя Ко-хонена случайно выбранные весовые векторы следует нормализовать (но не обязательно). Окончательные значения весовых векторов после обучения совпадают с нормализованными входными векторами (или с их абсолютны-ми значениями при отсутствии нормализации). Поэтому нормализация перед началом обучения приближает весовые векторы к их окончательным значе-ниям, сокращая обучающий процесс.
Наиболее желательное решение состоит в том, чтобы распределять весовые векторы в соответствии с плотностью входных векторов, которые должны быть разделены, помещая тем самым больше весовых векторов в окрестности большого числа входных векторов. На практике это невыполнимо, однако существует несколько методов приближенного достижения тех же целей.
Одно из решений, известное под названием метода выпуклой комбинации(convexcombinationmethod), состоит в том, что все веса приравниваются одной и той же величине
, (31)
где п– число входов и, следовательно, число компонент каждого весового вектора. Благодаря этому все весовые векторы совпадают и имеют единич-ную длину. Каждой же компоненте входаХпридается значение
, (32)
где п – число входов. В началеγ очень мало, вследствие чего все входные векторы имеют длину, близкую к, и почти совпадают с векторами весов. В процессе обучения сетиγ постепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписы-вает им их истинные значения. Весовые векторы отслеживают один или не-большую группу входных векторов и в конце обучения дают требуемую кар-тину выходов. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели. Другой подход состоит в добавлении шума к входным векторам. Тем самым они подвергаются случайным изменениям, схватывая в конце концов весовой вектор. Этот метод также работоспособен, но еще более медленен, чем метод выпуклой комбинации.
Третий метод начинает со случайных весов, но на начальной стадии обу-чающего процесса подстраивает все веса, а не только связанные с выиграв-шим нейроном Кохонена. Тем самым весовые векторы перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. Этот радиус коррекции постепенно уменьшается, так что в конце концов корректируются только веса, связанные с выигравшим нейроном Кохонена.
Еще один метод наделяет каждый нейрон Кохонена «Чувством справед-ливости». Если он становится победителем чаще своей законной доли вре-мени (примерно 1/k,гдеk– число нейронов Кохонена), он временно увели-чивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучаться и другим нейронам.
Во многих приложениях точность результата существенно зависит от распределения весов. К сожалению, эффективность различных решений ис-черпывающим образом не оценена и остается проблемой.