- •" Исследование метода обучения многослойных нейронных сетей по алгоритму с обратным распространением ошибки "
- •Определение по входным данным применение нормализации:
- •Крутизна
- •Смещение
- •Скорость обучения
- •Обучение с моментом
- •Применение различного количества нейронов в слоях
- •Расчёт обратного хода
- •(2) Для выходного слоя:
- •Ошибка для 1-го слоя:
Обучение с моментом
0 |
0,2 |
0,4 |
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------0--------1,0 --выход---сигмоид--------------0,5-------1,0-------0--------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 35.38205000 Минимальная ошибка: 0.00536100 Средняя ошибка: 7.35167990 Среднеквадратичная ошибка: 9379.92559989
Ошибки по тестовой выборке: {3,106862}, {7,492959}, {22,038386}, {3,325927}, {0,563773}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,42818357; } {0,04747; 0,01364; 0,029229; 0,495318; 0,45476071; } {0,042111; 0,00341; 0,006928; 0,335318; 0,21603039; } {0,048714; 0,020081; 0,053045; 0,642273; 0,66027531; } {0,045196; 0,026739; 0,044168; 0,602057; 0,60510855; }
|
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------0,2------1,0 --выход---сигмоид--------------0,5-------1,0-------0,2------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 35.82909300 Минимальная ошибка: 0.00525800 Средняя ошибка: 7.33458949 Среднеквадратичная ошибка: 9620.60773815
Ошибки по тестовой выборке: {4,577207}, {5,584754}, {21,830526}, {1,897907}, {0,406951}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,43614214; } {0,04747; 0,01364; 0,029229; 0,495318; 0,46508929; } {0,042111; 0,00341; 0,006928; 0,335318; 0,21715548; } {0,048714; 0,020081; 0,053045; 0,642273; 0,65254584; } {0,045196; 0,026739; 0,044168; 0,602057; 0,60425971; }
|
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------0,4------1,0 --выход---сигмоид--------------0,5-------1,0-------0,4------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 180.53837800 Минимальная ошибка: 0.00066000 Средняя ошибка: 129.67305009 Среднеквадратичная ошибка: 1749585.86174179
Ошибки по тестовой выборке: {108,749043}, {93,239035}, {122,798703}, {66,089279}, {73,519156}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,9999951; } {0,04747; 0,01364; 0,029229; 0,495318; 0,99999478; } {0,042111; 0,00341; 0,006928; 0,335318; 0,99999298; } {0,048714; 0,020081; 0,053045; 0,642273; 0,99999575; } {0,045196; 0,026739; 0,044168; 0,602057; 0,9999956; }
|
0,6 |
0,8 |
1 |
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------0,6------1,0 --выход---сигмоид--------------0,5-------1,0-------0,6------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 180.53966600 Минимальная ошибка: 0.00019700 Средняя ошибка: 129.67388179 Среднеквадратичная ошибка: 1749608.00152547
Ошибки по тестовой выборке: {108,749729}, {93,239779}, {122,79976}, {66,089855}, {73,519758}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,99999882; } {0,04747; 0,01364; 0,029229; 0,495318; 0,9999988; } {0,042111; 0,00341; 0,006928; 0,335318; 0,99999871; } {0,048714; 0,020081; 0,053045; 0,642273; 0,99999887; } {0,045196; 0,026739; 0,044168; 0,602057; 0,99999886; }
|
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------0,8------1,0 --выход---сигмоид--------------0,5-------1,0-------0,8------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 180.53978200 Минимальная ошибка: 0.00011200 Средняя ошибка: 129.67398247 Среднеквадратичная ошибка: 1749610.60632180
Ошибки по тестовой выборке: {108,749826}, {93,239878}, {122,799869}, {66,089946}, {73,519851}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,99999934; } {0,04747; 0,01364; 0,029229; 0,495318; 0,99999934; } {0,042111; 0,00341; 0,006928; 0,335318; 0,9999993; } {0,048714; 0,020081; 0,053045; 0,642273; 0,99999937; } {0,045196; 0,026739; 0,044168; 0,602057; 0,99999936; }
|
Структура сети: 3 - 5 - 1 Число входов: 3 Число выходов: 1
Слой------Сигмоида----------Крутизна---Смещение---Момент----Вес
--1-------сигмоид--------------1,0-------1,0-------1,0------1,0 --выход---сигмоид--------------0,5-------1,0-------1,0------1,0
Скорость обучения: 0,6 Нормализация: [0;1]
Циклов обучения: 10000 Максимальная ошибка: 180.53982600 Минимальная ошибка: 0.00007900 Средняя ошибка: 129.67402096 Среднеквадратичная ошибка: 1749611.60137616
Ошибки по тестовой выборке: {108,749863}, {93,239915}, {122,79991}, {66,089981}, {73,519886}
Примеры для тестирования: {0,03567; 0,023221; 0,039783; 0,411367; 0,99999954; } {0,04747; 0,01364; 0,029229; 0,495318; 0,99999954; } {0,042111; 0,00341; 0,006928; 0,335318; 0,99999952; } {0,048714; 0,020081; 0,053045; 0,642273; 0,99999955; } {0,045196; 0,026739; 0,044168; 0,602057; 0,99999955; }
|
Вывод: Введение момента в обучение существенно влияет на получаемые ошибки. Оптимальное значение момента до 0.2, при больших значениях сильно возрастает средняя ошибка.