neuro_lab1
.pdf
Отчет по лабораторной работе № 1 по дисциплине «Нейро-нечеткие технологии в задачах управления»
Тема: «Изучение основ применения искусственных нейронных сетей»
Цель работы
В лабораторной работе необходимо построить ИНС, позволяющую оценивать надежность, на основе выборки с тремя параметрами, характеризующими информационноизмерительные системы коммерческого учета электроэнергии (коэффициент сложности, среднюю загруженность оборудования, срок эксплуатации оборудования), и значением параметра надежности (коэффициента готовности), соответствующего данным системы.
Ход работы
На основе данных для обучения создадим искусственную нейронную сеть network1 со следующими параметрами:
-тип сети – сеть прямого распространения,
-алгоритм обучения – градиентный метод,
-функция ошибки – функция среднеквадратичной ошибки,
-количество слоев 2,
-число нейронов первого слоя 10,
-число нейронов выходного слоя 1,
-функция активации для нейронов всех слоев – сигмоидальная.
По умолчанию заданы следующие параметры обучения ИНС:
-отображать окно процесса обучения,
-не отображать информацию об обучении в командной строке Matlab,
-максимальное количество эпох обучения 1000,
-максимальная длительность процесса обучения не ограничена по времени,
-целевое значение функции ошибок 0,
-максимальное количество возрастающих значений ошибки по проверочной выборке 6,
-параметр скорости обучения 0,01,
-минимальная величина градиента функции ошибки 10-10.
Параметры обучения ИНС представлены на рис. 1.
Рис. 1 – Параметры ИНС network1
Запустим процесс обучения ИНС. На рис. 2 представлено окно с информацией об обучении нейронной сети.
Рис. 2 – Итоги обучения ИНС network1
Из рис. 2 видно, что обучение ИНС было остановлено по причине достижения заданного количества эпох обучения 1000.
На рис. 3 представлен график зависимости среднеквадратичной ошибки от номера эпохи. Из рисунка видно, что значение ошибки на обучающих, валидационных и тестовых данных практически не изменяется.
Рис. 3 - График среднеквадратичной ошибки network1
2
На рис. 4 представлен график зависимости величины градиента ошибки обучения от номера эпохи. Из рисунка видно, что в процессе обучения сети градиент линейно убывает, а величина ошибки практически не изменяется с увеличением номера эпохи.
Рис. 4 - График градиента для network1.
Проверим работу обученной сети. Для этого загрузим новые входные и целевые выходные данные для сети, затем осуществим моделирование ее работы.
На рис. 5 представлен график ошибки работы сети. Из рисунка видно, что величина ошибки не выходит за границы ±0,06.
Рис. 5 – График ошибки работы network1
На рис. 6 представлен график выходных значений сети. Из рисунка видно, что выходные значения находятся в пределах от 0,94 до 1.
3
Рис. 6 – График выходных значений network1
На рис. 7 представлен график целевых значений выходов. Из рисунка видно, что целевые значения находятся в пределах от 0,94 до 1.
Рис. 7 – График целевых значений выходов.
Таким образом, обобщая полученные результаты, можно сделать вывод, что ИНС network1 не следует использовать для оценки надежности системы, так как среднеквадратичная ошибка практически не убывает с увеличением номера эпохи (рис. 3) и графики выходных значений сети (рис. 6) и целевых значений (рис. 7) заметно отличаются.
Повторим процедуру создания, обучения и проверки работы ИНС с другим алгоритмом обучения – Левенберга-Марквардта, параметры обучения ИНС network2 представлены на рис. 8.
4
Рис. 8 – Параметры ИНС network2
Здесь mu = 0,001 - значение параметра регуляризации.
Запустим процесс обучения ИНС. На рис. 9 представлено окно с информацией об обучении нейронной сети.
Рис. 9 - Окно с информацией об обучении нейронной сети network2
Из рис. 9 видно, что для обучения сети было реализовано 24 эпохи, обучение осуществилось практически мгновенно. Обучение ИНС было остановлено по причине достижения количества ошибок валидационных данных равного 6.
На рис. 10 представлен график зависимости среднеквадратичной ошибки от номера эпохи. Из рисунка видно, что значение ошибки обучения (синяя кривая) уменьшается с увеличением номера эпохи, при этом чем больше номер эпохи, тем медленнее уменьшается ошибка. Значение ошибки валидации (зеленый график) сначала уменьшается, затем начинает медленно возрастать. Когда ошибка валидации начинает возрастать, следует остановить
5
обучение, чтобы не было переобучения (слишком хорошее обучение на данном наборе и как следствие – ухудшение результатов для наборов данных, отличающихся от заданного). Похожее поведение характерно для ошибки на тестовых данных (красная кривая).
Рис. 10 - График среднеквадратичной ошибки network2
На рис. 11 представлены графики зависимости величины градиента ошибки обучения, параметра регуляризации от номера эпохи. Из рисунка видно, что в процессе обучения сети значения градиента и параметра регуляризации неравномерно уменьшались, величина ошибки сначала оставалась постоянной с возрастанием на отдельных промежутках обучения, начиная с 19 эпохи, линейно увеличивалась.
Рис. 11 - Графики градиента ошибки обучения и параметра регуляризации для network2
Проверим работу обученной сети. Для этого загрузим новые входные и целевые выходные данные для сети, затем осуществим моделирование ее работы. На рис. 12 представлен график ошибки работы сети. Из рисунка видно, что величина ошибки не выходит за границы от -0,015 до 0,02.
6
Рис. 12 - График ошибки работы network2
На рис. 13 представлен график выходных значений сети. Из рисунка видно, что выходные значения находятся в пределах от 0,94 до 1.
Рис. 13 - График выходных значений сети network2
На рис. 14 представлен график целевых значений выходов. Из рисунка видно, что целевые значения находятся в пределах от 0,94 до 1.
7
Рис. 14 – График целевых значений выходов.
Таким образом, можно сделать вывод, что ИНС network2, в отличие от network1, обучается за меньшее время, но для нее характерно переобучение на заданном наборе данных.
8
Создадим трехслойную нейронную сеть с количеством нейронов на первых двух слоях равным 10 и функцией градиентного спуска в качестве алгоритма обучения.
Рис. 15 – Параметры обучения нейронной сети network3
Обучим нейросеть network3 согласно параметрам на рис.15. В итогах обучения (рис. 16) видим, что для обучения сети было реализовано 10000 эпох, на них было затрачено больше времени, чем на обучение сети с двумя слоями аналогичным методом. Критерием остановки обучения было прохождение заданного количества эпох.
Рис. 16 – Итоги обучения нейронной сети network3
На рис. 17 представлен график зависимости среднеквадратичной ошибки от номера эпохи. Из рисунка видно, что значение ошибки обучения, валидационной и тестовой плавно уменьшаются с увеличением номера эпохи.
9
Рис. 17 – График среднеквадратичной ошибки обучения network3
На рис. 18 представлен график зависимости градиента ошибки обучения от номера эпохи. Из рисунка видно, что в процессе обучения сети значение градиента плавно уменьшалось с возрастанием на отдельных промежутках обучения.
Рис. 18 – График градиента ошибки обучения network3.
Проверим работу обученной сети. Для этого загрузим новые входные и целевые выходные данные для сети, затем осуществим моделирование ее работы. На рис. 19 представлен график ошибки работы сети. Из рисунка видно, что величина ошибки не выходит за границы от -0,04 до 0,03.
10