Лабораторна робота № 2

Тема. Рішення задач розпізнавання образів багатовимірних об'єктів за допомогою нейронних мереж типу «багатошаровий персептрон» (MLP) з використанням різних навчальних алгоритмів і інструментальних засобів пакету Statistica Neural Networks.

Мета роботи. Закріпити теоретичний лекційний матеріал, освоїти методику побудови, навчання, оцінки і застосування нейронної мережі типу MLP з використанням різних повчальних алгоритмів при моделюванні і рішенні задач розпізнавання образів багатовимірних об'єктів з використанням інструментальних засобів пакету Statistica Neural Networks.

Завдання роботи.

1. Підготувати початкові дані для навчання нейронної мережі.

2. Створити і навчити нейронну мережу для вирішення задач класифікації об'єктів з використанням Intelligent Problem Solver програми Statistica Neural Networks.

3. Проаналізувати діаграму розсіяння учбових даних.

4. Провести аналіз чутливості мережі.

5. Створити і навчити нейронну мережу, що реалізує булеву функцію

Загальні положення

Задача розпізнавання (класифікації) образів полягає у віднесенні вхідного набору даних, який представляє розпізнаваний об'єкт, до одного з заздалегідь відомих класів.

Для навчання мережі типу багатошаровий персептрон можуть застосовуватися спеціальні алгоритми, порівняльна характеристика яких дана в табл. 3.

Таблиця 3

Порівняльна характеристика алгоритмів навчання багатошарового персептрона

Назва	Опис
Back Propagation	Достоїнства: працює стабільно; в порівнянні з іншими алгоритмами менш вимогливий до ресурсів комп'ютера; швидко досягає допустимого рівня помилки, значно відмінної від нуля. Недоліки: повільно сходиться до мінімуму помилки (тобто до рівня помилки, близької або рівної нулю).
Quick Propagation	Достоїнства: має меншу кількість управляючих параметрів, тому простіший у використанні. Недоліки: менш стабільний в порівнянні з Back Propagation; схильний до попадання в локальний мінімум; швидкість роботи не завжди більша, ніж у Back Propagation (все залежить від специфіки вирішуваної задачі). Обновляє ваги і пороги один раз після закінчення кожної епохи.
Conjugate Gradients	Достоїнства: працює значно результативніше і стабільніше, ніж Back Propagation; застосовний для мереж з великою кількістю вагів (декількома сотень і більше) і/або з декількома вихідними елементами; має меншу кількість управляючих параметрів, тому більш простій у використанні. Недоліки: вимогливіший до ресурсів комп'ютера; вимагає більшого часу на навчання мережі. Обновляє ваги і пороги один раз після закінчення кожної епохи.
Levenberg-Marquardt	Достоїнства: найбільш швидкий і стабільний алгоритм тренування вагів мережі. Недоліки: використовується виключно для мереж з одним вихідним елементом; вимоги до пам'яті пропорційні квадрату числа вагів в мережі, що має на увазі його використання для мереж з невеликою кількістю вагів (декілька сотень і не більше); працює лише з квадратичною функцією помилки. Обновляє ваги і пороги один раз після закінчення кожної епохи.
Delta-Bar-Delta	Достоїнства: стабільніший, ніж Quick Propagation; швидкість роботи більша, ніж у Back Propagation; Недоліки: схильний до попадання в локальний мінімум; результат роботи залежить від ступеня зашумованості поверхні помилки (чим менше, тим краще). Значення градієнтів помилок обчислюються так само, як в Back Propagation, але один раз після закінчення кожної епохи. Норма навчання призначається індивідуально кожній вазі, однаково на першій епосі, і обчислюється окремо для кожної ваги на подальших епохах. Якщо локальний градієнт помилки має однаковий знак на декількох ітераціях підряд, то норма збільшується щоб алгоритм швидше просунувся на деяку відстань в напрямку мінімізації помилки (це так само означає, що поверхня помилки має малу кривизну). Інакше – норма навчання зменшується, щоб алгоритм не коливався навколо точок великої кривизни. Якщо середній градієнт помилки не змінює знак, то до норми навчання додається коефіцієнт лінійного зростання, якщо ж змінює знак, то норма навчання множиться на коефіцієнт експоненціального спаду. Обновляє ваги і пороги один раз після закінчення кожної епохи.
Quasi-Newton	Достоїнства: працює значно швидше, ніж Back Propagation; характеризується швидкою збіжністю. Недоліки: його рекомендується використовувати, якщо кількість вагів в мережі менше 200, інакше використовуйте Conjugate Gradients; схильний сходитися в локальному мінімумі; менш стабільний, ніж Conjugate Gradients; вимоги до пам'яті пропорційні кількості вагів в мережі. Рекомендується перед його застосуванням виконати навчання на 50 епохах за допомогою алгоритму Back Propagation, щоб зменшити можливість перенавчання і попадання в локальний мінімум. Алгоритм Levenberg-Marquardt працює краще, якщо за тих же умов задача передбачає моделювання регресійної залежності і характеризується малими залишками. Обновляє ваги і пороги один раз після закінчення кожної епохи.