4)Обчислити, як швидко змінюється помилка зі зміною активності елемента з попереднього шару. Цей ключовий крок дозволяє застосовувати зворотнє поширення до багатошарових мереж. Коли активність елемента з попереднього шару

змінюється, це впливає на активності усіх вихідних елементів, з якими він зв'язаний. Тому, щоб підрахувати сумарний вплив на помилку, ми складаємо всі ці впливи. Але ці впливи неважко підрахувати. Це результат кроку 2, помножений на вагу зв'язку до відповідного вихідному елементу.

EAi = dE dYi

åæ dE

=ç

çè dXjj

	dX	ö
×	j	÷÷ = å(E1jWij ) . (7)
	dY
	ij ø		j

Користуючись кроками 2 і 4, можна перетворити величини EA одного шару елементів у EA попереднього шару. Цю процедуру повторюють, щоб обчислювати EA стількох попередніх шарів, скільки їх є. Знаючи EA для елемента, можна скористатися кроками 2 і 3, щоб обчислити EW на його вихідних зв'язках.

Оцінка алгоритму зворотнього поширення

Алгоритм зворотнього поширення виявився ефективним у навчанні мереж з багатьма шарами. Але найбільш ефективний він у ситуаціях, коли відношення між входом і виходом нелінійне, а кількість навчальних даних велика. Застосовуючи алгоритм, дослідники створили нейронні мережі, здатні розпізнавати рукописні цифри, прогнозувати зміни валютного курсу й оптимізувати хімічні процеси.

Серйозну проблему являє собою швидкодія алгоритму зворотнього поширення. Тут центральним є питання про те, як швидко росте час, необхідний для навчання, у міру зростання розмірів мережі. Час, що необхідний для обчислення похідних від помилки за вагами на заданому тренувальному прикладі, пропорційний розмірам мережі, оскільки обсяг обчислень пропорційний кількості ваг. Однак більші мережі вимагають більшої кількості тренувальних прикладів, і їм приходиться модифікувати ваги більшу кількість разів. Отже, час навчання росте значно швидше, ніж розміри мережі.

Ісама серйозна проблема методу зворотного поширення полягає

втому, що така НМ вимагає вчителя, що надає значення бажаному виходу для кожного тренувального прикладу.

Контрольні питання

1.Для навчання яких типів нейромереж використовується алгоритм зворотнього поширення помилки ?

37