412. Алгоритм зворотного розповсюдження у нейронних багатошарових мережах.

В основі конекціоністського підходу лежить спроба безпосереднього моделювання розумової діяльності людського мозку. Відомо, що мозок людини складається з величезної кількості нервових клітин (нейронів), що взаємодіють між собою, тобто являє собою природну нейронну мережу. Важливою особливістю нейроноподібних систем є їх здатність до ефективного навчання, навіть в умовах, якщо не вдається на вербальному рівні, тобто в словесній формі, сформулювати мету системи та виробити правила її поведінки. Як і вказує її назва, штучна нейронна мережа – система, яка складається із деякої кількості пристроїв, так званих штучних нейронів, з‘єднаних між собою. Ці пристрої називаються штучними нейронами завдяки певній подібності до нейронів людського мозку. Однак вони не призначені для точного копіювання усіх електрохімічних процесів, які відбуваються у мозку людини. Мозок лише виступає як модель для побудови ШНМ. Існує багато способів з‘єднання між собою ШН, отже можна виділити різні типи ШНМ. В основному вони розрізнятися за такими двома параметрами як операційні характеристики нейронів та різні конфігурації утворення мережі. Серед різних структур нейронних мереж (НМ) однієї з найбільш відомих є багатошарова структура, в якій кожен нейрон довільного шару пов'язаний зі всіма аксонами нейронів попереднього шару або, у разі першого шару, зі всіма входами НМ. Такі НМ називаються повнозв'язними. У багатошарових же мережах оптимальні вихідні значення нейронів всіх шарів, окрім останнього, як правило, не відомі, і два або більш шарових перцептрон вже неможливо навчити, керуючись тільки величинами помилок на виходах НМ. Один з варіантів вирішення цієї проблеми - розробка наборів вихідних сигналів, відповідних вхідним, для кожного шару НМ, що, звичайно, є дуже трудомісткою операцією і не завжди здійсненно. нарешті, третій, прийнятніший варіант - розповсюдження сигналів помилки від виходів НС до її входів, в напрямі, зворотному прямому розповсюдженню сигналів в звичайному режимі роботи. Цей алгоритм навчання НМ отримав назву процедури зворотного розповсюдження.

410. Алгоритм виключення кандидата (Машинне навчання, засноване на символьному представленні інформації)

У цьому розділі представлені три алгоритму [Mitchell, 1982] пошуку в просторі понять. Ці алгоритми грунтуються на понятті простору версій (version space), що представляє собою множина всіх описів поняття, що узгоджуються з навчальними прикладами. Ці алгоритми працюють за рахунок звуження простору версій з появою нових прикладів. Перші два алгоритми забезпечують звуження простору версій в напрямку від приватного до загального і від загального до приватному відповідно. Третій алгоритм, званий алгоритмом виключення кандидата (Candidate elimination), об'єднує обидва підходи і реалізує двонаправлений пошук. Ці алгоритми засновані на даних. Узагальнення виконується на основі виявлених у навчальних даних закономірностей. Крім того, оскільки в цих алгоритмах використовуються класифіковані навчальні дані, їх можна вважати різновиди- стю навчання з вчителем (supervised learning). Як і програма Вінстона, що реалізує навчання на основі структурних описів, алгоритми пошуку в просторі версій використовують і позитивні, і негативні приклади цільового поняття. Хоча операцію узагальнення можна реалізувати тільки на позитивних прикладах, негативні приклади дозволяють запобігти зайвому узагальнення. Вивчене поняття повинне бути не тільки загальним, щоб відповідати всім позитивним прикладів, але і приватним, щоб виключити всі негативні. Однак це поняття є надто загальним, оскільки включає всі існуючі екземпляри. Щоб уникнути зайвого узагальнення, необхідно систематизувати навчальні дані в мінімально можливою мірою, щоб покрити лише позитивні приклади, або використовувати негативні приклади для виключення зайвих об'єктів. В алгоритмі пошуку від приватного до загального використовується безліч гіпотез S, елементами якого є кандидати на визначення поняття. Щоб уникнути зайвого узагальнення, ці визначення-кандидати формуються як максимально конкретні узагальнення (maximally specific generalization) вихідних навчальних даних. Поняття с є максимально конкретним, якщо воно покриває всі позитивні приклади, не задовольняє ні одному негативному, і для будь-якого іншого поняття з ', що покриває всі позитивні приклади, з '> с. Можна виконувати пошук і від загального до приватного. Розглянемо алгоритм, що використовує безліч G максимально загальних понять, що покриває всі позитивні та жодного негативного прикладу. Поняття з є максимально загальним, якщо воно не покриває негативних прикладів, і для будь-якого іншого поняття з 'не покриває негативних прикладів, з> з '. У цьому алгоритмі негативні приклади забезпечують спеціалізацію понять- кандидатів, а позитивні дозволяють уникнути надмірної конкретизації понять. Алгоритм виключення кандидата забезпечує двуна- мованих пошук, який дає безліч переваг для навчальної системи. Алгоритм підтримує дві множини понять-кандидатів: G - Безліч максимально обшіх понять- кандидатів, a S - безліч максимально конкретних. У процесі роботи алгоритму спеціалізація безлічі G і узагальнення безлічі S виконується до тих пір, поки вони не зійдуться до цільовим поняттю. Алгоритм має наступний вигляд. Цікавою властивістю алгоритму винятку кандидата є його інкременталь-ність. Інкрементні алгоритми навчання припускають почергову обробку навчальних прикладів і формування задовільного, , і неповного, узагальнення після пред'явлення кожного з примірників.