15.Персептрон

Персептрон-это сеть прямого распространения.

Св-ва: 1.нейроны каждого слоя не связаны м/у собой;2.вых.сигнал каждого нейрона поступает на входы всех нейронов след.слоя;3.нейроны вх.слоя не осущ.преобраз-е вх.сигналов, а только подают эти сигналы на нейроны 1го скрытого слоя.

Х=(х₁,х₂,…,х_m)^T вх.вектор

Y=(y_1,y_2,…y_n)^T вых.вектор персептрона

D=(d₁,d₂,…,d_n)^T вектор желаемых вых.реакций

ε₁= d₁- y₁ невязка по 1му выходуперсептрона(ошибка обучения)

ε_n= d_n- y_n

E=∑ε_i² (i=1…n) суммарная квадратич.ошибка

E=∑ (d₁- y₁)² (i=1…n) ошибка обучения НС

Обучение персептрона сводится к выбору таких зн-ний весов, при кот-ых Е->0.

Алгоритм обучения персептрона

1.Инициируется состояние персептрона, т.е. случ.образом выбир-ся зн-я его весов.

2.Для зад-го вх.в-ра Х выч-ся вых.реакция Y персептрона.

3.Выч-ся невязки по всем выходам, а также сумм.квадратич.ошибка.

4.Произв-ся корректировка весов настраеваемых связей W_ij в сторону уменьшения Е.

5.Вновь подается вектор Х,выч-ся зн-е Y ит.д.

В случ, если векторов много, то тогда необходимозадать неск-ко эталонов.

Для многослойных персептронов, имеющих большое число нейронов и связей в 1986г. Руммельхарт Д. предложил алгоритм обратного распространения: проц-ра обучения весов разбивается на неск. этапов.на 1ом этапе проис-т настройка весов 1го слоя.На след.этапе произв-ся настройка весов предпоследнего слоя вплоть до вх.слоя.

Другие архитектуры нейронных сетей

1.РБФ-сети 2.Хопфилда 3.Кохонена 4.Когнитроны 5.Неокогнитроны 6.Сети Гроссберга 7.Сети Элмана 8.Автоассоциативные НС

РБФ Сети

Задача интерполяции построение y=f(x), график кот-ой проходил бы ч/з данные точки

Нейроны скрытого слоя опис-ся Гауссовыми ф-ми активации

Задача обучения нейронной сети сводится к выбору весов нейронно вых.слоя w₁,w₂,…,w_n при кот-ых обеспеч-ся мин.ошибки Е=(y-d)², где у-выход, d-желаемое знач-е.

Сети Хопфилда.

Однослойная нейронная сеть с жесткой стр-рой.Веса нейронов фиксируются, не настраиваются.

w_ij i-номер вых.; j-номер входа

w₁₁ w₁₂ w₁₃

W= w₂₁ w₂₂ w₂₃

w₃₁ w₃₂ w₃₃

Сеть Хопфилда предст. собой динамич.с-му, кот-я опис-ся с-но ДУ 3го порядка.С-ма яв-ся устойчивой, если: 1.w_ii=0 (i=1,2,3); 2.w_ij=w_ji

Подается вход.вектор (х1х2х3).Этот в-р опр-ет нач. состояние, с-ма переходит в одно из юлижайших устойчивых состояний.Если y=f(z_i) приним.знач.0 или 1, то сеть имеет 2^N уст.сост.

Обл.применения:исп-ся как элемент ассоциативной памяти.

Е=∑w_ijy_iy_j энергия сети.когда сеть в уст.состоянии, Е->min.

16. ПР:распознавание образов с пом НС.

17.Генетические алгоритмы

ГА-алгоритм поиска глобального экстремума некот.целевой ф-ции,основанной на идее параллельной оптимизации с имитацией мех-змов генетической наслед-ти и естеств. отбора, распространенных в живой природе.

18. Генетические операции

6.Ранжирование индивид.нов.популяций.

Критерий останова: -зад.кол-во поколений;-момент,когда попул.перестала улучшаться

«+»1.целевая ф-я м.б.сколь угодно сложной;2.не треб-ся дифференц-ть целевой ф-ции.