38. Алгоритм обучение перцептрона

y=(y¹,…,y^N) -векторы из спрямляющего пр-во Y принадлежащие w₁ или w₂

Задачи обучения перцептрона: на данной обуч. Посл. найти w=(w₁,…,w_k) с помощью которой данная обуч. посл. Y классифицируется безошибочно.

Алг.: на k-м шаге:

если y(k)w₁ и w^T(k)y(k)<=0, то w(k+1)=w(k)+cy(k)

если y(k)w₂ и w^T(k)y(k)>=0, то w(k+1)=w(k)-cy(k)

иначе w(k+1)=w(k)

c -корректирующее приращение

Останов. когда вся обуч. последовательность распознана правильно при неизменном в-ре весов.

Замечания:1) приведенный алгоритм реализует принцип подкрепления и наказания.

2) при построении модели предполагалось, что распрямляющая плоскость проходит через 0, но реально м-т оказ-ся иначе. Это испрвляется путем ввода доп. координаты y=(y1,y2,..,yn1,1).

3) преобразуем обуч. посл-ть Y в , где

тогда алгоритм проще: если (k)w₁ и w^T(k) (k)<=0, то w(k+1)=w(k)+c (k) иначе w(k+1)=w(k)

39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.

1). Пусть им-ся беск. преобраз. обуч. посл., её эл-ты принадлеж. и классу w₁ и w₂.

={ , …, ,…}

2). В спрям. пр-ве сущ. разделяющ. гиперплоскость, т.е. имеется единич. в-р, кот. > , для любого i.

3). D<

Тогда при началь. w(1)=0, c=1 (корректир. приращ.) алг. обуч. перцеп. сход-ся, причём кол-во исправлений в-ра весов k<=

40. Итеративные процедуры распознав. На основе градиентных методов: минимизация одной ф-ии.

Z=(Z1,..,Zn) – вектор признаков. Даны 2 класса: W1 и W2 (m=2). Функ-я f(α,Z)>0, если Z€W1, <0- Z€W2, α=(α1,…,αk)-вектор нек-х параметров. ОП Z=(Z¹,.., Z^N). Найти вектор α*, для кот-го ∆: f(α*,Zⁱ)>0, если Zⁱ €W1, для i=1..N; <0- Zⁱ €W2 для i=1..N. Возможна ситуация:  одна функция Ф(α; Z¹,.., Z^N ) такая, что Ф(α*; Z¹,.., Z^N )=minпоα Ф(α; Z¹,.., Z^N ) ∆. Алгоритм поиска min одной функции: α(K)-значение вектора α на к-том шаге работы алгоритма. α(K+1)= α(K)-сgrad f(α)|по α= α(K), C-величина шага grad. Зададим α(0). Его сходимость зависит от вида функции f, величины шага с. Далее решить задачу мин-и с помощью подходящей модификации метода град-го спуска, т.е. решить задачу ∆.

41. Итеративные процедуры распознав. На основе градиентных методов: совместная минимизация нескольких ф-ий.

N ф-ий F( ,zⁱ), i=1,…,N таких что точка явл. точкой совместного минимума всех этих ф-ий, т.е. F( ,zⁱ)= (1).Если имеет место такая ситуация, то необходимо определить стратегию применения алгоритма градиентного спуска к набору ф-ий F( ,zⁱ).

Стратегия совместной минимизации:

Берём начальную точку ⁰, применим алгоритм гр. спуска к F( ,z¹). Находим соот. точку минимума ¹. Берём ¹ в качестве начальной и применяем алг. гр. спуска к F( ,z²), действуя так, чтобы не выходить за обл. экстр. предыд. ф-ии F( ,z¹); получаем точку ² – совместный экстремум и т.д.

^N-1 – точка совмест. экстремума предыдущих ф-ий. - решение всей задачи.

Другая стратегия совместной минимизации:

Берём начальную точку (0), применим алгоритм гр. спуска к F( ,z¹). Получим (1). Берём (1) в качестве начальной и применяем алг. гр. спуска к F( ,z²), получаем точку (2) и т.д.Если все grad=0, то это – точка совместного минимума.

Схема останавливается, когда найдётся , в кот. grad F( ,zⁱ), i=1,…,N будут равны нулю, иначе – с самого начала, вместо (0) берём (N) и т.д.

Недостаток:Отыскание не гарантировано, но для нек. видов ф-ий F применение этой стратегии оказывается успешным.