3.14.1.3. Дельта-правило и распознавание букв.

Рассмотренный алгоритм обучения персептрона можно представить в более общей форме. Если через d обозначить требуемый выходной сигнал, то на каждой итерации можно рассчитывать разницу между требуемым ответом персептрона d и реальным значением у, вычисляемым на его выходе:

ε=(d-y). (3.4)

Тогда случай ε=0 соответствует шагу 2,а, когда выход правилен; случай ε>0 — шагу 2,б; случай ε< 0 — шагу 2,в.

Идея алгоритма обучения персептрона с помощью правил Хебба сохранится, если итерационный процесс вести по формулам:

w_j(t + l)=w_j(t) + Δw_j; (3.5)

Δw_j = εx_j, (3.6)

где w_j(t) и w_j(t + 1) - соответственно старое и новое значения весовых коэффициентов персептрона; j - номер входного сигнала. Кроме того, можно получить аналогичную итерационную формулу для подстройки порогового значения нейрона θ, если учесть, что его можно интерпретировать как вес дополнительного входа х₀, значение которого равно -1:

θ(t+1)=θ(t)+Δθ, (3.7)

Δθ=-ε. (3.8)

В итерационные формулы можно ввести коэффициент скорости обучения η, с помощью которого можно управлять величиной коррекции весов:

Δw_j = ηεx_j, (3.9)

Δθ=-ηε. (3.10)

Алгоритм обучения персептрона с использованием этих формул известен под названием дельта-правила. Дальнейшее развитие идеи персептрона и алгоритмов обучения связано с усложнением его структуры и развитием функциональных свойств.

На рис.3.23 приведена схема персептрона, предназначенного для распознавания букв русского алфавита. Такой персептрон имеет 33 нейрона, таким образом, каждой букве алфавита соответствует свой нейрон. Полагается, что выход первого нейрона у₁ должен быть равен единице, если персептрону предъявлена буква «А», и нулю для всех остальных букв. Выход второго нейрона у₂ должен быть равен единице, если персептрону предъявлена буква «Б», и нулю во всех остальных случаях. И так далее до буквы «Я».

Рис.3.23. Персептрон, предназначенный для распознавания букв

русского алфавита

Алгоритм обучения данного персептрона выглядит следующим образом.

Шаг 1. Датчиком случайных чисел всем весовым коэффициентам w_ij и пороговым значениям нейронов θ_i (i= 1,...,33, j=1,...,12) присваиваются некоторые малые значения.

Шаг 2. Персептрону предъявляется какая-либо буква алфавита, и системой фотоэлементов вырабатывается входной вектор х_j (j= 1,...,12).

Шаг 3. Каждый нейрон выполняет взвешенное суммирование входных сигналов:

и вырабатывает выходной сигнал y_i= 1, если S_i >θ_i; y_i= 0, если S_i<θ_i.

Шаг 4. Для каждого нейрона вычисляется ошибка: ε_i= (d_i-y_i),

где d_i - вектор правильных ответов персептрона (например, для буквы «A» d₁ =1, d₂ = 0, ..., d₃₃ =0 и т.д.).

Шаг 5. Производится корректировка весовых коэффициентов персептрона и пороговых значений нейронов:

w_ij(t+1) = w_ij(t) + Δw_ij; Δw_ij = ηε_ix_j;

θ_i(t+1) = θ_i(t) + Δθ_i; Δθ_i=-ηε_i,

где t - номер итерации, или эпохи.

Шаг 6. Повторение шагов 2 - 5 необходимое число раз.