9. Применение Backpropagation-нейросетей для преобразования ascii-текста в речевой сигнал (проект neTtalk) и для анализа видеоизображений

Алгоритм обучения МСП с обратным распространением ошибки (Back Propagation (BP)-алгоритм)

Эффективность обученного МСП обычно оценивается величиной средней ошибки. Обозначим через действительное значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности, - требуемое значение на выходе i-того выходного нейрона при распознавании p-ого образа обучающей последовательности.

Ошибка при распознавании p-го образа обучающей последовательности:

При распознавании всех N образов ОП результирующая ошибка:

Если число весов связи равно 2 – то зависимость средней ошибки МСП от этих двух весов связи – то эту ошибку можно представить в виде поверхности.

Зависимость ошибки E от имеет ряд локальных минимумов и один глобальный минимум. В общем случае задача обучения МСП состоит в определении таких численных значений всех весов связи, при которых результирующая ошибка E достигает абсолютного минимума. Однако чаще всего в процессе обучения МСП отыскивается один из локальных минимумов. Он определяется следующим образом:

1. Производится инициализации всех весов связи небольшими численными значениями (обычно в интервале [-0,1;0,1]). Существует много программ генерации псевдослучайных чисел

2. Выбирается точка, в этой точке производится коррекция веса, в результате получается следующая приближение веса.

Почему алгоритм называется алгоритмом обучения с обратным распространением ошибки? Значения признаков образов обучающей последовательности обрабатывается в прямом направлении от входа к выходу МСП. На выходе МСП определяется классификация предъявленного образа. Если классификация персептрона не совпадает с классификацией этого образа учителем, то эта ошибка классификации используется для коррекции всех весов связи. Выявленная на выходе ошибка в классификации используется сначала для модификации весов связи между последним скрытым слоем и выходным слоем. После выполнения этой коррекции становятся известными ошибки на выходах нейронов последнего скрытого слоя и по этим ошибкам осуществляется коррекция весов связей между предпоследним и последним скрытым слоем, и т.д. осуществляется коррекция всех весов.

Основная трудность в разработке BP-алгоритма состоял в расчете величины ошибки скрытых нейронов. Из рассмотрения BP-алгоритма следует, что величина ошибки при обучении персептрона или при модификации всех его весов связи осуществляется в направлении от выхода ко входу, т.е. в направлении, обратном прямому.

BP-алгоритм обладает рядом недостатков:

1. В общем случае на основе BP-алгоритма отыскивается один из локальных минимумов ошибки, а не абсолютный минимум

2. Средняя ошибка может иметь плато, в котором эта ошибка примерно одинакова. На участке плато производная от ФА нейрона равна нулю. Модификация весов связи осуществляется с учетом этой производной от ФА. Т.е. при нулевой производной от ФА модификация весов связи невозможна.

Один из способов обхода ошибки – использование модифицированного алгоритма – BackProp Momentum. Если производная на участке равна 0, то учитывается производная на предыдущем участке

Применения МСП

Нейросетевая реализации четырех бальной оценки (m=4). Пусть 10 вопросов (n=10), в скрытом слое используем нейронов. Для обучения и определения эффективности обученного МСП формируется некоторое множество классифицированных студентов.

Производится инициализация всех весов связи.

Выбирается случайный студент из ОП. Численное значение его ответа вводится в МСП. После их обработки на выходе МСП определяется оценка. Если оценка МСП и преподавателя совпадают, то коррекция весов связи не производится. В случае же ошибки осуществляется коррекция всех весов связи в обратном направлении.

Затем сети предъявляется сети следующий случайно выбранный студент. Этот процесс продолжается до тех пор. пока персептрону не будут предъявлены ответы всех студентов ОП. Предъявление ответов одного студента - это шаг обучения. Предъявление ответов всех студентов называется циклом обучения (итерацией, эпохой).

Обычно процесс обучения занимает сотни или тысячи циклов. После завершения обучения МСП производится проверка эффективности обучения МСП по степени совпадения оценок. Если достигнутая степень совпадения этих оценок удовлетворяет предъявленным требованиям – то на этом процесс обучения МСП заканчивается, в противном случае возможно:

 изменение топологии МСП, состоящее в изменении числа скрытых слоёв, чисел нейронов в скрытом слое, в изменении ФА нейрона, в изменении параметра алгоритма обучения. Для облегчения решения этой задачи предложены генетические алгоритмы для оптимизации чисел скрытых слоёв и кол-ву нейронов в них.

Применение МСП для прогнозирования способности возврата кредита. При этом важной задачей является задача выявления относительно небольшого числа информативных (существенных) признаков, характеризующих клиента.

Величина постоянного заработка , наличие недвижимости , наличие судимости , возраст , кредитная история (от 0 до 10 баллов), состояние здоровья (в числе дней по бюллетеням в году), наличие собаки .

После выявления необходимых информативных признаков необходимо их преобразовать, т.е. перевести численные значения этих признаков в интервал . Некоторые из этих признаков изначально бинарны: наличие(1) или отсутствие(0) судимости, наличие недвижимости, наличие собаки. Возраст принимает значения от 20 до 100 лет. Пример преобразования значения признака из интервала от до : н

Таким образом происходит численное нормирование входных признаков, ибо во всех нейропакетах используются лишь нормированные значения признаков.

Выходных нейронов 2: выдать кредит y=1, отказать y=0

Число скрытых нейронов 5

В трехслойном персептроне общее число связей 5 5 5 задача обучения этого МСП состоит в определении таких численных значений этих 45 коэффициентов, при которых обеспечивается достаточно высокое совпадение учителя (эксперта) и обученного персептрона. Для обучения МСП формируется множество предварительно классифицированных образов (клиентов). В виртуальной базе данных хранятся численные значения 7 выделенных признаков и информация о выдаче кредита. Допустим из этой виртуальной базы данных выбирается 500 предварительно классифицированных образов (клиентов). Это множество из 500 образов разделяем на 2 подмножества: обучающее подмножество, например из 300 клиентов, и контролирующее подмножество из оставшихся 300 клиентов. Образы обучающего и контролирующего подмножества образуют обучающую (для определения весов 45 связей) и контролирующую (для определения эффективности обученного МСП, в степени совпадения решений эксперта и обученного персептрона) последовательности. Обучение МСП осуществляется следующим образом:

1. Численные значения 45 весов связей между нейронами неизвестны, поэтому вначале производится инициализация численных значений этих весовых коэффициентов небольшими значениями, например из интервала *-0.1,0.1+. Для этой цели используется одна из программ генерации псевдослучайных чисел.

2. Случайным образом из 300 клиентов обучающей последовательности выбирается некоторый клиент, численные значения его 7 признаков вводятся в МСП, на выходе МСП формируется решение. Если решение эксперта и МСП совпадают, то численные значения всех 45 весов не изменяются. если же МСП допускает ошибку в классификации клиента, то производится модификация всех 45 весовых коэффициентов. Ошибка МСП имеет место в следующих случаях:

a. Эксперт считает выдать кредит, а МСП принимает решение в отказе выдачи кредита

b. Наоборот

При модификации весов связи ошибка в работе персептрона движется как бы в обратном направлении – от выхода к входу МСП. По известным ошибкам на выходе МСП сначала модифицируются веса связей в переходе между скрытым и выходным слоями. Затем между входным и скрытым слоями.

На этом заканчивается шаг обучения персептрона с предъявлением МСП одного образа

3. Пункт 2 продолжается до предъявления персептрону 300-го образа (клиента) обучающей последовательности. Однократное предъявление всех 300 образов обучающей последовательности называется циклом (итерацией, эпохой). В зависимости от сложности задачи процесс обучения занимает сотни или тысячи циклов.

Процедура обучения с обратным распространением ошибки рекуррентная, поэтому возникает вопрос об её останове. Разумным правилом останова рекуррентной процедуры является следующее правило:

Модуль разности значений всех 45 весовых коэффициентов на двух соседних шагах обучения

4. После этого необходимо определить эффективность обученного персептрона.

Решение эксперта		Решение персептрона
Y=1		Y=0
Y=1	105	5	110
Y=0	4	86	90
109