21. Обучение Больцмана. Стохастические модели. Правило обучения Больцмана. Машина Больцмана.

Машина Больцмана — вид стохастической рекуррентной нейронной сети, изобретенной Джеффри Хинтоном и Терри Сейновски в 1985 году. Машина Больцмана может рассматриваться как стохастический генеративный вариант сети Хопфилда.

Эта сеть использует для обучения алгоритм имитации отжига и оказалась первой нейронной сетью, способной обучаться внутренним представлениям, решать сложные комбинаторные задачи. Несмотря на это, из-за ряда проблем, машины Больцмана с неограниченной связностью не могут использоваться для решения практических проблем. Если же связность ограничена, то обучение может быть достаточно эффективным для использования на практике. В частности, из каскада ограниченных машин Больцмана строится так называемая deep belief network.

Стохастические (теоретико-вероятностные) модели используются для отображения вероятностных процессов и событий. В этом случае анализируется ряд реализаций случайного процесса, и оцениваются средние характеристики. В стохастических моделях значения входных параметров (переменных) известны лишь с определенной степенью вероятности, т.е. эти параметры являются стохастическими; соответственно, случайным будет и процесс эволюции системы.

Например, модель, описывающая изменение температуры воздуха в течение года. Точно предсказать температуру воздуха не будущий период невозможно, задается только диапазон изменения температуры и вероятность того, что истинная температура воздуха попадет в этот диапазон.

Стохастические модели применяется для исследования системы, состояние которой зависит не только от контролируемых, но и от неконтролируемых воздействий или в ней самой есть источник случайности. К стохастическим системам относятся все системы, которые включают человека, например, заводы, аэропорты, вычислительные системы и сети, магазины, предприятия бытового обслуживания и т.п.

Одним из основных недостатков сети Хопфилда является тенденция «стабилизации» состояния сети в локальном, а не в глобальном минимуме. Практически желательно, чтобы сеть переходила в глубокие минимумы энергии чаще, чем неглубокие, и чтобы относительная вероятность перехода сети в один из двух минимумов с разной энергией зависела только от соотношения их глубин. Это позволило бы управлять вероятностями получения конкретных выходных векторов состояния путём изменения профиля энергетической поверхности системы за счет модификации весов связей. На основе этих соображений и построена машина Больцмана.

Идея использования «теплового шума» для выхода из локальных минимумов и повышения вероятности попадания в более глубокие минимумы принадлежит С. Кирпатрику. На основе этой идеи разработан алгоритм имитации отжига.

Введем некоторый параметр t — аналог уровня теплового шума. Тогда вероятность активности некоторого нейрона к определяется на основе вероятностной функции Больцмана:

где t — уровень теплового шума в сети; E_k — сумма весов связей к-го нейрона со всеми активными в данный момент нейронами.

Метод имитации отжига представляет собой алгоритмический аналог физического процесса управляемого охлаждения. Это метод позволяет находить глобальный минимум функции нескольких переменных.

Классический алгоритм имитации отжига.

1. Запустить процесс из начальной точки w при заданной температуре Т=Тмах:

2. Пока Т > 0, повторить L раз следующие действия:

   1. Выбрать новое решение w1 из окрестности w;

   2. Рассчитать изменение целевой функции ∆= E(w1) – E(w);

   3. Если ∆ <0 или ∆ =0, принять решение w1 = w; в противном случае ∆ > 0 принять w1 = w с вероятностью ехр (-∆ / Т) путем генерации случайного числа R из интервала (0,1) с последующим сравнением его со значением ехр (-∆ / Т); если ехр ( - ∆ / Т) >R, принять новое решение w1 = w; в противном случае проигнорировать его.

3. Уменьшить температуру (Т ç T * r) с использованием коэффициента r из интервала (0,1) и вернуться к п.2

4. После снижения температуры до нулевого значения провести обучение сети любым методом.

В машине Больцмана имитационный отжиг имитируется путем вероятностного механизма перехода нейрона в новое состояние.

Pi(S)=1/(1+exp((∆Ei / Т),

где ∆Ei - изменение энергии i-го нейрона;

Т- параметр температуры;

S –состояние нейрона в момент времени t+1.

Если начать процесс релаксации с высокой температуры и постепенно снижать ее, то система придет в состояние равновесия.

Sources: Стохастические модели, Сети Больцмана 1, Сети Больцмана 2, лекция 8