Структура периодического замкнутого класса

Пусть d>1 период замкнутого класса S. Несмотря на сложность переходов внутри класса, можно обнаружить некоторую цикличность в переходах из одной группы состояний в другую. Покажем это.

Выберем некоторое начальное состояние k и определим следующие подклассы:

,

,

………………………………………

.

Очевидно, что S=C₀+C₁+…+C_d-1. Покажем, что за один шаг система переходит из подкласса C_p в подкласс C_p+1, а из подкласса C_d-1 в подкласс C₀ и так далее по этому циклу.

Пусть iC_p и p_ij>0. Покажем, что jC_p+1.

Так как iC_p, то p_ki(n)>0 для n=p(modd). Тогда за число шагов n+1=p+1(mod d). система переходит в класс C_p+1, то есть p_ki(n+1)>0 и что jC_p+1.

Подклассы C_p состояний периодического замкнутого класса S называются циклическими подклассами.

Из приведённых рассуждений видно, что матрицу вероятностей переходов периодического замкнутого класса можно представить в следующем виде

,

в котором элементы матрицы, неравные нулю отмечены символом .

Возвращаясь к циклическим подклассам, можно сделать вывод о том, что если в начальный момент времени система находится в состоянии подкласса C₀, то в момент времени n=1+dr, r=0,1,2,…, она будет находиться в подклассе C₁. Следовательно, с каждым из подклассов C₀, C₁ можно связать новую марковскую цепь с матрицей вероятностей переходов p_ij(2), i,jC_p, p=1,2, , которая будет неразложимой и апериодической. Поэтому в дальнейшем при рассмотрении предельных свойств вероятностей p_ij(n), при n, можно ограничиться только эргодическими классами.

Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей

Для цепи Маркова (n) определим

–

вероятность первого возвращения в состояние i на n-м шаге, тогда – вероятность того, что система, выйдя из состояния i, хотя бы один раз вернется в него.

Определение. Состояние iX называется возвратным, если f_i=1, и невозвратным, если f_i<1.

Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.

Если состояние iX возвратно и ij, то состояние jX также возвратно.

Если состояние i возвратно, то есть f_i=1, то набор вероятностей f_i(n) образует распределение вероятностей времени возврата.

Поскольку отыскание функций f_i(n) довольно сложно, то для определения возвратности состояний полезен следующий критерий.

Критерий возвратности состояний. Состояние iX возвратно тогда и только тогда, когда .

Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние i. Величина _i^-1, очевидно, характеризует интенсивность возвращения в состояние i.

Определение. Возвратное состояние i называется положительным, если _i^-1>0, и нулевым, если _i^-1=0.

Пример 2.5. Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью p и на единицу влево с вероятностью q, причем p+q=1.Определить при каких значениях p и q состояния будут возвратными.

Решение: Используя формулу Бернулли, получаем

, ,

Воспользовавшись формулой Стирлинга , получаем

.

Так как , причем равенство имеет место только тогда, когда , то . Поэтому ряд расходится тогда и только тогда, когда , и в данном случае все состояния являются возвратными.

При , когда и , все состояния являются невозвратными.

Очевидно, что если p>q, то частица, отправляясь из состояния i, будет смещаться вправо к +∞, а если p<q, то влево к -.