9. Непрерывные марковские цепи. Основные задачи их исследования. Примеры объектов, для исследования которых могут быть использованы нмц.

Непрерывная марковская цепь – это случайный процесс с дискретными состояниями и непрерывным временем, при условии, что поведение системы после произвольного момента времени t не зависит от истории процесса, предшествующей моменту времени t.

На практике часто встречаются такие ситуации. К примеру, отказ любого элемента аппаратуры происходит в произвольный момент времени, окончание восстановления этого элемента также происходит в заранее неизвестный момент времени.

Пусть есть конечное число состояний: . Процесс может принимать одно из этих состояний, при этом – вероятность нахождения в тот или иной момент времени в i-том состоянии.

Пусть система в момент t находится в состоянии . Назовем плотностью вероятности перехода предел отношения вероятности перехода системы за время из состояния в состояние к длине промежутка :

Эта величина будет называться плотностью вероятности перехода.

Необходимо установить связь между вероятностью перехода из i в j и вероятностями потока событий, обеспечивающего этот переход.

Рассмотрим простейший поток.

– необходимо, чтобы за этот интервал появилось хотя бы одно событие. Нет события – нет перехода.

Вычислим через обратную вероятность:

Если интервал между соседними событиями потока имеет показательное распределение (exp), то плотность вероятности переходов между событиями численно совпадает с параметрами потока событий, то есть с интенсивностью.

Если интенсивность потока событий не зависит от времени – значит, поток однородный.

Для непрерывных марковских цепей (НМЦ) интенсивности переходов проставляются у соответствующих дуг графа.

Предположим, что известно множество состояний системы и известны плотности вероятностей перехода для всех пар состояний и . Теперь необходимо определить вероятности состояний системы.

Рассмотрим – вероятность того, что в конце интервала объект или процесс окажется в i-том состоянии:

Таким образом:

Перейдем к пределам:

Последнее выражение – это абстрактная модель непрерывной марковской цепи, академика А.Н. Колмогорова. Если рассматриваемый процесс – эргодический, то при t->∞ этот процесс придет к установившемуся режиму, вероятности стационарных состояний P_i = const, а при установившемся режиме будет = 0.

Формулы для решения задач:

10. Типовые графы состояний системы. Процесс “гибели и размножения”. Примеры объектных систем.

При описании процесса функционирования различных технических систем часто встречаются типовые структуры графов. Среди них наиболее распространены структуры, представленные процессом “гибели и размножения” и циклическим процессом.

Непрерывная марковская цепь называется процессом “гибели и размножения”, если ее граф состояний представляет собой цепочку, в которой каждое из средних состояний () связано прямой и обратной связью с каждым из соседних состояний, а крайние состояния () связаны прямой и обратной связью только с одним состоянием.

Система линейных дифференциальных уравнений Колмогорова имеет вид:

Обязательно нужно указывать начальные условия:

Также необходимо указывать нормирующее уравнение:

В стационарном режиме (можем рассматривать, так как граф сильносвязанный, из любой вершины можно достичь любую другую за конечное число шагов, значит процесс - эргодический):

Далее из условия можно получить

Пример задачи на тему процесса “гибели и размножения”: