Тема 6. Цепи Маркова

6.1. Цепи Маркова.

Цепь Маркова – это последовательность событий, в каждом из которых появляются и при том только одно из несовместных событий A₁,A₂…A_k при этом условная вероятность p_ij(s) в s-ом испытание наступит событие A_i и условие, что в s-1 испытание произошло событие A_j е зависит от результата предшествующих событий.

Цепью Маркова с дискретными временами называют цепь, изменение состояний которой происходит в фиксированные моменты времени.

Цепью Маркова с непрерывным временем называют цепь изменение состояний которой происходит в произвольный момент времени.

Цепь Маркова называется однородной, если условная вероятность p_ij(s) перехода в состояние из A_i в A_j не зависит от номера испытания, от s.

Вероятности того, что система в результате испытания переходит из A_i в A_j называется переходными вероятностями однородной цепи Маркова.

Переходные вероятности образуют матрицу переходных вероятностей i=1;…;k

Равенство Маркова

P_ij(n) – вероятность перехода системы из состояния A_i в A_j за n испытаний

Следствия

1. n=2; m=1

; P_ij(1)=p_i,j; P₂=(P_i,j(2))=P₁P₁=P²

2. n=3; m=2

; P₃=P³

3. P_n=P₁².