Дискретные марковские модели Непрерывные марковские модели

Марковские случайные процессы

Функция времени, значения которой являются случайные числа, называется случайным процессом.

Случайный процесс называется марковским, если вероятность состояния в будущем зависит только от текущего состояния.

Виды марковских процессов:

Дискретное состояние и дискретное время (цепь Маркова). Непрерывное состояние и дискретное время (Марковские последовательности).

Дискретное состояние и непрерывное время непрерывная цепь Маркова).

Непрерывное состояние и непрерывное время.

Простые модели

Дискретная модель

0

p

1

r

1 p

1 r

0

0

1

P

i 1

1 p P i

r P i

P

i 1 p P

i

1 r

P i

1

0

1

Простые модели

Дискретная модель

1 p	p		1	r
		1
0

r

P

1 p

P r P

p P r P

P0 r p r

0

0

1

0

1

p P0 1 r P1

P0

P1

1

p

p r

P1

P1

Простые модели

Непрерывная модель состояний

Модель надежности

исправна неисправна

0

1

0

1

t

0

t

t

d P

d t P

P

d P1 t

d t P0 t

P1 t

Простые модели

Непрерывная модель состояний

	исправна											неисправна
	0										1
P0 t							1				exp t
	P1 t								exp t
							1