16 Марковские процессы с дискретным состоянием в дискретном времени.

Вероятности состояний Pk(t) Марковского случайного процесса – вероятности того,что случайный процесс в в момент времени t нач-ся в сост-ии Sк: P(k)*P{x(t)=Sk}

Переходные вероятности марковского процесса – это вероятности перехода процесса (системы) из одного состояния в любое другое: Pij(∆t)=P{x(x+∆t)=SjIx(t)Si}

Марковский процесс однородный, если вер-ти перехода за 1 времени не зависят от того, где на осн времени происходит переход. Наиболее простым процессом яв-ся цепь Маркова – Марковский случайный процесс с дискретным временем и дискретном конечном состоянии.

При анализе цепи Маркова сост-т граф сост-ий, на к-ом отмечают все состояния цепи и не нулевые вероятноси перехода за 1 шаг. Марковскую цепь можно представить себе так, как будто точка, изображающая систему, случайным образом перемещается по графу сост-ий, поскакивая за 1 шаг из состояние в состояние или задерживаясь на них шагов в одгом и том же состоянии. Переходные вероятности цепи Маркова за 1 шаг Pij записывают в виде матрицы: P= II Pij II – матрица вероятности перехода.

Рпименение m→∞ в системе уст-ся некоторый предв-ый стационарный режим, к-ый сост-т в том, что система слчайным образом меняет свои состояния, но вероятность каждого из них уже не зависит от времени, каждое из состояний осущ-ся с некот-ой вероятностью среди временного пребывания в сост-ие Si за время T=PiT, где Pi – пред-ая вероятность состояния Si, Переходные матрицы обладают свойством: все элементы их неотрицательны, их сумм по строкам равны 1. Матрицы с таким свойством называют стохастическими. Матричный переход позволяет вычислить вероятность любой траектории цепи Маркова с помощью теории умножения вероятностей.

Для однородных цепей Маркова матричный переход не зависит от времени. При изучении цепей Маркова наибольший интерес представляет: вероятности перехода за m шагов, распределение по составу m→бесконечности, средне время пребывания в определенном состоянии. Рассмотрим однородную цепь Маркова с n состоянием. Для получения вероятности перехода из состояния Si в Sj за m шагов в соответствии с формулой полной вероятности следует просуммировать произведение вероятностей перехода из состояния Si в промежуточное состояние Sk за l шагов на вероятность перехода из Sk в Sj за оставшиеся m-l шагов.

Возникает вопрос: что будет происходить с системой при m→беск. Будут ли p1(m)…pn(m) стремится к каким-то пределам? Эти пределы, если они существуют называются предельными вероятностями состояний. Вектор р , состоящий из предельных вероятностей должен удовлетворять соотношению:

среднее время возвращения в сост-ие Si=1/Pi.

17 Раннее была рассмотрена Марковская цепь, т.е случайн. процесс, протекающий в системе, ктр. случ. образом может переходить из сост-я в сост-е только в некоторые заранее опред-ые моменты времени. На практике значит-о чаще встреч. ситуации, когда переходы системы из сост-я в сост-е происходят не фиксированные, а в произвол. моменты времени.

Например: выход из строя любого элемента аппаратуры, окончание ремонта этого элемента и т.д. Для описания таких процессов м.б. применена схема марковск. случ. процесса с дискретн. Состояниями и непрерывн. временем. Для вер-ти сост-ий Pi(t) такого процесса выполнены. Сумма Рi(t)=1

В случае процесса с непрерывн. временем, вер-ть перехода системы из сост-я в сост-е в точный момент времени t=0, также как вер-ть любого отдельн. знач-я непрерывн. случ. величины. Поэтому вместо переходных вер-ей Pij рассм-ют плотности вер-ей перехода(ПВП). ПВП Лi- это предел отнош-я вер-ей перехода системы за время дельта t из сост-я Si в Sj к длине промежутка дельта t, когда дельта t стрем-ся к 0.

Лij=lim Pij(дельта t)/дельта t. Плотность вер-ти перехода опред-ся для i не равное j.

Для однородн. Марковского процесса Лij не зависит от t; при построении графов сост-ий Марк. процесса, над стрелками м/у сост-ми указывают плотность вер-ей перехода. Этот граф назыв. размеченным графом сост-ий. Зная его, можно опред-ть вероятностные сост-я p1(t), p2(t)...pn(t)/ Они составят цифровые ур-я, позвол-ие опред-ть p1(t), p2(t)...pn(t). Выведем эти ур-я, исходя из конкретн. примера. Пусть система имеет 3 возм. сост-я S1, S2, S3. Причем возможны переходы из S1 в S2, из S2 в S3, из S3 в S1 или S2.

d p1/dt=-Л12p1+Л31p3

dp2/dt=-Л23p2+Л12p1+Л32p3

dp3/dt=-Л32p3-Л31p3+Л23p2

Интегриров-е этой системы дает искомую вер-ть сост-ий как функцию времени. Нужны начальные усл-я. Например, если при t=0 система находится в сост-ии S1 то p1(0)=1, p2(0)=0, p3(0)=0. В левой части каждого ур-я стоит производная вер-ти сост-я, а правая часть содержит столько членов, сколько стрелок связ-о с данным сост-ем. Если стрелка напр-на из сост-я, соотв-ий член имеет знак -. Если в состояние- знак +. Каждый член равен произвед-ю плотности вер-ти перехода, соотв. данной стрелке, умнож-ой на вер-ть того сост-я, из ктр. исходит стрелка.

18 Происхождение термина «процесс гибели и размножения» идет в начало биол. задач, где подобной схемой описыв-ся процесс изм-я числ-ти популяции. Пример графа сост-ий имеет вид:

Пример: Технич. устройство сост. Из 3-х одинак. узлов. Каждый из них может выходить из строя(отказывать). Отказавший узел немдл-о начинает восстан-ся. Состояние системы пронумеруем по числу неисправных узлов. S0-все узлы исправны, S1-один узел отказал, 2 исправны, S2- два узла отказали, 1 работает, S3- все 3 узла отказали. Граф сост-ий имеет вид: По графу сост-ий запишем дифференц. ур-е Колмогорова: (система):

dp1/dt=-Л12p1+Л21p2

dp1/dt=-(Л23+Л21)+Л12p1+Л32p3

dpn-1/dt=-(Лn-1,n-2+Лn-1,n)pn-1+Лn-2,n-1 pn-2+Лn,n-1 pn

dp1/dt=-Лn,n-1 pn+Лn-1,n pn-1

В общем виде решить такую систему сложно, но можно найти предельн. вер-ти сост-ий. Для этого надо положить все левые части в производные(равные 0). Система дифферен. ур-ий превратится в СЛАУ. Совместно с усл-ем сумма pi=1. Эти ур-я дают возм-ть вычичлить p1, p2...pn Эти ур-я выглядят так: (система):

Л12p1=Л21p2

Л23p2=Л32p3

………………………..

Лn-1 pn-1=Лn,n-1 pn

P1+p2+...pn=1

Решая ее, найдем:

p2=Л12/Л21 p1

p3=Л23/Л32 p2=Л23*Л12/Л32*Л21 p1

p1=Л12/Л21 p1+Л23*Л12/Л32*Л21 p1+...+Лn-1,n Лn-2,n-1...Л12/Лn,n-1 Лn-1,n-2.. p1=1

Очевидно, что из последн. ур-я мы можем найти p1, а затем p2, p3...

p1=1/1+ Л12/Л21+ Л23*Л12/Л32*Л21+...+ Лn-1, Лn-2,n-1...Л12/Лn,n-1 Лn-1,n-2.. Л21

Прибор состоит из 3 узлов, поток отказов простейший, средн. Время безот казной работы каждого узла =средн. tб. Отказавший узел сразу начинает ремонтироваться. Средн. время ремонта(восстан-е узла) =средн. tр Законы распред-я этого времени показательны(поток восстан-я простейший). Найти средн. производит-ть приборов, если при 3-х работающих узлах она 100%, при 2-х-50%, а при 1-ом и менее прибор вообще не работает.

Решение: состояние системы нумеруют по числу неисправных узлов; S0-все 3 узла исправны, S1-один узел отказал и восстан-ся, 2 неисправны; S2-2 узла восстан-ся, 1 исправен; S3-все 3 узла восстан-ся.

По стрелкам вправо систему переводят отказы. Если система находится в состоянии S0, то работают 3 узла, каждый из них подвергается потоку отказов с интенс-ю 1/tб(среднее). Значит поток отказов, действующий на всю систему в 3 раза интенсивнее. Л01=3/tб(среднее) Если система наход-ся в сост. S1, то раб-ют 2 узла. Общий поток отказов имеет интенсив-ть 2/tб(среднее); Л23=1/tб(средн.) По стрелкам влево систему переводят ремонты(восстан-е). Средн. время восстан-я узла =tр(средн). Значит интенс-ть потока восстан-ий, действ-го на восстан-ый узел =М=1/tр(средн), на 2 узла =2/tр(средн.), на 3 узла =3/tр(средн). Эти значения Л10, Л21, Л32 и проставл-ы стрелок, ведущих влево в графе сост-ий системы. Решение системы:

p0=1/1+3(tр/tб)+3(tр/tб)^2+(tр/tб)^3

p1=3(tр/tб)p0

p2=3(tр/tб)^2p0

p3=(tр/tб)^3po

Зададим конкретн. знач-ми tб=10 часов, tр=5 часов, откуда p0=8/27, p1=12/27, p2=6/27, p3=1/27. Средняя производ-ть прибора в восстан. режиме: 100%p0+50%p1=(8/27+1/2*12/27)*100%=51,9% номинала.