Цепи Маркова в непрерывном времени

Сложность
Средний 50%

Цепи Маркова в непрерывном времени

В случае дискретного времени мы наблюдаем состояния в течение мгновенных и неизменяемых моментов. В контексте цепей Маркова с непрерывным временем наблюдения являются непрерывными, т. е. без перерыва во времени.

Непрерывное время

Пусть M + 1 — взаимоисключающие состояния. Анализ начинается в момент времени 0 и время течет непрерывно, мы называем X(t) состоянием системы в момент времени t. Точки изменения состояния tя являются случайными моментами времени (они не обязательно являются целыми числами). Одновременное изменение двух состояний невозможно.

Цепи Маркова в непрерывном времени

Рассмотрим три последовательных момента времени, когда произошло изменение состояний r в прошлом, s в настоящем и s + t в будущем. X(s) = i и X(r) = l . Случайный процесс с непрерывным временем со свойством Маркова, если:

Цепи Маркова в непрерывном времени

Вероятности перехода стационарны, поскольку они не зависят от s. Мы отмечаем пij(t) = P(X(t) = j , X(0) = i ) функция вероятности перехода в непрерывное время.

Обозначим Тя случайная величина, обозначающая время, проведенное в состоянии i перед переходом в другое состояние, i∈{0, …, M}. Предположим, что процесс входит в состояние i в момент времени t' = s. Тогда для длительности t > 0 Tя > t ⇔ X(t' = i), ∀t'∈[s, s + t].

Свойство стационарности переходных вероятностей приводит к: P(Tя > с + т, Тя > s) = P(Tя > т). Распределение времени, оставшегося до следующего выхода процесса из i, одинаково независимо от времени, уже проведенного в состоянии i. Переменная Тя не имеет памяти. Единственным непрерывным распределением случайных величин, обладающим этим свойством, является экспоненциальное распределение.

Экспоненциальное распределение Tя имеет единственный параметр qя а его среднее значение (математическое ожидание) равно R[Tя ] = 1/qя. Этот результат позволяет нам описать цепь маркова в непрерывное время эквивалентным образом следующим образом:

  • Случайная величина Тя имеет показательное распределение с параметром λ
  • когда процесс выходит из состояния i, он переходит в состояние j с вероятностью pij такой, что (аналогично цепи Маркова с дискретным временем): Цепи Маркова в непрерывном времени
  • следующее состояние, посещенное после i, не зависит от времени, проведенного в состоянии i.
  • Цепь Маркова с непрерывным временем имеет те же свойства класса и неприводимости, что и цепи с дискретным временем.
Цепи Маркова в непрерывном времени

Вот некоторые свойства экспоненциального закона:

Цепи Маркова в непрерывном времени

Модель продолжительности

Таким образом, если мы рассмотрим µя параметр экспоненциальной случайной величины, связанный с состоянием i, мы можем представить цепь Маркова с непрерывным временем следующим образом:

Цепи Маркова в непрерывном времени

Мы ясно видим включенную цепь Маркова с дискретным временем, следовательно, возможность проведения исследования дискретной модели. Следует отметить, что в данном контексте отсутствует понятие периодичности.

Если учесть, что мы переходим из состояния i в состояние j через время Tij и что мы рассматриваем это время как экспоненциальную случайную величину скорости µij, то можно написать цепь Маркова в непрерывном времени по модели длительности:

Цепи Маркова в непрерывном времени

Обратите внимание, что существует большая разница между стохастической стороной движения от одного состояния к другому и непрерывной стороной во времени. Важно понимать, что переходная матрица цепи Маркова с непрерывным временем всегда является моделью времени.

Матрица перехода модели длительности обладает следующими свойствами:

Цепи Маркова в непрерывном времени

Эта матрица называется бесконечно малым генератором.

Таким образом, из график следующему дискретному уравнению Маркова (экспоненциальный закон одинаков во всех трех состояниях):

Цепи Маркова в непрерывном времени

Можно получить следующую временную модель:

Цепи Маркова в непрерывном времени
Делиться
ru_RURU