Цепи Маркова в непрерывном времени

Цепи Маркова в непрерывном времени

В случае дискретного времени мы наблюдаем состояния в течение мгновенных и неизменяемых моментов. В контексте цепей Маркова с непрерывным временем наблюдения являются непрерывными, т. е. без перерыва во времени.

Непрерывное время

Пусть M + 1 — взаимоисключающие состояния. Анализ начинается в момент времени 0 и время течет непрерывно, мы называем X(t) состоянием системы в момент времени t. Точки изменения состояния t_я являются случайными моментами времени (они не обязательно являются целыми числами). Одновременное изменение двух состояний невозможно.

Рассмотрим три последовательных момента времени, когда произошло изменение состояний r в прошлом, s в настоящем и s + t в будущем. X(s) = i и X(r) = l . Случайный процесс с непрерывным временем со свойством Маркова, если:

Вероятности перехода стационарны, поскольку они не зависят от s. Мы отмечаем п_ij(t) = P(X(t) = j , X(0) = i ) функция вероятности перехода в непрерывное время.

Обозначим Т_я случайная величина, обозначающая время, проведенное в состоянии i перед переходом в другое состояние, i∈{0, …, M}. Предположим, что процесс входит в состояние i в момент времени t' = s. Тогда для длительности t > 0 T_я > t ⇔ X(t' = i), ∀t'∈[s, s + t].

Свойство стационарности переходных вероятностей приводит к: P(T_я > с + т, Т_я > s) = P(T_я > т). Распределение времени, оставшегося до следующего выхода процесса из i, одинаково независимо от времени, уже проведенного в состоянии i. Переменная Т_я не имеет памяти. Единственным непрерывным распределением случайных величин, обладающим этим свойством, является экспоненциальное распределение.

Экспоненциальное распределение T_я имеет единственный параметр q_я а его среднее значение (математическое ожидание) равно R[T_я ] = 1/q_я. Этот результат позволяет нам описать цепь маркова в непрерывное время эквивалентным образом следующим образом:

• Случайная величина Т_я имеет показательное распределение с параметром λ
• когда процесс выходит из состояния i, он переходит в состояние j с вероятностью p_ij такой, что (аналогично цепи Маркова с дискретным временем): 
• следующее состояние, посещенное после i, не зависит от времени, проведенного в состоянии i.
• Цепь Маркова с непрерывным временем имеет те же свойства класса и неприводимости, что и цепи с дискретным временем.

Вот некоторые свойства экспоненциального закона:

Модель продолжительности

Таким образом, если мы рассмотрим µ_я параметр экспоненциальной случайной величины, связанный с состоянием i, мы можем представить цепь Маркова с непрерывным временем следующим образом:

Мы ясно видим включенную цепь Маркова с дискретным временем, следовательно, возможность проведения исследования дискретной модели. Следует отметить, что в данном контексте отсутствует понятие периодичности.

Если учесть, что мы переходим из состояния i в состояние j через время T_ij и что мы рассматриваем это время как экспоненциальную случайную величину скорости µ_ij, то можно написать цепь Маркова в непрерывном времени по модели длительности:

Обратите внимание, что существует большая разница между стохастической стороной движения от одного состояния к другому и непрерывной стороной во времени. Важно понимать, что переходная матрица цепи Маркова с непрерывным временем всегда является моделью времени.

Матрица перехода модели длительности обладает следующими свойствами:

Эта матрица называется бесконечно малым генератором.

Таким образом, из график следующему дискретному уравнению Маркова (экспоненциальный закон одинаков во всех трех состояниях):

Можно получить следующую временную модель: