Поглощение государства
А цепь маркова является поглощающим (поглощением состояния) тогда и только тогда, когда: существует хотя бы одно поглощающее состояние, из любого непоглощающего состояния можно перейти в поглощающее состояние. Для любой поглощающей цепи Маркова и для любого начального состояния вероятность находиться в поглощающем состоянии в момент времени t стремится к 1, когда t стремится к бесконечности.
При работе с поглощающей цепью Маркова нас обычно интересуют следующие два вопроса:
- Сколько времени потребуется в среднем, чтобы прийти в поглощающее состояние, учитывая его начальное состояние?
- Если существует несколько поглощающих состояний, какова вероятность попасть в данное поглощающее состояние?
Если цепь Маркова поглощающая, мы поместим поглощающие состояния в начало; мы
тогда будет иметь матрицу перехода следующего вида (I — единичная матрица, а 0
матрица 0):
Матрица N = (IQ)-1 называется фундаментальной матрицей поглощающей цепи. Возьмем следующую стохастическую матрицу:
Затем нам нужно вычислить N:
Среднее количество шагов до поглощения, зная, что мы начинаем с состояния i (не
абсорбент) представляет собой сумму слагаемых i-го ряда N.
В предыдущем примере мы берем из первой строки среднее количество шагов до поглощения, начиная с состояния 1: 320/37+160/37+100/37 = 15,67.
В том же примере:
Вероятность быть поглощенным уникальным поглощающим состоянием равна 1 независимо от начального состояния!
Линейные уравнения
С точки зрения линейного уравнения вектор вероятностей поглощения является наименьшим положительным решением системы:
Вектор среднее время достижения наименьшее положительное решение системы:
RU 
FR 
EN 
ES