Достижимое состояние

Материал из Википедии — свободной энциклопедии

[править] Определение

Пусть $\{X_n\}_{n \in \mathbb{N}}$ — однородная цепь Маркова с дискретным временем. Состояние $j$ называется достижи́мым из состояния $i$ , если существует $n = n (i, j)$ такое, что

$p_{ij}^{(n)}\equiv \mathbb{P}(X_n = j \mid X_0 = i) > 0$ .

Пишут $i \rightarrow j$ .

[править] Сообщающиеся состояния

Состояния $i$ и $j$ называются сообща́ющимися, если $i \rightarrow j$ и $j \rightarrow i$ . Пишем: $i \leftrightarrow j$ .

Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.

Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

[править] Примеры

Пусть $\{X_n\}_{n \ge 0}$ - цепь Маркова с тремя состояниями ${1,2,3}$ , и её матрица переходных вероятностей имеет вид

$P = \left( \begin{matrix} 0.5 & 0.5 & 0 \\ 0.1 & 0.9 & 0 \\ 0 & 0 & 1 \end{matrix} \right).$

Состояния этой цепи образуют два неразложимых класса: ${1,2}$ и ${3}$ . В частности, $1 \leftrightarrow 2$ , но $1 \not\rightarrow 3$ и $3 \not\rightarrow 1$ .

Цепь Маркова, задаваемая матрицей переходных вероятностей

$P = \left( \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{matrix} \right)$ ,

неразложима.

Классификация состояний и цепей Маркова
Состояние: апериодическое \| возвратное \| достижимое \| невозвратное \| несущественное \| нулевое \| периодическое \| положительное \| сообщающееся \| существенное
Цепь: апериодическая \| возвратная \| невозвратная \| неразложимая \| нулевая \| периодическая \| положительная \| разложимая \| эргодическая

Категория: Марковские процессы

Достижимое состояние

Материал из Википедии — свободной энциклопедии

[править] Определение

[править] Сообщающиеся состояния

[править] Примеры

Views

Навигация

Участие

Поиск

На других языках