Возвратное состояние

Материал из Википедии — свободной энциклопедии

Возвра́тное состоя́ние - это состояние Марковской цепи, посещаемое ей бесконечное число раз.

Содержание

1 Определение
2 Критерий возвратности
3 Время возвращения
4 Возвратность неразложимого класса

[править] Определение

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n\}_{n \ge 0}$ . Пусть

$f_{ii}^{(n)} = \mathbb{P}(X_n = i,\; X_k \not= i, \, k=1,\ldots, n-1 \mid X_0 = i )$

- вероятность, выйдя из состояния $i$ , вернуться в него ровно за $n$ шагов. Тогда

$f_{ii} = \sum\limits_{n=1}^{\infty} f_{ii}^{(n)}$

- вероятность, выйдя из состояния $i$ , вернуться в него за конечное время.

Состояние $i$ называется возвра́тным (рекурре́нтным), если $f i i = 1$ . В противном случае состояние называется невозвра́тным (транзие́нтным).

[править] Критерий возвратности

Состояние $i$ является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

$\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} = \infty$ , где $p_{ii}^{(n)} = \mathbb{P}(X_n = i \mid X_0 = i)$ .
$\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 1$ .

Соответственно, состояние $i$ невозвратно тогда и только тогда, когда выполнено любое из условий:

$\sum\limits_{n=1}^{\infty} p_{ii}^{(n)} < \infty$ .
$\mathbb{P}\left( \limsup\limits_{n \to \infty} \{X_n = i\}\mid X_0 = i \right) = 0$ .

[править] Время возвращения

Предположим, что $X 0 = i$ почти наверное, и определим случайную величину $T i$ , равную времени первого возвращения в состояние $i$ , то есть

$T_i = \inf\{n \ge 1 \mid X_n = i \}$ .

Тогда $T i$ имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb{P}(T_i = n) = f_{ii}^{(n)}$ .

Возвратное состояние $i$ называется положи́тельным, если

$\mathbb{E}[T_i] = \sum\limits_{n=1}^{\infty} n f^{(n)}_{ii} < \infty$ ,

и нулевы́м, если

$\mathbb{E}[T_i] = \infty$ .

[править] Возвратность неразложимого класса

Если состояния $i$ и $j$ сообщаются, и $i$ - возвратно, то состояние $j$ также возвратно.
Более того если состояние $i$ положительно, то и состояние $j$ также положительно.

Таким образом возвратность и положительность - свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.

Классификация состояний и цепей Маркова
Состояние: апериодическое \| возвратное \| достижимое \| невозвратное \| несущественное \| нулевое \| периодическое \| положительное \| сообщающееся \| существенное
Цепь: апериодическая \| возвратная \| невозвратная \| неразложимая \| нулевая \| периодическая \| положительная \| разложимая \| эргодическая

Категория: Марковские процессы

Возвратное состояние

Материал из Википедии — свободной энциклопедии

Содержание

[править] Определение

[править] Критерий возвратности

[править] Время возвращения

[править] Возвратность неразложимого класса

Views

Навигация

Участие

Поиск