Page 58 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 50 — #56
✐ ✐

50 3. Cadenas de Markov

En t´erminos de las probabilidades de primera visita, la probabilidad de una
eventual visita al estado j,a partir del estado i,es el n´umero

f ij f ij n .
n 1
Recordemos que f ij n es la probabilidad de que la primera visita al estado
j,a partir de i,se efect´ue exactamente en elpaso n.Siendo estos eventos
disjuntos para valores distintos de n,esta suma representa la probabilidad
de una eventual visita al estado j.

3.7. Recurrencia y transitoriedad

Veremos a continuaci´on que los estados de una cadena de Markov pueden
ser clasificados, en una primera instancia, en dos tipos, dependiendo si la
cadena es capaz de regresar con certeza al estado de partida.

Definici´on 3.7 (I) Se dice que un estado i es recurrente si la probabilidad
de eventualmente regresar a i,partiendo de i,es uno,es decir, si

P X n i para alguna n 1 X 0 i 1.
Un estado que no es recurrente se llama transitorio, y en tal caso la proba-
bilidad anterior es estrictamente menor a uno.

De manera intuitiva, un estado es recurrente si con probabilidad uno la
cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre
en alg´un momento finito, por la propiedad de Markov, se puede regresar a
´el una y otra vez con probabilidad uno. Debido a este comportamiento
es que al estado en cuesti´on se le llama recurrente. En cambio, el estado
se llama transitorio si existe una probabilidad positiva de que la cadena,
iniciando en ´el, ya no regrese nunca a ese estado. De este modola definici´on
de recurrencia y transitoriedad puede enunciarse de manera equivalente de
la siguiente forma.

Definici´on 3.8 (II) Un estado i es recurrente si f ii 1,es decir,si la
probabilidad de regresar a ´el en un tiempo finito es uno. An´alogamente, un
estado i es transitorio si f ii 1.

✐ ✐

✐ ✐