Page 73 - flip-procesos

✐ ✐

“ProcesosMathBookFC” — 2012/2/2 — 10:58 — page 65 — #71
✐ ✐

3.11. Recurrencia positiva y nula 65

Sea Y k la variable que registra el n´umero de pasos que transcurren en-
tre la visita k 1y lavisita k que la cadena realiza al estado j.Sabemos
que el tiempo medio de recurrencia es E Y k µ j ,para j 1, 2,...,y
usando la propiedad fuerte de Markov puede demostrarse que las variables
Y 1 ,Y 2 ,... son independientes. Se tienen entonces las siguientes estima-
ciones
Y 1 Y N jj n n Y 1 Y N jj n 1
.
N jj n N jj n N jj n

Por la recurrencia, N jj n ,cuando n ,de modo que por la ley de
los grandes n´umeros, los dos extremos de esta desigualdad convergen a µ j
casi seguramente. Por lo tanto,

N jj n 1
l´ım c. s.
n n µ j
!

Interpretaci´on: para una cadena de Markov irreducible, el n´umero π j 1 µ j
representa el tiempo promedio que la cadena permanece en el estado j a
largo plazo, suponiendo que tal cantidad es positiva.
Tomando esperanza en (3.4), por el teorema de convergencia dominada, y
para una cadena irreducible, se cumple que

n
1 1 1 1
E l´ım N ij n l´ım E N ij n l´ım p ij k .
µ j n n n n n n
k 1
En particular, cuando el tiempo medio de recurrencia µ j es infinito, o cuando
el estado j es transitorio, se tiene que
n
1
l´ım p ij k 0.
n n
k 1
3.11. Recurrencia positiva y nula

Hemos visto que si una cadena de Markov inicia en un estado recurrente,
entonces regresa a ´el una infinidad de veces con probabilidaduno. Sinem-
bargo, esta recurrencia puede presentarse de dos formas: cuando el tiempo

✐ ✐

✐ ✐