procesos

Introduccin a los o PROCESOS ESTOCASTICOSLuis Rincn o Departamento de Matemticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 Mxico DF e Versin: Agosto 2009 o

Una versin actualizada del presente texto se encuentra disponible en formato o electrnico en la direccin o o http://www.matematicas.unam.mx/lars

ii

Contenido

1. Introduccin o 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 41 43 46 51 52 59 62 64 70 75 77 80 81 83

3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuacin de Chapman-Kolmogorov o 3.4. Comunicacin . . . . . . . . . . . . o 3.5. Clases cerradas . . . . . . . . . . . 3.6. Periodo . . . . . . . . . . . . . . . 3.7. Primeras visitas . . . . . . . . . . . 3.8. Recurrencia y transitoriedad . . . . 3.9. Tiempo medio de recurrencia . . . 3.10. N mero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evolucin de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notacin . . . . . . . . . o Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . iii

4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homogneo e 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

95 95 104 107 110 111 112 119 120 123 129 132 135 136 139 139 142 144 148 153 158 159 163 163 165 167 168 171 171 173 175 178 180 184 188 191

5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovacin y conabilidad o 6.1. Procesos de renovacin . . . . . . . . . o 6.2. Funcin y ecuacin de renovacin . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovacin . . . . . . . . o 6.5. Conabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .

7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Una aplicacin: Estrategias de juego . . o 7.6. Procesos detenidos . . . . . . . . . . . . 7.7. Una aplicacin: La estrategia martingala o 7.8. Teorema de paro opcional . . . . . . . . 7.9. Algunas desigualdades . . . . . . . . . . 7.10. Convergencia de martingalas . . . . . . 7.11. Representacin de martingalas . . . . . o Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . .

iv

8. Movimiento Browniano 8.1. Denicin . . . . . . . . . . . . . . . . . . o 8.2. Propiedades bsicas . . . . . . . . . . . . a 8.3. Propiedades de las trayectorias . . . . . . 8.4. Movimiento Browniano multidimensional 8.5. El principio de reexin . . . . . . . . . . o 8.6. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. Clculo estocstico a a 9.1. Integracin estocstica . . . . . . . . o a 9.2. Frmula de It . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estocsticas a 9.4. Simulacin . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios B. Solucin a algunos ejercicios o Caminatas aleatorias . . . . . . . . . . Cadenas de Markov . . . . . . . . . . Proceso de Poisson . . . . . . . . . . . Cadenas de Markov a tiempo continuo Procesos de renovacin . . . . . . . . . o Martingalas . . . . . . . . . . . . . . . Movimiento Browniano . . . . . . . . Clculo estocstico . . . . . . . . . . . a a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

197 197 202 206 210 213 215 221 224 229 229 242 244 249 250 260 262 263

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

269 269 270 277 280 281 282 286 288

v

vi

Prlogo oEl presente texto contiene material bsico en temas de procesos estocsticos a nivel a a licenciatura. Est dirigido a estudiantes de las carreras de matemticas, actuar a a a, matemticas aplicadas y otras carreras anes. Este trabajo es una versin ampliada a o de las notas de clase del curso semestral de procesos estocstico que he impartido a en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar y a matemticas. a Los temas tratados en este texto corresponden a ciertos modelos clsicos de la a teor de los procesos estocsticos, y a ciertas preguntas o problemas matemticos a a a que uno puede plantearse al estudiar tales modelos. El texto inicia con una explicacin del concepto de proceso estocstico y con algunas deniciones y ejemplos o a generales de este tipo de modelos. A manera de un acercamiento inicial se presenta primero una introduccin breve al tema de caminatas aleatorias en una dimensin, o o y particularmente se analiza el problema de la ruina del jugador. En el segundo cap tulo se estudian cadenas de Markov a tiempo discreto y despus se estudia el e mismo tipo de modelo para tiempos continuos, para ello se presenta primero el proceso de Poisson. Se estudian despus los procesos de renovacin, y brevemente e o tambin la teor de la conabilidad. Se presenta despus una introduccin a la e a e o teor de martingalas a tiempo discreto, en donde se estudian unos pocos de sus a muchos resultados y aplicaciones. Se incluye adems una introduccin al movimiena o to Browniano. El texto naliza con una exposicin compacta y ligera del clculo o a estocstico de It. El material completo excede lo que regularmente es impartido a o en un curso semestral, y una seleccin adecuada de temas ser necesaria. Cada o a cap tulo contiene material que puede considerarse como introductorio al tema. Al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu se presenta. El texto contiene una coleccin de ejercicios que se han colocado al nal de cada o cap tulo, y se han numerado de manera consecutiva a lo largo del libro. Se incluyen tambin sugerencias o soluciones de algunos de estos ejercicios. A lo largo de la e exposicin el lector encontrar tambin algunos otros ejemplos y ejercicios, los o a e cuales son particularmente utiles para el estudiante autodidacta, o para presentar en clase si se adopta alguna parte de este texto como material de estudio en alg n u curso.A Este material fue escrito en L TEX, y las grcas fueron elaboradas usando el exa

vii

viiicelente paquete Pstricks. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sabtica en la universidad de Nottingham durante el a o a n 2007, y agradezco sinceramente al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econmico o recibido durante esta agradable estancia. Luis Rincn o Enero 2008 Ciudad Universitaria UNAM [email protected]

Cap tulo 1

Introduccin o

Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg n u mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccin de variables aleatorias es la denicin o o de proceso estocstico, y sirve como modelo para representar la evolucin aleatoa o ria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s sino que estn relacionadas , a unas con otras de alguna manera particular. Ms precisamente, la denicin de a o proceso estocstico toma como base un espacio de probabilidad (, F , P ) y puede a enunciarse de la siguiente forma. Denicin. Un proceso estocstico es una coleccin de variables aleatorias o a o {Xt : t T } parametrizada por un conjunto T , llamado espacio parametral, y con valores en un conjunto S llamado espacio de estados. En los casos ms sencillos, y que son los que consideraremos en este texto, se toma a como espacio parametral el conjunto T = {0, 1, 2, . . .}, o T = [0, ), y estos n meu ros se interpretan como tiempos. En el primer caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar por {Xn : n = 0, 1, . . .}, a mientras que en el segundo caso el proceso es a tiempo continuo, y se denotar por a {Xt : t 0}. Es decir, seguiremos la convencin de que si el sub o ndice es n, enton1

2ces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco ms generalmente tomaremos como espacio de estados el conjunto a de n meros reales R, aunque en algunos pocos casos tambin consideraremos a u e Zn o Rn . Naturalmente espacios ms generales son posibles, tanto para el espacio a parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una -lgebra, considerando que S es un subconjunto de R, puede a tomarse la -lgebra de Borel de S, es decir, S B(R). a Un proceso estocstico puede cona siderarse como una funcin de dos o Xt () variables X : T S tal que a la pareja (t, ) se le asocia el estado X(t, ), lo cual tambin e puede escribirse como Xt (). Para cada valor de t en T , el mapeo Xt () es una variable aleatoria, mientras que para cada en t jo, la funcin t Xt () es llamao Espacio parametral da una trayectoria o realizacin del o proceso. Es decir, a cada del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estocstico como una funcin aleatoria. Una de tales trayectorias t a o picas que adems a cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos ms adelante. a Si A es un conjunto de estados, el evento (Xt A) corresponde a la situacin en o donde al tiempo t el proceso toma alg n valor dentro del conjunto A. En particular, u (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estocsticos se obtienen al considerar las distintas a posibilidades para: el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estocsticos. Estos son procesos que cumplen una cierta a propiedad particular, no necesariamente excluyentes unas de otras. A lo largo delEspacio de estados

Cap tulo 1. Introduccion

3

texto estudiaremos y especicaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesin de ensayos independientes o de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observacin del proceso en un momento cualquiera o es, por lo tanto, independiente de cualquier otra observacin pasada o futura del o proceso. Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condicin se llama propieo dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) slo depende el evento o (Xn1 = xn1 ), mientras que la informacin dada por el evento (X0 = x0 , . . . , Xn2 = o xn2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran n mero de sistemas que surgen en muy diversas disciplinas del conou cimiento para los cuales el modelo de proceso estocstico y la propiedad de Markov a son razonables. En particular, los sistemas dinmicos deterministas dados por una a ecuacin diferencial pueden considerarse procesos de Markov pues su evolucin fuo o tura queda determinada por la posicin inicial del sistema y una ley de movimiento o especicada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t 0} tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 < < tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribucin del vector o (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribucin de Xt es la misma que la de Xt+h o para cualquier h > 0, y entonces esta distribucin es la misma para cualquier valor o de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t 0}

4tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h Xs+h y Xt Xs tienen la misma distribucin de o probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t slo depende de estos tiempos a travs de la diferencia t s, y no de los valores o e espec cos de s y t. Martingalas. Una martingala a tiempo discreto es, en trminos generales, un e proceso {Xn : n = 0, 1, . . .} que cumple la condicin o E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)

En palabras, esta igualdad signica que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn . Esto es, se trata de una ley de movimiento aleatoria equilibrada pues en promedio el sistema no se mueve del ultimo momento observado. A estos procesos tambin se e les conoce como procesos de juegos justos pues si se considera una sucesin innita o de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t 0} es e un proceso de L`vy si sus incrementos son independientes y estacionarios. Ms e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t 0} es un proceso Gausiano si para cualesquiera coleccin nita de tiempos t1 , . . . , tn , el o vector (Xt1 , . . . , Xtn ) tiene distribucin normal o Gausiana. Nuevamente, el movio miento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introduccin a algunos o resultados elementales sobre algunos tipos de procesos estocsticos. a Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es vlido a para procesos a tiempo continuo.

Cap tulo 2

Caminatas aleatorias

En este cap tulo se presenta una introduccin breve al tema de caminatas aleatorias o en una dimensin. Encontraremos la distribucin de probabilidad de la posicin de o o o una part cula que efect a una caminata aleatoria en Z, y la probabilidad de retorno u a la posicin de origen. Se plantea y resuelve despus el problema de la ruina del o e jugador, y se analizan algunos aspectos de la solucin. o

2.1.

Caminatas aleatorias

Una caminata aleatoria simple sobre el conjunto de n meros enteros Z es un proceso u estocstico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra a en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado 2 1 +1 +2 0 1 con probabilidad q, en donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transicin que se muestran en la Figura 2.1, vlidas para o a

5

6

2.1. Caminatas aleatorias

cualquier n 0, y para cualesquiera enteros i y j. p si j = i + 1, = j | Xn = i) = q si j = i 1, 0 otro caso.

P (Xn+1

Dado que estas probabilidades no dependen de n, se dice que son homogneas en e el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente del estado pre sente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambin dee nirse de la forma siguiente: Sea 1 , 2 , . . . una sucesin de variables aleatorias ino dependientes e idnticamente distribuidas e tales que P ( = +1) = p y P ( = 1) = q, en donde, como antes, p + q = 1. Entonces para n 1 se dene Xn = X0 + 1 + + n .Xn ()

n

Figura 2.2: Sin prdida de generalidad supondremos e que X0 = 0. Nos interesa encontrar algunas propiedades de la variable Xn , y de su comportamiento como funcin de n. Por ejemplo, a partir de la expresin anterior, o o es inmediato encontrar su esperanza y varianza. Proposicin. Para cualquier entero n 0, o 1. E(Xn ) = n(p q). 2. Var(Xn ) = 4npq.

Demostracin. Para la esperanza tenemos que E(Xn ) = n E(i ) = n E() = o i=1 n(p q). Por otro lado, como E( 2 ) = p + q = 1 y E() = p q, se tiene que n Var() = 1 (p q)2 = 4pq. Por lo tanto Var(Xn ) = i=1 Var(i ) = n Var() = 4npq.

Cap tulo 2. Caminatas aleatorias

7

Analicemos estas dos primeras frmulas. Si p > q, es decir, si la caminata toma o pasos a la derecha con mayor probabilidad, entonces el estado promedio despus e de n pasos es un n mero positivo, es decir, su comportamiento promedio es tender u hacia la derecha, lo cual es intuitivamente claro. Anlogamente, si p < q, entonces a el estado nal promedio de la caminata despus de n pasos es un n mero negativo, e u es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el n mero de pasos n crece, eso indica que mientras u mayor es el n mero de pasos que se dan, mayor es la incertidumbre acerca de la u posicin nal del proceso. Cuando p = q se dice que la caminata es asimtrica. o e Cuando p = q = 1/2 se dice que la caminata es simtrica, y en promedio el proceso e se queda en su estado inicial pues E(Xn ) = 0, sin embargo para tal valor de p la varianza es Var(Xn ) = n, y es sencillo demostrar que ese valor es el mximo de la a expresin 4npq, para p (0, 1). o Ejercicio. Demuestre que la funcin generadora de momentos de la variable Xn o es M (t) = (pet + qet )n . A partir de ella encuentre nuevamente la esperanza y varianza de Xn . Probabilidades de transicin. Como hemos supuesto que la caminata inicia en o cero, es intuitivamente claro que despus de efectuar un nmero par de pasos la e u cadena slo puede terminar en una posicin par, y si se efect an un n mero impar o o u u de pasos la posicin nal slo puede ser un n mero impar. Adems, es claro que o o u a despus de efectuar n pasos, la caminata slo puede llegar a una distancia mxima e o a de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribucin de probabilidad de la variable Xn . o Proposicin. Para cualesquiera n meros enteros x y n tales que n x n, y o u para el caso cuando x y n son ambos pares o ambos impares, P (Xn = x | X0 = 0) =1 2 (n1 1 n p 2 (n+x) q 2 (nx) . + x)

(2.1)

Demostracin. Suponga que se observa la posicin de la caminata despus de efeco o e tuar n pasos. Sean Rn y Ln el n mero de pasos realizados hacia la derecha y hacia u la izquierda, respectivamente. Entonces Xn = Rn Ln , y adems n = Rn + Ln . a n Sumando estas dos ecuaciones y substituyendo la expresin Xn = i=1 i se obo

8tiene

2.1. Caminatas aleatorias

Rn =

1 (n + Xn ) = 2

n i=1

1 (1 + i ). 2

Esta ecuacin es la identidad clave para obtener el resultado buscado. Observe o que esta frmula arroja un valor entero para Rn cuando n y Xn son ambos pares o o ambos impares. Como las variables independientes i toman los valores +1 y 1 con probabilidades p y q respectivamente, entonces las variables independientes 1 o 2 (1 + i ) toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusin de que la variable Rn tiene distribucin binomial(n, p). Por lo tanto, para cualquier o valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn =1 2 (n

1 (n + x)) 2 p 2 (n+x) q 2 (nx) .1 1

n + x)

En particular, cuando la caminata es simtrica, es decir, cuando p = 1/2, y con las e mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresin o P (Xn = x | X0 = 0) =1 2 (n

n + x)

1 . 2n

Esta frmula puede tambin justicarse mediante argumentos de anlisis combinao e a torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr Ahora, Cuntas de estas trayectorias terminan en x 0, por a. a ejemplo? Como se ha argumentado antes, el n mero de pasos a la derecha debe u ser 1 (n + x), y el n mero de trayectorias que cumplen la condicin es el n mero u o u 2 de formas en que los 1 (n + x) pasos a la derecha pueden escogerse de los n pasos 2 totales. La respuesta es entonces el cociente que aparece en la expresin anterior. o Ejercicio. Demuestre nuevamente la identidad (2.1) analizando ahora la variable Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que Ln tiene distribucin binomial(n, q). A partir de aqu obtenga el resultado. Ln = o n 1 1 i=1 2 (1 i ). 2 (n Xn ) = Ejercicio. Demuestre que la probabilidad (2.1) es una funcin simtrica de x si, y o e slo si, la caminata es simtrica. o e

Cap tulo 2. Caminatas aleatorias

9

La frmula (2.1) puede extenderse fcilmente al caso general de pasar de un estado o a cualquiera y a otro estado x en n pasos. Proposicin. Si los n meros n y x y son ambos pares o ambos impares, o u entonces para n x y n, P (Xn = x | X0 = y) =1 2 (n

n + x y)

p 2 (n+xy) q 2 (nx+y) .

1

1

(2.2)

Demostracin. Suponga que X0 = 0 y dena Zn = Xn y. Entonces Zn es ahora o una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x y | Zn = 0). Probabilidad de regreso a la posicin de origen. Nos plantearemos ahora el o problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen, regrese eventualmente al punto de partida. Demostraremos que en el caso asimtrico, p = 1/2, la probabilidad de tal evento es menor que uno, es decir, e no es seguro que ello ocurra, pero en el caso simtrico, p = 1/2, se cumple que con e probabilidad uno la caminata regresa eventualmente al origen. Para el ultimo caso demostraremos adems que el n mero de pasos promedio para regresar al origen a u es, sin embargo, innito. La demostracin es un tanto tcnica y hace uso de las o e funciones generadoras de probabilidad. Dado que este cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostracin. o Proposicin. Para una caminata aleatoria sobre Z, la probabilidad de un eveno tual regreso al punto de partida es 1 |p q| = 1 0, o p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 a b)n a+b a b a b .

Ejercicio. Para la cadena de Markov de dos estados, compruebe directamente que a) P (X0 = 0, X1 = 1, X2 = 0) = ab p0 . b) P (X0 = 0, X2 = 1) = (ab + (1 a)a) p0 . c) P (X2 = 0) = ((1 a)2 + ab) p0 + ((1 b)b + b(1 a)) p1 . Cadena de variables aleatorias independientes. Sea 1 , 2 , . . . una sucesin o de variables aleatorias independientes con valores en el conjunto {0, 1, . . .}, y con idntica distribucin dada por las probabilidades a0 , a1 , . . . Deniremos varias cae o denas de Markov a partir de esta sucesin. o a) La sucesin Xn = n es una cadena de Markov con probabilidades de trano sicin pij = P (Xn = j | Xn1 = i) = P (Xn = j) = aj , es decir, la matriz de o probabilidades de transicin es de la siguiente forma o a0 . . .

Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo, una sucesin de lanzamientos de una moneda. o

P = a0

a1 a1 . . .

a2 a2 . . .

.

Cap tulo 3. Cadenas de Markov b) El proceso Xn = mx {1 , . . . , n } es una cadena de Markov con matriz a a0

29

0 P = 0 . . .

a1 a0 + a1 0 . . .

a2 a2 a0 + a1 + a2 . . .

a3 a3 a3 . . .

.

c) El proceso Xn = 1 + + n es una cadena de Markov con matriz a0

0 P = 0 . . .

a1 a0 0 . . .

a2 a1 a0 . . .

.

Ejercicio. Es el proceso Xn = m {1 , . . . , n } una cadena de Markov? En caso n armativo encuentre la matriz de probabilidades de transicin. o Cadena de rachas de xitos. Sea 1 , 2 , . . . una sucesin de ensayos indepene o dientes Bernoulli con probabilidad de xito p, y probabilidad de fracaso q = 1 p. e Sea Xn el n mero de xitos consecutivos previos al tiempo n, incluyendo el tiempo u e n. Se dice que una racha de xitos de longitud r ocurre al tiempo n si en el ensayo e n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al n son todos xitos. Grcamente esta situacin se ilustra en la Figura 3.3. e a o

r xitos e 1 2 F nr E nr+1 E n

Figura 3.3: La coleccin de variables aleatorias {Xn : n = 1, 2, . . .} es una cadena de Markov o con espacio de estados {0, 1, . . .}. Las probabilidades de transicin y la matriz o correspondiente se muestran en la Figura 3.4. Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5.

30

3.2. Ejemplos

0

1

2

3

p q pij = 0

si j = i + 1, si j = 0, otro caso.

P =

Figura 3.4:

0 1 2 . . .

q q q . . .

p 0 0 . . .

0 0 p 0 0 p . . . .

q

0 p 1 q q 2 q 3 q r

p

p

p

p

Figura 3.5: Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el conjunto de n meros enteros constituye una cadena de Markov con espacio de estados u el conjunto Z, y con probabilidades de transicin o p si j = i + 1, q si j = i 1, pij = 0 otro caso,

en donde p+q = 1. Hemos demostrado en el cap tulo anterior que las probabilidades de transicin en n pasos son las siguientes: Si n + j i es par con n j i n, o entonces n pij (n) = 1 p(n+ji)/2 q (nj+i)/2 . (n + j i) 2 En otro caso pij (n) = 0, excepto cuando n = 0 e i = j. Ms adelante usaremos este a modelo para ilustrar algunos conceptos generales de cadenas de Markov.

Cap tulo 3. Cadenas de Markov

31

Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap tulo es una caminata aleatoria sobre el conjunto de n meros enteros u {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transicin son como las de la caminata aleatoria simple slo que ahora p00 = o o 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorcin se observe o en el estado 0, y hemos adems encontrado el tiempo medio de absorcin. a o Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta conguracin inicial. En cada unidad de o tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n mero al u azar, se busca la bola con ese n mero y se cambia de urna. Vase la Figura 3.6. u e Sea Xn el n mero de bolas en la urna u A despus de n extracciones. Entonces e la coleccin {Xn : n = 0, 1, . . .} constio tuye una cadena de Markov con espa... ... cio de estados nito {0, 1, . . . , N }. Es claro que a partir del estado i la caN i bolas i bolas dena slo puede pasar al estadio i 1 o o al estado i + 1 al siguiente momenurna A urna B to, de modo que las probabilidades son pi,i+1 = i/N , y pi,i+1 = (N i)/N , Figura 3.6: vlidas para i = 1, 2, . . . , N 1. Naa turalmente p01 = 1 y pN,N 1 = 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transicin aparece ms abajo. Este modelo fue propuesto por Ehrenfest para o a describir el intercambio aleatorio de molculas (bolas) en dos regiones separadas e por una membrana porosa. La regin con mayor n mero de molculas tender a o u e a liberar mas molculas. e

32

3.2. Ejemplos

P =

0 1/N 0 . . . 0 0

1 0 2/N . . . 0 0

0 (N 1)/N 0 . . . 0 0

0 0 (N 2)/N . . . 0 0

0 0 0 . . . 0 1

0 0 0 . . . 1/N 0

.

Cadena de ramicacin. Considere una part o cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generacin 0. Cada una de estas o part culas simultneamente y de manera independiente genera un n mero de desa u cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generacin 1, stos a su vez son los progenitores de la generacin 2, y as suo e o cesivamente. Una posible sucesin de generaciones se muestra en la Figura 3.7. El o posible evento cuando una part cula no genera ning n descendiente se interpreta u en el sentido de que la part cula se ha muerto o extinguido.Generacin o 0 1 2 3 4

Figura 3.7: Sea la variable aleatoria que modela el n mero de descendientes de cada part u cula, y para cada n 0 dena Xn como el n mero de part u culas en la generacin n. o Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin pij = P (1 + + i = j), para i 1. o Si en alg n momento Xn = 0, entonces se dice que la poblacin de part u o culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha sido usado para determinar la probabilidad de extincin de la descendencia de una o persona.


33

Cadena de la la de espera. Considere una cola o l nea de espera de clientes que solicitan alg n tipo de servicio de un servidor. Suponga que el sistema es u observado en los tiempos discretos n = 0, 1, . . ., y que la la funciona del siguiente modo: Cuando hay alg n cliente esperando servicio al inicio de un periodo, el u cliente al frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ning n cliente en la la al inicio de alg n periodo, u u entonces ning n cliente es atendido. Para cada entero n 1 dena n como el u n mero de nuevos clientes que se incorporan a la la durante el periodo n. Bajo u ciertas condiciones es natural suponer que estas variables aleatorias son independientes, idnticamente distribuidas y con valores enteros no negativos. Suponga e P (n = k) = ak , con ak 0 y ak = 1. Sea X0 el n mero de clientes iniciales, u k=0 y para cada n 1 dena a Xn como el n mero de clientes en la la al nal del u periodo n. Las dos reglas de operacin se pueden escribir de la siguiente forma: o Xn+1 = n+1 Xn + n+1 1 si Xn = 0, si Xn 1.

Esto puede escribirse como Xn+1 = (Xn 1)+ + n+1 , en donde x+ = mx{x, 0}. a Por lo tanto el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin o pij = P ( = j) si i = 0, P ( = j i + 1) si i 1.

Es decir,

P =

a0 a0 0 0 . . .

a1 a1 a0 0 . . .

a2 a2 a1 a0 . . .

.

Cadena de inventarios. Suponga que se almacena un cierto n mero de bienes u en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P (n = k) = ak , para k = 0, 1, . . . con ak 0 y k ak = 1, es decir, la distribucin de n es la misma para cualquier n. El n mero de bienes en o u el almacn es revisado al nal de cada periodo y se aplica la siguiente pol e tica de reabastecimiento: Si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel

34

3.3. Ecuacion de Chapman-Kolmogorov

mximo S. Si al nal del periodo el n mero de bienes es mayor a s, entonces no a u hay ning n reabastecimiento. Naturalmente s < S. Sea Xn el n mero de bienes al u u nal del periodo n y justo antes de aplicar la pol tica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , 2, 1, 0, 1, 2, . . . , S}. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que sern cubiertas en el siguiente reabastecimiento. a El valor de Xn+1 en trminos de Xn se escribe de la forma siguiente: e Xn+1 = Xn n+1 S n+1 si s Xn < S, si Xn s.

Las probabilidades de transicin para esta cadena son o pij = P (Xn+1 = j | Xn = i) = P (n+1 = i j) = aij si s < i S,

P (n+1 = S j) = aSj

si i s.

La primera expresin corresponde al caso cuando no hay reabastecimiento, la proo babilidad de pasar de i a j es la probabilidad de que la demanda al nal de ese periodo sea de j i pues el nuevo nivel del almacn ser de i (i j) = j. La see a gunda expresin corresponde al caso cuando hay reabastecimiento y el nuevo nivel o ser de S (S j) = j, cuando la demanda sea S j. a

3.3.

Ecuacin de Chapman-Kolmogorov o

Esta ecuacin es una frmula sencilla y muy util que permite descomponer la proo o babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuacin de Chapman-Kolmogorov. Para cualesquiera n meros enteros r o u y n tales que 0 r n, y para cualesquiera estados i y j se cumple pij (n) =k

pik (r) pkj (n r).


35

Demostracin. Por el teorema de probabilidad total y la propiedad de Markov, o pij (n) = P (Xn = j | X0 = i) =k

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n r) pik (r).

=k

=k

Grcamente, las trayectorias que van del estado i al estado j en n pasos se desa componen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuacin es importante para hao cer ciertos clculos, y se usa con rea gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser utilizada ms a a adelante: Para cualquier estado k y para 0 r n, se tiene que pij (n) pik (r) pkj (n r). Como una consecuencia importante de la ecuacin o de Chapman-Kolmogorov se tiene el siguiente resultado. k j

i r Figura 3.8: n

Proposicin. La probabilidad de transicin en n pasos, pij (n), est dada por la o o a entrada (i, j) de la n-sima potencia de la matriz P , es decir, e pij (n) = (P n )ij .

Demostracin. Esta identidad es consecuencia de la ecuacin de Chapman-Kolmogorov o o aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de

36

3.3. Ecuacion de Chapman-Kolmogorov

la matriz resultante de multiplicar P consigo misma n veces. pij (n) =i1

pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)

=i1 ,i2

. . . = =i1 ,...,in1 (P n )ij .

pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)

En palabras este resultado establece que el problema de calcular las probabilidades de transicin en n pasos se transforma en obtener la n-sima potencia de la matriz o e de probabilidades de transicin en un paso, es decir, o np00 (n) . . .

Si se conoce esta matriz y si pi = P (X0 = i) es una distribucin inicial, entonces o la distribucin de Xn es P (Xn = j) = i pi pij (n). o Cuando una matriz estocstica P es diagonalizable, es decir, cuando puede ser a escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan fcilmente pues P n = QDn Q1 . Como D es diagonal, Dn es la matriz a con cada elemento de la diagonal elevado a la n-sima potencia. e Por ejemplo, vamos a ilustrar el proceso de diagonalizacin de una matriz estocstio a ca de dimensin dos. Consideremos nuevamente la cadena general de dos estados o1a b a 1b

p10 (n)

p01 (n) p11 (n) . . .

p00 = p10 . . .

p01 p11 . . .

.

P =

.

Los eigenvalores de esta matriz estn dados por la ecuacin |P I| = 0, y resultan a o ser 1 = 1 y 2 = 1ab. Los correspondientes eigenvectores escritos como vectores


37

rengln son (1, 1) y (a, b), respectivamente. La matriz Q esta compuesta por los o eigenvectores como columnas, y si se cumple que a + b > 0, entonces es invertible, es decir, 1 a 1 b 1 a+b b a 1 1

Q=

,

Q1 =

.

La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P = QDQ1 , es decir,1a b a 1b 1 1 a b 1 0 0 1ab

=

1 a+b

b 1

a 1

.

Por lo tanto,

Pn

= = =

Q Dn Q1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b

a a b b

Ejemplo. Toda matriz estocstica P con renglones idnticos es idempotente, es dea e cir, para cualquier entero n 1, se cumple que P n = P . Este es el caso de la cadena de variables aleatorias independientes.

3.4.

Comunicacin o

Deniremos a continuacin a la comunicacin entre dos estados de una cadena de o o Markov como la posibilidad de pasar de un estado a otro en algn n mero nito u u de transiciones.

38

3.4. Comunicacion

Denicin. Se dice que el estado j es accesible desde el estado i si existe un o entero n 0 tal que pij (n) > 0, esto se escribe simplemente como i j. Se dice adems que los estados i y j son comunicantes, y se escribe i j, si se a cumple que i j y j i. Observe que siempre se cumple que i i, pues por denicin pii (0) = 1. Adems o a observe que si ocurre que i j, la accesibilidad de i a j puede darse en un n mero u de pasos distinto que la accesibilidad de j a i. Grcamente la accesibilidad y la a comunicacin se representan, como lo hemos hecho antes en los ejemplos, mediante o echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicacin es una relacin de o o equivalencia, es decir, cumple las siguientes propiedades. a) Es reexiva: i i. b) Es simtrica: si i j, entonces j i. e c) Es transitiva: si i j y j k, entonces i k. En consecuencia, la comunicacin induce una particin del o o espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados pertenecen al mismo elemento de la particin si, y slo si, o o tales estados se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicacin. A la clase de o comunicacin de un estado i o se le denotar por C(i). Por a lo tanto, i j si, y slo si, o C(i) = C(j).Accesibilidad i j

Comunicacin o i j

Figura 3.9:

C(i)

C(j) S

Particin de un espacio de estados o en clases de comunicacin o

Figura 3.10: Ejemplo. La cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de probabilidades de transicin que se muestra en la Figura 3.11 tiene tres clases de comunio cacin que son C(0) = {0}, C(1) = {1, 2} y C(3) = {3}. Es evidente que el estado o 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega


39

a l mismo. Visualmente tampoco hay duda de que la segunda coleccin de estados e o es una clase de comunicacin. Para la clase C(3) no existe una conexin f o o sica del estado 3 consigo mismo, sin embargo, por denicin p33 (0) = 1, y ello hace que o esta clase de unicamente un estado sea de comunicacin. Observe que estas clases o de comunicacin conforman una particin del espacio de estados. o o

C(0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1

C(1)

3 C(3)

2

Figura 3.11:

Ejercicio. Dibuje un diagrama de transicin e identique las clases de comunicacin o o para las siguientes cadenas de Markov. a) P =0.3 0.4 0.5 0 0.6 0 0.7 0 0.5 0 0.2

Ejercicio. Cul es el n mero mximo y m a u a nimo de clases de comunicacin que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transicin ilustrando cada una de estas dos situaciones. o El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Por ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente. Denicin. Se dice que una cadena de Markov es irreducible si todos los estao dos se comunican entre s .

0.4 0.6 b) P = 0 00 0

0 0 1 0.3

0.8 0 0 0.7

40

3.5. Clases cerradas

En otras palabras, una cadena de Markov es irreducible si existe slo una clase de o comunicacin, es decir, si la particin generada por la relacin de comunicacin o o o o es trivial. Por ejemplo, la cadena de racha de xitos o la cadena de la caminata e aleatoria son cadenas irreducibles pues todos los estados se comunican entre s La . cadena de la Figura 3.11 no es irreducible pues no se cumple que todos los estados se comuniquen. Ejercicio. Dibuje el diagrama de transicin de una cadena de Markov que sea o a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible.

3.5.

Clases cerradas

Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov. Denicin. Una coleccin de estados no vac C es cerrada si ning n estao o a u do fuera de C es accesible desde alg n estado dentro de C , es decir, si para u cualquier i C y j C , i j. / / Por ejemplo, si i es un estado absorbente, entonces la coleccin {i} es claramente o una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicacin recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C o y j C con C recurrente, e i j, entonces necesariamente j i pues hemos / supuesto que i es recurrente. Por lo tanto i j, y entonces j C , contrario a la hiptesis j C . Por lo tanto no es posible salir de una clase de comunicacin o / o recurrente. El siguiente resultado es una especie de rec proco de lo que acabamos de mencionar. Proposicin. Toda coleccin de estados que es cerrada e irreducible es una clase o o de comunicacin. o


41

Demostracin. Sea C una coleccin no vac de estados que es irreducible y cerrada, o o a y sea i C . Entonces C C(i) pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicacin. o Como C es cerrada, no es posible salir de tal coleccin, de modo que la diferencia o C(i) C es vac si existiera j C(i) C , entonces i j, lo cual contradice el a, supuesto de que C es cerrada. Por lo tanto C = C(i).

3.6.

Periodo

El periodo es un n mero entero no negativo que se calcula para cada estado de u una cadena. Una interpretacin de este n mero ser mencionada ms adelante y o u a a aparecer tambin dentro de los enunciados generales sobre el comportamiento a e l mite de cadenas de Markov. Denicin. El periodo de un estado i es un n mero entero no negativo denoo u tado por d(i), y denido como sigue: d(i) = m.c.d. {n 1 : pii (n) > 0}, en donde m.c.d. signica mximo comn divisor. Cuando pii (n) = 0 para toda a u n 1, se dene d(i) = 0. En particular, se dice que un estado i es aperidico o si d(i) = 1. Cuando d(i) = k 2 se dice que i es peridico de periodo k. o Por ejemplo, considere una cadena de Markov con diagrama de transicin como en o la Figura 3.12. Es fcil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0. a

0

1

2

3

Figura 3.12: Ejercicio. Dibuje un diagrama de transicin, determine las clases de comunicacin o o y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov.

421/4 0 P = 0 0

3.6. Periodo 0 0 0 0 1/5 0 0 0 0 1/5 0 1 0 1 1/5 0 0 1/2 0 1/5 1 0 1/2 0 1/5

a)

1/4 1/2 0 0

1/4 1/2 0 1

1/4 0 1 0

Demostraremos a continuacin que el periodo es una propiedad de clase, es decir, o todos los estados de una misma clase de comunicacin tienen el mismo periodo. o De este modo uno puede hablar de clases de comunicacin peridicas, o clases o o aperidicas. o Proposicin. Si los estados i y j pertenecen a la misma clase de comunicacin, o o entonces tienen el mismo periodo.

b) P =

Demostracin. Claramente el resultado es vlido para i = j. Suponga entonces que o a i y j son distintos. Como los estados i y j estn en la misma clase de comunicacin, a o existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Sea s 1 un entero cualquiera tal que pii (s) > 0. Tal entero existe pues pii (n + m) pij (n) pji (m) > 0. Esto quiere decir que d(i)|s. Adems pjj (n + m + s) pji (m) pii (s)pij (n) > 0. a Anlogamente, pjj (n + m + 2s) pji (m) pii (2s) pij (n) > 0. Por lo tanto d(j)|(n + a m + s) y d(j)|(n + m + 2s). Entonces d(j) divide a la diferencia (n + m + 2s) (n + m + s) = s. Por lo tanto, todo entero s 1 tal que pii (s) > 0 cumple d(j)|s. Pero d(i) divide a s de manera mxima, por lo tanto d(i) d(j). De manera anloga, a a escribiendo i por j, y j por i, se obtiene d(j) d(i). Se concluye entonces que d(i) = d(j). El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situacin? El siguiente resultado establece que despus de un o e n mero sucientemente grande de pasos, con probabilidad positiva toda cadena u puede regresar a cada estado i cada d(i) pasos. Esta es la razn por la que a tal o n mero se le llama periodo. u Proposicin. Para cada estado i, existe un entero N tal que para toda n N , o se cumple pii (nd(i)) > 0.

Demostracin. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la o


43

armacin es vlida pues pii (0) = 1, sin embargo la interpretacin de recurrencia o a o peridica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros o tales que pii (n1 ) > 0, . . ., pii (nk ) > 0. Sea d = m.c.d.{n1 , . . . , nk } d(i). Como d(i) es divisor de cada entero n1 , . . ., nk , se tiene que d(i)|d, y por lo tanto existe un entero q tal que qd(i) = d. Ahora se hace uso del siguiente resultado cuya demostracin puede encontrarse en [19]. o Sean n1 , . . . , nk enteros no negativos y sea d = m.c.d.{n1 , . . . , nk }. Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md = c1 n1 + + ck nk . Entonces existe un entero no negativo M tal que para cada m M , md = c1 n1 + + ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto pii (md) = pii (c1 n1 + + ck nk ) pii (c1 n1 ) pii (ck nk ) > 0. Por lo tanto, para cada m M , pii (md) = pii (mqd(i)) > 0. Dena N = M q. Se puede entonces concluir que para toda n N , pii (nd(i)) > 0. Como corolario de la proposicin anterior se tiene el siguiente resultado: Si es o posible pasar de i a j en m pasos, entonces tambin es posible tal transicin en e o m + nd(j) pasos con n sucientemente grande, suponiendo d(j) > 0. Proposicin. Si pij (m) > 0 para alg n entero m, entonces existe un entero N o u tal que para toda n N se cumple pij (m + nd(j)) > 0. Demostracin. Por el resultado anterior, para n sucientemente grande, se tiene o que pij (m + nd(j)) pij (m) pjj (nd(j)) > 0.

3.7.

Primeras visitas

En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuacin o este tiempo aleatorio y despus demostraremos una frmula util que lo relaciona e o con las probabilidades de transicin. o

44

3.7. Primeras visitas

Denicin. Sea A un subconjunto del espacio de estados de una cadena de o Markov Xn . El tiempo de primera visita al conjunto A es la variable aleatoria A = m {n 1 : Xn A} n si Xn A para alg n n 1, u otro caso.

Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la coleccin de estados A, si ello eventualmente sucede. Estaremos interesados o principalmente en el caso cuando el conjunto A consta de un solo estado j, y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando i = j se escribe simplemente i . En general no es fcil a encontrar la distribucin de probabilidad de esta variable aleatoria, los siguientes o ejemplos, sin embargo, son casos particulares sencillos. Ejemplo. Considere la cadena de Markov de dos estados. Es inmediato comprobar que b) P (00 = n) = a(1 b)n2 b, para n = 2, 3, . . . Ejemplo. Para la cadena de racha de xitos se tiene que e a) P (01 = n) = q n1 p para n = 1, 2, . . . b) P (00 = n) = pn1 q para n = 1, 2, . . . Ejercicio. Demuestre las siguientes igualdades. a) P (ij = 1) = pij (1). b) P (ij = 2) =k=j

a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . .

pik (1) pkj (1). pik (1) P (kj = n),k=j

c) P (ij = n + 1) =

para n 1.


45

Denicin. Para cada n 1, el n mero fij (n) denota la probabilidad de que o u una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij (n) = P (ij = n). Adicionalmente se dene fij (0) = 0, incluyendo el caso i = j. Otra forma equivalente de escribir a la probabilidad de primera visita es a travs e de la expresin fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = i). En particular, o observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n-simo paso, y que fii (1) es simplemente pii . El uso de la letra f para esta e probabilidad proviene el trmino en ingls rst para indicar que es la probabilidad e e de primera visita, saber esto ayuda a recordar su signicado. El siguiente resultado establece que la probabilidad de visitar el estado j, a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el ultimo momento posible n. Proposicin. Para cada n 1, on

pij (n) =k=1

fij (k) pjj (n k).

(3.2)

Demostracin. La prueba se basa en la siguiente descomposicin que involucra o o eventos disjuntos. Se usa adems la propiedad de Markov. a pij (n) = =k=1 n

P (Xn = j | X0 = i)n

P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k) fij (k).

=k=1 n

=k=1

46

3.8. Recurrencia y transitoriedad

Ejercicio. Use (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij (n) P (ij n).

3.8.

Recurrencia y transitoriedad

Veremos a continuacin que los estados de una cadena de Markov pueden ser clasio cados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denicin. (I) Se dice que un estado i es recurrente si la probabilidad de o eventualmente regresar a i, partiendo de i, es uno, es decir, si P (Xn = i para alguna n 1 | X0 = i) = 1. Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg n mou mento nito, por la propiedad de Markov, se puede regresar a l una y otra vez con e probabilidad uno. Debido a este comportamiento es que al estado en cuestin se le o llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en l, ya no regrese nunca a ese estado. En e trminos de las probabilidades de primera visita, la probabilidad de una eventual e visita al estado j, a partir del estado i, es el n mero u fij = n=1

fij (n).

Recordemos que fij (n) es la probabilidad de que la primera visita al estado j, a partir de i, se efect e exactamente en el paso n. Siendo estos eventos disjuntos u para valores distintos de n, esta suma representa la probabilidad de una posible visita al estado j. De este modo la denicin de recurrencia y transitoriedad puede o enunciarse de manera equivalente de la siguiente forma.


47

Denicin. (II) Un estado i es recurrente si fii = 1, es decir, si la probabilidad o de regresar a l en un tiempo nito es uno. Anlogamente, un estado i es e a transitorio si fii < 1. Adems de la denicin, tenemos el siguiente criterio util para determinar si un a o estado es recurrente o transitorio. Proposicin. (Criterio para la recurrencia) El estado i es o 1. recurrente si, y slo si o 2. transitorio si, y slo si o n=1 n=1

pii (n) = . pii (n) < .

Demostracin. Sea Ni la variable aleatoria que cuenta el n mero de veces que el o u proceso regresa al estado i, es decir, Ni = n=1 1(Xn =i) , cuando X0 = i. Entonces Ni tiene una distribucin geomtrica pues para k 1, o e P (Ni k | X0 = i) = = m=1 m=1 m=1

P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i) P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k 1 | X0 = i) fii (m)

=

= P (Ni k 1 | X0 = i) fii . . . = P (Ni 1 | X0 = i) (fii )k1 = (fii )k . La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos

48formas. Primero,


E(Ni | X0 = i) = =

k=1 k=1

P (Ni k | X0 = i) (fii )k si 0 fii < 1, si fii = 1.

Por otro lado, por el teorema de convergencia montona, o E(Ni | X0 = i) = = = n=1 n=1 n=1

fii 1 fii =

E(1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n).

El resultado se sigue de igualar estas dos expresiones. Siguiendo con la notacin de la demostracin anterior, observe que la esperanza o o E(Ni | X0 = i) es el n mero promedio de retornos al estado i, de modo que un u estado i es recurrente si, y slo si, el n mero promedio de retornos a l es innito. o u e En contraparte, un estado i es transitorio si, y slo si, el n mero promedio de o u retornos a l es nito. e Ejemplo. Considere una caminata aleatoria sobre Z. En el primer cap tulo demos tramos que n=0 f00 (n) = 1 |p q|. De aqu hemos concluido que el estado 0 es recurrente en el caso simtrico. Siendo la cadena irreducible, la cadena toda es recue rrente. Alternativamente, hemos encontrado tambin la frmula pii (n) = 12n 21 , e o n 2 para n par. Estimando los factoriales mediante la frmula de Stirling, puede como probarse que p00 (n) = , conrmando nuevamente la recurrencia del estado n=0 0 y de la cadena, en el caso simtrico. La cadena es transitoria cuando es asimtrica. e e


49

Demostraremos a continuacin que la recurrencia y la transitoriedad son propieo dades de clase, es decir, si dos estados estn en una misma clase de comunicacin, a o entonces ambos estados son recurrentes o ambos son transitorios. Proposicin. La recurrencia es una propiedad de clase, es decir, o 1. Si i es recurrente e i j, entonces j es recurrente. 2. Si i es transitorio e i j, entonces j es transitorio.

Demostracin. Como i j, existen enteros n 1 y m 1 tales que pij (n) > 0 o y pji (m) > 0. Entonces pjj (m + n + r) pji (m) pii (r) pij (n). De modo que, por la ecuacin de Chapman-Kolmogorov, o r=1

pjj (m + n + r) pji (m)

r=1

pii (r) pij (n).

Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambin lo es, es decir, j es recurrente. La segunda armacin e o se demuestra fcilmente por contradiccin usando el primer resultado. a o En consecuencia, cuando una cadena es irreducible y alg n u estado es recurrente, todos los estados estados estados lo son, y se dice que la recurrentes transitorios cadena es recurrente. Tambin e puede presentarse la situacin o en donde el espacio de estados Descomposicin del espacio de estados o conste de varias clases de coFigura 3.13: municacin recurrentes, en tal o caso la cadena tambin se llae ma recurrente. En contraparte, una cadena es transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicacin de estados transitorios o o varias de ellas. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal particin se muestra en la Figura 3.13. o Cada uno de estos subconjuntos puede constar de ninguna, una o varias clases de comunicacin. o

50


Ejemplo. La cadena de dos estados es irreducible y recurrente cuando a, b (0, 1). En efecto, tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, f00 = n=1

f00 (n) = (1 a) + ab

n=2

(1 b)n2 = (1 a) +

ab = 1. b

Ejemplo. Considere la cadena de rachas de xitos. En este caso es sencillo demostrar e que el estado 0 es recurrente pues f00 = n=1

f00 (n) = q(1 + p + p2 + ) =

q = 1. 1p

Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente. Ejercicio. Determine las clases de comunicacin de las siguientes cadenas de Maro kov y clasique stas como recurrentes o transitorias. e a) P =1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2

Ejercicio. Dibuje un diagrama de transicin de una cadena de Markov tal que: o a) todos sus estados sean recurrentes. b) todos sus estados sean transitorios. c) tenga igual n mero de estados transitorios y recurrentes. u Veremos a continuacin algunos ejemplos de aplicacin del criterio anterior. o o Proposicin. Sea j un estado transitorio. Para cualquier estado inicial i, se o cumple que n=1 pij (n) < . En consecuencia, l pij (n) = 0. mn

0 b) P = 0

1/4

1/2 1/2 1/2 1/4

0 1/2 1/2 1/4

0 0 0 1/4

Cap tulo 3. Cadenas de Markov Demostracin. Usando (3.2), por el teorema de Fubini, o n=1

51

pij (n)

= =

n1

n=1 k=0 k=0 m=1

fij (n k) pjj (k) = fij (m) pjj (k) = fij

k=0 n=k+1 k=0

fij (n k) pjj (k) k=0

pjj (k)

pjj (k) < .

Proposicin. Toda cadena de Markov nita tiene por lo menos un estado recuo rrente. Demostracin. Por contradiccin, suponga que todos los estados son transitorios. o o Entonces para cualesquiera estados i y j, se cumple pij (n) < . Sumando n=1 sobre el conjunto nito de todos los posibles estados j se obtiene j n=1 pij (n) < . Por otro lado, intercambiando el orden de las sumas se llega a la armacin o contraria, pij (n) = 1 = . Por lo tanto es errneo suponer que o n=1 j n=1 todos los estados son transitorios, debe existir por lo menos uno que es recurrente.

En consecuencia, toda cadena nita e irreducible es recurrente. Ms adelante dea mostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.

3.9.

Tiempo medio de recurrencia

Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Y hemos denido el e tiempo de primera visita a un estado j, a partir de cualquier estado i, como la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}, con la posibilidad n de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente.

52

3.10. Numero de visitas

Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) = n=1

nfij (n).

Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j, se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el n mero de pasos promedio que a la cadena le toma regresar u al estado recurrente j. Ejemplo. La cadena de Markov de dos estados es irreducible y recurrente cuando a, b (0, 1). Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, 0 = n=1

nf00 (n) = = =

(1 a) + ab

n=2

n(1 b)n2

(1 a) + ab (

b+1 ) b

a+b . b De manera anloga, o bien intercambiando los valores de a y b, se encuentra que a 1 = (a+b)/a. Observe que 1/0 +1/1 = 1, ms adelante explicaremos la razn de a o ello. Observe tambin que estos dos tiempos medios de recurrencia son, en general, e distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente idnticos para cada elemento de una misma clase de comunicacin e o recurrente.

3.10.

N mero de visitas u

En esta seccin vamos a estudiar la variable aleatoria que registra el n mero de o u visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para

Cap tulo 3. Cadenas de Markov cualquier tiempo nito n se dene la variable aleatorian

53

Nij (n) =k=1

1(Xk =j) ,

cuando X0 = i.

Cuando los estados i y j coinciden, se escribe Ni (n) en lugar de Nii (n). Observe que 0 Nij (1) Nij (2) , es decir, se trata de una sucesin montona creciente o o de variables aleatorias no negativas que converge casi seguramente a la variable Nij = k=1

1(Xk =j) ,

cuando X0 = i.

Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes. Proposicin. Para cualesquiera estados i y j, o 1. P (Nij k) = 2. P (Nij = k) = 1 fij (fjj )k1 si k = 0, si k 1. si k = 0, si k 1. fij = 0, 0 fjj < 1, fij = 0 y fjj = 1.

3. E(Nij ) =

n=1

4. P (Nij = ) = 5. P (Nij < ) =

1 fij fij (fjj )k1 (1 fjj ) si 0 fij si pij (n) = 1 fjj si 0 fij 1 1 fij

si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.

Demostracin. o

54

3.10. Numero de visitas 1. La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa anlisis del primer paso, a P (Nij k) = = = n=1

fij (n) P (Njj k 1)

fij P (Njj k 1) fij (fjj )k1 .

2. Este resultado se sigue de la primera frmula y de la igualdad P (Nij = k) = o P (Nij k) P (Nij k + 1). 3. Por el teorema de convergencia montona, o E(Nij ) = = = E( n=1 n=1 n=1

1(Xn =j) | X0 = i)

E(1(Xn =j) | X0 = i) pij (n).

Por otro lado, usando la primera frmula o E(Nij ) = = k=1 k=1

P (Nij k) fij (fjj )k1 si fij = 0, si 0 fjj < 1, si fij = 0 y fjj = 1.

=

4. Por la primera frmula, o

0 fij 1 fjj k k

P (Nij = ) = = =

l P (Nij k) m 0 fij si j es transitorio, si j es recurrente.

l fij (fjj )k1 . m

Cap tulo 3. Cadenas de Markov 5. Esta probabilidad es el complemento de la anterior.

55

Distribucin de probabilidad de la variable Nij . La variable aleatoria discreta o Nij toma valores en el conjunto {0, 1, . . . , }. La funcin de probabilidad que o hemos encontrado para esta variable incluye los siguientes casos: a) Si fij = 0, entonces no es posible visitar j a partir de i, y por lo tanto P (Nij = 0) = 1, es decir la probabilidad se concentra completamente en el valor 0. b) Si fij > 0 y fjj = 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P (Nij k) = fij , y por lo tanto P (Nij = ) = fij . Mientras que P (Nij = 0) = 1fij . Se trata entonces de una medida de probabilidad concentrada en los valores 0 e . c) Si fij > 0 y fjj < 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la frmula 2. o Recurrencia, transitoriedad y n mero esperado de visitas. A partir de u estas frmulas podemos ahora distinguir el comportamiento del n mero de visitas o u en los casos cuando el estado j es transitorio o recurrente. a) Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza slo un n mero nito de visitas al estado j, esto es lo que o u dice la frmula 5, y el n mero esperado de visitas a tal estado es siempre nito o u por la frmula 3 con fjj < 1, es decir, E(Nij ) = n=1 pij (n) < . Por lo tanto, o encontramos nuevamente que l pij (n) = 0. mn

b) Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la frmula 4 con fij = fjj = 1, o y el n mero esperado de visitas al estado j es innito. Si la cadena inicia en cualquier u otro estado i, entonces existe la posibilidad de que la cadena nunca visite j (fij = 0), y el n mero esperado de visitas es naturalmente cero (frmula 3 con fij = 0). Pero u o si la cadena visita j alguna vez (fij > 0), entonces regresar a j una innidad de a veces, y el n mero esperado de visitas al estado j es innito por la frmula 3 con u o fij > 0 y fjj = 1. Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en trminos de la convergencia o divergencia de la serie e pii (n). En vista de la frmula 3 ahora podemos corroborar que un estado i o n=1

56


es recurrente si, y slo si, el n mero de regresos a l es innito, y es transitorio o u e si, y slo si, el n mero de regresos es nito. Tambin en particular, la frmula 4 o u e o demuestra que toda cadena de Markov irreducible y recurrente, visita cada uno de sus estados una innidad de veces con probabilidad uno. Ejemplo. La cadena de racha de xitos es irreducible y recurrente. Por lo tanto con e probabilidad uno visita cada uno de sus estados una innidad de veces. Ejemplo: El problema del mono. Suponga que un mono escribe caracteres al azar en una mquina de escribir. Cul es la probabilidad de que eventualmente el mono a a escriba exactamente, y sin ning n error, las obras completas de Shakespeare? Puede u encontrarse la respuesta a esta pregunta de varias formas [30]. Usaremos la teor a de cadenas de Markov para demostrar que esta probabilidad es uno. Imaginemos entonces que un mono escribe caracteres al azar en una mquina de escribir, y que a lo hace de manera continua generando una sucesin lineal de caracteres. Cada uno o de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el n mero de caracteres correctos obtenidos inmediatamenu te antes e incluyendo el ultimo momento observado n, es decir, se trata de un mo delo de rachas de xitos. Es claro que las variables Xn toman valores en el conjunto e {0, 1, 2, . . . , N }, y dado que los caracteres se generan de manera independiente, el valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m, y P (Xn+1 = 0 | Xn = x) = (m 1)/m. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1, y denotaremos a la probabilidad de tal evento por p. La segunda igualdad reeja la situacin de cometer un error en el o siguiente caracter generado cuando ya se hab obtenido x caracteres correctos, an tal probabilidad ser denotada por q. Las posibles transiciones de un estado a otro a y las correspondientes probabilidades se muestran en la Figura 3.14. Tcnicamente e existen algunas otras posibles transiciones de algunos estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo. Como puede observarse, se trata de una matriz nita e irreducible pues todos los estados se comunican. Por lo tanto es recurrente. Entonces con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesin exitosa o de caracteres, y ello suceder una innidad de veces con probabilidad uno. a


57

0 P = q q . . . q q p 0 . . . 0 p 0 p . . . 0 0 0 0 0 0 0 0 . . . p 0

1

2

3

N

Figura 3.14:

Teorema ergdico para cadenas de Markov. Para cualesquiera estados i o y j de una cadena de Markov irreducible se cumple que l m Nij (n) 1 = n j c.s. (3.3)

n

siendo este l mite cero cuando j = . Demostracin. Si la cadena es transitoria, entonces ambos lados de la igualdad se o anulan. Suponga que la cadena es recurrente. El tiempo de primera visita al estado j a partir de i es ij = m {n 1 : Xn = j | X0 = i}. Dada la recurrencia e n irreducibilidad, P (ij < ) = 1, y entonces para cualquier n 1 se cumple la identidad Nij (ij + n) = 1 + Njj (n).

58


Por lo tanto es suciente demostrar la convergencia para Njj (n)/n pues Nij (ij + n) ij + n 1 + Njj (n) = l m n ij + n Njj (n) n = l m n n ij + n Njj (n) = l m . n n Sea Y (k) la variable que registra el n mero de pasos que transcurren entre la visita u k 1 y la visita k que la cadena realiza al estado j. Sabemos que el tiempo medio de recurrencia es E(Y (k)) = j , para j = 1, 2, . . ., y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1), Y (2), . . . son independientes. Se tienen entonces las siguientes estimacionesn

l m

Nij (n) n

=

n

l m

Y (1) + + Y (Njj (n)) n Y (1) + + Y (Njj (n) + 1) . Njj (n) Njj (n) Njj (n) Por la recurrencia, Njj (n) , cuando n , de modo que por la ley de los grandes n meros, los dos extremos de esta desigualdad convergen a j casi u seguramente. Por lo tanto,n

l m

Njj (n) 1 = n j

c.s.

Interpretacin: Para una cadena de Markov irreducible, el n mero j = 1/j o u es el tiempo promedio que la cadena permanece en el estado j a largo plazo. Tomando esperanza en (3.3), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que E( l mn

Nij (n) ) n

1 E(Nij (n)) n n 1 = l m pij (k) n n =n

l m

k=1

=

1 . j


59

En particular, cuando el tiempo medio de recurrencia j es innito, y a n ms u a particularmente cuando el estado j es transitorio, se tiene que l m 1 nn

n

pij (k) = 0.k=1

3.11.

Recurrencia positiva y nula

Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Sin embargo, esta recue rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es nito o cuando es innito. Esto lleva a la denicin de recurrencia positiva y o recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado i, es la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}. Recordemos n que cuando el tiempo de primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) = n=1

nfij (n).

Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicacin de estados recurrentes. o Denicin. Se dice que el estado recurrente i es o a) recurrente positivo si i < . b) recurrente nulo si i = .

60

3.11. Recurrencia positiva y nula

Demostraremos a continuacin que la recurrencia positiva y la recurrencia nula son o propiedades de las clases de comunicacin. Es decir, dos estados en una misma clase o de comunicacin recurrente, son ambos recurrentes positivos o recurrente nulos. o Proposicin. (La recurrencia positiva o nula es una propiedad de clase). o Sea i un estado recurrente. Entonces a) si i es recurrente positivo e i j, entonces j es recurrente positivo. b) si i es recurrente nulo e i j, entonces j es recurrente nulo. Demostracin. Observe que es suciente demostrar cualquiera de estas armacioo nes. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es decir, i es recurrente y es tal que i < . Como i j, se tiene que j es tambin un e estado recurrente. Adems existen enteros no negativos n y m tales que pij (n) > 0 a y pji (m) > 0. Entonces para cualquier entero natural k, pjj (n + m + k) pji (m) pii (k) pij (n). Sumando para k = 1, . . . , N , y dividiendo entre N , 1 NN N

k=1

pjj (n + m + k) pji (m)

1 N

pii (k) pij (n).k=1

Haciendo N se obtiene

1 1 pji (m) pij (n) > 0. j i

Por lo tanto tambin j es nito, es decir, j es recurrente positivo. e De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una, o varias clase de comunicacin. o Ejemplo. En el primer cap tulo demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0 = 4pq n f00 (n) = . 1 4pq n=0


61

estados transitorios

estados recurrentes nulos

estados recurrentes positivos

Descomposicin del espacio de estados o

Figura 3.15: En el caso simtrico, es decir, en el caso en el que la cadena es recurrente, este e cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula. Ejemplo. Demostraremos ahora que la cadena de Markov de rachas de xitos es e recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0 = n=1

n f00 (n) =

n=1

n (1 p)pn1 = (1 p)

n=1

n pn1 =

1 < . 1p

Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del clculo de las probabilidades a de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas slo puede haber dos tipos o de estados: transitorios o recurrentes positivos. Proposicin. No existen estados recurrentes nulos en cadenas de Markov nitas. o

Demostracin. Sea j un estado recurrente y sea C su clase de comunicacin. La o o clase C es cerrada y adems es nita pues la cadena completa lo es. Demostraremos a

62

3.12. Evolucion de distribuciones

que j < . Para cualquier i C, y k natural, pij (k) = 1.jC

Entonces 1 nn

pij (k) =k=1 jC jC

1 n

n

pij (k) = 1.k=1

Haciendo n , por el teorema ergdico aplicado a la clase cerrada C se obtiene ojC

1 = 1. j

Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j < , pues de lo contrario cada sumando ser cero y la suma total no a podr ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado a que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.

3.12.

Evolucin de distribuciones o

Una matriz estocstica establece una dinmica en el conjunto de las distribucioa a nes de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situacin de manera simple consideraremos un o espacio de estados nito {0, 1, . . . , N }, y una distribucin de probabilidad inicial o (0) = (0 (0), 1 (0), . . . , N (0)). Despus de transcurrida la primera unidad de e tiempo, la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribucin (1) = (0 (1), 1 (1), . . . , N (1)), en donde la j-sima entrada de o e

Cap tulo 3. Cadenas de Markov este vector es j (1) = =i=0

63

P (X1 = j)N

P (X1 = j | X0 = i)P (X0 = i)

= =

0 (0) p0j + 1 (0) p1j + + N (0) pN j ((0) P )j .

Es decir, (1) se obtiene a partir de (0) y de la matriz de probabilidades de transicin P a travs de la frmula (1) = (0) P , o e o A su vez la distribucin (1) se transforma en (2) a travs de la ecuacin (2) = o e o (1) P = (0) P 2 , y as sucesivamente. En general, (n + 1) = (n) P = (0) P n+1 . De esta forma se obtiene una sucesin innita de distribuciones de probabilidad o (0), (1), (2), . . ., en donde cada una de ellas, excepto la primera, es obtenida de la anterior multiplicada por la derecha por la matriz de probabilidades de transicin o en un paso. Por ejemplo, considere la matriz estocstica a P =0 0 1/2 1 0 1/2 0 1 0

(0 (1), . . . , N (1)) = (0 (0), . . . , N (0))

p00 . . . pN0

p0N . . . . pNN

con distribucin inicial (0) = (0.1, 0, 0.9). Las subsecuentes distribuciones se calo culan a continuacin y las grcas aparecen en la Figura 3.16. o a (1) = (2) = (3) = (4) = . . . (0) P 1 = (0.45, 0.55, 0) (0) P 2 = (0, 0.45, 0.55) (0) P 3 = (0.275, 0.275, 0.45) (0) P 4 = (0.225, 0.5, 0.275)

Es natural preguntarse si existe alg n l u mite para esta sucesin de distribuciones. o En las siguientes secciones estudiaremos tal problema y encontraremos condiciones

64

3.13. Distribuciones estacionarias

(0)

(1)

(2)

(3)

(4)

1

1

1

1

1

0 1 2

0 1 2

0 1 2

0 1 2

0 1 2

Figura 3.16: bajo las cuales existe un unico l mite para esta sucesin. Estudiaremos a continuao cin el caso particular cuando la distribucin inicial no cambia al ser multiplicada o o por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.

3.13.

Distribuciones estacionarias

Denicin. Una distribucin de probabilidad = (0 , 1 , . . .) es estacionaria o o o invariante para una cadena de Markov con probabilidades de transicin pij o si j = i pij .i

En trminos matriciales, es estacionaria si = P . e La condicin = P tiene como consecuencia el hecho de que para cualquier o n mero natural n 1, se cumpla que = P n , es decir, es tambin una u e distribucin estacionaria para la matriz P n . Esto signica que si la variable aleatoria o inicial X0 tiene esa distribucin , entonces la distribucin de Xn tambin es pues o o e P (Xn = j) = i i pij (n) = j , es decir, esta distribucin no cambia con el paso o del tiempo y por ello que se le llama estacionaria o invariante. Observe que el vector de ceros cumple la condicin = P , pero no correspono de a una distribucin de probabilidad. Los siguientes ejemplos muestran que las o distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. Ejemplo: Existencia mltiple. Considere una cadena de Markov sobre el conjunto u


65

de estados {0, 1, 2} y con probabilidades de transicin dada por la siguiente matriz o P =1 1/3 0 0 1/3 0 0 1/3 1

.

Es inmediato comprobar que el vector = (1 , 0, ) satisface el sistema de ecuaciones = P para cada con [0, 1]. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el vector (1 , 0, ) se puede escribir como la combinacin lineal (1 )(1, 0, 0) + (0, 0, 1). o Ejemplo: No existencia. No existe ninguna distribucin estacionaria para la cao minata aleatoria simtrica simple sobre Z pues la condicin = P se trae o duce en el sistema de ecuaciones en diferencias j = j1 /2 + j+1 /2. O bien j+1 j = j j1 . Sumando estas ecuaciones puede encontrarse que para todo entero n 1, n+1 0 = n(1 0 ). El lado izquierdo es acotado mientras el lado derecho crece sin l mite cuando n es grande, a menos que 1 0 = 0. Esto demuestra que todas estas diferencias son cero, y por lo tanto j es constante para cualquier valor de j. Es decir, el vector constante es la solucin al sistema o de ecuaciones en diferencias planteado, pero ello es incompatible con la restriccin o j = 1. Por lo tanto no existe ninguna distribucin de probabilidad que cumo j pla la igualdad = P para esta cadena. Ejemplo: Existencia unica. La cadena de Markov de dos estados dada por la matriz P =1a b a 1b

b a tiene una unica distribucin estacionaria dada por = (0 , 1 ) = ( a+b , a+b ), cuan o do a + b > 0. Cuando a = b = 0, la matriz resultante es la matriz identidad que acepta como distribucin estacionaria a cualquier distribucin de probabilidad soo o bre {0, 1}.

Observacin 1: Para encontrar una posible distribucin estacionaria de una cadena o o con matriz P , un primer mtodo consiste en resolver el sistema de ecuaciones e = P . Ms adelante expondremos una forma alternativa de buscar distribuciones a estacionarias para cadenas reversibles. Observacin 2: Suponga que y son dos distribuciones estacionarias distintas o para una matriz P . Entonces la combinacin lineal convexa + (1 ) , para o

66

3.13. Distribuciones estacionarias

[0, 1], tambin es una distribucin estacionaria pues e o

( + (1 ) ) P = P + (1 ) P = + (1 ) .

Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existen una innidad de ellas. Observacin 3: Con base en las observaciones anteriores y en los ejemplos moso trados, slo hay tres situaciones sobre la existencia de distribuciones estacionarias o para una cadena de Markov cualquiera: a) No existe ninguna distribucin estacionaria. o b) Existe una distribucin estacionaria y es unica. o c) Existen una innidad de distribuciones estacionarias. Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribucin o estacionaria. Primeramente demostraremos que cuando existe una distribucin eso tacionaria, sta tiene como soporte el conjunto de estados recurrentes positivos. e Proposicin. (Soporte de una distribucin estacionaria). Sea una distribucin o o o estacionaria. Si j es un estado transitorio o recurrente nulo, entonces j = 0.

Demostracin. Usaremos el hecho de que si j es un estado transitorio o recurrente o nulo, entonces para cualquier estado i,n

l m

1 n

n

pij (k) = 0.k=1

Como es una distribucin estacionaria, o j =i

i pij i pij (k)i

= = =i

1 n

n

i pij (k)k=1 i

i (

1 n

n

pij (k) )k=1


67

Tomando el l mite cuando n , por el teorema de convergencia dominada, se obtiene n 1 pij (k) ) = 0. j = i ( l m n n ik=1

El resultado anterior nos ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria simtrica simple no tiene distribucin estacionaria pues se trata de e o una cadena cuyos estados son todos recurrentes nulos. Ahora se presentan dos condiciones que en su conjunto garantizan la existencia y unicidad de una distribucin o estacionaria. Proposicin. (Existencia

procesos

Documents