Procesos Estocasticos 1. Tarea 1Dra. Begona Fernandez Fernandez

Instrucciones: Resuelva los siguientes problemas justificando sus respuestas. Entregue los resultadosde los ejercicios 1, 2, 5, 6, 10, 11, 12, 17, 19 y 22, por equipos de 4 o 5 integrantes, en un formato limpioy ordenado.

1. Se lanza un dado repetidas veces. Diga cual de los siguientes procesos es una cadena de Markov ycual es su matriz de transicion de probabilidades.

a) El numero mas grande obtenido hasta el lanzamiento n.

b) El numero de veces que se obtuvo seis en n lanzamientos.

c) El numero de lanzamientos efectuados desde el seis mas reciente.

d) Al tiempo n, el tiempo transcurrido hasta el proximo seis.

2. Una partıcula se mueve en {1, 2, ..., c + d}, con c y d enteros positivos. En cada tiempo n, si lapartıcula esta en uno los primeros c estados, salta a uno de los ultimos d estados uniformemente (conprobabilidad 1/d), y si esta en cualquiera de los d ultimos estados la partıcula salta uniformemente(con probabilidad 1/c) a cualquiera de los primeros c estados. Para cada n ≥ 1 sea Xn la posicion dela partıcula al tiempo n. Calcule la matriz de probabilidades de transicion de la cadena de MarkovXn, n ≥ 1.

3. Cadena de fila de espera: Consideremos la ventanilla de un banco. En este tipo de lugares la gentellega de manera aleatoria a solicitar un servicio, y es despachada tambien de manera aleatoria, loque provoca la formacion de una fila de espera. Existen varias formas de modelar este fenomeno,consideremos una de las mas basicas.

Consideremos la medicion del tiempo en periodos de un minuto. Supongamos que si hay gente enla fila al inicio de un periodo entonces se atiende a una persona durante el mismo. Si no hay genteen la fila al inicio del periodo, nadie sera atendido durante este. Sea ξn el numero de clientes quellegan durante el n-esimo periodo. Supongamos que ξ1, ξ2, ... son variables aleatorias i.i.d. que tomanvalores en Z+.

Supongamos que X0 denota el numero de clientes en la fila al inicio, y sea Xn el numero de clientespresentes en la fila al final del n-esimo periodo. ¿Cual es el espacio de estados de esta cadena?,Muestra la matriz de probabilidades de trancision del modelo. Justifica tu respuesta.

4. Sea {Xn}n≥0 una cadena de Markov con probabilidades de transicion Pi,j . Sea m > 0 un ente-ro fijo. Demuestre que los siguientes procesos son cadenas de Markov y encuentre su funcion deprobabilidades de transicion.

a) Yn = Xn+m

b) Zn = Xnm

5. Considere un experimento donde inicialmente se tienen 2 cajas y 2d bolas, d bolas de color negroy d bolas de color blanco, en la caja 1 hay d bolas (no necesariamente del mismo color) y en lasegunda caja las restantes. Tomaremos aleatoriamente una bola de cada caja y se colocaran en lacaja opuesta de donde se tomaron. Realizaremos estos ensayos varias veces consecutivas. Denotamospor Xn al numero de bolas negras en la caja 1 despues del ensayo n.

Demuestre que Xn es una cadena de Markov y encuentre su matriz de probabilidades de transicion.

1

6. Considera la cadena Markov con espacio de estados E = {0, 1, 2, 3, 4, 5} con matriz de transicion:

P =

1/2 1/2 0 0 0 01/3 2/3 0 0 0 00 0 1/8 0 7/8 0

1/4 1/4 0 0 1/4 1/40 0 3/4 0 1/4 00 1/5 0 1/5 1/5 2/5

a) Clasifica los estados en recurrentes y transitorios.

b) Encuentra ρ{0,1}(i), i = 0, . . . , 5.

7. Determine los estados transitorios y recurrentes para la siguiente matriz de transicion y calcule ρ0i

para i = 0, 1, ..., 6.

P =

1/2 0 1/8 1/4 1/8 0 00 0 1 0 0 0 00 0 0 1 0 0 00 1 0 0 0 0 00 0 0 0 1/2 0 1/20 0 0 0 1/2 1/2 00 0 0 0 0 1/2 1/2

8. Considere un cadena de Ehrenfest con N = 3. Encuentre:

a) Pi(T0 = n), 1 ≤ n ≤ 3, para cualquier i en el conjunto de estados.

b) P, P2 y P3.

c) π1, π2 y π3, suponga π0 =

(1

4,1

4,1

4,1

4

).

9. Considere una cadena de Markov sobre los enteros no negativos con matriz de transicion:

P =

q0 po 0 0 0 0 ...q1 0 p1 0 0 0 ...0 q2 0 p2 0 0 ...0 0 q3 0 p3 0 ...

...

Demuestre que si pi ≤ qi para i ≥ 1, entonces la cadena es recurrente.

10. Una cadena de Markov que surge de los estudios de genetica tiene espacio de estados E = 0, 1, ..., dy funcion de transicion:

Pi,j =

(d

j

)(i

d

)j (1− i

d

)d−j

Encuentre ρ0(i), 0 < i < d

11. Considere una Cadena de Markov con espacio de estados E = {0, 1, 2, 3, 4} y matriz de probabili-dades de transicion:

1 0 0 0 00 1/2 1/2 0 0

1/5 1/5 1/5 2/5 00 0 0 0 10 0 0 1/2 1/2

2

a) Encuentre todos los conjuntos cerrados irreducibles.

b) Sea C un conjunto cerrado irreducible y

TC =

{ınf{n > 0|Xn ∈ C}, si {n > 0|Xn ∈ C} 6= ∅,∞, en otro caso .

Calcule ρC(2) = P (Tc < ∞|X0 = 2) para cada conjunto cerrado irreducible C del incisoanterior.

12. Cadena de Rachas: Considera una cadena de Markov con espacio de estados E = {0, 1, ...}. Si lacadena esta en el estado i, puede ir al estdo i+1 con probabilidad p o al estado cero con probabilidad1− p.

a) Calcula P0[T0 = n].

b) Demuestra que la cadena es irreducible y recurrente.

13. Sea {Xn}n≥0 una cadena de Markov con espacio de estados E , un subconjunto de los naturales, ycon funcion de transicion de probabilidades P , que cumple:∑

j

jPi,j = Ai+B; i ∈ E

Para algunas A y B constantes. Demuestre que:

a) E[Xn+1] = AE[Xn] +B

b) Si A 6= 1, entonces:

E[Xn] =B

1−A+An

(E[X0]− B

1−A

)14. Sea {Xn}n≥0 una cadena de ramificacion con variable asociada u y con E[u] = µ. Demuestre que:

Ei[Xn] = iµn

Ayuda: Use el ejercicio anterior

15. Sea {Xn}n≥0 una cadena de ramificacion con variable asociada u de varianza finita, con V ar[u] = σ2

y E[u] = µ. Demuestre que:

a) E[X2n+1|Xn = i] = iσ2 + i2µ2

b) Ei[X2n+1] = iµnσ2 + µ2Ei[X

2n]

c) Ei[X2n] = iσ2(µn−1 + ...+ µ2(n−1)) + i2µ2n

d) Si hay i partıculas inicialmente entonces:

V ar[Xn] =

iσ2µn−1

(1− µn

1− µ

)si µ 6= 1

inσ2 si µ = 1

Ayuda: Use el ejercicio anterior

16. Si ρi,j = Pi [Tj <∞], verifica las siguientes identidades:

a) Pi [Tj ≤ n+ 1] = Pij +∑

k 6=j Pk [Tj ≤ n]Pi,k

b) ρi,j = Pi,j +∑

k 6=j ρk,jPi,k

3

17. Sea {Xn}1≤n es una cadena de Markov con espacio de estados E = {0, 1, 2, ..., d} con funcion detransicion P tal que:

d∑j=0

jPij = i; i ∈ E

a) Calcula E [Xn+1|X0 = i0, ..., Xn = in].

b) Demuestra que 0 y d son estados absorbentes.

c) Supongamos que 0 y d son los unicos estados absorbentes. Demuestra que los demas estadosson transitorios.

18. Demuestre que ρij > 0⇔ Pnij > 0 para algun entero positivo n.

19. Demuestre queρii = Pi[Ti <∞] = 1⇔ P [∃ m ∈ N|Pm

ii = 1] = 1,

es decir, existen dos formas de decir que i es recurrente.

20. Se dice que dos estados (distintos) de una cadena de Markov son simetricos si:

Pi[Tj < Ti] = Pj [Ti < Tj ]

Sean i y j dos estados simetricos. Demuestra que, dado X0 = i, el numero esperado de visitas alestado j antes de que la cadena vuelva a visitar el estado i es igual a uno.

21. Sea {Xn}n≥0 una cadena de Markov con espacio de estados E y i, j ∈ E . Demuestre que:

a) ρi,j > 0 si y solo si Pni,j > 0 para alguna n ≥ 1.

b) ρi,j > 0 y ρj,k > 0, entonces ρi,k > 0.

22. En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar las primas de seguro deautomovil conocido como Bonus-Malus que consiste de 6 clases de tarificacion, de 1 a 6, que se rigepor las siguientes reglas: si un asegurado no tuvo siniestros durante el periodo, entonces pasa de lacategorıa i a la categorıa max{1, i− 1}, si el asegurado tiene al menos un siniestro entonces pasa dela categorıa i a la 6.

Si Xn denota la categorıa en cual se encuentra un individuo al periodo n entonces Xn es unacadena de Markov con espacio de estados E = {1, 2, ..., 6}. Encuentre la matriz de transicion deprobabilidades asociada.

Supongamos que la prima que paga el asegurado en un periodo es una funcion, C, del estadoen que se encuentra, dada por:

C(i) = k

(i

6

)Calcule la prima promedio que paga un asegurado. (Un asegurado inicia en el el estado 1)

4