![Page 1: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/1.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Maestrıa en BioinformaticaProbabilidad y Estadıstica: Clase 4
Gustavo [email protected]
Facultad de IngenierıaUniversidad de la Republica
Abril de 2010
![Page 2: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/2.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Contenidos
1 Procesos aleatorios
1 EjemplosCaminata del borracho con barreras absorbentesCaminata del borracho con barreras reflectantesLa ruina del apostadorPaseo aleatorio en ZPaseo aleatorio en Z2
Paseo aleatorio en Z3
Competencia de especiesProceso de Galton-WatsonModelo de Ehrenfest
2 Cadenas de MarkovMatriz de transicionEstado inicial
![Page 3: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/3.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Procesos aleatorios
Informalmente hablando, un proceso aleatorio se obtienecuando se repite un experimento aleatorio.
Ejemplo: Tiramos una moneda sucesivas veces y registramoslos resultados:
C C N C N N C N N N C N C N N N C C...
Este es un proceso aleatorio independiente, ya que lasvariables aleatorias Xi , i = 1,2, . . ., que registran los sucesivosresultados de tirar la moneda, son independientes. (Podemospensar que estamos codificando la secuencia de tiradasdefiniendo Xi = 1 si en la tirada i sale Cara, Xi = 0 si en latirada i sale Numero).
![Page 4: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/4.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Para introducir la definicion general comenzamos considerandoel Espacio de estados:
DefinicionEl Espacio de estados, E = {s1, s2, . . . , sr}, es el conjunto deposibles valores que puede tomar cada una de las variablesaleatorias que definen el proceso.
Observacion: A lo largo del curso supondremos que elconjunto E es discreto (con una cantidad finita o infinita deelementos).
DefinicionUn Proceso aleatorio (en tiempo discreto) con espacio deestados E es una sucesion de variables aleatorias{Xn : n = 0,1,2, . . .}, donde Xn ∈ E para cada n ≥ 0.
![Page 5: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/5.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Comentarios:
A la variable X0 se le llama Estado inicial del proceso.Decimos que los procesos estan definidos a tiempodiscreto porque el ındice n (el tiempo) toma valores en elconjunto de enteros no negativos. Sin embargo no siempreeste ındice representa al tiempo: por ejemplo, las variables{Xn} pueden caracterizar los nucleotidos en una cadenade ADN, y en tal caso el ındice n representa los sitios de lacadena. Mas adelante estudiaremos algunos procesos entiempo continuo.
![Page 6: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/6.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Ejemplos
1) La caminata del borracho con barreras absorbentes:Consideremos el espacio de estados E = {0,1,2,3,4,5,6,7}.Cada uno de esos estados representa una esquina en unaciudad unidimensional. Consideremos un borracho que caminaaleatoriamente en esta ciudad de acuerdo con las siguientesreglas:
Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1
2 oretrocede una cuadra con probabilidad 1
2 .Toda vez que el borracho alcanza la esquina 0 (quecorresponde a su casa) o la esquina 7 (que corresponde aun bar), allı se queda. Decimos que 0 y 7 son estadosabsorbentes.
El proceso {Xn} registra las sucesivas esquinas por las quepasa el borracho.
![Page 7: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/7.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
2) La caminata del borracho con barreras reflectantes:Igual que en el ejemplo anterior, E = {0,1,2,3,4,5,6,7}.Consideremos ahora que el borracho camina aleatoriamentede acuerdo con las siguientes reglas:
Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1
2 oretrocede una cuadra con probabilidad 1
2 .Toda vez que el borracho alcanza la esquina 0 esempujado hacia el estado 1 y toda vez que alcanza laesquina 7 es empujado hacia el estado 6. Decimos ahoraque 0 y 7 son estados reflectantes.
![Page 8: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/8.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Al estudiar este tipo de problemas surgen naturalmente unaserie de preguntas:
En el Ejemplo 1: ¿Cual es la probabilidad de que elsistema sea absorbido por el estado 0 antes de serabsorbido por el estado 7?En el Ejemplo 1: ¿Cuanto tiempo transcurre, en promedio,hasta que el sistema llega a un estado absorbente?En el Ejemplo 1: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados transitorios?En el Ejemplo 2: ¿Como se comporta el sistema cuandon→∞?En el Ejemplo 2: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados?
Estas y otras cuestiones seran analizadas en las proximasclases.
![Page 9: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/9.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
3) La ruina del apostador: Consideremos el conjuntoE = {0,1,2, . . . ,G}, con G fijo, donde cada estado representael posible capital de un apostador que juega en un casino.Supongamos que la probabilidad de ganar en una apuesta esp y que la probabilidad de perder es q = 1− p; suponemos queen cada apuesta el jugador gana o pierde una unidad dedinero. La variable Xn registra el capital del apostador al tiempon. El proceso se define como sigue:
Si en el tiempo n el capital es un numero del conjunto{1,2,3, . . . ,G − 1}, entonces en el tiempo n + 1 el capitaldel apostador aumenta una unidad con probabilidad p odisminuye una unidad con probabilidad q.El apostador deja de apostar cuando alcanza la gananciaG o cuando su capital es 0. Estos estados pueden versecomo estados absorbentes.
![Page 10: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/10.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Ejemplo de calculo de las probabilidades de absorcion:Denotamos: wj = probabilidad de que el jugador llegue a ganarG (antes de perder todo) si comienza con una ganancia inicialj .Las cantidades w0,w1,w2, . . . ,wG satisfacen el siguientesistema de ecuaciones lineales:
wj = pwj+1 + qwj−1, para j = 1,2, . . . ,G − 1.w0 = 0.wG = 1.
Resolviendo ese sistema de ecuaciones y usando lascondiciones de contorno se obtiene:Caso 1: Si p = q = 1
2 , entonces: wj =jG , para cada
j = 1,2, . . . ,G − 1.Caso 2: Si p 6= q, entonces: wj =
(q/p)j−1(q/p)G−1 , para cada
j = 1,2, . . . ,G − 1.
![Page 11: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/11.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
4) Paseo aleatorio en Z: El espacio de estados es Z y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema avanza unaunidad con probabilidad 1
2 o retrocede una unidad conprobabilidad 1
2
5) Paseo aleatorio en Z2: El espacio de estados es Z2 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia arriba o haciaabajo con igual probabilidad (1
4 ).
6) Paseo aleatorio en Z3: El espacio de estados es Z3 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia la izquierdao hacia la derecha o hacia arriba o hacia abajo con igualprobabilidad (1
6 ).
![Page 12: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/12.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Realizaciones del paseo aleatorio en Z.
![Page 13: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/13.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Realizacion del paseo aleatorio en Z2.
![Page 14: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/14.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Realizaciones del paseo aleatorio en Z3.
![Page 15: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/15.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
7) Competencia de dos especies por un territorio:Consideremos un cuadrado con L× L casilleros. Cada casilleropuede estar ocupado por una especie vegetal (en tal caso lopintamos de negro) o por otra (en tal caso lo pintamos deblanco). En cada tiempo el estado del sistema quedacaracterizado especificando cuales sitios son de un color ycuales de otro; ası que |E | = 2L2
. La dinamica del proceso sedefine como sigue: Dado el estado al tiempo n, se elige uncasillero al azar y luego se elige al azar uno de los casillerosvecinos a ese; se pinta entonces el casillero elegidoinicialmente con el color del casillero vecino. Eso defineeventualmente un nuevo estado al tiempo n + 1.
Se observa que hay dos estados absorbentes (todo blanco otodo negro), e interesa saber cual es la probabilidad de queuna especie domine a la otra a partir de una configuracioninicial.
![Page 16: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/16.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
8) Proceso de Galton-Watson: Consideremos individuos quetienen un numero aleatorio de hijos. En cada generacion cadaindividuo tiene hijos independientemente de los otrosindividuos y con la misma distribucion de probabilidad.Comenzando con un individuo, Z0 = 1, el proceso Zn cuentacuantos descendientes hay en la generacion n. Obviamente 0es un estado absorbente. Interesa estudiar paraque condiciones el proceso se extingue con probabilidad 1 ypara que condiciones sobrevive indefinidamente con algunaprobabilidad positiva.
![Page 17: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/17.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
9) Modelo de Ehrenfest de difusion de gases: ConsideremosN bolillas colocadas en una caja con dos compartimentos, A yB. Xn cuenta la cantidad de bolillas que hay en elcompartimento A al tiempo n. La dinamica del proceso sedefine como sigue: Dado el estado del proceso al tiempo n, seelige una bolilla al azar y se la cambia de compartimento. Demanera que Xn+1 aumentara o disminuira en una unidad.En este modelo interesa saber cual es el comportamientoasintotico cuando n→∞.
![Page 18: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/18.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Condicion de Markov
¿Que tienen en comun todos estos procesos que acabamos dedescribir? Todos ellos cumplen la siguiente condicion:
Condicion de Markov
P(Xn+1 = j | Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0)= P(Xn+1 = j |Xn = i),
para todos los valores de n ≥ 0; i0, i1, . . . , in−1, i , j ∈ E.
Los procesos {Xn : n ≥ 0} que cumplen la Condicion deMarkov se llaman Cadenas de Markov
![Page 19: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/19.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Matriz de transicion
Si las probabilidades de transicion P(Xn+1 = j |Xn = i) nodependen de n decimos que la Cadena de Markov esHomogenea. Todos los ejemplos que vimos y los que veremosa lo largo del curso son de este tipo. En tal caso denotamos:
pij = P(Xn+1 = j |Xn = i) = P(X1 = j |X0 = i).
Matriz de transicionAgrupando las cantidades {pij} en una matriz obtenemos lamatriz de transicion de la cadena de Markov:
P =
p11 p12 ... p1rp21 p22 ... p2r. . . .. . . .
pr1 pr2 ... prr
![Page 20: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/20.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Nota: Hemos supuesto, para simplificar la notacion, queE = {1,2, . . . , r}.
Observaciones:
El tamano de la matriz es |E | × |E |. (En los ejemplos 4), 5)y 6) el tamano es infinito)pij ≥ 0 para cada i , j ∈ E .∑
j∈E pij = 1 para cada i ∈ E .
A una matriz que cumple con estas condiciones se le llamamatriz estocastica.
![Page 21: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/21.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Estado inicial
El segundo ingrediente que necesitamos para caracterizar unacadena de Markov es el estado inicial.Supongamos que para n = 0 conocemos las probabilidades deque el proceso este en cada uno de los elementos del conjuntoE . Para simplificar suponemos como antes queE = {1,2, . . . , r}. Denotamos:
π(0)1 = P(X0 = 1)
π(0)2 = P(X0 = 2)... = ...
π(0)r = P(X0 = r)
![Page 22: Maestría en Bioinformática Probabilidad y Estadística: Clase 4](https://reader036.vdocuments.pub/reader036/viewer/2022062317/584926c81a28abc11a8b5811/html5/thumbnails/22.jpg)
Procesos aleatorios Ejemplos Cadenas de Markov
Estado inicial
Estado inicial
Agrupando las cantidades {π(0)i } en un vector fila obtenemos elestado inicial de la cadena de Markov:
π(0) = (π(0)1 , π
(0)2 , . . . , π
(0)r ).