CADENAS DE MARKOVAlgebra de Matrices IIOscar Castro OsorioJulin Felipe MoraDiana Paola Rojas Profesor: Jonatn Mora Uniersidad !anto "o#as de A$uino%ogot& Colo#bia'( Ma)o de '(*+Marco TericoCadenas de MarkovUna #atri, de probabilidad es a$uella #atri, real cu)as colu#nas son ectoresdeprobabilidad& esdecir& estnfor#adasporele#entosnonegatios)desu#a *- Dic.as #atrices son las de transici/n de un siste#a $ue consta de nestados& ) tal $ue el ele#ento pijde una #atri, represente la probabilidad depasar del estadojal estadoienunaunidaddetie#po- Constitu)enotroeje#plo de siste#a din#ico discreto& lla#ado cadena de Markov:Una cadena de Mar0o es un proceso estocstico en el $ue si el estado actualXn ) los estados preios Xn111Xn1 son conocidos& donde se cu#ple$ue la probabilidad del estado futuro Xn+1 dado $ue se conocen los estadosdel pasado ) el presente& ser igual a la probabilidad de estado futuro dado elestado presente& es decir $ue la probabilidad del estado futuro solo dependerdel estado in#ediata#ente anterior- Mate#tica#ente es:!eaX1 : ariable aleatoria $ue de2ne el estado inicial del procesoXn: ariable aleatoria $ue de2ne elestado delproceso en elinstante detie#po n- P(Xn+1=Sn+1|X1=S1, X2=S2, .. Xn=Sn=P(Xn+1=Sn+1|Xn=SnPropiedad MarkovianaPropiedad de Markov: conocido el estado del proceso en un #o#ento dado&su co#porta#iento futuro no depende del pasado& dic.o de otro #odo& dado elpresente& el futuro es independiente del pasado-donde&!esel espaciodeestados& )representael conjuntodetodoslosposiblesalores $uepuedeto#ar unprocesoestocstico- 3steespaciopuedesercontinuo o discreto- S={Xt|t T}!iendo " un espacio para#4trico ) representa el conjunto de alores $ue puede to#arel tie#po& pueden ser #inutos& segundos& d5as etc- Puede ser espaciopara#4trico continuo ) discreto- - T={ t|t T }6as cadenas de Mar0o estn caracteri,adas por lasprobabilidades detransicin en una etapa:P(Xt +1= j|Xt=i , i , j S, t T3s decir& la probabilidad de $ue el estado j en el tie#po t7*& dado el estado ienel tie#pot& dondei&j perteneceal espaciodeestados )t al espaciopara#4trico- 6as cadenas de Mar0o .o#og4neas en el tie#po son a$uellas en las $ue:i , j S t T , P(Xt +1= j|Xt=i =qij!iendo qij: probabilidaddetransici/nenunaetapadesdeel estadoi .astaelestado j- 3s decir: Para todo i&j $ue pertenece al espacio de estados ) para todo t $ue perteneceal espacio para#4trico& se cu#plir $ue la probabilidad $ue el estado j en eltie#po t7*& dado el estado i en el tie#po i sea qij& se lla#a probabilidad detransici/n en una etapa desde el estado i .asta el estado j- 6os alores de qij& se agruparan en la #atri, de transici/n:n+1q(i , j )i , j SQ=n(q00q01q02 q20q22)=Donde n es el tie#po8n7*: es el tie#po siguiente al n !e interpreta co#o: q12 : probabilidad del estado n .asta n7*& es decir probabilidad del estado *al estado ' en un solo paso- Propiedades de la atri! de transicin:Por ser los qi , j probabilidades& i , j S, qij[ 0,1]Por ser * la probabilidad del suceso seguro& cada 2la debe su#ar *& es deciri , j S,j S qij=1Al cu#plir estas dos propiedades& la #atri, es estocstica- 3s decir $ue cada alor de la #atri, debe estar etre ( ) * ) la su#a de lasprobabilidades de las 2las debe ser igual a *- Diagra#a de transici/n de estados: qij 3sungr2co$ue#uestralosestadosdelacadenadeMar0o& i& j sonlasprobabilidades entre ( ) * sin ser (- j iiE"eplo #!ea una l5nea telef/nica de estados:Ocupado9*Desocupado9(!i enel instantet estocupada& enel instantet7*& estarocupadaconprobabilidad (&:) desocupadaconprobabilidad (&;-!i enelinstantet estdesocupada& en el t7* estar desocupada con probabilidad de (&* )desocupada con probabilidad (&