71.07 investigacion operativa cadenas de markov

@ 71.07 Investigacion Operativa

> Cadenas de MarkovHoracio Rojo y Miguel Miranda

c⃝2009 Facultad de Ingenierıa,Universidad de Buenos AiresDigitalizado por Virginia Guala$September 12, 2009

Cadenas de Markov ∣ 1

Indice

1 PROCESOS ESTOCASTICOS 31.1 Definicion de Proceso Estocastico . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Clasificacion de los Procesos Estocasticos . . . . . . . . . . . . . . . . . . . . . . 3

2 CADENAS DE MARKOV HOMOGENEASDE PARAMETRO DISCRETO 102.1 Estudio de las probabilidades en las cadenas de markov homogeneas . . . . . . . 102.2 Clasificacion de las cadenas de Markov Homogeneas en ergodicas y no ergodicas 212.3 Estudio del Comportamiento de las Cadenas Ergodicas en el Regimen Permanente 272.4 Estudio del comportamiento de las cadenas no ergodicas . . . . . . . . . . . . . 34

3 CADENAS DE MARKOV HOMOGENEASDE PARAMETRO CONTINUO 433.1 Estudio de las probabilidades en las cadenas de Markov homogeneas . . . . . . . 433.2 Estudio del comportamiento de las cadenas regulares en el reg. permanente . . . 49

4 APLICACION DE CADENAS DE MARKOVA SISTEMAS DE ATENCION 544.1 Definicion del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.2 Modelizacion mediante una cadena de Markov tipo nacimiento y muerte . . . . . 564.3 Modelo general de canales en paralelo de igual velocidad . . . . . . . . . . . . . 584.4 Modelo de dos canales en paralelo de distinta velocidad y cola infinita . . . . . . 694.5 Modelo de dos canales en paralelo de distinta velocidad y cola finita de una sola

posicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 724.6 Modelo de dos canales en serie de distinta velocidad, sin cola intermedia . . . . . 73

5 APLICACIONES 785.1 Aplicacion comercial (“Brand switching”) . . . . . . . . . . . . . . . . . . . . . . 785.2 Planeamiento de Personal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825.3 Gestion de inventarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 865.4 Planeamiento de produccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895.5 Analisis de fallas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 935.6 Analisis de cuentas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 955.7 Estudio de confiabilidad en un sistema de lıneas de transmision . . . . . . . . . 97

BIBLIOGRAFIA 102


PROLOGO

Las cadenas de Markov comprenden un capıtulo particularmente importante deciertos fenomenos aleatorios que afectan a sistemas de naturaleza dinamica yque se denominan procesos estocasticos. Deben su nombre a Andrei AndreivichMarkov, matematico ruso que postulo el principio de que existen ciertos proce-sos cuyo estado futuro solo depende de su estado presente y es independientede sus estados pasados. Dichos procesos, denominados proceso de Markov, asıcomo un subconjunto de ellos llamados cadenas de Markov, constituyen unaherramienta matematica muy general y poderosa para el analisis y tratamientode un sinnumero de problemas de caracterıstica aleatoria en campos de muydiversa ındole, como ser la fısica, la Ingenierıa y La Economıa por citar solounos pocos.En el capıtulo 1 se describen los procesos estocasticos y dentro de los mismosse encuadran a los procesos y cadenas de Markov. En el capıtulo 2 se anali-zan en detalle a las cadenas de Markov de parametro discreto, definiendose lasprobabilidades de transicion y de estado y las ecuaciones generales que rigen elcomportamiento de esas cadenas, las que luego se aplican al estudio de las prin-cipales cadenas ergodicas y no ergodicas. En el capıtulo 3 se sigue un esquemasimilar aplicado a las cadenas de Markov de parametro continuo, que son luegoutilizadas en el capıtulo 4 para la modelizacion de los sistemas de atencion. Porultimo en el capıtulo 5 se indican otras aplicaciones de las cadenas de Markov.Queremos dejar constancia de nuestro profundo agradecimiento a los ingenierosEduardo Dieguez y Fernando Salvador por la exhaustiva tarea de revision efec-tuada y por los invalorables consejos y sugerencias que nos han formulado enla elaboracion del texto.

Los Autores


1 PROCESOS ESTOCASTICOS

1.1 Definicion de Proceso Estocastico

Un proceso estocastico es un modelo matematico que describe el comportamientode un sistema dinamico, sometido a un fenomeno de naturaleza aleatoria.La presencia de un fenomeno aleatorio hace que el sistema evolucione segunun parametro, que normalmente es el tiempo t cambiando probabilısticamentede estado. En otras palabras: al realizar una serie de observaciones del pro-ceso, en diferentes ocasiones y bajo identicas condiciones, los resultados de lasobservaciones seran, en general, diferentes. Por esa razon para describir elcomportamiento del sistema es necesario definir una variable aleatoria: X(t)que represente una caracterıstica mesurable de los distintos estados que puedetomar el sistema segun sea el resultado del fenomeno aleatorio, y su correspon-diente probabilidad de estado asociada: px(t).Luego el proceso estocastico queda definido por el conjunto:

X(t), px(t), t

Ejemplo 1.aEn un sistema de generacion de energıa electrica,el pronostico de la potencia electrica horariarequerida para un dıa es un proceso estocastico,en el cual son:t= 0, 1, 2 ...... 24: horas del dıa.X(t)= pronostico de la potencia electrica re-querida.px(t)= probabilidad de estado asociada.

1.2 Clasificacion de los Procesos Estocasticos

Para su estudio los procesos estocasticos pueden clasificarse de diversas mane-ras, como se indica a continuacion.

1.2.1) Clasificacion de los procesos estocasticos segun la memoria de la historiade estados


Esta clasificacion tiene relacion con la memoria que guarda el proceso dela historia de los estados anteriores. Para efectuar este analisis se define laprobabilidad condicional o de transicion entre estados mediante la siguien-te expresion:

P{X(t + Δt) = xt+Δt/X(t) = xt, X(t − Δt1) = xt−Δt1, X(t − Δt2) =xt−Δt2, X(t−Δt3) = xt−Δt3, . . . . . .} (1.2)

Siendo:xt+Δt: un estado particular en el instante t+ Δtxt: un estado particular en el instante txt−Δt1: un estado particular en el instante t−Δt1xt−Δt2: un estado particular en el instante t−Δt2xt−Δt3: un estado particular en el instante t−Δt3

En funcion de lo anterior se definen los siguientes procesos:

a) Procesos aleatorios puros.Son procesos en los que se cumple que:

P{X(t + Δt) = xt+Δt/X(t) = xt, X(t − Δt1) = xt−Δt1, X(t − Δt2) =xt−Δt2, . . .} = P{X(t+ Δt) = xt+Δt} (1.3)

Es decir que la probabilidad de que el sistema se encuentre en unestado cualquiera xt+Δt en el instante t + Δt se puede calcular inde-pendientemente de cuales hayan sido los estados anteriores xt, xt−Δt1,


xt−Δt2,. . ., “es un proceso sin memoria de la historia de estados ante-riores”.Ejemplos de dicho proceso se encuentran en todos los ensayos inde-pendientes al azar.

b) Proceso sin memoria tipo Markov.Son procesos en los que se cumple que:

P{X(t + Δt) = xt+Δt/X(t) = xt, X(t − Δt1) = xt−Δt1, X(t − Δt2) =xt−Δt2, . . .} = P{X(t+ Δt) = xt+Δt/X(t) = xt} (1.4)

Es decir que la probabilidad de que el sistema se encuentre en unestado cualquiera xt+Δt en el instante t + Δt se puede calcular si seconoce cual ha sido el estado inmediatamente anterior xt, independien-temente de cuales hayan sido los restantes estados anteriores: xt−Δt1,xt−Δt2, . . .: es un “proceso sin memoria de toda la historia de estadosanteriores, excepto del inmediatamente anterior xt”, resumiendose eneste toda la informacion necesaria para calcular la probabilidad delestado xt+Δt. Tambien se lo suele caracterizar como un proceso enel cual “dado el presente (xt), el futuro (xt+Δt) es independiente delpasado (xt−Δt1, xt−Δt2, . . .)”.Ejemplo de dicho proceso se encuentran en el funcionamiento de unared de transmision de energıa electrica en la cual el estado del sistemaesta dado por el numero de lıneas fuera de servicio en un instantedado. Otro ejemplo lo constituye un canal de telecomunicaciones, enel cual el estado del sistema es la salida digital del canal. En amboscasos los estados futuros dependen del estado actual y no de como haevolucionado para llegar a dicho estado.

c) Procesos con memoria.Son todos los restantes procesos estocasticos cuyas probabilidades condi-cionales de transicion no cumplen con (1.3) ni (1.4).


Ejemplo 1.bEl siguiente es un proceso con tres variantes que permiten ejemplificarcada uno de los tres tipos de procesos mencionados. Dado un bolillerocon tres bolillas: 1, 2 y 3, se definen las siguientes experiencias depruebas repetidas:

a) Se extraen bolillas “con reposicion” y los resultados aleatorios 1, 2o 3 definen los estados X(t) del siguiente proceso:

x(t) =

⎧⎨⎩si, si la bolilla es 1 o 2

no, si la bolilla es 3

⎫⎬⎭ t = 1, 2, 3, . . .

este es un “proceso aleatorio puro” de ensayos inde-pendientes, pues la probabilidad de presentacion delos estados “si” y “no” en t valen 2/3 y 1/3 respec-tivamente, independientemente de cual haya sido elestado anterior.

?>=<89:;no

1/3

2/3�� 76540123si

2/3

SS

1/3

^^

Lo dicho se ilustra el siguiente “grafo de transiciones” sucesivasentre estados, en el cual los nodos representan los estados del pro-ceso, los arcos las transiciones sucesivas posibles entre estados y losatributos de los arcos las probabilidades condicionales de transicionentre dos estados sucesivos.

b) Se estraen bolillas “con o sin reposicion” segun sea 1 o 2, y 3 res-pectivamente, definiendose los estados X(t) del siguiente proceso:

x(t) =

{si, si la bolilla es 1 o 2, (y se reponen todas)

no, si la bolilla es 3, (y no se reponen)

}t = 1, 2, 3, . . .

este es un “proceso tipo Markov” pues cono-cido un estado X(t) en t se pueden calcular lasprobabilidades de los estados X(t+1) en t+1,tal como se indica en el grafo de transiciones.

?>=<89:;no

0

1�� 76540123si

1/3

SS

2/3

^^


c) se extraen bolillas “con o sin reposicion” segun sean 1, y 2 o 3 res-pectivamente, definiendose los estados X(t) del siguiente proceso:

x(t) =

{si, si la bolilla es 1, (y se reponen todas)

no, si la bolilla es 2 o 3, (y no se reponen)

}t = 1, 2, 3, . . .

este es un “proceso con memoria” pues la prob-abilidad del estado X(t+l)= si, requiere elconocimiento de los estados X(t) y X(t-1), talcomo se indica en el grafo de transiciones; y lopropio para el estado X(t+l)= no.

?>=<89:;no

1/2 (si X(t-1)=si)0 (si X(t-1)=no)

��

1/2 (si X(t-1)=si)1 (si X(t-1)=no)

�� 76540123si

1/3

SS

2/3

^^

1.2.2) Clasificacion de los procesos de Markov segun la naturaleza discreta o con-tinua de las variables.

Referida especıficamente a los procesos de, Markov, esta clasificacion guardarelacion con la naturaleza discreta o continua del espacio de estados de lavariable X(t) y del parametro tiempo t.

(a) Naturaleza del espacio de estados.Cuando X(t) representa una magnitud continua (tension o corrienteelectrica, fuerza, energıa, potencia, presion, etc), el espacio de estadosde X(t) debera ser un intervalo de numeros reales, y se hablara en-tonces de un “proceso de Markov con estados continuos” o brevemente“proceso de Markov”. En cambio cuando X(t) representa una mag-nitud discreta (cantidad de artıculos en stock en un almacen, numerode lıneas en servicio en un sistema de transmision de energıa electrica,cantidad de clientes en un sistema de atencion y espera, etc.) el es-pacio de estados de X(t) sera una secuencia finita o numericamenteinfinita de enteros, y se hablara entonces de un “proceso de Markovcon estados discretos”, o “cadena de Markov”.


(b) Naturaleza del parametro tiempo.Dada la naturaleza dinamica del sistema cuyo comportamiento de-scribe, la definicion de la variable aleatoria X(t) requiere la especifi-cacion del parametro t, es decir del conjunto de instantes en que sepuede observar los estados del sistema. Ası si las observaciones se real-izan en cualquier instante del continuo (t ≥ 0), se habla de un procesoo cadena de Markov de parametro continuo, mientras que en otrasocasiones las observaciones se efectuan en determinados instantes detiempo (p. ej. de hora en hora, t = 0, 1, 2, . . .) y en este caso se hablade un proceso o cadena de Markov de parametro discreto.Lo anterior se resume en el siguiente cuadro:

Naturaleza del espacio de estados X(t)Discreto Continuo

Naturalezadelparametrotiempo t

Discreto Cadenas de Markov de Procesos de Markov de(t = 0, 1, . . .) parametro discreto parametro discreto

Continuo Cadenas de Markov de Procesos de Markov de(t ≥ 0) parametro continuo parametro continuo

1.2.3) Clasificacion de las Cadenas de Markov segun su homogeneidad en el


tiempoCon referencia especıficamente a las cadenas de Markov, de parametrodiscreto o continuo, los distintos estados de la variable X(t) se suelen re-presentar genericamente con letras: i, j, k, etc. En particular los valoresde dichos estados dependen de la naturaleza del sistema que se modela,pero habitualmente se utilizan numeros enteros: 0, 1, 2, . . . ,m. Luego paralas cadenas de Markov la probabilidad condicional da transicion (1.4) seexpresa de la siguiente manera:

P{X(t+ Δt) = j/X(t) = i} = Pij(t, t+ Δt) (1.5)

Una cadena de Markov es homogenea cuando la probabilidad condicionalde transicion (1.5) del estado i al estado j en cualquier instante t solo de-pende de la diferencia Δt, es decir:

Pij(t, t+ Δt) = Pij(Δt);∀t ≥ 0 (1.6)

y es no homogenea en caso contrario. En base a las tres clasificacionesefectuadas se puede realizar el siguiente cuadro:

Procesos

Estocasticos

⎧⎨⎩Procesos aleatorios puros

Procesos de Markov

⎧⎨⎩Procesos de Markov (estados cont.)

Cadenas

de Markov

{de p. discr.

de p.cont.

}{homogeneas

no homogen.

Los capıtulos siguientes se limitaran al analisis de las cadenas de Markovhomogeneas, tanto de parametro discreto como continuo, y sus respectivosproblemas de aplicacion.


2 CADENAS DE MARKOV HOMOGENEAS

DE PARAMETRO DISCRETO

En la primera parte del capıtulo se estudian las probabilidades condicionales detransicion -definidas en (l.5) y (1.6) - e incondicionales de estado - definida en(1.1) - en las cadenas de Markov homogeneas, y se desarrollan las ecuaciones querigen su comportamiento, las que luego se aplican al estudio del comportamientode dichas cadenas en los regımenes transitorio y permanente.

2.1 Estudio de las probabilidades en las cadenas de markov ho-mogeneas

2.1.1) Probabilidad condicional de transicion

a) Definicion generalTal como se ha expresado en (1.6), la probabilidad condicional detransicion del estado i al estado j en un intervalo Δt: pij(Δt) en unacadena de Markov homogenea de parametro discreto es la probabilidadcondicional de que el sistema se encuentre en estado j en el instantet + Δt, habiendose encontrado en el estado i en el instante t, con t yΔt enteros. Matematicamente es:

pij(Δt) = P{X(t+Δt) = j/X(t) = i}; con:

⎧⎨⎩t = 0, 1, 2, . . .Δt = n = 0, 1, 2, . . .i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(2.1)

El intervalo Δt= n = entero se denomina numero de pasos o transi-ciones o avances de la cadena sobre el parametro t. El conjunto deprobabilidades de transicion pij(Δt) ,∀i,j definen la matriz de proba-bilidades de transicion P (Δt):

P (Δt) =

i/j 0 1 . . . . . . m

0 p00(Δt) p01(Δt) . . . . . . p0m(Δt)1 p10(Δt) p11(Δt) . . . . . . p1m(Δt)...

......

......

......

...m pm0(Δt) pm1(Δt) . . . . . . pmm(Δt)

(2.2)


matriz en la que se cumplen las siguientes condiciones:⎧⎨⎩

0 ≤ pij(Δt) ≤ 1 ; ∀i, j (2.3)

m∑j=0

pij(Δt) = 1 ; i = 0, 1, . . . ,m (2.4)

con Δt = n = 1, 2, 3, . . .

b) Probabilidad de transicion de 1 pasoEs un caso particular de la (2.1) y representa la probabilidad condi-cional de transicion del estado i al estado j, en un intervalo Δt= 1.

pij(1) = P{X(t+ 1) = j/X(t) = i}; con:

{t = 0, 1, 2, . . .i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(2.5)

Analogamente el conjunto de probabilidades de transicion de 1 pasopij,∀i,j definen la matriz de probabilidades de transicion de 1 paso P:

P (Δt) =

i/j 0 1 . . . . . . m

0 p00 p01 . . . . . . p0m

1 p10 p11 . . . . . . p1m...

......

......

......

...m pm0 pm1 . . . . . . pmm

(2.6)

Ejemplo 2.aSi en la cadena de Markov descripta en la experiencia b) del ejemplol.b se denominan:estado 0 = noestado 1 = si

el grafo y la matriz de transicion de 1 paso son respectivamente:


P =i/j 0 1

0 0 11 1/3 2/3

765401230

0��

1

��765401231

2/3

SS

1/3

^^

Ejemplo 2.bSi bien la experiencia a) del ejemplo l.b corresponde a 1 proceso deensayos independientes, se lo puede tratar dentro de la teorıa de lascadenas de Markov, siendo sus estados, el grafo y la matriz de tran-sicion de 1 paso las siguientes:estado 0 = noestado 1 = si

765401230

1/3��

2/3

��765401231

2/3

SS

1/3

^^

P =1/3 2/31/3 2/3

c) Probabilidad de transicion de 2 pasosEn forma analoga se define:

pij(2) = P{X(t+ 2) = j/X(t) = i}; con:

{t = 0, 1, 2, . . .i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(2.7)

Esta probabilidad, en una cadena de Markov, se puede calcular enfuncion de las probabilidades de 1 paso, mediante la ecuacion deChapman-Kolmogorov, cuya expresion, para este caso es:

pij(2) =m∑k=0

pik.pkj ;∀{i = 0, 1, . . . ,mj = 0, 1, . . . ,m

(2.8)

la cual establece que para todo par de estados i y j separados por unavance Δt= 2 pasos, la probabilidad de transicion se puede expresar


en funcion de las probabilidades de transicion de 1 paso del estado i aun conjunto exhaustivo de estados k (todos los estados posibles) y delas probabilidades de transicion de 1 paso de cada uno de los estadosk al estado j.

Para su demostracion se definen los conjuntos A, Bk y C cuyos ele-mentos son ternas ordenadas de eventos: la primera componente es elestado del sistema en t, la segunda en t+1 y la tercera en t+2⎧⎨⎩

A : conjunto de ternas cuya primera componente es el estado i en t

Bk : cada conjunto de ternas cuya segunda componente es uno de los

estados k en t+1

C : conjunto de ternas cuya tercera componente es el estado j en t+2

ademas se cumple que: P (C ∩ A) = P (C/A).P (A)

Lij(2) = P (C/A) =

m∑k=0

P (C ∩Bk ∩ A)

P (A)=

m∑k=0

P (C/Bk ∩ A).P (Bk ∩ A)

P (A)

y por ser una cadena de Markov se cumple la (1.4), luego es:

P (C/Bk ∩ A) = P (C/Bk)

con lo cual queda demostrada la (2.8) pues:


Lij(2) = P (C/A) =

m∑k=0

P (C ∩Bk).P (Bk/A).��P (A)

��P (A)

=m∑k=0

pkj.pik

Como antes, el conjunto de probabilidades de transicion de 2 pasos:pij(2), ∀ i,j definen la matriz de probabilidades de transicion de 2 pa-sos:

P (2) =

p00(2) p01(2) . . . . . . p0m(2)p10(2) p11(2) . . . . . . p1m(2)

......

......

......

pm0(2) pm1(2) . . . . . . pmm(2)

(2.9)

y aplicando la ecuacion de Chapman (2.8) a cada uno de los elemen-tos de la matriz (2.9) queda la expresion matricial de la ecuacion deChapman-Kolmogorov:

P (2) =

p00(2) . . . p0m(2) p00 p01 . . . p0m p00 . . . p0m...

... =...

...... x p10 p1m

......

......

......

...pm0(2) . . . pmm(2) pm0 pm1 . . . pmm pm0 . . . pmm

P(2)=P.P=P 2 (2.10)

Ejemplo 2.cLa matriz de transicion de 2 pasos de la cadena del Ejemplo n∘2.a,aplicando la ecuacion (2.10) es:


P (2) =0 1 0 1 0, 33 0, 67

=0, 33 0, 67 0, 33 0, 67 0, 22 0, 78

=⇒

765401230

0,33��

0,67

��765401231

0,78

SS

0,22

^^

La ecuacion de Chapman-Kolmogorov (2.10) es una condicion nece-saria, pero no suficiente para que una cadena sea Markoviana.

d) Expresion qeneral de la ecuacion de Chapman-KolmogorovEn forma generica la probabilidad de transicion de n pasos es:

pij(n) = P{X(t+ n) = j/X(t) = i}; con:

⎧⎨⎩t = 0, 1, 2, . . .n = 1, 2, . . .i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(2.11)

Repitiendo el proceso descripto en el punto anterior para deducir laecuacion (2.8) se llega a las expresiones algebraicas generales de laecuacion de Chapman-Kolmogorov:

pij(n) =

⎧⎨⎩

m∑k=0

pik.pkj(n− 1) : forma a)

m∑k=0

pik(n− 1).pkj : forma b)

⎫⎬⎭; con:

{n = 1, 2, . . .i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(2.12)

Como antes, el conjunto de probabilidades de transicion de n pasospij(n), ∀ij definen la matriz de probabilidades de transicion de n casos:


P (n) =

p00(n) p01(n) . . . . . . p0m(n)p10(n) p11(n) . . . . . . p1m(n)

...pm0(n) pm1(n) . . . . . . pmm(n)

(2.13)

y la expresion matricial general de la ecuacion de Chapman-Kolmogorov,tomando por ejemplo la forma a), queda:

P (n) =

p00(n) . . . p0m(n) p00 p01 . . . p0m p00(n− 1) . . . p0m(n− 1)...

... =...

...... x p10(n− 1) p1m(n− 1)

......

......

......

...pm0(n) . . . pmm(n) pm0 pm1 . . . pmm pm0(n− 1) . . . pmm(n− 1)

P(n)=P.P(n-1)

extendiendo la ecuacion anterior en forma recursiva se obtiene:P(n)= P . P(n-l) = P . P . P(n-2) = P . P . P . P(n-3)= . . .

P (n) = P n (2.14)

que es la expresion generica matricial de la ecuacion de Chapman-Kolmogorov.

Ejemplo 2.dLas matrices de transicion de 3, 4 y 5 pasos de la cadena del ejemplo


2.a son, aplicando la ecuacion (2.14):

P (2) = P 3 = P.P 2 =0 1 0, 33 0, 67 0, 222 0, 778

x =0, 33 0, 67 0, 22 0, 78 0, 259 0, 741

P (4) = P 4 = P.P 3 =0 1 0, 222 0, 778 0, 259 0, 741

x =0, 33 0, 67 0, 259 0, 741 0, 247 0, 753

P (5) = P 5 = P.P 4 =0 1 0, 259 0, 741 0, 247 0, 753

x =0, 33 0, 67 0, 247 0, 753 0, 251 0, 749

2.1.2) Probabilidad incondicional de estado

(a) Definicion generalTal como se ha expresado en (1.1), la probabilidad incondicional deestado p(t) en una cadena de Markov homogenea de parametro dis-creto, es la probabilidad de que el sistema se encuentre en el estado ien el instante t:

pi(t) = px=i(t) ; con:

{t = 0, 1, 2, . . .i = 0, 1, 2, . . . ,m

(2.15)

y el conjunto de probabilidades incondicionales de estado pi(t) ∀i, de-finen el vector de probabilidades de estado p(t):

p(t) = p0(t) p1(t) p2(t) . . . pm(t) (2.16)

vector en el cual se cumplen las siguientes condiciones:


⎧⎨⎩0 ≤ pi(t) ≤ 1 ; ∀i (2.17)m∑i=0

pi(t) = 1 ; con i = 0, 1, 2, . . . (2.18)

(b) Probabilidad de estado inicialEs un caso particular de la (2.15) para t=0 :

pj(0) = Px=i(t = 0) ; con i = 0, 1, . . . ,m (2.19)

y el conjunto de probabilidades de estado iniciales pi(0) ,∀i definenel vector de probabilidades de estado inicial:

p(0) = p0(0) p1(0) p2(0) . . . pm(0) (2.20)

(c) Probabilidad de estado luego de 1 pasoEn forma analoga se define:

pi(1) = Px=j(t = 1) ; con j = 0, 1, . . . ,m (2.21)

Esta probabilidad se puede expresar en funcion de las probabilidadesde estado iniciales aplicando el Teorema de la Probabilidad Total,quedando expresada la llamada ecuacion de estado:

pj(1) =m∑i=0

pi(0).pkj ; con j = 0, 1, . . . ,m (2.22)

Como antes, el conjunto de probabilidades de es-tado luego de 1 paso pj(1), ∀j, definen el vector deprobabilidades de estado luego de 1 paso:

p(1) = p0(1) p1(1) p2(1) . . . pm(1) (2.23)


y aplicando la ecuacion de estado (2.22) a cada uno de los elementosdel vector (2.23) queda la expresion matricial de la ecuacion de estado:

p(1) = p0(1) p1(1) . . . pm(1) = p0(0) p1(0) . . . pm(0) x

p00 . . . p0m

p10 p1m...

...pm0 . . . pmm

p(1)= p(0) . P (2.24)

(d) Expresion general de la Ecuacion de EstadoEn forma generica la probabilidad de estado luego de n pasos es:

pj(n) = px=j(t = n) ; con:

{n = 0, 1, 2, . . .j = 0, 1, 2, . . . ,m

(2.25)

Con las mismas consideraciones hechas para deducir la ecuacion (2.22)se llega a las expresiones algebraicas generales de la ecuacion de estado:

pj(n) =

⎧⎨⎩

m∑k=0

pi(0).pij(n) : forma a)

m∑k=0

pi(n− 1).pij : forma b)

⎫⎬⎭; con:

{n = 1, 2, . . .j = 0, 1, 2, . . . ,m

(2.26)

Como antes, el conjunto de probabilidades de estado luego de n pasospj(n) definen el vector de probabilidades de estado:

p(n) = p0(n) p1(n) p2(n) . . . pm(n) (2.27)

y la expresion matricial general de la ecuacion de estado (2.26), tomandopor ejemplo la forma a), queda:


p(n) = p0(0) p1(0) . . . pm(0) x

p00(n) . . . p0m(n)p10(n) p1m(n)

......

pm0(n) . . . pmm(n)

p(n)= p(0) . P(n) (2.29)

Las ecuaciones (2.28) y (2.29) constituyen las expresiones genericasmatriciales de la ecuacion de estado, las cuales se resumen en la si-guiente expresion:

p(n) =

⎧⎨⎩p(0).P (n)

p(n− 1).P(2.30)

Las ecuaciones (2.14) y (2.30) permiten calcular la probabilidad decada uno de los estados de la cadena, luego de un numero n cualquierade pasos, conocidas la probabilidad de estado para un instante dado yla matriz de probabilidades de transicion de 1 paso P.

Ejemplo 2.eEn la cadena del ejemplo 2.a, si se parte de un estado inicial con lassiguientes probabilidades:⎧⎨⎩

p0(0) = 0, 5p(0) = 0, 5 0, 5

p1(0) = 0, 5

las probabilidades de 1, 2, 3 y 4 pasos seran respectivamente:

p(1) = p(0).P = 0, 5 0, 5 x0 1

0, 333 0, 667= 0, 167 0, 833

p(2) = p(0).P 2 = 0, 5 0, 5 x0, 333 0, 6670, 222 0, 778

= 0, 278 0, 722


p(3) = p(0).P 3 = 0, 5 0, 5 x0, 222 0, 7780, 259 0, 741

= 0, 241 0, 759

p(4) = p(0).P 4 = 0, 5 0, 5 x0, 259 0, 7410, 247 0, 753

= 0, 253 0, 747

2.2 Clasificacion de las cadenas de Markov Homogeneas en ergodicasy no ergodicas

A continuacion se efectua una clasificacion de las cadenas de Markov homogeneassegun la posibilidad o no que tengan de ser reducibles o separables en cadenasmas chicas para el estudio de su comportamiento en los llamados regımenestransitorio y permanente. Esta clasificacion dara lugar a la definicion de lascadenas ergodicas o irreductibles y las cadenas no ergodicas o separables. Pre-viamente se requiere dar la definicion de estados accesibles y comunicantes yluego clasificar los estados en clases.

2.2.1) Definicion de estados accesibles y comunicantesUn estado j es accesible desde un estado i si se cumple que para algun pason ≥ 1 es pij(n) > 0, lo cual significa que es posible pasar desde el estado ial estado j luego de un numero n de transecciones, y se escribe: i→ j.La accesibilidad es una propiedad transitiva, es decir:

si i→ j y j → k ⇒ i→ k

Ejemplo 2.fEn la cadena de la figura el estado 6 es accesible desde el 5 en un paso ydesde el 4 en dos pasos, a traves del 5. El estado 1 no es accesible desde el 2.


765401230 //765401231 //765401232 //��

��==========765401233��

��765401237��

�� ==========765401234SS

@@

��765401236KK

^^

765401235oo

Accesibilidad en una transicion

i/j 0 1 2 3 4 5 6 7

0 x1 x2 x x x

3 x x4 x x x5 x6 x x7 x x x

Dos estados i y j son comunicantes si j es accesible desde i, y viceversa, yse escribe: i↔ jLa comunicacion es tambien una propiedad transitiva, es decir:

si i→ j y j → k ⇒ i→ k

En el ejemplo 2.f los estados 5 y 7 son comunicantes.

2.2.2) Clasificacion de estados en clases comunicantes y estados sin retornoUna clase comunicante es un conjunto de estados que se comunican todosentre si. Como caso particular la clase puede consistir en un solo estado.En el ejemplo 2.f se pueden formar las siguientes clases comunicantes:⎧⎨⎩

C1 = {2}C2 = {3, 4}C3 = {5, 6, 7}

Las clases comunicantes se pueden clasificar en recurrentes y transitorias.

(a) Clases recurrentes- Estados absorbentes

Una clase es recurrente cuando la probabilidad de que la cadena seencuentre en un estado de dicha clase despues de ∞ transiciones espositiva; esto significa que una vez que la cadena ha alcanzado dicha


clase, siempre regresara a ella.En el ejemplo 2.f la clase C3 es recurrente.Un caso especial de clases recurrentes lo constituyen los llamados es-tados absorbentes, que son aquellos estados que una vez que la cadenalos ha alcanzado, no puede abandonarlos; es decir, siendo accesiblesdesde otros estados no absorbentes de la cadena, no se cumple la in-versa. De lo anterior se deduce que un estado absorbente i tiene unaprobabilidad pii = 1.

(b) Clases transitorias

Una clase es transitoria cuando la probabilidad de que la cadena seencuentre en un estado de dicha clase despues de ∞ transiciones esnula; esto significa que una vez que la cadena ha alcanzado dichaclase, existe una probabilidad de que no retorne nunca a ella.En el ejemplo 2.f las clases C1 y C2 son transitorias.Estados sin retorno son aquellos estados que no se comunican conningun otro estado, ni siquiera consigo mismo; esto significa que unavez que la cadena ha alcanzado dicho estado la probabilidad de queretorne a el es nula.En el ejemplo 2.f los estados 0 y 1 son sin retorno. Resumiendo loanterior, los estados pueden clasificarse de la siguiente manera:⎧⎨⎩

Estados sin retorno

Clases comunicantes

{transitorias

recurrentes{

estados absorbentes

2.2.3) Clasificacion de las cadenas de Markov homogeneas en ergodicas y noergodicasUna cadena de Markov homogenea es ergodica o irreductible cuando todossus estados se comunican, es decir constituyen una unica clase comunicanterecurrente.Las cadenas ergodicas pueden ser clasificadas en regulares y periodicas.


(a) Cadenas regularesUna cadena ergodica es regular o aperiodica cuando todos los estadospueden comunicarse simultaneamente en una cantidad r de pasos; enestas condiciones la potencia r de la matriz P : P r es una matriz contodos sus elementos no nulos. Un criterio para comprobar que una ca-dena es regular consiste en calcular las sucesivas potencias de P hastaencontrar un numero r de pasos tal que la matriz P r tiene todos suselementos no nulos.Ejemplo 2.gDada la siguiente cadena:

765401230

0,5

""0,5

�� 765401231

0,2

bb

0,2��

0,6��

765401232

1

XX11111111 P =0, 5 0, 50, 2 0, 2 0, 61

se cumple que para r = 3

P 3 =0, 545 0, 245 0, 2100, 518 0, 398 0, 0840, 350 0, 350 0, 300

todos sus elementos son no nulos, por lo tanto es una cadena ergodicaregular. Como ejemplo: desde el estado 3 se puede acceder al mismoestado recien en 3 pasos.

(b) Cadenas periodicasUna cadena ergodica es periodica cuando no se puede encontrar unapotencia r de P para la cual todos los elementos de P r sean no nulos;en estas condiciones las sucesivas potencias de la matriz P r denotanun patron periodico que permite asegurar siempre la presencia de almenos un cero en P r.Ejemplo 2.hDada la cadena siguiente:


7654012301

''7654012311/2gg

1/2zz765401232

1

::

P =0 1 0

1/2 0 1/20 1 0

es ergodica periodica pues sus sucesivas potencias son:

P 2 =1/2 0 1/20 1 0

1/2 0 1/2; P 3 =

0 1 01/2 0 1/20 1 0

; P 4 =1/2 0 1/20 1 0

1/2 0 1/2

como puede observarse se cumple el patron de repeticion periodico:{P = P 3 = P 5 = . . . = Pm ; con m : imparP 2 = P 4 = P 6 = . . . = P n ; con n : par

con la presencia siempre de ceros en las matrices.Una cadena de Markov homogenea es no ergodica o reducible o sepa-rable cuando no todos sus estados se comunican, en esas condiciones lacadena es separable en un conjunto de clases comunicantes y estadossin retorno.Ejemplo 2.iDada la siguiente cadena:

765401230

0,5&&

0,5�� 765401231

0,2

ff

0,8

SS

765401232

0,7&&

0,3�� 765401233

0,6

ff

0,4

SS

P =

0, 5 0, 5 0 00, 8 0, 2 0 00 0 0, 7 0, 30 0 0, 6 0, 4

es separable en dos clases comunicantes recurrentes C1 = {0, 1} yC2 = {2, 3}La cadena del ejemplo 2.f es separable en:


⎧⎨⎩1 clase comunicante recurrente : C3 = {5, 6, 7}2 clase comunicante transitoria : C1 = {2} y C2 = {3, 4}2 estados sin retorno : 0 y 1

Dentro de las cadenas no ergodicas merecen especial atencion dostipos particulares de cadenas denominadas respectivamente cadenasabsorbentes y cadenas cıclicas.

(a) Cadenas absorbentesUna cadena absorbente es una cadena no ergodica separable en

∙ 1 o varios estados absorbentes y

∙ 1 o varios estados no absorbentes, constituıdos por clases comuni-cantes transitorias o estados sin retorno, desde los cuales se puedeacceder a por lo menos un estado absorbente

Ejemplo 2.jDada la siguiente cadena:

765401230

0,7''

0,3�� 765401231

0,5

gg

0,5��

765401232

1��

P =

i/j 0 1 2

0 0, 7 0, 31 0, 5 0, 52 1

es una cadena absorbente separable en una clase comunicante tran-sitoria C={ 0,1} y un estado absorbente 2, para el cual se cumple quep22 = 1

(b) Cadenas cıclicasUna cadena cıclica es una cadena no ergodica en la cual el procesopasa de un estado a otro cıclicamente segun un cierto patron de com-portamiento. El ciclo es un camino cerrado entre estados de una claserecurrente.Para que una cadena sea cıclica debe cumplirse que:

∙ tenga por lo menos un ciclo, y


∙ sea posible entrar en el ciclo

Ejemplo 2.kDada la siguiente cadena:

765401230

0,5��

0,2

�� 0,3

��11111111

7654012311

''7654012321

gg

P =

i/j 0 1 2

0 0, 5 0, 2 0, 31 12 1

es una cadena cıclica separable en una clase comunicante transitorıaC1={ 0 } una clase comunicante recurrente C2={ 1, 2 } , que formaun ciclo.Muchas caracterısticas de comportamiento de las cadenas no ergodicasdespues que se han producido un numero elevado de transiciciones (enlo que luego se definira como regimen permanente), se estudian medi-ente el analisis de sus clases comunicantes recurrentes como si fuerancadenas ergodicas independientes.En resumen las cadenas de Markov homogeneas se pueden clasificar en:⎧⎨⎩

Cadenas ergodicas: una clase comunicante recurrente

{regulares

periodicas

Cadenas no ergodicas: separables en

clases comunicantes mas estados sin retorno

{absorbentes

cıclicas

A partir de esta clasificacion en los puntos siguientes se estudia elcomportamiento de las cadenas ergodicas y no ergodicas mencionadas.

2.3 Estudio del Comportamiento de las Cadenas Ergodicas en elRegimen Permanente

Se define como regimen permanente o estado estacionario de una cadena deMarkov homogenea a la situacion que el sistema alcanza luego de un periodorelativamente largo de tiempo. En dicho regimen la cadena ya ha entrado enuna condicion de equilibrio estocastico, lo cual significa que sus probabilidades


de estado devienen estables en el tiempo.En cambio regimen transitorio es la situacion en que el sistema se encuentraluego de un perıodo relativamente corto de tiempo. En dicho regimen la cadenano ha encontrado todavıa una condicion particular de equilibrio estocastico, esdecir sus probabilidades de estado no son estables en el tiempo.Dentro de las cadenas ergodicas regulares y periodicas interesa estudiar es-pecıficamente sus comportamientos en el regimen permanente, y sus conclu-siones, segun se ha dicho mas arriba, son extensibles a las clases recurrentes delas cadenas no ergodicas.

2.3.1) Estudio del comportamiento de las cadenas regulares en el regimen per-manenteTal como se ha definido en 2.2.3, una cadena regular es una cadena ergodicaen la cual todos sus estados pueden comunicarse simultaneamente en unacantidad r de pasos.Para describir el comportamiento de una cadena regular en el regimen per-manente o a lago plazo es preciso conocer las probabilidades de transiciony de estado cuando el numero n de transiciones tiende a ∞. Se puede de-mostrar que si la cadena es regular, el lımite de la matriz de probabilidadesde transicion P(n) cuando n tiende a ∞ es una matriz regular (todos suselementos son positivos), con todas sus filas iguales, es decir, de (2.14) es:

limP (n) = limn→∞

P n =

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm

(2.31)

y el lımite del vector de probabilidades de estado queda, tomando la 1ra.igualdad de la (2.30):


limn→∞

p(n) = p(0). limn→∞

P (n) = p0(0) . . . pi(0) . . . pm(0) x

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm

y por cumplirse que:m∑i=0

pi(0) = 1, queda:

limn→∞

p(n) = p0 . . . pj . . . pm (2.32)

las (2.31) y (2.32) expresan que en una cadena de Markov regular, luegode un numero suficientemente grande de transiciones (n → ∞), sus pro-babilidades de transicion pij(n) y de estado Pj(n) se estabilizan en valoreslımites iguales para cada estado j, e independientes del estado inicial i. Esteestado se conoce como regimen permanente o estacionario, y sus probabi-lidades de estado pj representan los porcentajes de tiempo que la cadenapermanece en cada estado j luego de un perıodo largo de tiempo.Esta distribucion de estados lımites se puede determinar mediante trescaminos alternativos.

(a) mediante el lımite de la ecuacion (2.31):limP (n) = limP n; n→∞(b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion

de estado (2.30). Para n → ∞, segun lo expresado mas arriba secumple que:

limn→∞

p(n) = limn→∞

p(n− 1) = p

reemplazando en la 2da. igualdad de la (2.30) quedan:

siendo:

p = p . P

m∑j=0

pj = 1

(2.33)

(2.34)


luego con las ecuaciones (2.33) y (2.34), conocida la matriz de tran-sicion P de la cadena regular, se puede calcular el vector de probabi-lidades p del regimen permanente.

(c) mediante la llamada “ecuacion de balance de flujos probabilısticos”,que se deriva de la ecuacion (2.33). En efecto, si se desarrolla estaultima es:

P = p0 . . . pj . . . pm = p0 . . . pi . . . pm x

p00 . . . p0j . . . p0m...

......

pi0 . . . pij . . . pim...

......

pm0 . . . pmj . . . pmm

en la cual el elemento generico pj es:

pj =m∑i=0

pi.pij =m∑∀i∕=j

pi.pij + pj.pjj

agrupando queda:m∑∀i∕=j

pi.pij = pj(1− pjj)

y aplicando la ecuacion (2.4) a las transiciones del estado j a un con-junto exhaustivo de estados k es:∑∀k

pjk = 1 ∴ 1− pjj =∑∀k ∕=j

pjk

reemplazando queda:∑∀i∕=j

pi.pij = pj.∑∀k ∕=j

pjk ; j = 0, . . . , n (2.35)


que es la ecuacion de balance de flujosprobabilısticos, la cual expresa que“para un nodo generico j la suma delos flujos probabilısticos que concur-ren al nodo es igual a la suma delos flujos probabilısticos que salen delnodo”.

i

⎧⎨⎩��==========

$$JJJJJJJJ

//WVUTPQRSj

@@��

::uuuuuuuu//

$$JJJJJJJJ

��==========::uuuuuuuu

@@��

⎫⎬⎭k

Ejemplo 2.lDada la siguiente cadena:

765401230

0,5

""0,5

�� 765401231

0,2

bb

0,2��

0,6��

765401232

1

XX11111111 P =0, 5 0, 5 00, 2 0, 2 0, 61 0 0

la cual es ergodica regular pues P 3:

P 2 =0, 35 0, 35 0, 300, 74 0, 14 0, 120, 50 0, 50 0

∴ P 3 =0, 545 0, 245 0, 2100, 518 0, 398 0, 0840, 350 0, 350 0, 300

tiene todos sus elementos no nulos, se puede determinar el vector deprobabilidades p del regimen permanente mediante el calculo de lassucesivas potencias de P n:

P 4 =0, 5315 0, 3215 0, 14700, 4226 0, 3386 0, 23880, 5450 0, 2450 0, 2100

; P 8 =0, 4985 0, 3158 0, 18580, 4979 0, 3090 0, 19310, 5077 0, 3096 0, 1827

P 16 =0, 5 0, 3125 0, 18750, 5 0, 3125 0, 18750, 5 0, 3125 0, 1875

= p17 = p18 = limn→∞

P n


se observa que a medida que aumenta n, los elementos pij(n) tiendena un lımite fijo, independiente del valor de i.Luego por (2.32) es:

p = limn→∞

p(n) = p0 p1 p2 = 0, 5 0, 3125 0, 1875 (2.32)

Analogo resultado puede obtenerse mediante la aplicacion de las ecua-ciones (2.33) y (2.34), que en este ejemplo son:⎧⎨⎩

p0 p1 p2 = p0 p1 p2 x0, 5 0, 5 00, 2 0, 2 0, 61 0 0

p0 + p1 + p2 = 1

ordenando queda:⎧⎨⎩0, 5 p0 − 0, 2 p1 − p2 = 0−0, 5 p0 + 0, 8 p1 = 0

− 0, 6 p1 + p2 = 0p0 + p1 + p2 = 1

sistema de cuatro ecuaciones con tres incognitas. Eliminando unacualquiera de las tres primeras ecuaciones, por ejemplo la 3ra. ecuacion( la cuarta no se puede eliminar porque las tres primeras satisfacen lasolucion trivial), queda:⎧⎨⎩

0, 5 p0 − 0, 2 p1 − p2 = 0−0, 5 p0 + 0, 8 p1 = 0

p0 + p1 + p2 = 1

ecuacion del tipo: p . A = B, siendo:

0, 5 0, 5 00, 2 0, 2 0, 61 0 0

; B = 0 0 1


resolviendo la ecuacion se llega al resultado anterior:

p = B.A−1 = 0, 5 0, 3125 0, 1875

Al mismo sistema de ecuaciones podrıa haberse arribado partiendode la ecuacion de balance de flujos probabilısticos (2.35) y la ecuacion(2.34):⎧⎨⎩

para el nodo 0: 0, 2 p1 + p2 = 0, 5 p0 ⇒ 0, 5 p0 − 0, 2 p1 − p2 = 0para el nodo 1: 0, 5 p0 = (0, 2 + 0, 6) p1 ⇒ −0, 5 p0 + 0, 8 p1 = 0para el nodo 2: 0, 6 p1 = p2 ⇒ − 0, 6 p1 + p2 = 0y de la (2.34): p0 + p1 + p2 = 1

2.3.2) Estudio del comportamiento de las cadenas periodicas en el regimen per-manenteTal como se ha definido en 2.2.3 , una cadena periodica es una cadenaergodica en la cual no se puede encontrar una potencia r de la matriz Ppara la cual todos los elementos de P 2 sean no nulos. A diferencia delas cadenas regulares, en las cadenas periodicas no pueden lograrse valoreslımites de la matriz P (n) = P 2 cuando n tiende a ∞. No obstante lacadena se estabiliza en valores lımites de probabilidades de estado a largoplazo, los cuales, como en el caso anterior representan los porcentajes detiempo que el proceso permanece en cada estado, y que se pueden calculara partir de las expresiones (2.33) y (2.34) o de las (2.35) y (2.34) indistin-tamente.Ejemplo 2.mDada la cadena periodica del ejemplo 2.h

7654012301

''7654012311/2gg

1/2zz765401232

1

::

P =0 1 0

1/2 0 1/20 1 0

segun se ha visto en dicho ejemplo el lımite de P n cuando n tiende a ∞


no existe, no obstante aplicando las ecuaciones (2.33) y (2.34) son:⎧⎨⎩p0 p1 p2 = p0 p1 p2 x

0 1 01/2 0 1/20 1 0

p0 + p1 + p2 = 1

eliminando una de las tres primeras ecuaciones, y resolviendo el sistemaresultante quedan:p0 = p2 = 1/4 ; p1 = 1/2

2.4 Estudio del comportamiento de las cadenas no ergodicas

Segun se ha dicho anteriormente, dentro de las cadenas no ergodicas merecenespecial atencion las cadenas absorbentes y las cadenas cıclicas. Ademas, de lasmismas interesa fundamentalmente estudiar su comportamiento en el regimentransitorio, pues en el permanente queda caracterizado por el estudio del com-portamiento de sus clases recurrentes como cadenas ergodicas independientes.

2.4.1) Estudio del comportamiento de las cadenas absorbentes.Como se ha definido en 2.2.3, una cadena absorbente es una cadena noergodica separable en:

⋅ uno o varios estados absorbentes (estados con probabilidad nula de serabandonados, por lo tanto cuando son alcanzados por el proceso, estese detiene definitivamente o se detiene para luego comenzar desde otroestado), y

⋅ uno o varios estados no absorbentes constituidos por clases comuni-cantes transitorias o estados sin retorno, desde cada una de las cualesse puede acceder a por lo menos un estado absorbente.Ejemplos de cadenas absorbentes se pueden encontrar en multiplesprocesos de la realidad. Uno de los mas ilustrativos lo constituyen losprocesos de inspeccion como el del siguiente problema.

Ejemplo 2.nSe tiene que inspeccionar una muestra de tres piezas hasta encontrar una


pieza que sea mala, con probabilidad p, o las tres piezas buenas.Se tienen los siquientes estados:

Estados 0 1 2 3 4 5 6

SituacionBuenas 0 0 1 1 2 2 3Malas 0 1 0 1 0 1 0

con los siguientes grafo y matriz de transicion:

765401230p //

1−p

88765401231

1�� 765401232

1��

1−p

~~}}}}}}}}}}}}}}}}}}}}}

p //765401233

1��

765401234p //

1−p

88765401235

1�� 765401236

1��

P =

0 1 2 3 4 5 60 p (1− p)1 12 p (1− p)3 14 p (1− p)5 16 1

Se puede observar la presencia de cuatro estados absorbentes: 1, 3, 5 y6 y das tres estados sin retorno: 0, 2 y 4.

En las cadenas absorbentes es de interes conocer:

(a) el numero esperado de veces que el proceso pasa por cada estado noabsorbente antes de ser absorbido

(b) el numero esperado de transiciones que el proceso tarda en ser ab-sorbido

(c) la probabilidad de absorcion por cada estado absorbente

Para realizar estos analisis se opera con la matriz de transicion P, peroreagrupada en cuatro submatrices, constituyendo lo que se conoce cono“forma canonica o estandar”. Para un proceso de a estados absorbentes yn estados no absorbentes, dicha forma es:


P =

I 0 a estadosA N n estadosa n

estados estados

en donde son:

* I(axa): matriz identidad; cada elemento representa la probabilidad depermanecer en un estado absorbente en un paso

* 0(axn): matriz nula; cada elemento representa la probabilidad de pasarde un estado absorbente a uno no absorbente en un paso

* A(nxa): matriz de estados absorbentes; cada elemento representa laprobabilidad de ser absorbido (pasar de un estado no absorbente a unoabsorbente) en un paso

* N(nxn): matriz de estados no absorbentes; cada elemento representala probabilidad de no ser absorbido (pasar de un estado no absorbentea otro no absorbente) en un paso

En la cadena del ejemplo 2.n serıa:

P =

1 3 5 6 0 2 41 13 15 16 1

0 p (1− p)2 p 1 (1− p)4 p (1− p)

Para los analisis que siguen se utilizaran las matrices A y N.

(a) Numero esperado de veces que el proceso pasa por cada estado no ab-sorbente antes de ser absorbidoDe acuerdo a lo visto anteriormente cada elemento de N representa


la probabilidad de pasar de un estado no absorbente i a otro estadono absorbente j en un paso. Luego cada elemento de la matriz N 2

representa la probabilidad de pasar de un estado no absorbente i aotro estado no absorbente j en dos pasos, y en forme generica cadaelemento de la matriz Nn representa la probabilidad de pasar de unestado no absorbente i a otro estado no absorbente j en n pasos.Por lo tanto el numero esperado de veces que la cadena puede pasarpor un estado no absorbente j, habiendo comenzado en un estado noabsorbente generico i, esta dado por:

nj/i = 1xI︸︷︷︸al comienzo

+ 1xN︸︷︷︸en un paso

+ 1xN 2︸︷︷︸en dos pasos

+ . . .+ 1xNn︸︷︷︸en n pasos

+ . . . = II−N =

siendo limn→∞

Nn = 0 =⇒ nj/i = (I −N)−1 (2.36)

Ejemplo 2.nDada la siguiente cadena absorbente:

765401231

1��

765401230

1/2 ,,

1/2

@@�� 765401233

1��

765401232

1/4

ll

3/4

@@��

P =

0 1 2 30 1/2 1/21 12 1/4 3/43 1

su forma estandar es:

P =

1 3 0 21 13 1

0 1/2 1/22 3/4 1/4


donde son:

N =0 2

0 1/22 1/4

; A =1 3

0 1/22 3/4

luego resulta:

I −N = 1 −1/2−1/4 1

(I −N)−1 =0 2

0 8/7 4/72 2/7 8/7

por lo tanto si la cadena comienza en el estado no absorbente 0, pasaraen promedio por ese estado: 8/7 veces, incluyendo el comienzo, y porel estado 2: 4/7 veces, antes de ser absorbida por los estados 1 o 3; sien cambio la cadena comienza en el estado no absorbente 2, pasara enpromedio por ese estado: 8/7 veces, incluyendo el comienzo, y por elestado 0: 2/7 veces, antes de ser absorbida por los estados 1 o 3.

(b) Numero esperado de transiciones que el proceso tarda en ser absorbidoEn funcion de lo anterior, cuando la cadena comienza en un estado noabsorbente i, el numero esperado de pasos que tarda en ser absorbidaes la suma de los elementos de la fila i , de la matriz (I −N)−1, por lotanto queda expresado como:

Ni =∑∀j

nj/i = (I −N)−1 x

11...1

(2.37)

Ejemplo 2.oPara la cadena del ejemplo 2.n es:


Ni =0 2

0 8/7 4/72 2/7 8/7

x 11

= 0 12/72 10/7

Es decir que si la cadena comienza en el estado no absorbente 0 tar-dara 12/7 transiciones en promedio antes de ser absorbida, si en cambiocomienza en el estado 2, tardara 10/7 transiciones.

b.1) Extension para cadenas no absorbentesPara determinar el numero de pasos promedio para alcanzar unestado cualquiera j determinado, se procede de manera analoga alpunto anterior, suponiendo que el estado j es absorbente.Ejemplo 2.p

765401230

0,4��

0,3 44

0,3 ,,

765401231

0,5��

0,2

zz

0,3765401232

0,6

hh

0,4

MM P =

0 1 20 0, 4 0, 3 0, 31 0, 2 0, 5 0, 32 0, 6 0, 4 0

Para averiguar el numero de transiciones que se realizan hasta al-canzar por primera vez el estado 2, se debe considerarlo absorbente;es decir, la nueva matriz de transicion sera en su formato estandar:

P =

2 0 12 1 0 00 0, 3 0, 4 0, 31 0, 3 0, 2 0, 5

luego:

I −N =1 01 0

− 0, 4 0, 30, 2 0, 5

=0, 6 −0, 3−0, 2 0, 5


(I −N)−1 =2, 08 1, 250, 82 2, 50

(I −N)−1 x 1 =3, 333, 32

es decir, partiendo del estado 0, el numero promedio de pasos quetranscurren entes de alcanzar el estado 2 es 3.33, y partiendo delestado 1, el numero promedio de pasos que transcurren antes dealcanzar el estado 2 es 3.32.

(c) Probabilidad de absorcion por cada estado absorbentePara cada estado no absorbente i interesa conocer la probabilidad deser absorbido por cada estado absorbente j. Este valor es igual a laprobabilidad de ir desde i a j en un paso, mas la probabilidad da ha-cerlo en dos pasos, mas la probabilidad de hacerlo en tres pasos, etc.Luego:

P (i→ j) = P (i→ jen un paso) +P (i→ jen 2 pas.) +P (i→ jen 3 pas.) + . . .

= A +N x A +N xN x A + . . .

= (I + N + N 2 + N 3 + . . .) x A

P (i→ j) = (I −N)−1 x A (2.38)

Ejemplo 2.qPara el ejemplo 2.n es:

P (i→ j) = (I−N)−1 xA =0 2

0 8/7 4/72 2/7 8/7

x1 3

0 1/2 02 0 3/4

=

=1 3

0 4/7 3/72 1/7 6/7


es decir, comenzando en el estado 0 la probabilidad de terminar enel estado 1 es 4/7 y en el estado 3 es 3/7, y comenzando en el estado2 la probabilidad de terminar en el estado 1 es 1/7 y en estado 3 es 6/7.

2.4.2) Estudio del comportamiento de las cadenas cıclicasComo se ha definido en 2.2.3, una cadena cıclica es una cadena en la cualel proceso pasa de un estado a otro cıclicamente segun un cierto patron decomportamiento, cumpliendose las condiciones:

* tiene por lo menos un ciclo (camino cerrado entre estados de una clasecomunicante recurrente),

* es posible entrar en el ciclo.En el regimen transitorio (corto plazo) se puede determinar el numerode intentos promedio que se realizan para alcanzar el ciclo. Este calculose puede hacer suponiendo que el ciclo es un estado absorbente.Ejemplo 2.rEn la cadena cıclica del ejemplo 2.k, haciendo:

P =1 y 2 0

1 y 2 1 00 0, 5 0, 5

∴ I −N = 1 − 0, 5 = 0, 5 ∴ (1−N)−1 = 2

∴ (I −N)−1 x 1 = 2 x 1 = 2 ∴ N0 = 2

En el regimen permanente (largo plazo) el sistema es cıclico, y el tiempoque el proceso pasa en cada estado del ciclo se calcula con el procedimientovisto para las cadenas ergodicas, ecuaciones (2.33) y (2.34). Para el ejem-plo 2.r serıa:

p(0) p(1) p(2) x0, 5 0, 2 0, 30 0 10 1 0

= p(0) p(1) p(2) ∴


⎧⎨⎩p(0) x 0, 5 = p(0)0, 2 x p(0) + p(2) = p(1)p(0) + p(1) + p(2) = 1

∴

{p(0) = 0p(1) = p(2) = 0, 5

El ciclaje es comun en operaciones de maquinas, en ciertas funcionesmatematicas y en algunos sistemas fısico-economicos.


3 CADENAS DE MARKOV HOMOGENEAS

DE PARAMETRO CONTINUO

Se sigue a continuacion un desarrollo analogo al de las cadenas de parametrodiscreto definiendose primero las probabilidades condicionales de transicion eincondicionales de estado, y estudiandose luego el comportamiento de las cade-nas regulares en el regimen permanente.

3.1 Estudio de las probabilidades en las cadenas de Markov ho-mogeneas

3.1.1) Probabilidad condicional de transicion

(a) Definicion generalLa probabilidad condicional de transicion es:

pij(Δt) = P{X(t+ Δt) = j/X(t) = i}; con:

⎧⎨⎩t ≥ 0Δt ≥ 0i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(3.1)

y la matriz de probabilidades de transicion es:

P (Δt) =

i/j 0 1 . . . . . . m

0 p00(Δt) p01(Δt) . . . . . . p0m(Δt)1 p10(Δt) p11(Δt) . . . . . . p1m(Δt)...

......

......

......

...m pm0(Δt) pm1(Δt) . . . . . . pmm(Δt)

(3.2)

cumpliendose:⎧⎨⎩

0 ≤ pij(Δt) ≤ 1 ; ∀i, j (3.3)

m∑j=0

pij(Δt) = 1 ; i = 0, 1, . . . ,m (3.4)

con Δt ≥ 0 . . .


Ademas en el caso de parametro t continuo, las probabilidades de tran-sicion deben ser continuas en t = 0, es decir que deben cumplirse lassiguientes condiciones: Ejemplo 3.a

limt→0

Pij(Δt) =

{0 ; si i ∕= j (3.5)1 ; si i = j (3.6)

El siguiente es un ejemplo de matriz de probabilidades condicionalesde transicion correspondiente a una cadena de Markov homogenea deparametro continuo con dos estados: 0 y 1.⎧⎨⎩

P (Δt) =p00(Δt) p01(Δt)p10(Δt) p11(Δt)

=0, 7 + 0, 3e−Δt 0, 3− 0, 3e−Δt

0, 7− 0, 7e−Δt 0, 3 + 0, 7e−Δt

con Δt ≥ 0

luego para cada valor de Δt se tiene una matriz distinta, por ejemplo:

para Δt = 0 P (0) =1 00 1

7654012300&&

1�� 765401231

0

ff

1

SS

para Δt = 0, 5 P (5) =0, 88 0, 120, 28 0, 72

765401230

0,12&&

0,88�� 765401231

0,28

ff

0,72

SS

para Δt→∞ P (∞) =0, 7 0, 30, 7 0, 3

765401230

0,3&&

0,7�� 765401231

0,7

ff

0,3

SS

(b) Tasas o intensidades de transicionAl estudiar el comportamiento de una Cadena de Markov homogeneade parametro continuo, es necesario trabajar con probabilidades detransicion entre instantes de tiempo muy proximos. Esta situacion


conduce, por la ecuacion (3.5) a probabilidades de transicion que tien-den a cero, es decir que cuando Δt→ 0⇒ pij(Δt)→ 0.Para solucionar el inconveniente de tener que trabajar con probabili-dades pij(Δt) diferenciales, se introduce el concepto de la derivada dela probabilidad de transicion entre dos estados i y j distintos en Δt = 0.Esta nueva magnitud, llamada tasa o intensidad de transicion, expresala variacion de la probabilidad de transicion entre estados diferentes dela cadena en un intervalo Δt pequeno, referida a un Δt unitario (porel concepto de derivada), y queda definida matematicamente como:

dij =

[d

dtpij(Δt)

]Δt=0

(3.7)

Formalmente, esta tasa de transicion en una cadena de parametrocontinuo es la magnitud equivalente a la probabilidad de transicion deun paso en las cadenas de parametro discreto.Para i = j el valor resultante se denomina tasa o intensidad de perma-nencia en el estado i , y matematicamente es:

dij =

[d

dtpij(Δt)

]Δt=0

(3.8)

Nuevamente el conjunto de tasas detransicion y permanencia definen la matrizde tasas de transicion D:

D =

d00 d01 . . . . . . d0m

d10 d11 . . . . . . d1m...

......

......

...dm0 dm1 . . . . . . dmm

(3.9)

Entre las tasas de transicion y permanencia se puede establecer unarelacion analoga a la (3.4):


de (3.4)m∑j=0

pij(Δt) = 1

derivando:d

Δt

[m∑j=0

pij(Δt)

]Δt=0

=m∑j=0

d

Δt[pij(Δt)]Δt=0 =

m∑j=0

dij = 0

luego: dii = −∑∀j ∕=i

dij (3.10)

La ecuacion (3.10) expresa que los elementos de la diagonal princi-pal de la matriz D se calculan como la suma de los elementos de sufila cambiada de signo.Ejemplo 3.bLa matriz de tasas D correspondiente al ejemplo 3.a es:

D =−0, 3 0, 30, 7 −0, 7

en la cual se observa el cumplimiento de la ecuacion (3.10).

(c) Ecuacion de Chapman-KolmogorovLa ecuacion de Chapman-Kolmogorov (2.12) y (2.14) es tambien apli-cable al caso continuo, adoptando la siguiente forma en sus expresionesalgebraicas:

pij(t) =m∑k=0

pik(t−Δt).pkj(Δt); con:

⎧⎨⎩t ≥ 0Δt ≥ 0i = 0, 1, 2, . . . ,mj = 0, 1, 2, . . . ,m

(3.11)

o matricial:


P (t) = P (t−Δt) . P (Δt) (3.12)

Ejemplo 3.cTomando la matriz de probabilidades de transicion del ejemplo 3.a:

P (t) =0, 7 + 0, 3et 0, 3− 0, 3et

0, 7− 0, 7et 0, 3 + 0, 7et

se verificara la ecuacion de Chapman (3.11) y (3.12) tomando comoejemplo i = 0, j = 1, t = 3, Δt = 0, 5. Luego son:

⋅ por calculo directo:p01(3) = 0, 3− 0, 3e−3 = 0, 285

⋅ por aplicacion de la ecuacion de Chapman:p01(3) = p00(2, 5) . p01(0, 5) + p01(2, 5) . p11(0, 5) =

= 0, 725 . 0, 118 + 0, 275 . 0, 275 = 0, 285

luego verifica.

3.1.2) Probabilidad incondicional de estado

(a) DefinicionLa probabilidad incondicional de estado es:

pi(t) = Px=i(t); con:

{t ≥ 0i = 0, 1, 2, . . . ,m

(3.13)

y el vector de probabilidades incondicionales de estado es:

p(t) = p0(t) p1(t) . . . . . . pm(t) (3.14)


cumpliendose:⎧⎨⎩0 ≤ pi(t) ≤ 1 , ∀i (3.15)

m∑i=0

pi(t) = 1 , con t ≥ 0 (3.16)

(b) Probabilidad de estado inicialEs un caso particular de la (3.13) para t = 0:

pi(0) = px=i(t = 0) ; con i = 0, 1, . . . ,m (3.17)

y el vector de probabilidades:

p(0) = p0(0) p1(0) . . . . . . pm(0) (3.18)

(c) Ecuacion de estadoLa ecuacion de estado (2.26) y (2.30) es tambien aplicable al caso con-tinuo, adoptando las siguientes formas en sus expresiones algebraicas:

pj(t) =

⎧⎨⎩

m∑k=0

pi(0).pij(t) : forma a)

m∑i=0

pi(t−Δt).pij(Δt) : forma b)

⎫⎬⎭; con:

{t ≥ 0Δt ≥ 0j = 0, 1, 2, . . . ,m

(3.19)

o matricial:

p(t) =

{= p(0) . P (t)= p(t−Δt) . P (Δt)

(3.20)

expresion generica matricial de la ecuacion de estado para el caso con-tinuo. Las ecuaciones (3.12) y (3.20) permiten calcular la probabili-dad de cada uno de los estados de la cadena, en cualquier instante detiempo t.


3.2 Estudio del comportamiento de las cadenas regulares en el reg.permanente

En forma analoga al caso discreto, el regimen permanente o estado estacionariode una cadena de Markov homogenea de parametro continuo se obtiene ten-diendo el parametro t→∞, y si la cadena es regular se cumple tambien que ellımite de la matriz de probabilidades de transicion P(t) con t → ∞ es regularcon todas las filas iguales e independientes del tiempo:

limt→∞

P (t) =

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm

(3.21)

y el vector de probabilidades de estado queda, de la 1ra. igualdad de la ecuacion(3.20):

limt→∞

p(t) = p(0). limt→∞

P (t) = p0(0) . . . pi(0) . . . pm(0) x

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm...

......

p0 . . . pj . . . pm

y por cumplirse quem∑i=0

pi(0) = 1, queda:

limt→∞

p(t) = p = p0 . . . pj . . . pm (3.22)

Igual que en el caso discreto, las (3.21) y (3.22) expresan que en una cadena deMarkov regular, luego de un tiempo t suficientemente grande sus probabilidadesde transicion pij(t) y de estado pj(t) se estabilizan en valores lımites similarese independientes del estado inicial y del tiempo t, definiendose a este estado


como regimen permanente o estado estacionario. Esta distribucion se puededeterminar mediante tres caminos alternativos:

a) mediante el lımite de la ecuacion (3.21)

b) mediante una ecuacion que se deriva de la 2da. igualdad de la ecuacion deestado (3.20) para t→∞

limt→∞

p(t) = limt→∞

p(t−Δt) = p, luego es:

siendo de (3.16)

p = p . P (Δt)

m∑j=0

pj = 1

(3.23)

(3.24)

Se puede observar que de (3.23) el vector p de probabilidades en el regimenpermanente es constante e independiente del intervalo Δt que se toma den-tro de dicho regimen. Luego de (3.23) y (3.24) conocida la matriz P (Δt)se puede calcular el vector p.

c) un camino mas practico de calculo es hacerlo en funcion de la matriz D.Desarrollando la (3.23):

p0 . . . pi . . . pm x

p00(Δt) . . . p0j(Δt) . . . p0m(Δt)...

......

pi0(Δt) . . . pij(Δt) . . . pim(Δt)...

......

pm0(Δt) . . . pmj(Δt) . . . pmm(Δt)

= p0 . . . pj . . . pm

derivando con respecto a Δt en Δt = 0 es:


p0 . . . pi . . . pm x

d00 . . . d0j . . . d0m...

......

di0 . . . dij . . . dim...

......

dm0 . . . dmj . . . dmm

= 0 0 . . . 0

︸︷︷︸︸︷︷︸︸︷︷︸p x D = 0

(3.25)

siendo de (3.24):

p0 . . . pi . . . pm x

11...1

= 1 (3.26)

y de (3.10) dii = −∑∀j ∕=i

dij (3.27)

las (3.25) a (3.27) tambien pueden expresarse de la forma

m + 1ecuaciones

⎧⎨⎩

m∑i=0

pi . dij = 0 ; ∀j (3.28)

m∑i=0

pi = 1 (3.29)

siendo: dii = −∑∀j ∕=i

dij ; ∀i (3.27)

Ademas por (3.27) la suma de los elementos de cualquier fila de la ma-triz D es cero, luego una columna cualquiera es combinacion lineal de lasm columnas restantes, o lo que es equivalente: una cualquiera de las m+1ecuaciones es combinacion lineal de las m ecuaciones restantes, pudiendoseeliminar. Si se desecha por ejemplo la ultima ecuacion, su lugar formal enla expresion matricial (3.25) puede ser ocupado por la (3.26), eliminandola ultima columna de D, e incorporando en su lugar el vector de unos, yreemplazando el ultimo cero del vector de terminos independientes por un


uno, quedando de esta manera integradas las ecuaciones (3.25) y (3.26) enuna sola ecuacion:

p0 p1 . . . pm−1 pm x

d00 d01 . . . d0,m−1 1d10 d11 . . . d1,m−1 1. . . . . . . . . . . . . . .di0 . . . dij . . . dimdm0 dm1 . . . dm,m−1 1

= 0 0 . . . 0 1

︸︷︷︸︸︷︷︸︸︷︷︸p x A = 1

(3.30)

dii = −∑∀j ∕=i

dij (3.27)

luego el vector p de probabilidades del regimen estacionario queda ex-presado:

p = B . A−1 (3.31)

y dada la estructura particular de B, p esta integrada por la ultima fila dela matriz A−1.Este sistema de ecuaciones puede ser tambien interpretado como un sis-tema de balance de flujos probabilisticos para una cadena de parametrocontinuo. En efecto, si en la (3.27) se efectua el cambio de variables j pori y k por j queda:

djj =∑∀k ∕=j

djk

reemplazando en la (3.28) queda:

0 =∑∀i∕=j

pi . dij + pj . djj =∑∀i∕=j

pi . dij − pj .∑∀k ∕=j

djk

y ordenando:∑∀i∕=j

pi . dij = pj .∑∀k ∕=j

djk (3.32)


que es la extension de la ecuacion (2.35) de balance de flujos probabilisticospara el caso de cadenas de parametro continuo.


4 APLICACION DE CADENAS DE MARKOV

A SISTEMAS DE ATENCION

4.1 Definicion del problema

Dado un sistema de atencion o prestacion de un servicio cualquiera a clientesde cualquier naturaleza, se quiere estudiar las caracterısticas del proceso deatencion y de eventual espera en cola de los clientes (problema de analisis)o determinar la configuracion de los canales de atencion para satisfacer unobjetivo definido (problema de diseno o sıntesis).Las principales caracterısticas de estos procesos son las siguientes:

* arribos de unidades a intervalos de tiempo regulares o irregulares a unsistema integrado por un centro de atencion o servicio (canales) y un centrode espera (cola)

* el centro de servicio puede estar constituido por una o varias estaciones ocanales y cada unidad debe pasar por una (o eventualmente varias) estacioncon el fin de recibir un servicio de duracion aleatoria.

* la duracion del servicio y el regimen de arribos definen que las unidadespuedan tener que esperar que una estacion se encuentre disponible, for-mando colas o lıneas de espera.

Como ejemplo de estos procesos pueden mencionarse los siguientes:

Naturaleza de las Naturaleza del Naturaleza deunidades servicio las estaciones

clientes ventas de un artıculo vendedoresaviones aterrizaje pistallamadas telefonicas conversaciones circuitosmensajes decodificacion decodificadoresmaquinas en reparacion reparacion mecanicosvehıculos paso en un cruce semaforo

La estructura de estos sistemas con sus elementos basicos puede representarsede la siguiente manera:


llegada −→ ∣∣∣∣∣∣∣

∣

∣

∣

salidas→

→

→

⎫⎬⎭canales

︸︷︷︸linea de espera︸︷︷︸

sistema

Segun que la naturaleza del estudio sea de analisis o de diseno, los interro-gantes que surgen en el problema pueden estar dados por:⎧⎨⎩

⋅ funcionamiento del sistema

⋅ configuracion del sistema

⎧⎨⎩⋅ numero necesario de canales⋅ velocidad de atencion de los canales⋅ capacidad de la cola, etc

Ademas el objetivo del problema puede ser:

* Z = Costo → mınimo= costo operativo de 1 canal ($/hora.canal) x M (n∘de canales) ++ costo por demora de los clientes ($/hora.cliente ) x L (n∘ medio declientes en el sistema) → mınimo

* Z = Beneficio → maximo= beneficio por atencion de clientes ($/cliente) x �(velocidad de ingresode clientes: clientes/hora) - costo operativo de cada canal ($/hora.canal)x M (n∘de canales) → maximo


Para el calculo del numero medio de clientes en el sistema es preciso definir unavariable aleatoria de estado i = n que represente al numero de clientes en elsistema. En funcion de la misma sera:

L = E(n) =∑∀n

n . pn

para lo cual es necesario calcular las probabilidades de estado p, lo cual puedeefectuarse mediante el metodo de cadenas de Markov descripto en los capıtulosanteriores.A continuacion se efectua la modelizacion del proceso mediante una cadena deMarkov particular llamada de nacimiento y muerte para luego aplicar dichomodelo en distintos casos de sistemas de atencion.

4.2 Modelizacion mediante una cadena de Markov tipo nacimientoy muerte

En el proceso en estudio se producendos fenomenos aleatorios: arribosy servicios, los cuales en generalresponden a procesos tipo Poisson demedias � y � respectivamente.

arribos servicios

→ →Poisson Poisson

� �

En base a estas hipotesis el proceso se puede modelar como una cadena deMarkov cuyos estados X(t) = i = n identifican a los clientes en el interior delsistema, analizando por separado las probabilidades y tasas de transicion deambos fenomenos:

a) arribosEl regimen de arribos x producidos en un intervalo t viene dado por:

px arr.(t) = Ppo(x/t, �) =e−�t(�t)x

x!; y para x = 1 es:

p1 arr.(t) = e−�t(�t)


como puede observarse el proceso Poisson de arribos es Markoviano ho-mogeneo, pues las probabilidades de arribos px solo dependen del tiempot y no de la historia. Luego las tasas de arribos seran:

dx arr. =d

dtpx arr.(t)

]t=0

=−�e−�0(�0)x + e−�0.x(0)x

x!= 0

d1 arr. =d

dtp1 arr.(t)

]t=0

= −�e0.�0 + e−�0.� = � (4.1)

b) despachosEl regimen de despachos x ≤ i = n producidos en un intervalo t es:

px des.(t) = Ppo(x/t, �) =e−�t(�t)x

x!∴ p1 des.(t) = e−�t�t

analogamente al caso anterior se llega a:

dx des. = 0d1 des. = � (4.2)

siendo tambien el proceso de despachos Markoviano homogeneo, y por lotanto el fenomeno aleatorio conjunto arribos-despachos tambien lo es.

Por otra parte, estos resultados establecen que en intervalos de tiempo


dt muy pequenos la probabilidad de que se produzcan x=2 o mas arri-bos o x=2 o mas servicios es nula (diferencial de segundo orden), luego eltamano de la poblacion X(t) = i = n solo puede aumentar en uno, o dis-minuir en uno o permanecer igual. Esta cadena particular recibe el nombrede “proceso de nacimiento y muerte” y queda definida por las tasas de lasecuaciones (4.1) y (4.2)

dij =

⎧⎨⎩�i ; si j = i+ 1 (nacimiento)�i ; si j = i− 1 (muerte)0 ; ∀ i, j / ∣j − i∣ ≥ 2

(4.3)

Las tasas de transicion se ilustran en el grafode la figura. En los puntos siguientes se aplica estacadena a distintos casos de sistemas de atencion

�i−2��

_^]\XYZ[i− 1

�i−1

``

�i−1

��

WVUTPQRSi

�i

WW

�i��

_^]\XYZ[i+ 1

�i+1

VV

�i+1

�i+2

WW

4.3 Modelo general de canales en paralelo de igual velocidad

La estructura general del sistema y las hipotesis basicas de funcionamiento sonlas siguientes:

* canales en paralelo de igual velocidad

* cola de capacidad finita o infinita, sin prio-ridades

* poblacion infinita, sin impaciencia

* regimen de arribos: Poisson

* regimen de despachos: exponencial

�→ ∣∣∣

∣ → �

∣ → �

...

∣ → �

Ademas se definen los siguientes parametros y variables:


. � = velocidad de arribo(cl/h) = 1/Ta = 1/tiempo promedio entre arribos

. � = velocidad de despacho(cl/h) = 1/Ts = 1/tiempo promedio entre ser-vicio

. � = �/� = factor de trafico

. L = longitud (numero promedio de clientes) del sistema

. Lc = longitud (numero promedio de clientes) de la cola

. H = numero promedio de clientes en los canales

. W = tiempo promedio de permanencia en el sistema

. Wc = tiempo promedio de espera en la cola

. p(t > 0) = probabilidad de tener que esperar en la cola (no ser atendidode inmediato)

. M = numero de canales en paralelo

. N = m = numero maximo de clientes en el sistema (capacidad)

. n = i = variable de estado que expresa el numero de clientes en el sistema

. pn = probabilidad de n en el regimen estacionario

A efectos de calcular los indicadores L, Lc, H, W y Wc es necesario calcularla probabilidad Pn del regimen estacionario, a partir de las Ecuaciones (3.30) y(3.27) y con las tasas dij definidas en la (4.3). Para la construccion del grafo yla matriz de tasas de transicion A es recomendable seguir los siguientes pasos:

1. se construye el grafo de tasas de transicion

2. se construye la matriz A por filas con el siguiente procedimiento:

(a) tasas de transicion dij: para cada fila i , en correspondencia con lascolumnas j se colocan las tasas dij correspondientes a los arcos quesalen del estado i a cada uno de los estados j en el grafo

(b) tasas de permanencia dii: son los elementos de la diagonal principalde la matriz A, y para cada fila i se calculan como la suma de las tasasde transicion de esa fila, cambiada de signo, segun la ecuacion (3.27)


(c) la ultima columna de la matriz de tasas se reemplaza por un vector deunos

Aplicando esta metodologıa al caso en estudio se tiene:

Estados i = n = �3

�� GFED@ABC0

�0

::GFED@ABC1

�1

zz

�1

::GFED@ABC2

�2

zz

�2 %%

. . . GFED@ABCn-1�n−1

kk

�n−1

99?>=<89:;n

�nyy

�n

88ONMLHIJKn+1

�n+1

yy

++

. . .�n−2

FF

A =

i/j (0) (1) (2) . . . (n− 1) . . . (N)

A0 A1 A2 . . . An−1 . . . AN

(0) (−�0) �0 0 . . . 0 . . . 1(1) �1 −(�1 + �1) �1 . . . 0 . . . 1(2) 0 �2 −(�2 + �2) . . . 0 . . . 1(3) 0 0 �3 . . . 0 . . . 1

. . . . . . . . . . . . . . . . . . . . .

(n− 2) 0 0 0 . . . �n−2 . . . 1(n− 1) 0 0 0 . . . −(�n−1 + �n−1) . . . 1(n) 0 0 0 . . . �n . . . 1

. . . . . . . . . . . . . . . . . . . . .

p = p0 p1 p2 . . . pn−2 pn−1 pn . . . . . . pN

luego de (3.30): p.A = B se pueden despejar las probabilidades del regimen per-manente. En este caso la estructura particular de A hace innecesario el calculode A−1 pues se puede establecer ecuaciones de recurrencia tal como se indica acontinuacion:⎧⎨⎩

p.A0 = −p0�0 +p1�1 = 0 (4.4)p.A1 = p0�0 −p1(�1 + �1) +p2�2 = 0 (4.5)p.A2 = p1�1 −p2(�2 + �2) +p3�3 = 0 (4.6). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.An−1 = pn−2�n−2 −pn−1(�n−1 + �n−1) +pn�n = 0 (4.7). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.AN = p0 +p1 +p2 +p3 . . . +pn−2 +pn−1 +pn . . . +pN = 0 (4.8)


luego de (4.4) : p0�0 = p1�1 ∴ p1 =�0

�1p0

sumando (4.4) y (4.5) : p1�1 = p2�2 ∴ p2 =�1

�2p1 =

�1�0

�2�1p0

sumando (4.4), (4.5) y (4.6) : p2�2 = p3�3 ∴ p3 =�2

�3p2 =

�2�1�0

�3�2�1p0

sumando (4.4), (4.5), (4.6) y (4.7) : pn−1�n−1 = pn�n ∴ pn =�n−1

�npn−1 =

=�n−1 . . . �2�1�0

�n . . . �3�2�1p0 (4.9)

quedando las probabilidades f(p0) : pn =

n−1∏o

�i

n∏1

�i

.p0 (4.10)

y reemplazando la (4.10) en (4.8) :N∑i=0

pi = 1 ∴ p0 = . . . (4.11)

obteniendose p0 n = 0, 1, . . . , N

Se distinguiran cuatro casos, segun que la capacidad de la cola N sea infinitao finita, y para cada caso dos subcasos segun que el numero de canales M seamayor que uno o exactamente uno.

4.3.1) Sistema de M > 1 canales similares de atencion en paralelo de igual � ycola infinita (N →∞)La estructura general del sistema es:


�→ ∣∣∣

∣ → �

∣ → �

...

∣ → �

⎫⎬⎭M

︸︷︷︸N

y se cumplen:N →∞�i = � = cte. ; Ta = 1/��i = i�, i = 1, 2, . . . , M − 1�i = M�, i = M, M + 1, M + 2, . . .

}; Ts = 1/�

⎫⎬⎭ ; � = �/�

luego aplicando las (4.10) y (4.11) quedan:

de (4.10)

⎧⎨⎩

. para n < M

⎡⎢⎣pn =

n︷︸︸︷�.�.� . . . �

�.2�.3� . . . n�p0 =

�n.p0

n!�n=�n

n!p0

⎤⎥⎦ (4.12)

. para n ≥M

⎡⎢⎢⎣pn =

n︷︸︸︷�.� . . . �.�.� . . . �

�.2� . . .M�︸︷︷︸M

M�.M� . . .M�.︸︷︷︸n−M

p0 =�n.p0

�nM !Mn−M =�n

M !Mn−M p0

⎤⎥⎥⎦ (4.13)

reemplazando en (4.11):

∞∑i=0

pi = p0

(M−1∑n=0

�n

n!+

∞∑n=M

�n

M !Mn−M

)= p0

(M−1∑n=0

�n

n!+�M

M !

∞∑n=M

( �M

)n−M)


p0 =

(M−1∑n=0

�n

n!+�M

M !

1

(1− �/M)

)−1

(4.14)

para que la serie geometrica sea convergente debe cumplirse que:

� < M (4.15)

Luego de calculada la probabilidad pn con las ecuaciones (4.12), (4.13)y (4.14) se pueden calcular los demas indicadores caracterısticos.

(a) Lc

Lc = Ep(n−M) =∞∑

n=M

(n−M)pn = p0

∞∑n=M

(n−M)�n

M !(M)n−M=

= p0�n

M !

∞∑n=M

(n−M)( �M

)n−M= p0

�M+1

M !M

d

d(�/M)

∞∑n=M

(�/M)n−M =

= p0�M+1

M !M

d

d(�/M)

1

(1− �/M)=

Lc = p0�M+1

M !M

1

(1− �/M)2(4.16)

(b) L


L = E(n) =∞∑n=0

n.pn =M−1∑n=0

a︷︸︸︷n.pn +

Lc︷︸︸︷∞∑

n=M

n.pn −∞∑

n=M

M.pn +∞∑

n=M

b︷︸︸︷M.pn

pero de (4.9) es:

pn−1.�n−1 = pn.�n ∴

{p/n < M : �.pn−1 = n�pn ∴ n.pn = �pn−1 ∴ reempl. en a:p/n ≥M : �.pn−1 = M�pn ∴ M.pn = �pn−1 ∴ reempl. en b:

[L = Lc + �

(M−1∑n=1

pn−1 +∞∑M

pn−1

)= Lc + �

](4.17)

(c) HH = L− Lc = � (4.18)

(d) WL.Ta = L/� (4.19)

(e) Wc

Wc = Lc.Ta = Lc/� = W − Ts (4.20)

(f) p(t > 0)De la (4.14) y su desarrollo previo surge facilmente:


p(t > 0) = p(n ≥M) = p0�M

M !

1

1− �/M(4.21)

Se demuestra que:

p(t > tc) =

(p0�M

M !

1

1− �/M

)eM�tc(1−�/M) (4.22)

4.3.2) Sistema con un canal y cola infinita

La estructura general del sistema es:

� −→ ∣∣∣∣∣ ∣ −→ �

y son aplicables las expresiones anteriores con M=1:

de (4.13): pn = �n.p0 (4.23)

de (4.14): p0 =1

1 + �/(1− �)= 1− � (4.24)

de (4.15): � < 1 (4.25)

de (4.16): Lc = ��(1− �)�2

(1− �)�2=

�2

(1− �)(4.26)

de (4.17): L = Lc + � (4.27)

de (4.18): H = � (4.28)

de (4.19): W = L/� (4.29)


de (4.20): Wc = Lc/� = W − Ts (4.30)

de (4.21): p(t > 0) = (1− �)�1

1− �= � (4.31)

de (4.22): p(t > tc) = �e−�tc(1−�) (4.32)

4.3.3) Sistema M > 1 canales similares en paralelo de igual � y cola finita


� //

��

�‘ //

�− �‘

∣∣∣

∣ → �

∣ → �

∣ → �

⎫⎬⎭M

︸︷︷︸N

y se cumplen:

�i = � = cte. ; i = 0, 1, . . . , N − 1�i = i� = ; i = 1, 2, . . . , M − 1�i = M� = ; i = M, M + 1, . . . , N�N = 0

Luego aplicando las (4.10) y (4.11) quedan expresiones similares a las (4.12)y (4.13)

pn =�n

n!p0 n < M (4.33)

pn =�n

M !Mn−M p0 M ≤ n ≤M (4.34)

reemplazando en (4.11) se obtiene p0.


N∑i=0

pi = p0

(M−1∑n=0

�n

n!+

N∑n=M

�n

M !Mn−M

)= p0

(M−1∑n=0

�n

n!+�M

M !

N∑n=M

( �M

)n−M)= 1

p0 =

(M−1∑n=0

�n

n!+�M

M !

(1− (�/M)N−M+1

1− (�/M)

))−1

(4.35)

Debe notarse que en este modelo la relacion �/M puede ser ≥ 1. Luegode conocida la probabilidad p de las ecuaciones (4.33), (4.34) y (4,35) sepueden calcular los demas indicadores:

Lc = Ep(n−m) (4.36)L = E(n) (4.37)W = L/�‘ (4.38)Wc = Lc/�

‘ (4.39)H = L− Lc (4.40)

siendo �‘ = �(1− pN) = �

(1−

(N

M !MN−M

)p0

)(4.41)

4.3.4) Sistema con un canal y cola finita


� −→ ∣∣∣∣∣ ∣ −→ �

y son aplicables las expresiones anteriores con M=1

de (4.34): pn = �n.p0 (4.42)

de (4.35): p0 =

(1 +

�(1− �N

)1− �

)−1

=

(1− �+ �− �N+1

1− �

)−1

=1− �

1− �N+1(4.43)


Tambien en este modelo puede ser � ≥ 1. Luego de conocida la proba-bilidad pn de las (4.42) y (4.43) se pueden calcular los indicadores:

(a) L

L = E(n) =N∑n=0

n.pn = p0

N∑n=0

n.�n = p0�d

d�

N∑n=0

�n = p0.�d

d�

(1− �N+1

1− �

)=

p0.�

(−(N + 1)�N(1− �) + (1− �N+1)

(1− �)2

)= p0

(N.�N+2 − (N + 1)�N+1 + �

(1− �)2

)(4.44)

expresion general que puede simplificarse para los casos limites:

a.1) si �≪ 1 : p0∼= 1− � ∴ L = (1− �)

(�

(1− �)2

)=

�

1− �∼= �+ �2 (4.45)

a.2) si �≫ 1 : p0∼=

1− �−�N+1

∴ L =−N�+N + 1

1− �= N +

1

1− �∼= N (4.46)

a.3) si � ∼ 1 : L =1

2N +

1

12N(N + 2)(�− 1) ∼=

1

2N (4.47)

(b) Lc

Lc = E(n− 1) =N∑n=1

(n− 1)pn =N∑n=0

n.pn −N∑n=0

pn = L− (1− p0) (4.48)

expresion general que puede simplificarse para los casos limites:

b.1) si �≪ 1 : p0 = 1− � ∴ L = L− � (4.49)

b.2) si �≫ 1 : p0 =1− �−�N+1

∴ Lc = L−(

1− 1− �−�N+1

)∼= L− 1 (4.50)


b.3) si � ∼ 1 : L1 =1

2(N − 1) +

1

12(N − 1)(N + 1)(�− 1) ∼=

1

2(N − 1) (4.51)

(c) H

H = L− Lc (4.52)

(d) W

W = L/� ; siendo �‘ = �(1− pn) (4.53)

(e) Wc

Wc =Lc/�

‘

L.Ts = L/�(4.54)

4.4 Modelo de dos canales en paralelo de distinta velocidad y colainfinita

La estructura general del sistema es la siguiente:

−→ � ∣∣∣

a∣ → �a

∣ → �bb

y el grafo de tasas de transicion, la matriz A y el vector p son:


Estados i = ?>=<89:;1a �

��a

pp765401230

�/2 11

�/2 ��

765401232

�!!

�aqq

�b

ZZ

765401233

�

��

�a+�b

aa

�a+�b

``

?>=<89:;1b�

00

�b

ZZ

A =

i/j (0) (1a) (1b) (2) (3) (4)

A1a A1b A2 A3 A3 A4 Au

(0) −� �/2 �/2 0 0 0 . . . 1(1a) �a −(�a + �) 0 � 0 0 . . . 1(1b) �b 0 −(�b + �) � 0 0 . . . 1(2) 0 �b �a −(�a + �b + �) � 0 . . . 1(3) 0 0 0 (�a + �b) −(�a + �b + �) � . . . 1(4) 0 0 0 0 0 (�a + �b) . . . 1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

p = p0 p1a p1b p2 p3 p4 . . . . . .

⎧⎨⎩

p.A0 = −�.p0 +�a.p1a +�b.p2 = 0 (4.55)

p.A1a = �2 .p0 −(�a + �)p1a +�b.p2 = 0 (4.56)

p.A1b = �2 .p0 −(�b + �)p1b +�a.p2 = 0 (4.57)

p.A2 = �.p1a �.p1b −(�a + �b + �)p2 +(�a + �b)p3 = 0 (4.58)

p.A3 = �.p2 −(�a + �b + �)p3 +(�a + �b)p4 = 0 (4.59). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p.Au = p0 +p1a +p1b +p2 +p3 +p4 . . . = 1 (4.60)

luego de (4.55): �.p0 = �ap1a + �bp1b (4.61)

sumando (4.55), (4.56) y (4.57) :

�(p1a + p1b) = (�a + �b)p2 ∴ p2 =�

�a + �b(p1a + p1b)

sumando (4.55), (4.56), (4.57) y (4.58):

�.p2 = (�a + �b)p3 ∴ p3 =�

�a + �bp2 (4.62)


sumando (4.55), (4.56), (4.57), (4.58) y (4.59):

�.p3 = (�a + �b)p4 ∴ p4 =�

�a + �bp3 (4.63)

ademas de las (4.56) y (4.57) se pueden despejar p1a y p1b:

de (4.56): p1a =�b

�a + �p2 +

�/2

�a + �p0 (4.64)

de (4.57): p1b =�a

�b + �p2 +

�/2

�b + �p0 (4.65)

reemplazando las (4.63) y (4.64) en la (4.60) queda:

�.p0 =�a.�b�a + �

p2 +�a.�

2(�a + �)p0 +

�b.�a�b + �

p2 +�b.�

2(�b + �)p0, despejando p2 queda:

p2 =

�

(1− �a

2(�a + �)− �b

2(�b + �)

)�a.�b�a + �

+�a.�b�b + �

p0 (4.66)

y por ultimo de (4.60) se despeja p0:

de∑∀i

pi : p0 = . . . . . . (4.67)


4.5 Modelo de dos canales en paralelo de distinta velocidad y colafinita de una sola posicion


� //

��

�‘ //

�− �‘

∣

a∣ → �a

∣ → �bb

y el grafo de tasas de transicion,la matriz A y el vector p son:

Estados i = (a, b, cola) gfedàbc1, 0, 0 �

��a

rrgfedàbc0, 0, 0

�/2 22

�/2

��

gfedàbc1, 1, 0

� ++

�arr

�b

]]

gfedàbc1, 1, 1

�a+�b

kk

gfedàbc0, 1, 0

� 22

�b

]]

A =

i/j (000) (100) (010) (110) −

A000 A100 A010 A110 Au

(000) −� �/2 �/2 0 1(100) �a −(�a + �) 0 � 1(010) �b 0 −(�b + �) � 1(110) 0 �b �a −(�a + �b + �) 1(111) 0 0 0 (�a + �b) 1

p = p000 p100 p010 p110 p111


⎧⎨⎩

p.A000 = −�.p000 +�a.p100 +�b.p010 = 0

p.A100 = �2 .p000 −(�a + �)p100 +�b.p110 = 0

p.A010 = �2 .p000 −(�b + �)p010 +�a.p110 = 0

p.A110 = �.p100 +�.p010 −(�a + �b + �)p110 +(�a + �b)p111 = 0

p.Au = p000 +p100 +p010 +p110 +p111 = 1

resolviendo el sistema de ecuaciones se obtienen la cinco probabilidades comoen los ejemplos anteriores.

4.6 Modelo de dos canales en serie de distinta velocidad, sin colaintermedia


� −→ ∣ → �a ∣ → �ba b

y el grafo de tasas de transicion,la matriz A y el vector p son:

Estados i = (a, b) WVUTPQRS1, 0

�a

��

WVUTPQRS1, 1�boo

�a

��

WVUTPQRS0, 0

� 00

WVUTPQRS1, 0�b

YY �

AA�� WVUTPQRSb1, 1�b

oo

estado i = (b1, 1) significa canal b bloqueado


A =

i/j (0, 0) (1, 0) (0, 1) (1, 1) −

A00 A10 A01 A11 Au

(0, 0) −� � 0 0 1(1, 0) 0 −�a �a 0 1(0, 1) �b 0 −(�b + �) � 1(1, 1) 0 �b 0 −(�a + �b) 1(b1, 1) 0 0 �b 0 1

p = p00 p10 p01 p11 pb1,1

luego aplicando la (3.30): p.A = B queda:

⎧⎨⎩

p.A00 = −�.p00 +�b.p01 = 0 (4.68)

p.A10 = �.p00 −�a.p10 +�b.p11 = 0 (4.69)

p.A01 = �a.p10 −(�b + �)p01 +�b.pb1,1 = 0 (4.70)

p.A11 = �.p01 −(�a + �b).p11 = 0 (4.71)

p.Au = p00 p10 p01 p11 pb1,1 = 1 (4.72)

luego de (4.68):

p01 =�

�b.p00 (4.73)

de (4.71):

p11 =�

�a + �b.p01 =

�2

�b(�a + �b).p00 (4.74)

de (4.68) y (4.74):


p10 =�b�a.p11 +

�

�a.p00 =

(�2

�a(�a + �b)+

�

�a

)p00 (4.75)

y de (4.69), (4.72) y (4.73):

pb1,1 =(�b + �)

�a.p01 −

�a�b.p10 =

(�(�b + �)

�2b

− �2

�b(�a + �b)− �

�b

)p00 (4.76)

y de las (4.72), (4.73), (4.74), (4.75)y (4.76):

p00 =

(1 +

�

�a+

�2

�a(�a + �b)+�(�b + �)

�2b

)−1

(4.77)

Si se cumple que �a = �b = �, haciendo � = �/� quedan:

p00 =1

1 + 2�+ 32�

2(4.78)

p10 =�+ 1

2�2

1 + 2�+ 32�

2(4.79)

p01 =�

1 + 2�+ 32�

2(4.80)

p11 = pb1,1 =12�

2

1 + 2�+ 32�

2(4.80)

ecuaciones que para los casos lımites se transforman en:


a) �≫ 1

{p00 = p01 = 0p10 = p11 = pb1,1 = 1/3

b) � = 1

⎧⎨⎩p00 = p01 = 2/9p10 = 3/9p11 = pb1,1 = 1/9

c) �≪ 1

⎧⎨⎩p00 = 1− 2�p10 = p01 = �p11 = pb1,1 = 0

Por ultimo los indicadores: longitud del sistema L, numero promedio de canalesque estan efectivamente trabajando: H, y grado de ocupacion de cada uno deellos: H1 y H2, quedan expresados de la siguiente forma:

L = p10 + p01 + 2(p11 + pb1,1) =2�+ 5

2�2

1 + 2�+ 32�

2(4.82)

H = p10 + p01 + pb1,1 + 2p11 =2�+ 2�2

1 + 2�+ 32�

2(4.83)

H1 = p10 + p11 =�+ �2

1 + 2�+ 32�

2(4.84)

H2 = p01 + p11 + pb1,1 =�+ �2

1 + 2�+ 32�

2(4.85)

ecuaciones que para los casos lımites se transforman en:

a) �≫ 1 : L = 5/3 ; H = 4/3 ; H1 = H2 = 2/3

b) � = 1 : L = 1 ; H = 8/9 ; H1 = H2 = 4/9


c) �≪ 1 : L = 2� ; H = 2� ; H1 = H2 = �


5 APLICACIONES

5.1 Aplicacion comercial (“Brand switching”)

Un cliente puede adquirir un televisor de alguna de las siguientes marcas: X, Yo Z. Se asume que estas alternativas cubren todas las posibilidades de compra.Con respecto al comportamiento de compra, los fabricantes de los televisoresdisponen de la siguiente informacion:

* El 30% de los clientes que poseen un televisor X se mantienen leales a lamarca en su proxima compra, mientras que el 40% adquiere un Y y el 30%restante, un Z.

* De los clientes que actualmente poseen un televisor marca Y, el 40% com-pra un televisor X, el 25% vuelve a adquirir un Y y el resto uno de la marcaZ.

* El 20% de los clientes que poseen un Z compran un X, el 30% un Y y elresto no cambia de marca.

Se desea saber:

a) ¿Cual es la probabilidad de que un poseedor de un televisor X adquiera unZ al cabo de dos compras?

b) ¿Cual es la probabilidad de que el dueno de un X compre nuevamente untelevisor de la misma marca luego de tres transacciones?

c) ¿Cual sera el porcentaje de participacion en el mercado a largo plazo?

d) ¿Cual es el numero esperado de compras que transcurriran antes que elactualmente poseedor de un televisor X adquiera un Z?

Solucion:

a) Se puede resumir el comportamiento de la proxima compra con la siguientematriz de transicion:


P =

X Y ZX 0, 3 0, 4 0, 3Y 0, 4 0, 25 0, 35Z 0, 2 0, 3 0, 5

?>=<89:;X0,4

**

0,5

��

0,3�� ?>=<89:;Y

0,4

jj

0,35vv

0,25��

?>=<89:;Z0,2

VV

0,3

66

0,5

SS

V(1)

1 = [0, 3 0, 4 0, 3]

V(2)

1 = V(1)

1 .P = [0, 3 0, 4 0, 3]0, 3 0, 4 0, 30, 4 0, 25 0, 350, 2 0, 3 0, 5

= [0, 31 0, 31 0, 38]

Si vector V(2)

1 informa las probabilidades de que el dueno de un televisorX adquiera un X, Y o Z despectivamente en la segunda compra. Luego, laprobabilidad de que adquiera un Z en dos transacciones es 38%.La misma informacion puede obtenerse de la matriz P 2. En ella podemosobservar todas las probabilidades asociadas al segundo paso para todos losestados iniciales.

P 2 =0, 31 0, 31 0, 380, 29 0, 3275 0, 38250, 28 0, 305 0, 415

Ası la probabilidad de que el actual-mente poseedor de un Y adquiera unZ en la segunda compra es 38,25%.La probabilidad de que el duenode un televisor marca Z vuelva aadquirir otro de la misma marca endos transacciones es 41,5%, etc.

b) V(3)

1 = V(2)

1 .P = [0, 31 0, 31 0, 38]0, 3 0, 4 0, 30, 4 0, 25 0, 350, 2 0, 3 0, 5

= [0, 293 0, 3155 0, 3915]


Otra forma de calcular el vector V es:

V(3)

1 = V(1)

1 .P 2 = [0, 3 0, 4 0, 3]0, 31 0, 31 0, 380, 29 0, 3275 0, 38250, 28 0, 305 0, 415

= [0, 293 0, 3155 0, 3915]

Es decir, la probabilidad de que el ahora dueno de un X compre nue-vamente un televisor de la misma marca el cabo de 3 pasos es 29,3%. Almismo resultado pudo arribarse a partir de la P 3.

P 3 =0, 293 0, 3155 0, 39150, 2945 0, 3127 0, 39280, 289 0, 3128 0, 3982

c) Se forma un sistema de ecuaciones formado por N-1 ecuaciones extraıdasdel producto matricial

[p(x) p(y) p(z)]0, 3 0, 4 0, 30, 4 0, 25 0, 350, 2 0, 3 0, 5

= [p(x) p(y) p(z)]

y por la ecuacion p(x) + p(y) + p(z) =1⎧⎨⎩p(x).0, 3 + p(y).0, 4 + p(z).0, 2 = p(x)p(x).0, 4 + p(y).0, 25 + p(z).0, 35 = p(y)p(x) + p(y) + p(z) = 1

Resolviendo este sistema de 3 ecuaciones con 3 incognitas resulta:p(x)=0,2919 p(y)=0,3135 p(z)=0,3946

Es decir, a largo plazo los porcentajes de participacion en el mercado seran29,19%, 31,35% y 39,46?% para las marcas X, Y y Z respectivamente. Almismo resultado pudo haberse arribado calculando una potencia de P paraun numero alto de transacciones:


P 8 =0, 2919 0, 3135 0, 39460, 2919 0, 3135 0, 39460, 2919 0, 3135 0, 3946

d) Se modifica la matriz de transicion P, convirtiendo al estado Z en un estadoabsorbente:

X Y ZX 0, 3 0, 4 0, 3Y 0, 4 0, 25 0, 35Z 0 0 1

Esta matriz se descompone en 4 submatrices de la formaI O

A N

Z X Y

Z 1 0 0

X 0, 3 0, 3 0, 4Y 0, 35 0, 4 0, 25

Luego se procede a calcular la matriz (I −N)−1

I −N =1 00 1

− 0, 3 0, 40, 4 0, 25

=0, 7 −0, 4−0, 4 0, 75

(I −N)−1 =2, 0548 1, 09591, 0959 1, 9178

El vector n = (I − N)−1.1 nos dara el numero promedio de pasos quetranscurren hasta que el proceso se absorba para cada uno de los estadosno absorbentes iniciales.


n =2, 0548 1, 09591, 0959 1, 9178

x11

=3, 15073, 0137

Luego, el numero esperado de transacciones que transcurren hasta queel actualmente poseedor de un televisor X adquiera un Z es 3,1507.

5.2 Planeamiento de Personal

El Departamento de Relaciones con el Personal de una firma realiza un estu-dio de niveles de categorıa para proveer promociones adecuadas en el momentooportuno, controlar el pago de haberes, analizar necesidades: de contratacionde personal, etc. Esta empresa tiene 20 empleados de categorıa 3 (la mas alta),80 de categorıa 2 y 200 de categorıa 1 (la mas baja de todas).En base a datos historicos se espera que el 35% de los empleados de la categorıa1, el 20% de la 2 y el 5% de la 3 dejen la empresa anualmente por renuncias,despidos, jubilaciones, fallecimientos, etc.Considerando las siguientes polıticas de personal:

- mantener la misma cantidad de empleados (total y por niveles)

- realizar contrataciones solamente en el primer nivel

- dar promociones a los empleados una sola vez por ano

el gerente del Departamento encargo al grupo de Investigacion Operativa de laempresa:

1. Averiguar que cantidad de gente debera contratarse y que cantidad deberapromoverse a la categorıa inmediata superior para mantener los niveles deempleados estables, anualmente.

2. Determinar el tiempo de permanencia promedio de un empleado en lacompanıa (ındice de rotacion del personal)


3. Calcular la probabilidad de que un empleado que recien ingresa a la firmallegue a la maxima categorıa.

Solucion:

1. El siguiente grafico representa el proceso de promociones anuales de losempleados.

7654012310,35 //

��

�� 765401230

765401232 //

0,20

88qqqqqqqqqqqqqqqqqqqqqqqqKK

765401233

0,05

OO

SS

Todos los empleados llegaran si estado 0, que es un estado absorbente.Las probabilidades de transicion a los demas estados se desconocen, perose puede resolver el problema analizando el flujo de empleados en cadanodo.

- Nodo 3

x // GFED@ABC20

y

OO

Para mantener el mismo nivel de empleados enla categorıa, la cantidad promedio a promovera la categorıa 3 (x) debe ser igual a la cantidadpromedio que pasan al estado 0 (y).y=20 . 0,05 = 1x=1Permanecen z = 20 - 1 = 19

- Nodo 2

x��GFED@ABC80

y

>>}}}}}}}}}}

3//

El numero medio de empleados a promover ala categorıa 2 (x) debe ser igual a los que sepromocionan a la categorıa 3 mas los que seabsorben (y)y = 80 . 0,20 = 16x= 16 + 3 = 19Permanecen z = 80 - 19 = 61


- Nodo 1

x��ONMLHIJK200 y

//

19

��

La cantidad media de empleados a contrataranualmente (x) debe igualar al numero prome-dio de individuos que pasan al estado 0 maslos que se promueven al estado 2.y = 200 . 0,35 = 70x= 70 + 19 = 89z = 200 - 89 = 111

Estos valores podemos resumirlos en el siguiente cuadro (o en su corres-pondiente matriz de transicion):

Cat. 1 2 3 0 Total

1 111 19 70 2002 61 3 16 803 19 1 20

P =

1 2 3 41 0, 555 0, 95 0, 352 0, 7625 0, 375 0, 23 0, 95 0, 054 1

7654012310,35 //

0,095

��

0,555�� 765401230

1��

7654012320,0375 //

0,20

88qqqqqqqqqqqqqqqqqqqqqqqq

0,7625

KK765401233

0,05

OO

0,95

SS

2. Agrupando la matriz de transicion, se procede a calcular la matriz (I −N)−1:

0 1 2 30 1 0 0 0

1 0, 35 0, 555 0, 0952 0, 2 0, 7625 0, 03753 0, 95

N =0, 555 0, 95

0, 7625 0, 03750, 95


I −N =0, 555 0, 95

0, 7625 0, 03750, 95

(I −N)−1 =2, 2472 0, 8989 0, 6742

0 4, 2105 3, 15790 0 20

ni =3, 82037, 368420, 0

Luego, el ındice de perma-nencia promedio en la em-presa es de 3,82 anos porempleado.

3. Para calcular la probabilidad de que un empleado que se encuentra actual-mente en el estado 1 logre la maxima categorıa, se supone al estado 3 comoun estado absorbente.

7654012310,35 //

0,095

��

0,555�� 765401230

1��

7654012320,0375 //

0,20

88qqqqqqqqqqqqqqqqqqqqqqqq

0,7625

KK765401233

1

SS

La matrız de transicion reagrupada en el formatoI 0

A Nes:

3 0 1 23 10 1

1 0, 35 0, 555 0, 0952 0, 0375 0, 2 0, 7625

N =0, 555 0, 95

0, 7625(I −N) =

0, 445 −0, 0950 0, 2375

(I −N)−1 =2, 2472 0, 8989

0 4, 2105


(I −N)−1.A =2, 2472 0, 8989

0 4, 2105.

0 0, 350, 375 0, 2

=0, 03371 0, 96630, 1579 0, 8421

Luego, la probabilidad de que un empleado de la primer categorıa alcancela maxima es de 3,37%. Tambien se puede observar que la probabilidad delograr esa categorıa para un empleado de la categorıa 2 es de 15,79%.Otra ınformacion util es el numero esperado de anos que transcurren hastaalcanzar la maxina categorıa. Para ello, se multiplica la natrız (I −N)−1

por un vector unitario:

ni =2, 2472 0, 8989

0 4, 2105.

11

=3, 14614, 2105

En promedio, un empleado de categorıa 1 tardara 4,21 anos hasta alcanzarla categorıa 3.

5.3 Gestion de inventarios

La demanda mensual de un repuesto en un proceso productivo tiene la siguientedistribucion de probabilidad:

d 0 1 2 ≥ 3

p 0, 6 0, 3 0, 1 0

Si el stock inicial es de 3 unidades, y la observacion del nivel de inventariosse realiza al finalizar cada mes, determinar:

a. la probabilidad de que al cabo de dos meses se haya agotado el stock

b. la probabilidad de que al cabo de cuatro meses haya dos o mas de dosrepuestos en stock


c. el numero promedio de meses que trancurren hasta agotar el stock

d. el costo total de almacenamiento en cada ciclo de compra, si el costo dealmacenamiento unitario mensual es de 10$.

Solucion:

a. Llamaremos:S0: ninguna unidad en stock al finalizar un mesS1: una unidad en stock al finalizar un mesS2: dos unidades en stock al finalizar un mesS3: tres unidades en stock al finalizar un mes

S3 S2 S1 S0S3 0, 6 0, 3 0, 1 0S2 0, 6 0, 3 0, 1S1 0, 6 0, 4S0 1

ONMLHIJKS30,3 //

0,6��

0,1

##GGGGGGGGGGGGGGGGGGGONMLHIJKS2

0,6��

0,3

��

0,1

##GGGGGGGGGGGGGGGGGGG

ONMLHIJKS1

0,6VV

0,4 // ONMLHIJKS2

1��

Los estados S3, S2 y S1 son transitorios, mientras que el estado S0 esabsorbente.

P 2 =

S3 S2 S1 S0S3 0, 36 0, 36 0, 21 0, 07S2 0, 36 0, 36 0, 28S1 0, 36 0, 64S0 1

Luego la probabilidad de que tran-curridos dos meses se haya agotadoel stock es 0,07=7%

b.

S3 S2 S1 S0S3 0, 13 0, 26 0, 29 0, 32S2 0, 13 0, 26 0, 61S1 0, 13 0, 87S0 1

La probabilidad de que haya doso mas repuestos al cabo de cuatromeses es 0,26 + 0,13 = 0,39 (39% ).


c. Se reagrupa la matriz de transicion P en cuatro submatrices y se calculala inversa de I-N

S0 S3 S2 S1S1 0 0 0 0S3 0, 6 0, 3 0, 1S2 0, 1 0, 6 0, 3S1 0, 4 0, 6

N =

S3 S2 S1S3 0, 6 0, 3 0, 1S2 0, 6 0, 3S1 0, 6

I −N =0, 4 −0, 3 −0, 1

0, 4 −0, 30, 4

(I −N)−1 =10/4 30/16 25/32

10/4 30/1610/4

ni =10/4 30/16 25/32

10/4 30/1610/4

x111

=5, 164, 382, 5

La duracion promedio de un lote de tre unidades es de 5,16 meses.

d. El numero prometido de meses que el sistema esta en cada uno de los es-tados S3, S2 y S1 es, respectivamente, 10/4, 30/16 y 25/32, valores queobtenemos de la matriz (I − N)−1. Luego; el costo esperado de almace-namiento es:[

1 unidad x10

4

mes

ciclo+ 2 un. x

30

16

mes

ciclo+ 3 un. x

25

32

mes

ciclo

]x 10

$

un. mes

= 85, 94$

ciclo


5.4 Planeamiento de produccion

A un centro productivo de una fabrica llegan piezas para someterse a un procesode mecanizado en dos maquinas (A y B). Luego de cada etapa de elaboracionse realiza, un control de calidad (CCA y CCB). La secuencia de fabricacion delas piezas se muestra en el siguiente grafico:

��

0,03

��

0,05

de otro centro // A //

0,10

��

gfed`abcCCA //

0,02

��

B //

0,09

��

gfed`abcCCB //

0,05

��

a Almacenes

// Desechos

Si durante el mecanizado una pieza se estropea, se la desecha sin pasar porControl de Calidad. En los centros de inspeccion se puede devolver una piezapara ser reprocesada o considerarla defectuosa. Las probabilidades estimadaspara cada caso se muestran en el grafico.Los tiempos esperados para la realizacion de cada operacion de mecanizado yde inspeccion y los costos asociados son los siguientes.

Te(HH) Costo($/HH)

Mecanizado A 2 1200Control A 0, 1 2000Mecanizado B 3 1800Mecanizado A 0, 2 2000

El costo directo de cada pieza que llega al Centro es de 3000$/pieza y el costode oportunidad del material defectuoso es de 500$/pieza. Determinar:

1. la probabilidad de completar satisfatoriamente una pieza que entra al cen-tro.

2. el numero esperado de piezas que deben ingresar al centro para producir1000 piezas buenas.


3. los requerimientos de personal para cada pieza terminada.

4. el costo directo esperado de cada pieza terminada que sale del Centroproductivo.

Solucion:

1.

Estado Operacion

PA Procesamiento en maquina ACCA Control de Calidad del proceso APB Procesamiento en maquina BCCB Control de Calidad del proceso BD DefectuosasA Almacen de piezas terminadas

Los estados D y A son estados absorbentes.

GFED@ABCPA0,90 //

0,10

&&MMMMMMMMMMMMMMMMMMMMMMMMONMLHIJKCCA

0,95 //

0,02

��<<<<<<<<<<<<<<

0,03

~~ GFED@ABCPB0,91 //

0,09

��

ONMLHIJKCCB0,90 //

0,05

��

0,90

~~ ?>=<89:;A

1

TT

?>=<89:;D

1

TT

P =

PA CCA PB CCB D A0, 90 0, 10 PA

0, 30 0, 95 0, 02 CCA0, 91 0, 09 PB

0, 05 0, 05 0, 90 CCB1 D

1 A

Reagrupando:


P =

D A PA CCA PB CCBD 1A 1

PA 0, 10 0, 90CCA 0, 02 0, 03 0, 95PB 0, 09 0, 91CCB 0, 05 0, 90 0, 05

N =

0 0, 90 0 00, 30 0 0, 95 0

0 0 0 0, 910 0 0, 05 0

I−N =

1 −0, 90 0 0−0, 30 1 −0, 95 0

0 0 1 −0, 910 0 −0, 05 1

(I −N)−1 =

1, 0277 0, 925 0, 9206 0, 83770, 0308 1, 0277 1, 0229 0, 9309

0 0 1, 0477 0, 95340 0 0, 0524 1, 0477

A =

0, 10 00, 02 00, 09 00, 05 0, 90

(I −N)−1.A =

D A

0, 2661 0, 75390, 1621 0, 83780, 1419 0, 85810, 0571 0, 9429

Por lo tanto, la probabilidad de com-pletar satisfactoriamente una piezaque entra al proceso (probabilidad deabsorcion en el estado A) es 0,7539(75,39% ).

2. El numero esperado de piezas que deben entrar al proceso para produciruna pieza buena es 1/0,7539=1,3264. Luego, se necesitaran 1327 piezaspara producir 1000 piezas buenas.


3. De la matriz (I − N)−1 se obtiene el numero de veces que una pieza queentra al centro productivo pasa por cada operacion.

Estados No de veces No de veces HH/pieza HH/pieza(por pieza (por pieza procesada terminadaque entra) que sale terminada)

(a) (b)=(a)x1,3264 (c) (b)x(c)

PA 1,0277 1,3631 2 2,7263CCA 0,925 1,2269 0,1 0,1227PB 0,9206 1,2211 3 3,6633

CCB 0,8377 1,1111 0,2 0,2222

4.

Estados Costo HH/pieza Costo/pieza($/HH) terminada terminada

PA 1200 2,7263 3271,56CCA 2000 0,1227 245,40PB 1800 3,6633 6593,94

CCB 2000 0,2222 444,4

Costo M. de O.: 10555,30

⋅ Costo de materiales:

3000$

pieza que entrax 1, 3264

pieza que entra

piezas terminadas= 3979, 2

$

pieza terminada

⋅ Venta de material de rezago:

500$

pieza defectuosax 0, 2461

pieza defectuosa

piezas que entrax 1, 364

pieza que entra

piezas terminada= 163, 21

$

pieza terminada


Costo Mano de Obra 10555, 30Costo de Materiales 3979, 2- Venta de Defectuosos −163, 21

Costo directo 14371.29 $pieza terminada

5.5 Analisis de fallas

Una maquina de un proceso productivo puede estar en uno de los siguientesestados al final de cada dıa de operacion:E0 = Perfectamente operableE1 = Operable con deterioro menorE2 = Operable con deterioro mayorE3 = Inoperable Cuando el sistema se encuentra en alguno de los tres primerosestados pueden producirse artıculos defectuosos durante el dıa siguiente. Loscostos esperados (debido a la produccion de defectuosos) para cada uno de losestados son

Estado CostoE0 0E1 1000$E2 3000$

Cuando la maquina se encuentra en el estado 3 se la repara llevandola al estadoE0. Este trabajo toma un dıa para completarse a un costo de 4000$. El lucrocesante diario es de 2000$.Asumiendo las siguientes probabilidades de transicion

Estado E0 E1 E2 E3

E0 0 7/8 1/16 1/16E1 − 3/4 1/8 1/8E2 1/2 1/2

1. Formular el problena como una cadena de Markov

2. Calcular el costo promedio esperado a largo plazo

3. Determinar el numero promedio de dıas de funcionamiento de la maquina

Solucion:


1.

P =

E0 E1 E2 E3

E0 7/8 1/16 1/16E1 3/4 1/8 1/8E2 1/2 1/2E3 1

1/16

@@@@@@@@@@

ONMLHIJKE07/8

//

1/16

AAAAAAAAAAAAAAAA

~~~~~~~~~~ ONMLHIJKE11/8

//

1/8

��

3/4�� ONMLHIJKE2

~~}}}}}}}}}}}}}}}}1/2

XX

ONMLHIJKE3

1

`AAAAAAAAAAAAAAAA

2. Calculamos las probabilidades en regimen estacionario asociadas a cadaestado

[p(0) p(1) p(2) p(3)]

7/8 1/16 1/163/4 1/8 1/8

1/2 1/21

= [p(0) p(1) p(2) p(3)]

⎧⎨⎩

p(3) = p(0)

p(0).7/8 + p(1).3/4 = p(1)

p(0).1/16 + p(1).1/8 + p(2).1/2 = p(2) −→

⎧⎨⎩p(0) = 2/13p(1) = 7/13p(2) = 2/13p(3) = 2/13

p(0) + p(1) + p(2) + p(3) = 1


Costo promedio = 0.p(0) + 1000.p(1) + 3000.p(2) + (4000 + 2000).p(3) =

= 1923, 08$

3. Considerando el estado E absorbente

P =

E0 E1 E2 E3

E0 0 7/8 1/16 1/16E1 0 3/4 1/8 1/8E2 0 0 1/2 1/2E3 0 0 0 1

E3 E0 E1 E2

1

1/16 7/8 1/161/8 3/4 1/81/2 1/2

I −N =1 −7/8 1/160 1/4 −1/80 0 1/2

(I −N)−1 =1 7/2 10 4 10 0 2

(I −N)−1.1 =1 7/2 10 4 10 0 2

x111

=5, 552

Por lo tanto, el tiempo esperado de cada ciclo de la maquina es 5,5 dıas.

5.6 Analisis de cuentas

El departamento de contadurıa de una empresa tiene la siguiente informacionsobre la evolucion de los creditos de un mes a otro (en porcentajes):


Cuenta Creditos Morosos Cobro IncobrablesCorriente Documentados

Cuenta Corriente 30 10 10 50Cred. Documentados 40 10 50Morosos 70 30

Suponiendo que se mantienen los niveles de creditos

1. ¿Cual es la probabilidad de que una cuenta en “Cuenta Corriente” se cobre?

2. ¿Cuantos meses transcurren en promedio hasta que se liquida una cuentade cada uno de los dos tipos de credito?

Solucion:

1.

P =

CC CD MO CO IN

CC 0, 3 0, 1 0, 1 0, 5CD 0, 4 0, 1 0, 5MO 0, 7 0, 3CO 1IN 1

CO IN CC CD MO

CO 1IN 1

CC 0, 5 0, 3 0, 1 0, 1CD 0, 5 0, 4 0, 1MO 0, 7 0, 3

I −N =0, 7 −0, 1 −0, 1

0, 6 −0, 11

(I −N)−1 =1, 429 0, 238 0, 167

0 1, 667 0, 1670 0 1

(I −N)−1.A =1, 429 0, 238 0, 167

0 1, 667 0, 1670 0 1

x0, 5 00, 5 00, 7 0, 3

=0, 950 0, 0500, 950 0, 0500, 7 0, 3


La probabilidad de que una cuenta CC se cobre es de 95%.

2.

ni =1, 429 0, 238 0, 167

0 1, 667 0, 1670 0 1

x111

=1, 8341, 834

1

En ambos casos es 1,834 meses.

5.7 Estudio de confiabilidad en un sistema de lıneas de transmision

El sistema esta constituido por tres lıneas de transmision de energıa o infor-macion que operan en paralelo. Cada lınea puede encontrarse en servicio, ofuera de servicio, ya sea por mantenimiento programado (indisponibilidad pro-gramada) o por falla, debido a la accion de un agente externo (indisponibilidadforzada). Ademas el regimen de operacion no permite retirar una lınea pormantenimiento programado cuando existe alguna otra en paralelo fuera de ser-vicio, ya sea por mantenimiento programado o por falla forzada.

FUENTE

sentido del flujo1 −→2 −→3 −→

SUMIDERO

En estas condiciones los estados posibles son:


Estado No de lıneas No de lıneas No de lıneasen servicio en falla forzada en manten. programado

1 3 0 02 2 1 03 2 0 14 1 2 05 1 1 16 0 3 07 0 2 1

y las transiciones entre los estados se pueden expresar mediante el siguientegrafo:

7654012311 ind. progr.

�� 1 falla forzada--765401233

1 mant. progr.

??

1 falla

��

765401232

1 falla forzada

mm

1 falla forzada

��765401235

1 reprac.

ZZ

1 falla

��

1 mant. progr.

66

765401234

1 reprac.

ZZ

1 falla forzada

��765401237

1 reprac.

ZZ

1 mant. progr.

66

765401236

1 reprac.

ZZ

Se puede observar que existen cuatro transiciones basicas:

- falla forzada

- reparacion

- indisponibilidad programada

- mantenimiento

Se asumira la hipotesis de que tanto los regımenes de falla y de indisponibili-dad programada como las duraciones de las reparaciones y los mantenimientos


tienen probabilidades de transicion dadas por funciones de distribucion expo-nencial:

- Pij(t) falla forzada = (1− e−�f t)

- Pij(t) indisp. progr. = (1− e−�pt)

- Pij(t) reparacion = (1− e−�f t)

- Pij(t) mantenimiento = (1− e−�pt)

De esta manera el sistema se puede estudiar como una cadena de Markov ho-mogenea con parametro t continuo. Luego las respectivas tasas de transicionseran:

- dfalla forzada =d

dt(Pij(0))f. forz. = �f (5.1)

- dindispon. progr =d

dt(Pij(0))ind. progr. = �p (5.2)

- dreparacion =d

dt(Pij(0))reparacion = �f (5.3)

- dmantenimiento =d

dt(Pij(0))mantenim. = �p (5.4)

Los valores anteriores corresponden a probabilidades de transicion por cable.Para evaluar las probabilidades de transicion entre los siete estados definidoses necesario afectar a las expresiones (5.1) a (5.4) por el numero de lineas queestan en condiciones de efectuar la transicion, ası del estado 1 al estado 2 sepuede pasar por falla en cualquiera de las 3 lıneas, luego la tasa de transiciond12 sera P12 = 3�f , y ası con las demas, luego el grafo con las tasas de transiciones:


765401231d13=3�p

�� d12=3�f--765401233

d31=�p

??

d35=2�f

��

765401232

d12=�f

mm

d24=2�f

��765401235

d53=�f

ZZ

d57=�f

��

d52=�p

66

765401234

d42=2�f

ZZ

d46=�f

��765401237

d75=2�f

ZZ

d74=�p

66

765401236

d64=3�f

ZZ

Todas las restantes tasas dij que no figuran en el grafo son nulas. Luego lasprobabilidades del estado permanente:

P = P1 P2 P3 P4 P5 P6 P7

se calculan de la expresion (3.3.1):P = B.A−1

con la matriz A definida en la (3.3 0), y que en este caso es:

A =

(d12 + d13) d12 d13 0 0 0 1d21 −(d21 + d24) 0 d24 0 0 1d31 0 −(d31 + d35) 0 d35 0 10 d42 0 −(d42 + d46) 0 d46 10 d52 d53 0 −(d52 + d53 + d57) 0 10 0 0 d64 0 −d64 10 0 0 d74 −d75 0 1


=

−3(�p + �f) 3�f 3�p 0 0 0 1�f −(2�f + �f) 0 2�f 0 0 1�p 0 −2(�f + �p) 0 2�f 0 10 2�f 0 −(�f + 2�f) 0 �f 10 �p �f 0 −(�f + �f + �p) 0 10 0 0 3�f 0 −3�f 10 0 0 �p 2�f 0 1

Luego calculando la matriz A−1, su 7ma. fila dara los valores de las proba-bilidades del estado permanente. Mediante este metodo pueden determinarse,ademas:

. probabilidad de tres lıneas en servicio: Pj

. probabilidad de dos lıneas en servicio: P2 + P3

. probabilidad de una lınea en servicio: P4 + P5

. probabilidad de ninguna lınea en servicio: P6 + P7

Como ejemplo pueden calcularse los valores anteriores para los siguientes datos:�p =10, 7 indisp/cable-ano; �f = 0, 4 fallas/cable-ano; �p = 983, 5 manten./cable-ano; �f = 190, 4 repar./cable-ano.


References

[1] Bronson, R Investigacion de Operaciones, serie Shaum; Mc. Graw Hill

[2] Gallagher y Watson, Quantative Methods for Busines; Mc. Graw Hill

[3] Gillett B., Introduction to Operations Research; Mc. Graw Hill

[4] Hillier y Lieberman, Introduccion a la Investigacion de Operaciones; Mc.Graw Hill

[5] Kaufman A., Metodos y Modelos de Investigacion de Operaciones;C.E.C.S.A

[6] Parsen, Procesos Estocasticos; Parainfo

[7] Prawda J., Metodos y Modelos de Investigacion de Operaciones; Limusa

[8] Rau J., Optimization and Probability in System Engieneering; Van NostranReinhold

[9] Shambin y Stevens, Investigacion de Operaciones, Un enfoque fundamen-tal; Mc. Graw Hill

71.07 investigacion operativa cadenas de markov

Documents