36341 - Introduo aos Processos EstocsticosCurso de Ps-Graduao em Engenharia Eltrica

Departamento de Engenharia EltricaUniversidade de Braslia

Cadeias de Markov

Geovany A. Borgesgaborges@ene.unb.br

Cadeias de Markov

Definio: um processo X estocstico dito cadeia de Markov em tempopode assumir K valores discretos s0, , sK1 e

Pr{Xk = xk|X0 = x0, , Xk1 = xk1} = Pr{Xk = xk|Xk1 = xk1}

com k sendo o tempo discreto correspondente ao instante tk = kT . Emmuitos casos, X pode ser um conjunto de smbolos indexados por si.

De acordo com a forma de representao dos estados e do tempo,segue-se a seguinte tabela para denominao de processos Markovianos:

Estados Tempo Classificaocontnuo contnuo Processo Markoviano em tempo contnuocontnuo discreto Processo Markoviano em tempo discretodiscreto contnuo Cadeia de Markov em tempo contnuodiscreto discreto Cadeia de Markov em tempo discreto

1

Nesta fase do curso trataremos de cadeias de Markov em tempo discreto.

Representao grfica: diagrama de transio de estados. Usando anotao

Pr{Xk = sj|Xk1 = si} = pij(k) (1)o diagrama de transio abaixo aplica-se para K = 3 estados possveis epara um dado instante k.

2

Matriz de transio de probabilidades: P(k) = {pij(k)}, i, j = 0, ,K 1.No caso de K = 3

P(k) =

p00(k) p01(k) p02(k)p10(k) p11(k) p12(k)

p20(k) p21(k) p22(k)

(2)

Observa-se queK1j=0

pij(k) = 1 (3)

implicando que a soma de todos os elementos de uma mesma linha deP deve ser 1. Ou seja,

P(k)

1..

.

1

=

1..

.

1

. (4)

Para o diagrama de transio de estados, isto implica que a soma de

3

todos os pesos dos arcos saindo de um estado deve ser 1.

Em alguns casos, o nmero de estados no-contvel:

P(k) =

p00(k) p01(k) p02(k) p10(k) p11(k) p12(k)p20(k) p21(k) p22(k)

.

.

.

...

(5)

Dependncia do tempo k:

Sendo pij dependente do tempo: cadeia de Markov no-homognea Sendo pij independente do tempo: cadeia de Markov homognea.

4

Cadeias de Markov HomogneasExemplo 1:

Considere o caso de uma mquina que pode assumir dois estados: F (emfuncionamento) e P (com problema) [1]. Os estados podem ser indexadospor s0 = 0 e s1 = 1, correspondentes a P e F , respectivamente. A cada horak, um sistema supervisrio de verificao do funcionamento da mquina fazum check-up completo da mesma, indicando um dos estados. Considere que

I. A probabilidade de a mquina estar funcionando normalmente na hora k eapresentar problema na hora k + 1 ;

II. A probabilidade de a mquina ser reparada na hora k + 1 estando comproblema na hora k .

5

Cadeias de Markov HomogneasSoluo:

Este problema pode ser modelado pelas probabilidades

Pr{Xk = s1|Xk1 = s0} = , (6)Pr{Xk = s0|Xk1 = s1} = , (7)

das quais, a partir das relaes

Pr{Xk = s0|Xk1 = s1}+ Pr{Xk = s1|Xk1 = s1} = 1, (8)Pr{Xk = s0|Xk1 = s0}+ Pr{Xk = s1|Xk1 = s0} = 1, (9)

pode-se obter

Pr{Xk = s1|Xk1 = s1} = 1 , (10)Pr{Xk = s0|Xk1 = s0} = 1 . (11)

6

Portanto, a matriz de transio de estados dada por

P =

[1 1

](12)

O diagrama de transio de estados dado por

7

Cadeias de Markov HomogneasExemplo 2:

Seja uma fila de uma porta de comunicao serial, cujo nmero de elementosna fila aps ocorrncia do k-simo evento representado por Xk, econsiderando que

I. A fila pode armazenar at no mximo K 1 elementos:Xk {0, 1, ,K 1}

II. Os eventos so: chegada de um elemento e partida de um elemento, queno podem ocorrer simultneamente.

III. pa : probabilidade do k-simo evento ser a chegada de um elemento;

IV. pd : probabilidade do k-simo evento ser a partida de um elemento.

Este um exemplo tpico de Sistema a Evento Discreto, podendo sermodelado por uma cadeia de Markov.

8

Cadeias de Markov Homogneas

Soluo:

Sendo somente chegada de um elemento e sada de um elemento oseventos do modelo, e que o indce k incrementado quando da ocorrncia deum evento, ento

pa + pd = 1 (13)de forma que para 0 < n < K 1

Pr{Xk = n+ 1|Xk1 = n} = pa (14)Pr{Xk = n 1|Xk1 = n} = pd (15)

Considerando que o nmero de elementos na fila nunca pode ser negativo,

Pr{Xk = 1|Xk1 = 0} = 0, (16)

9

implicando em

Pr{Xk = 1|Xk1 = 0} = 1, (17)

pois com a fila vazia o nico evento possvel a chegada de um elemento.De forma similar, quando a pilha est cheia (Xk1 = K 1), eventos dechegada de novos elementos so inibidos:

Pr{Xk = K|Xk1 = K 1} = 0,

e assim

Pr{Xk = K 2|Xk1 = K 1} = 1.

10

A matriz de transio de estados para este sistema fica

P =

0 1 0 pd 0 pa 0 0 pd 0 pa 0 ... 0 pd 0 pa 0

.

.

.

...

0 pd 0 pa 00 pd 0 pa

0 1 0

(18)

O diagrama de transio de estados dado por

11

Cadeias de Markov HomogneasExemplo 3:

Considere o problema do Passeio Aleatrio em uma nica dimenso:

Xk =

{Xk1 + 1 com probabilidade Xk1 1 com probabilidade = 1 (19)

tal que X0 = 0 e p+ q = 1. Xk uma cadeia de Markov em tempo discreto.No entanto, Xk pode assumir um nmero infinito de valores no espaodiscreto

{ ,3,2,1, 0, 1, 2, 3, }

12

Cadeias de Markov Homogneas

Soluo:

Este modelo pode ser escrito na forma

Xk = ak1Xk1 + bk1uk1 + wk (20)

com ak1 = 1, bk1 = 0 e

wk =

{+1 com probabilidade 1 com probabilidade = 1 (21)

Observa-se que

Pr{Xk = sj|Xk1 = si} =

se sj = si + 1 = 1 se sj = si 10 qualquer outra caso.

(22)

13

de modo que, considerando sn = n, a partir das seguintes relaes:

pii = Pr{Xk = i|Xk1 = i} = 0 (23)pi(i+1) = Pr{Xk = i+ 1|Xk1 = i} = (24)p(i+1)i = Pr{Xk = i|Xk1 = i+ 1} = (25)

a matriz de transio de estados dada por

P =

...

...

...

0 0 0 0 0 0

0 0 0 ...

...

...

(26)

14

O diagrama de transio de estados dado por

15

Dinmica de cadeias de Markov homogneas

Considerepij(k) = Pr{Xk = sj} (27)

que pode ser escrito como

pij(k) =

K1i=0

Pr{Xk = sj, Xk1 = si} (28)

=

K1i=0

Pr{Xk = sj|Xk1 = si}Pr{Xk1 = si} (29)

=

K1i=0

Pr{Xk = sj|Xk1 = si}pii(k 1) (30)

=

K1i=0

pijpii(k 1) (31)

16

A partir desta relao, se definirmos o vetor (linha) de probabilidades

pi(k) =[pi0(k) piK1(k)

] (32)ento pode-se verificar que

pi(k) = pi(k 1)P (33)

que uma forma recursiva para atualizao das probabilidades pi(k). De fato,pi(k) representa a FDP da cadeia no k-simo instante de tempo.

Assim, dado um vetor de probabilidades iniciais pi(0), verifica-se que

pi(k) = pi(0)P P P k vezes

= pi(0)Pk (34)

para k = 1, 2, .

O alto poder do modelo (34) poder ser verificado se tentarmos construir ummodelo equivalente em espao de estados para a cadeia de Markov. Assim,

17

considere o espao seja Xk particionado em K = 2 estados

s0 =[1 0

]T, s1 =

[0 1

]T.

Ento, um modelo equivalente em espao de estados seria

Xk = Ak1Xk1 (35)

em que Ak1 seria uma matriz estocstica tal que

Se Xk1 = s0 Ak1 =[

1 0

]com probabilidade Pr{Xk = s0|Xk1 = s0}

Se Xk1 = s0 Ak1 =[

0 1

]com probabilidade Pr{Xk = s1|Xk1 = s0}

Se Xk1 = s1 Ak1 =[ 0 1

]com probabilidade Pr{Xk = s1|Xk1 = s1}

18

Se Xk1 = s1 Ak1 =[ 1 0

]com probabilidade Pr{Xk = s0|Xk1 = s1}

com R.

19

Simulao de cadeias de Markov homogneas

No algoritmo abaixo, o vetor de probabilidades pi usado para gerar o ndicei do estado si com probabilidade pii(k). Portanto, usa-se a notao i pi(k).Algoritmo 1: Simulador de cadeias de Markov homogneas

I. Amostre i pi(0) e selecione X0 = si;

II. Para k = 1, 2,

I. Calcule pi(k) = pi(k 1)PII. Amostre Xk de Pr (Xk = sj|Xk1 = si):

i. j [P]i, em que [P]i significa a i-sima linha da matriz P.ii. Xk = sjiii. i := j

Neste algoritmo a etapa 2.a pode ser descartada se no for de interesseconhecer a evoluo da distribuio da cadeia.

20

Simulao de cadeias de Markov homogneasExemplo 4: Simulao da uma fila de uma USART com capacidade para 16bytes

Para esta simulao, podemos usar o modelo do Exemplo 2 com K = 17estados 0, 1, , 16. Considerando X0 = 0 e pa = 0, 6 = 1 pd, obtem-se oseguinte resultado:

0 20 40 60 80 100 120 140 160 180 2000

2

4

6

8

10

12

14

16

k

N

m

e

r

o

d

e

b

y

t

e

s

n

a

f

i

l

a

21

Se quisermos simular uma fila com inicialmente n bytes, basta fazer

pii(0) =

{1 i = n0 i 6= n

.

No caso de n = 6, obtem-se a seguinte execuo:

0 20 40 60 80 100 120 140 160 180 2006

8

10

12

14

16

k

N

m

e

r

o

d

e

b

y

t

e

s

n

a

f

i

l

a

22

Distribuio de regime permanente

Sob certas condies [1], dado pi(0), a seqncia gerada por

pi(k) = pi(k 1)P (36)

estabiliza em um valor pi(k) = pi, denominada de distribuio de regime dacadeia de Markov. Quando existe, a distribuio de regime satisfaz aosistema de equaes

pi = piP (37)

Quando alcanado o regime permanente, sendo pi ={pii}, pii pode serinterpretado como a frao esperada do tempo que a cadeia dedica aoestado si.

23

Distribuio de regime permanenteExemplo 5:

Considere o Exemplo 1, que modela uma mquina que pode assumir doisestados: F (em funcionamento) e P (com problema). Para aquele exemplo,

P =

[1 1

](38)

com e sendo probabilidades relacionadas falha da mquina e ao seureparo da mquina em um determinado lapso de tempo.

Neste problema, deseja-se que a mquina passe satisfaa a um limitesuperior do tempo de falha:

pi0 < 0, 4 (39)

Considerando = 0, 5, pede-se determinar que objetivo deve ser alcanadocom relao ao parmetro de forma a se garantir o objetivo acima.

24

Distribuio de regime permanente

Soluo:

Para resolver este poroblema, deve-se antes determinar as distribuies deregime pi0 e pi1:

[pi0 pi1

]=

[pi0 pi1

]P

=[pi0 pi1

] [ 1 0, 5 0, 5

]

da qual obtem-se

pi0 = pi0(1 ) + 0, 5pi1 (40)pi1 = pi0 + 0, 5pi1 (41)

25

Sendo pi0 + pi1 = 1, obtem-se

pi0 =0, 5

+ 0, 5pi1 =

+ 0, 5

Assim, para satisfazer (39) e 0 1, deve-se ter

0, 75 < 1.

26

Tpicos futuros

Quando possvel, os seguintes tpicos sero acrescentados a este material:

Propriedades de cadeias de Markov

Identificao da matriz P de cadeias de Markov

Modelos de Markov Ocultos (HMM, do ingls)

Simulao de cadeias de Markov por Monte Carlo (Markov Chain MonteCarlo)

27

Referncias

[1] CASSANDRAS, C. G.; LAFORTUNE, S. Introduction to Discrete EventSystems. [S.l.]: Kuwer Academic Pulishers, 1999.

28