Markovské řetězce

1. Definice Markovského řetězce2. Matice přechodu Markovkého řetězce3. Stavy Markovského řetězce4. Chapman-Kolgomorovova rovnice5. Ergodický princip6. Výpočet ergodických pravděpodobností7. Střední doba prvního přechodu8. Absorbční řetězce9. Střední počet průchodů transientními

stavy10. Pravděpodobnosti přechodů do

absorbčních stavů

Základní charakteristiky

Bernouliova poslopnost –úplná beznáslednost

Markovská vlastnost

Markovská vlastnost:

Výsledek m-tého pokusu závisí pouze na výsledku m-1 pokusu.

Stav systému v okamžiku n závisí pouze na stavu systému v okamžiku n-1

1 1 0 0 1 1,...,n n n n n n n nP X s X s X s P X s X s

Definice1) pij

(m) je podmíněná pravděpodobnost přechodu daného systému při m-tém pokusu ze stavu i do stavu j.

2) Hodnoty 1,2,3 a jevy s1, s2, s3 nazýváme stavy příslušného Markovského řetězce.

3) Matice přechodu Markovského řetězce je sestavena z podmíněných pravděpodobností přechodů.:

4) Markovský řetězec je homogenní, když podmíněné pravděpodobnosti přechodu pij

(m) nezávisejí na m, tj. pro všechna i,j platí:

mij ij

mij

p p

P P p

11 12 1

21 22 2

1 2

m m m

m m m

m m m

n

m n

n n nn

p p p

p p p

p p p

P

Poznámky1) Homogenní Markovský řetězec nezávisí na počtu kroků, tj. na

čase, tj. nestárne

2) Rozdělení pravděpodobnosti pij zjišťujeme statistickým šetřením.

3) Je třeba znát počáteční stav systému X0- pevný nebo náhodný.4) Markovský řetězec je stochastický proces diskrétní v čase i v

jevech

5) Matice T je stochastická matice. Pro pij platí:

6) Homogenní Markovský řetězec je soustava pravděpodobností, která je určena:

a) Počátečním stavem (pravděpodobností)b) Rozdělením pravděpodobností přechoduc) Maticí přechodu

1

0 1ij

n

ijj

p

p

Základní charakteristiky

Matice přechodu Markovského řetězce:

Matice P je sestavena z podmíněných pravděpodobností přechodu.

Absolutní pravděpodobnosti vyjadřují pravděpodobnosti jednotlivých stavů v okamžiku n.

11 12 1

21 22 2

1 2

m m m

m m m

m m m

n

m n

n n nn

p p p

p p p

p p p

P

1 2 3; ; ;...;n n n n nnp p p pp

Chapman-Kolgomorovova rovnice

0

0 ( ) (0)

(0)

,

n n t t njk

n l l

i

n l l

i

p P X k X j P X k X j

P X k X i X j P X i X j

P X k X i P X i X j

1n l njk ji ik

i

p p p xjXkXj+1 Xj+2 Xj+3 Xi

j k i

n kroků

l kroků (n-1) krok

Výpočty absolutních pravděpodobností

Přechod po n krocích ze stavu j do stavu k prochází stavem i po l krocích. Pro jakékoliv i je pravděpodobnost přechodu ze stavu i do stavu j po l krocích a dále do stavu k po n-l

krocích rovna součinu .

… matice přechodu za n kroků (n-kroková matice přechodu)

n l n l

n n

P P P

P P

0( )n np p P

0(1)

1(2)

1( ) nn

p p

p p

p p

P

P

P

Příklad 1: Oprava stroje

Stroj může být buď v provozu (stav P) nebo v opravě (stav O).

Pravděpodobnost, že se stroj během dne porouchá je 0,2. Pravděpodobnost, že stroj bude během dne opraven je 0,7.

Na začátku sledování je stroj v provozu.

Jaká je pravděpodobnost, že stroj bude v provozu na začátku pátého dne?

P O

P 0,8 0,2 1

0 0,7 0,3 1

2

1ij

j

p

0 1;0p

Matice přechodu

(podmíněných pravděpodobností) -P

Vektor počátečních pravděpodobností

Příklad 1: Oprava stroje

0

1

2

3

4

1;0

0,8 0,21;0 0,8;0,2

0,7 0,3

0,8 0,20,8;0,2 0,78;0,22

0,7 0,3

0,8 0,20,76;0,24 (0,778;0,222)

0,7 0,3

0,8 0,20,952;0,048 (0,7778;0,2222)

0,7 0,3

p

p

p

p

p

Možné stavy Markovských řetězců• Absorpční stav pokud se do něj Markovský řetězec

jednou dostal, nemůže se dostat do jiného stavu

• Trvalý stavsystém se do něj vrací

s pravděpodobností 1• Přechodný stavpravděpodobnost návratu do tohoto

stavu je menší než 1• Trvalý nulový stavtrvalý stav se nazývá nulový, jestliže

počet kroků pro návrat má nekonečně velkou střední hodnotu (nazývá se také rekurentní nulový)

• Trvalý nenulový stavtrvalý stav, pro než má počet kroků pro

návrat konečnou střední hodnotupokud návrat může nastat kdykoliv,

jedná se o ergodický stavpokud návrat může nastat po určitém

počtu kroků, jedná se o periodický stav

• Ergodický stavstav, který je trvalý, není nulový a

není periodický• Nepodstatný stav přechod ze stavu si do stavu sj je

možnýpřechod opačným směrem není

možný• Podstatný stavstav, který není nepodstatnývzájemně dosažitelné stavy jsou

sousledné• Uzavřená třídaskupina vzájemně dosažitelných

stavů• Regulární řetězecvšechny stavy jsou ergodické a tvoří

jednu uzavřenou třídutakový řetězec je nerozložitelný• Rozložitelný řetězeczměnou pořadí stavů lze vytvořit

jednotkovou submatici nebo submatice

Výpočet ergodických pravděpodobností

• Do Markovovy rovnice dosadíme:

1n njk ji ik

i

p p p

n

1lim limn njk ji ik

n ni

p p p

,k ji ii

p p p k S

Vzhledem k n konstanta, prvek matice P

Zlimitováno:

Pro praktický výpočet přidáváme:

1jj S

p

Příklad 1 -pokračování

,k ik ii

p p p k S

2 1 11 1 2

2 1 12 1 2

1 1 2

2 1 2

0,8 0,7

0,2 0,3

0,8 0,7

0,2 0,3

p p p

p p p

n

p p p

p p p

1 1 2

1 2 2

1 2

1 2

1 2

1 2

1 2

0 0,8 0,7

0 0,2 0,3

1

0 0,2 0,7

0 0,2 0,7

1

7 2;

9 9

p p p

p p p

p p

p plineárně závislé

p p

p p

p p

Střední doba prvního přechodu

• Ve stavu si systém setrvá s pravděpodobností pii jednu časovou jednotku.

• S pravděpodobností pij přejde do stavu sk a nejkratší doba k návratu je mjk. (1 přechod =1 časová jednotka)

• Cesty si do stavu (nebo návraty do si) sj mohou jít přes několik stavů k:

• Střední dobu prvého návratu do stavu si:

• Střední dobu prvého přechodu ze stavu si do stavu sj :

ii ii ik kik i

m p p m

1ij ik kj ij jjk

m p m p m

Střední doba prvního přechodu

a) přímo

b) přes stavy k

Si Sj

Si

Sj

Sk

Sk SkSk

K=1

K=3K=2

K=4

Výpočet pomocí fundamentální matice

E…jednotková matice

P… matice přechodu

A…limitní matice (řádky jsou vektory lim pravděpodobností)

I… matice složená ze samých jedniček

Z…fundamentální matice

…prvky na hlavní diagonále se shodují s maticí Z, ostatní jsou nuly

…prvky na hlavní diagonále se rovnají

1 Z E P A

ˆ ˆM E-Z+ IZ M

Z

M 1ii

ii

ma

Příklad 1: Střední doba přechodu ze stavu v provozu do stavu v opravě.

Výpočet pomocí fundamentální matice

1

1 0

0 1

0,8 0,2

0,7 0,3

7 2

9 97 2

9 9

E

P

A

Z E P A ˆ ˆ

1,025 0,025

0,086 1,086

1,025 0ˆ0 1,086

1 1

1 1

90

7ˆ9

02

Z

Z

I

M

M E-Z+ IZ M

E 1 0 Z striska1,02 00 1 0 1,09

P 0,8 0,2 I 1 10,7 0,3 1 1

A 0,78 0,22 IZ striska1,02 1,090,78 0,22 1,02 1,09

P-A 0,02 -0-0,1 0,08 E-Z+IZ str1 1,11

1,11 1E-(P-A)0,98 0,02

0,08 0,92 M striska1,29 00 4,5

Z 1,02 -0 M provozoprava-0,1 1,09 provoz1,29 5

oprava1,43 4,5Z striska1,02 0

0 1,09

Absorbční řetězce

1

1 1, 1 1, 2 1,1,1 1,2 1,

2 2, 1 2, 2 2,2,1 2,2 2,

, 1 , 2 ,,1 ,2 ,

1 0 0 0 0 0

0 1 0 0 0 0

0 0 1 0 0 0k

k k k k k k rk k k k

k k k k k k rk k k k

r r k r k r rr r r k

s

ss p p pp p ps p p pp p p

s p p pp p p

E 0P

R Q

Absorbční stavy

Přechodové stavy

Absorbční stavy

Přechodové stavy

Výpočty pro absorbční řetězce

E 0P

R Q

1N E-Q• Fundamentální matice

• Střední doba strávená v přechodových stavech

• Pravděpodobnost přechodu do absorbčních stavů

i ijj

t n

1 B R QB E-Q R NR

Součet řádku fundamentální

matice

Příklad 2: Absorbční řetězec

• Firma vlastní 10 přístrojů, které se mohou dostat do následujících stavů:

• P…v provozu• O… v opravě• N… na prodej• Š…do šrotu

N Š P O

N 1 0 0 0

Š 0 1 0 0

P 0,05 0 0,8 0,15

O 0,05 0,05 0,7 0,2

1

1 1 0 0,8 0,15 14,54 2,72

0 1 0,7 0,2 12,72 3,63

N E-Q

14,54 2,72 0,05 0 0,86 0,13

12,72 3,63 0,05 0,05 0,81 0,18

B NR

Pravděpodobnost, že se dostane do absorbčního stavu

N Š

P 0,86 0,13

O 0,81 0,18

Průměrná doba setrvání v provozu

Modely prosté obnovy

ir

aipravděpodobnost selhání jednotky v i-tém období

ripravděpodobnost dožití konce i-tého období

T… maximální životnost

V průměrná životnost

0

1

1 2

1

1

0

... , 0,1,..., 1

, 0,1,..., 1

T

T T

i i i T

i i i

r

r

r a

r a a a i T

r r a i T

1

0

0, 1,2,...,

1, 1, 2,...

1

0

i

i

T

ii

a i T

a i T T

a

a

1

T

ii

V ia

1

0

T

ii

V r

Matice přechodu

1 1

2 2

1 1

3 3

2 2

1 1

2 2

0 1 2 3 1

0 0 0 0

1 0 0 0

2 0 0 0

2 0 0 0

1 1 0 0 0 0

T T

T T

stav T

a r

a r

r r

a r

r r

a rT

r r

T

1 1

1 1

1, ,...,

, ,...,

T

T

r rq

V V V

N Nr NrN

V V V

Průměrná věková struktura

Příklad 3

Firma vlastní 10 vozidel. Nakupuje vždy nové a používá je maximálně 4 roky. Při vyřazení vozidla se ihned koupí nové. Pravděpodobnosti dožití a selhání (vyřazení – byly zadané) jsou v tabulce:

Rok ai ri

0 0 1

1 0,1 0,9

2 0,1 0,8

3 0,3 0,5

4 0,5 0

Matice přechodu

1 2 3 4 Suma

1 0,1 0,9 1

2 0,1/0,9 0,8/0,9 1

3 0,3/0,8 0,5/0,8 1

4 0,5/0,5 1

Matice přechodu

1 2 3 4 Suma

1 0,1 0,9 1

2 0,111 0,888 1

3 0,375 0,625 1

4 1 1

Průměrná životnost

1

0

1 0,9 0,8 0,5 3,2T

ii

V r

1 11 1 0,9 0,8 0,5, ,..., ; ; ; 0,3125;0,281;0,25;0,156

3,2 3,2 3,2 3,2Tr r

qV V V

stáří Počet vozů

(Zaokrouhleno)

1 3 – počet obnovených

2 3

3 2

4 2