1

第 6 章 马尔可夫预测

马尔可夫链的基本概念 马尔可夫预测方法及应用

马尔可夫预测是应用随机过程中马尔可夫链的理论和方法，研究分析有关现象的变化规律并借此对未来进行预测的一种方法。

2

6.1 马尔可夫链的基本概念

3

一、马尔可夫链

6.1 马尔可夫链的基本概念

4

马尔可夫过程指满足无后效性的随机过程

一、马尔可夫链

6.1 马尔可夫链的基本概念

5

马尔可夫过程指满足无后效性的随机过程

定义 1 参数集 ( , )T

t T tX（随机变量）{ , }tX t T —— 随机过程

一、马尔可夫链

6.1 马尔可夫链的基本概念

6

马尔可夫过程指满足无后效性的随机过程

定义 1 参数集 ( , )T

t T tX（随机变量）

{ , }tX t T —— 随机过程无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。

一、马尔可夫链

6.1 马尔可夫链的基本概念

7

马尔可夫过程指满足无后效性的随机过程

定义 1 参数集 ( , )T

t T tX（随机变量）

{ , }tX t T —— 随机过程无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。

定义 2 如若 T 为离散集（设 ），同时 的取值也是离散的，则称 为离散型随机过程。

0 1 2{ , , ,..., ,...}nT t t t t

tX { , }tX t T

一、马尔可夫链

6.1 马尔可夫链的基本概念

8

设有一离散型随机过程，它所有可能处于的状态的集合为： S={1 ， 2 ，…， N} ，称其为状态空间。

9

则称离散型随机过程 为马尔可夫链。{ , }tX t T

1 1 2 2 1 1

1 1

, , ,n n n

n n n

P X j X i X i X i

P X j X i

L

设有一离散型随机过程，它所有可能处于的状态的集合为： S={1 ， 2 ，…， N} ，称其为状态空间。

若对任意 ，恒有： 1 2 1, , , ,ni i i j S L

{1,2,..., ,...}T n

10

二、状态转移概率矩阵

11

二、状态转移概率矩阵

当系统由一种状态变为另一种状态时，称为状态转移。

12

二、状态转移概率矩阵

当系统由一种状态变为另一种状态时，称为状态转移。

定义 3 一步状态转移概率(1)

1{ }ij ij n np p P X j X i

1

0, 1N

ij ijj

p p

1n nX i X j i j若由 转移到 的概率p 与n无关,则称该马尔

可夫链是齐次的。

13

几个概念：

14

几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于 1 ，则称该向量为概率向量。

15

几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于 1 ，则称该向量为概率向量。

(0.4,0.25,0.25,0.1)u

16

几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于 1 ，则称该向量为概率向量。

(0.4,0.25,0.25,0.1)u 概率向量

17

几个概念： 概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于 1 ，则称该向量为概率向量。

概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。

(0.4,0.25,0.25,0.1)u 概率向量

0.7 0.3

0.5 0.5A

18

概率矩阵的性质：如果 A 、 B 皆是概率矩阵，则 AB 也是概率矩阵；如果 A 是概率矩阵，则 A 的任意次幂 也是概率矩阵。

( 1)mA m

19

概率矩阵的性质：如果 A 、 B 皆是概率矩阵，则 AB 也是概率矩阵；如果 A 是概率矩阵，则 A 的任意次幂 也是概率矩阵。

( 1)mA m

一步状态转移概率矩阵

ijp 与 n 无关假设：

（齐次性）

11 12 1

21 22 2

1 2

N

N

N N NN

p p p

p p pP

p p p

L

L

L L L L

L

20

例 1 设味精销售情况分为畅销和滞销两种， 1 代表畅销， 2 代表滞销。以 表示第 n 个季度的味精销售状态，则 可取 1 或 2 的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。

nX

{ , 1}nX n

nX

21

例 1 设味精销售情况分为畅销和滞销两种， 1 代表畅销， 2 代表滞销。以 表示第 n 个季度的味精销售状态，则 可取 1 或 2 的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态 构成一个马尔可夫链。

nX

{ , 1}nX n

1( )n n ijP X j X i p 设

11 0.5p 12 0.5p 21 0.6p 22 0.4p

则状态转移概率矩阵：

nX

22

1 2

0.6

0.5 0.40.5

0.5 0.5

0.6 0.4P

23

k 步状态转移概率

,

,

kij n k n

k kij

N N

p P X j X i

P p

1k

称 为 k 步状态转移概率， 为 k 步状态转移概率矩阵， kijp kP

( ) ( ) ( )11 12 1

( ) ( ) ( )( ) 21 22 2

( ) ( ) ( )1 2

k k kN

k k kk N

k k kN N NN

p p p

p p pP

p p p

L

L

L L L L

L

24

马尔可夫链中任何 k 步状态转移概率都可由1 步状态转移概率求出。

25

马尔可夫链中任何 k 步状态转移概率都可由1 步状态转移概率求出。

全概率公式

26

马尔可夫链中任何 k 步状态转移概率都可由1 步状态转移概率求出。

PPP kk )1()(

1, kPP kk

P —— 一步状态转移概率矩阵

( )kP —— k 步状态转移概率矩阵

全概率公式

27

例 2 设一步状态转移概率矩阵为0.5 0.5

0.6 0.4P

则两步状态转移概率矩阵为

28

例 2 设一步状态转移概率矩阵为0.5 0.5

0.6 0.4P

则两步状态转移概率矩阵为

(2) 2

(2) (2)11 12(2) (2)21 22

0.5 0.5 0.5 0.5.

0.6 0.4 0.6 0.4

0.55 0.45

0.54 0.46

P P

p p

p p

29

初始状态概率向量

30

0t

0 00ip P X X t i @

1 20 0 , 0 ,..., 0NP p p p

初始状态概率向量

记 为过程的开始时刻，

则称

为初始状态概率向量。

31

如果已知齐次马尔可夫链的状态转移概率矩阵 以及初始状态概率向量 ，则任一时刻的状态概率分布可以确定。

0t

1 20 0 , 0 ,..., 0NP p p p

ij N NP p

0P

初始状态概率向量

记 为过程的开始时刻，

则称

为初始状态概率向量。

0 00ip P X X t i @

32

其中：

1 2( ) ( ( ), ( ), , ( ))

( )N

i k

P k p k p k p k

p k t i

L

表示在 时刻状态处于的概率。

( )0 0k kP k P P P P

1P k P k P

33

例 3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。 S={1,2} 。机床在运行中出现故障： 1 － >2 ；处于故障中的机床经维修，恢复到正常状态： 2 － >1 。

34

例 3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。 S={1,2} 。机床在运行中出现故障： 1 － >2 ；处于故障中的机床经维修，恢复到正常状态： 2 － >1 。

以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为 0.3 。在这一段时间内，故障机床经维修恢复到正常状态的概率为 0.9 。

1 2

0.9

0.3

35

0.7 0.3

0.9 0.1P

36

0.7 0.3

0.9 0.1P

2

(2) 2 0.7 0.3 0.76 0.24

0.9 0.1 0.72 0.28P P

含义？

37

含义？如已知初始概率向量 P(0) ：

0.1

0.9

0.3

1(0)p 2(0)p0.7

0.7 0.3

0.9 0.1P

2

(2) 2 0.7 0.3 0.76 0.24

0.9 0.1 0.72 0.28P P

(0) (0.8 0.2)P

38

含义？如已知初始概率向量 P(0) ：

(0) (0.8 0.2)P

0.1

0.9

0.3

1(0)p 2(0)p0.7

1(1) ?p 2(1) ?p

2

(2) 2 0.7 0.3 0.76 0.24

0.9 0.1 0.72 0.28P P

0.7 0.3

0.9 0.1P

39

1(0)p 2(0)p

1(1) ?p 2(1) ?p

11p12p

21p

22p

40

11 121 2

21 22

(1) (0) ( (0) (0))p p

P P P p pp p

1(0)p 2(0)p

1(1) ?p 2(1) ?p

11p12p

21p

22p

41

11 121 2

21 22

(1) (0) ( (0) (0))p p

P P P p pp p

0.7 0.30.8 0.2 (0.74 0.26)

0.9 0.1

1(0)p 2(0)p

1(1) ?p 2(1) ?p

11p12p

21p

22p

42

1(1)p 2(1)p

1(2) ?p 2(2) ?p

11p12p

21p22p

43

1(1)p 2(1)p

1(2) ?p 2(2) ?p

11p12p

21p22p

2(2) (1) (0)P P P P P

44

1(1)p 2(1)p

1(2) ?p 2(2) ?p

11p12p

21p22p

2(2) (1) (0)P P P P P

0.76 0.24(0.8 0.2)

0.72 0.28

(0.752 0.248)

45

1(1)p 2(1)p

1(2) ?p 2(2) ?p

11p12p

21p22p

2(2) (1) (0)P P P P P

0.76 0.24(0.8 0.2)

0.72 0.28

(0.752 0.248)

P(1)=(0.74 0.26)

46

1(1)p 2(1)p

1(2) ?p 2(2) ?p

11p12p

21p22p

2(2) (1) (0)P P P P P

0.76 0.24(0.8 0.2)

0.72 0.28

(0.752 0.248)

问题：当 k 不断增大时， 的变化趋势如何？( )P k

P(1)=(0.74 0.26)

47

三、平稳分布与稳态分布

48

三、平稳分布与稳态分布1. 平稳分布

49

三、平稳分布与稳态分布1. 平稳分布

如 为一状态概率向量， P 为状态转移概率矩阵。若 XP X

则称 X 为马尔可夫链的一个平稳分布。

1 2, , , NX x x x L

50

1. 平稳分布

如 为一状态概率向量， P 为状态转移概率矩阵。若 XP X

则称 X 为马尔可夫链的一个平稳分布。

1 2, , , NX x x x L

若随机过程某时刻的状态概率向量为平稳分布，则称过程处于平衡状态。

一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，即，过程一旦处于平衡状态后将永远处于平衡状态。

三、平稳分布与稳态分布

51

2. 稳态分布

问题：对于系统的状态 P(m) ，当 m 趋于无穷时，是否存在极限？

52

2. 稳态分布

问题：对于系统的状态 P(m) ，当 m 趋于无穷时，是否存在极限？

1 2

1 2

lim ( ) lim ( ) ( ) ( )

( , ,..., )

Nm m

N

P m p m p m p m

. . . ,（ ， ， ）若存在，设其极限为 ，

53

2. 稳态分布

问题：对于系统的状态 P(m) ，当 m 趋于无穷时，是否存在极限？

1 2

1 2

lim ( ) lim ( ) ( ) ( )

( , ,..., )

Nm m

N

P m p m p m p m

. . . ,（ ， ， ）

lim j jm

p m

若存在，设其极限为 ，

54

2. 稳态分布

问题：对于系统的状态 P(m) ，当 m 趋于无穷时，是否存在极限？

1 2

1 2

lim ( ) lim ( ) ( ) ( )

( , ,..., )

Nm m

N

P m p m p m p m

. . . ,（ ， ， ）

lim j jm

p m

( ) ( )

1 1

lim lim 0 0 limN N

m mj i ij i ij

m m mi i

p m p p p p

若存在，设其极限为 ，

55

则称 为稳态分布。

定义 对于概率向量 ，如对任意的 ，均有

1 2, ,..., N

Sji ,

( )lim mij j

mp

56

则称 为稳态分布。

定义 对于概率向量 ，如对任意的 ，均有

1 2, ,..., N

Sji ,

( )lim mij j

mp

( ) ( )

1 1

lim lim 0 0 limN N

m mj i ij i ij

m m mi i

p m p p p p

此时，不管初始状态概率向量如何，均有

1 1

(0) (0)N N

i j j i ji i

p p

这也是称 为稳态分布的理由。

57

设存在稳态分布 ，则由于下式恒成立 1 2, ,..., N

1P k P k P

58

设存在稳态分布 ，则由于下式恒成立 1 2, ,..., N

1P k P k P

k

P

令 ，得

59

设存在稳态分布 ，则由于下式恒成立 1 2, ,..., N

1P k P k P

k

P

令 ，得

即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。

问题 系统是否存在稳态分布？什么条件？

60

1. 对非周期的马尔可夫链，稳态分布必存在。

两个结论：

2. 对不可约非周期的马尔可夫链，稳态分布和平稳分布相同且均唯一。

( )

, ,

{1,2, }, 0,mij

i j S

S N p

L

不可约（不可分）：存在自然数m,对

使 称马尔可夫链是不可约的。

( ){ | 0} 1kiik p

i

非周期：若正整数集 的最大公约数为 ，则称

状态是非周期的。若所有状态均为非周期的，则称该马氏链为非周期的。

61

6.2 马尔可夫预测方法及应用

一、市场占有率预测

62

一、市场占有率预测

例 4 公司 A 、 B 、 C产品销售额的市场占有率分别为 50%， 30%， 20%。由于 C公司实行了改善销售与服务方针的经营管理决策，使其产品销售额逐期稳定上升，而 A 公司却下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。问题：按照目前的趋势发展下去， A 公司的产品销售额或客户转移的影响将严重到何种程度？更全面的，三个公司的产品销售额的占有率将如何变化？

6.2 马尔可夫预测方法及应用

63

周期 1的供应公司 公司 周期 0的顾客数 A B C

A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800

周期 1 的顾客数

—— 3900 3000 3100

64

公司 A B C A 3500/5000=0.7 500/5000=0.1 1000/5000=0.2 B 300/3000=0.1 2400/3000=0.8 300/3000=0.1 C 100/2000=0.05 100/2000=0.05 1800/2000=0.95

周期 1的供应公司 公司 周期 0的顾客数 A B C

A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800

周期 1 的顾客数

—— 3900 3000 3100

65

公司 A B C A 3500/5000=0.7 500/5000=0.1 1000/5000=0.2 B 300/3000=0.1 2400/3000=0.8 300/3000=0.1 C 100/2000=0.05 100/2000=0.05 1800/2000=0.95

A B C

A 0.7 0.1 0.2

B 0.1 0.8 0.1

C 0.05 0.05 0.9

P

(0) (0.5 0.3 0.2)P

周期 1的供应公司 公司 周期 0的顾客数 A B C

A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800

周期 1 的顾客数

—— 3900 3000 3100

66

未来各期的市场占有率：

1 0

0.7 0.1 0.2

0.5,0.3,0.2 0.1 0.8 0.1

0.05 0.05 0.9

0.39,0.3,0.31

P P P

67

未来各期的市场占有率：

1 0

0.7 0.1 0.2

0.5,0.3,0.2 0.1 0.8 0.1

0.05 0.05 0.9

0.39,0.3,0.31

P P P

(2) (1) (0.319,0.294,0.387)P P P

68

未来各期的市场占有率：

1 0

0.7 0.1 0.2

0.5,0.3,0.2 0.1 0.8 0.1

0.05 0.05 0.9

0.39,0.3,0.31

P P P

(2) (1) (0.319,0.294,0.387)P P P

(3) (2) (0.272,0.286,0.442)P P P

69

未来各期的市场占有率：

1 0

0.7 0.1 0.2

0.5,0.3,0.2 0.1 0.8 0.1

0.05 0.05 0.9

0.39,0.3,0.31

P P P

C—— 保销政策。 C的市场份额不断增大。是否可以持续下去？

(2) (1) (0.319,0.294,0.387)P P P

(3) (2) (0.272,0.286,0.442)P P P

70

稳态市场占有率

71

稳态市场占有率

1 2 3 1 2 3

1 2 3

0.7 0.1 0.2

, , 0.1 0.8 0.1 , ,

0.05 0.05 0.9

1

x x x x x x

x x x

72

稳态市场占有率

1 2 3 1 2 3

1 2 3

0.7 0.1 0.2

, , 0.1 0.8 0.1 , ,

0.05 0.05 0.9

1

x x x x x x

x x x

1 2 30.1765, 0.2353, 0.5882x x x

解得

73

(0) (0.5 0.3 0.2)P

1 2 30.1765, 0.2353, 0.5882x x x

74

(0) (0.5 0.3 0.2)P

1 2 30.1765, 0.2353, 0.5882x x x

上述结果对 A厂不利。 A厂制定两套方案：

75

(0) (0.5 0.3 0.2)P

1 2 30.1765, 0.2353, 0.5882x x x

上述结果对 A厂不利。 A厂制定两套方案：

甲方案 保留策略，拉住老顾客。

76

(0) (0.5 0.3 0.2)P

1 2 30.1765, 0.2353, 0.5882x x x

上述结果对 A厂不利。 A厂制定两套方案：

甲方案 保留策略，拉住老顾客。

0.85 0.10 0.05

0.10 0.80 0.10

0.05 0.05 0.90

P

甲

A B C

A 0.7 0.1 0.2

B 0.1 0.8 0.1

C 0.05 0.05 0.9

P

77

新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为 31.6％， 26.3％， 42.1％，Ａ公司的市场占有率从17.65％提高到 31.6％。

78

新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为 31.6％， 26.3％， 42.1％，Ａ公司的市场占有率从17.65％提高到 31.6％。

乙方案 争取策略，挖客户。

0.70 0.10 0.20

0.15 0.75 0.10

0.15 0.05 0.80

P

乙

79

新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为 31.6％， 26.3％， 42.1％，Ａ公司的市场占有率从17.65％提高到 31.6％。

乙方案 争取策略，挖客户。

0.70 0.10 0.20

0.15 0.75 0.10

0.15 0.05 0.80

P

乙

在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为 33.3％， 22.2％， 44.5％。

80

二、期望利润预测

81

二、期望利润预测

设 是状态空间为 的齐次马氏链，其转移矩阵为 。设 r(i)表示某周期系统处于状态 i时获得的报酬。称如此的马尔可夫链是具有报酬的。 r(i) ＞ 0 时称为盈利，报酬，收益等； r(i) ＜ 0时称为亏损，费用等。

{ }nX {1,2,..., }S N

( )ij N NP p

82

1 ．有限时段期望总报酬

83

记 表示初始状态为 i 的条件下，到第 k 步状态转移前所获得的期望总报酬 (k≥1 ， i∈S)：

( )kv i

1 ．有限时段期望总报酬

84

记 表示初始状态为 i 的条件下，到第 k 步状态转移前所获得的期望总报酬 (k≥1 ， i∈S)：

( )kv i

1

0

( )k

kn

v i n

第 期的期望报酬

1

00

{ ( ) }k

nn

E r X X i

＝

1( )

0 1

( )k N

nij

n j

p r j

＝

1 ．有限时段期望总报酬

85

( (1), (2),..., ( ))Tk k k kV v v v N

( (1), (2), ( ))Tr r r r N L ，

记

86

( (1), (2),..., ( ))Tk k k kV v v v N

( (1), (2), ( ))Tr r r r N L ，

12 1

0

( )k

n kk

n

V P r I P P P r

L

记

有

87

( (1), (2),..., ( ))Tk k k kV v v v N

( (1), (2), ( ))Tr r r r N L ，

12 1

0

( )k

n kk

n

V P r I P P P r

L

11

( ) ( ) ( ), 0, 1,2,N

k ij kj

v i r i p v j k i N

L ，

0( ) 0, 1,2,v i i N ，L

记

有

88

例 5 某商品每月市场状况有畅销和滞销两种。如果产品畅销则获利 50万元；滞销将亏损 30万元。已知状态转移概率矩阵如下：

试问：如当前月份该产品畅销，则第四月前所获得的期望总利润为多少？

11 12

21 22

0.5 0.5

0.78 0.22

p pP

p p

89

(1) 50

(2) 30

rr

r

0.5 0.5

0.78 0.22P

解：由题意知

90

(1) 50

(2) 30

rr

r

0.5 0.5

0.78 0.22P

4 12 3

40

( ) ( )n

n

V P r I P P P r

4

1.875 0.875 50 67.5

1.86295 0.27905 30 84.776V

解：由题意知

91

(1) 50

(2) 30

rr

r

0.5 0.5

0.78 0.22P

4 12 3

40

( ) ( )n

n

V P r I P P P r

4

1.875 0.875 50 67.5

1.86295 0.27905 30 84.776V

4(1) 67.5v

结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为 67.5 万。

解：由题意知

92

2 ．无限时段单位时间平均报酬

93

对 i∈S ，定义初始状态为 i的无限时段单位时间平均报酬为：

( ) lim ( ) /kk

v i v i k

2 ．无限时段单位时间平均报酬

94

对 i∈S ，定义初始状态为 i的无限时段单位时间平均报酬为：

( ) lim ( ) /kk

v i v i k

( (1), (2),..., ( ))Tk k k kV v v v N[ (1) (2) ... ( )]Tv v v v N记

2 ．无限时段单位时间平均报酬

95

对 i∈S ，定义初始状态为 i的无限时段单位时间平均报酬为：

( ) lim ( ) /kk

v i v i k

2 1( ... )lim lim

kk

k k

V I P P P rv

k k

( (1), (2),..., ( ))Tk k k kV v v v N[ (1) (2) ... ( )]Tv v v v N记

则

12 1

0

( )k

n kk

n

V P r I P P P r

L

2 ．无限时段单位时间平均报酬

96

2 1( ... )lim lim

kk

k k

V I P P P rv

k k

可以证明：

lim k

kP r

1 2

1 2

1 2

... (1)

... (2)

... ... ...

... ( )

N

N

N

r

r

r N

1

1

1

( )

( )

...

( )

N

jj

N

jj

N

jj

r j

r j

r j

97

2 1( ... )lim lim

kk

k k

V I P P P rv

k k

可以证明：

lim k

kP r

1 2

1 2

1 2

... (1)

... (2)

... ... ...

... ( )

N

N

N

r

r

r N

1

1

1

( )

( )

...

( )

N

jj

N

jj

N

jj

r j

r j

r j

即，无限时段单位时间平均报酬与初始状态无关，均为

1

( ) ( )N

jj

v i r j

98

3 ．无限时段期望折扣总报酬

99

考虑资金的时间价值

3 ．无限时段期望折扣总报酬

100

如将钱存于银行，年息为 ，则 与 有如下关系：

考虑资金的时间价值

(0,1)

r

1

1 r

3 ．无限时段期望折扣总报酬

，称 为折扣因子。

r

101

0

t

t

v i t i S

第期的期望报酬，

对有报酬的马氏链，定义从状态 i 出发的无限时段期望折扣总报酬为

102

0

t

t

v i t i S

第期的期望报酬，

( )

0

t tijj

t

v i p r j

对有报酬的马氏链，定义从状态 i 出发的无限时段期望折扣总报酬为

于是，

103

0

t

t

v i t i S

第期的期望报酬，

( )

0

t tijj

t

v i p r j

1 , 2 ,...,T

V v v v N

1

0

t t

t

V P r I P r

对有报酬的马氏链，定义从状态 i 出发的无限时段期望折扣总报酬为

于是，

记 则

104

称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。

, ,kv i v i v i

例 6 最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是：

状态 1 ：优秀状态，无任何故障或缺陷；

状态 2 ：良好状态，稍有腐蚀；

状态 3 ：及格状态，轻度腐蚀；

状态 4 ：可用状态，大面积腐蚀；

状态 5 ：不可运行状态，腐蚀严重。

105

该公司可采用的维修策略有以下几种：

单状态策略：泵处于状态 5 时才进行修理，每次修理费用为 500 元。

两状态策略：泵处于状态 4 和 5 时进行修理，处于状态 4时的修理费用每次为 250 元 , 处于状态 5 时的每次修理费用为 500 元。

三状态策略：泵处于状态 3,4,5 时进行修理，处于状态 3时的每次修理费用为 200 元 , 处于状态 4 和 5 时的修理费用同前。

目前，该公司采用的维修策略为“单状态”策略。

假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态 1 。已知在不进行任何修理时的状态转移概率，如下表所示。

106

泵在周期 n+1的状态 泵在周期n的状态

1 2 3 4 5

1 0.00 0.60 0.20 0.10 0.10

2 0.00 0.30 0.40 0.20 0.10

3 0.00 0.00 0.40 0.40 0.20

4 0.00 0.00 0.00 0.50 0.50

5 0.00 0.00 0.00 0.00 1.00

问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。

107

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

1

( ) ( )N

jj

v i r j

需知 r 和 P.

P

不维修时的状态转移概率矩阵：

泵在周期 n+1的状态 泵在周期n的状态

1 2 3 4 5

1 0.00 0.60 0.20 0.10 0.10

2 0.00 0.30 0.40 0.20 0.10

3 0.00 0.00 0.40 0.40 0.20

4 0.00 0.00 0.00 0.50 0.50

5 0.00 0.00 0.00 0.00 1.00

108

1P

(0 0 0 0 500)Tr 单状态策略下：

1

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

1 0 0 0 0

P

109

1P

0.199,0.170,0.180,0.252,0.199

(0 0 0 0 500)Tr 单状态策略下：

1

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

1 0 0 0 0

P

解得：

110

1P

0.199,0.170,0.180,0.252,0.199

500 0.199 99.5jv i r j

(0 0 0 0 500)Tr 单状态策略下：

1

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

1 0 0 0 0

P

解得：

从而

111

(0 0 0 250 500)Tr 两状态策略下： 2P

112

(0 0 0 250 500)Tr 两状态策略下：

2

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

2P

113

(0 0 0 250 500)Tr 两状态策略下：

2

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

2P

0.266,0.228,0.241,0.168,0.097 解得：

114

(0 0 0 250 500)Tr 两状态策略下：

2

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

2P

0.266,0.228,0.241,0.168,0.097

0.168 250 0.097 500 90.50jv i r j

解得：

从而

115

(0 0 200 250 500)Tr 三状态策略下： 3P

116

(0 0 200 250 500)Tr 三状态策略下：

3

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

1 0 0 0 0

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

3P

117

(0 0 200 250 500)Tr 三状态策略下：

3

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

1 0 0 0 0

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

3P

0.35,0.30,0.19,0.095,0.065 解得：

118

(0 0 200 250 500)Tr 三状态策略下：

3

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

1 0 0 0 0

1 0 0 0 0

1 0 0 0 0

P

0 0.6 0.2 0.1 0.1

0 0.3 0.4 0.2 0.1

0 0 0.4 0.4 0.2

0 0 0 0.5 0.5

0 0 0 0 1

P

3P

0.35,0.30,0.19,0.095,0.065

0.19 200 0.095 250 0.065 500 94.25jv i r j

解得：

从而

119

99.5v i 单状态策略下：

两状态策略下：

90.50v i

三状态策略下：

94.25v i

因此，两状态策略为最优策略，平均每周期的费用为 90.50 元。