第七章第七章 解线性方程组的迭代法解线性方程组的迭代法

§§1 1 向量范数向量范数

§§2 2 矩阵范数矩阵范数

§§3 3 常用迭代格式常用迭代格式

§§4 4 特殊判敛法特殊判敛法

的逼近程度与描述用 yyyyxxe nn ,如何描述两个向量或矩阵之间的逼近程度呢？

12

2

2 21 2

2

1 0 0

2 ,

3

xR x x

x

x x x

x x

R x R x x

x y x y

在 中， 定义 到零点的距离为：

它们有这样的性质：

（） 正定

（ ） 齐次

（） 三角不等式

§1 向量范数

, ( ) n nx R f x x R R 是 的一个映射

1 0 0

2 , ,

3 , ,

n

n

n

x R x x

R x R x x

x y R x y x y

（） ,当 时

（ ）

（）

正定性

齐次性

三角不等式

满足：

11

112 2 2

12

2

1 1 12 2 22 2 2

1

1 1 :

(1) (3)

2 2 : ( )

(1),(2). (3) Cauchy

[ ( ) ] ( ) ( )

.

n

n

n

k k k kk

x x x

x

x x x

x

a b a b

例 范数

显然满足

例 范数

显然满足 由 不等式：

直接可得

SchwarzSchwarz不等式不等式CauchyCauchy不等式不等式2 2 2

1 1 1

2

1

2 2 2 2

1

2 2 2

Schwarz ( )

,

, ( ) 0

( ) 2 0

0, 1, , (

( ) 2 ( ) 0

n n n

k k k kk k k

n

k kk

n

k k k k k kk

k k k k

k k k k

a b a b

a b

a b

a b a a b b

a b k n a b

b a b a

不等式

等号成立 成比例.

实数

即 成比例）

若不然，

2

2

2 2 2

2 2 2

04 0

4 0

Schwarz

k k k k

k k k k

A B CB AC

a b a b

a b a b

即 无解

判别式

2 2 2

12 2 2 2

2 22

( ) 2

(Cauchy)

n

k k k k k kk

k k k k

k k

a b a b a b

a b a b

a b

1

1

3 max

(3) max

ii n

i ii n

x x

x y x y x y

例 ： 范数，

三种范数可统一表为 p-范数

三角不等式

由Minkovskii不等式给出

ppn

p

pxxx

1

1 )(

1 1 1

1 1 1

[ ] ( ) ( )p p pp p pk k k k

k k k

a b a b

1

1

1

1

1

11

1

lim max

lim lim

lim

( ) lim

k ipp i n

p p pnpp p

p p pn

kpk k

p p ppn

k k k kk k

kpp

x x x x x

x x x

x xxx x

x xx x x n xx x

p x x x

证明 , 设

不同的范数相当于用不同的长度单位(市

尺，米，英尺) 量度距离。他们之间虽不

存在换算关系，却有如下等价关系

1

2

2 1 2

1

2

3

x x n x

x x n x

x x n x

（）

（ ）

（）

可见如果向量序列 {x(n)} 在以上的任一种范数中

有‖x(n)‖→0, 或者∞，则在另一种范数下亦然。

在此意义上说这些范数彼此等价，用数学语言即：

等价

设两种范数‖x‖a

和‖x‖b

等价

存在与 x 无关的常量 C1 >0，C2 >0

.:22121 xCxxC

等价满足自反性、对称性和传递性

可以证明Rn上的任何两种范数都等价

( ) ( )

( ) ( ) ( )

1

( ) ( )

[ ] lim lim 1, ,

lim lim 0 max 0

0 1, lim

k kj jk k

k k kj jk k j n

k kj j j jk

x x x x j n

x x x x x x

x x j n x x

定理： ，

证：取

，

( )

( ) ( )

( ) ( )

,

lim 0, lim

1 1( , ,1) lim (0,0,1)2 2

n

k k

k k

k T k Tk k

x x

x x x x

x xk

向量的收敛 称向量序列 收敛于

如果 记做

例： 则

作作 业业

(1) 证明等价关系 (3)

(2) 设A为某非奇异n阶方阵，‖x‖为Rn

上的向量范数，定义‖x‖A ‖Ax‖，

证明‖x‖A 是向量范数

§2 矩阵范数

( )n nA R f A A 0，满足

1 0, 0 0

2 ,

3 , , n n

A A A

R A A

A B R A B A B

（）

（ ）

（）

次可乘性4 AB A B （ ）

1 ,2 max iji j n

a

例 ： 是不是矩阵范数？

1 det例 ： 是不是范数？A

0 0 0 0det 0,

1 0 1 0

但 非零矩阵

1 0 1 2 1 2

1 1 1 1 2 3A B AB

令

不满足次可乘性， 非范数。

122

1 1

3 ( )n n

ijFi j

A a

例 若定义

1 2 3则范数定的（ ）( ）（ ）显然满足。

4 Cauchy

Frobenius NormF

（ ）由 不等式可得。

称为 范数

12

2

1 1 1

12

2 2

1 1 1 1

( )

( )

n n n

ik kjFi j k

n n n n

ik mji j k m

AB a b

a b

Cauchy

不等式

12

2 2

1 1 1 1

n n n n

ik mji k j m

F F

a b

A B

0 1

max maxn n

n n

x xx R x R

A R AAx

A Axx

算子范定义 为数的

1 0, 0 0

2 ,

3 , ,

4

n n

A A A

R A A

A B R A B A B

AB A B

（）

（ ）

（）

（ ）

11 12 1 11

21 22 2 21

1 2 1

1 00 0

0 0

n

n

n n nn n

a a a aa a a a

a a a a

11

0 0

0, 0,

(1,0, ,0) 0, T

A a

x Ax

不妨设

取 有

0

00

max 0x

AxAxA

x x 而

算子范数正定性的证明

0

0

max 0 0 0

0 0

x

A

Ax Axx

x x

Ax Ax

如果

，

算子范数不仅满足范数的定义1—4，

而且还满足相容性

, , n n nA R x R Ax A x

0max

x

Ax AxA

x x

1 1

max maxx x

AB AB x A Bx

算子范数次可乘性的证明

1max

xA Bx

相容性

1max

xA Bx A B

可以证明

Rn×n上的任何两种范数都等价

由向量 x 的范数来定义‖A‖，显然取不同

的向量范数，就得出不同的矩阵范数，

矩阵的收敛

( ) ( ) lim 0k k

kA A A A

收敛于 ，如果

( ) ( )

12 2

( ) ( )

12 2( ) ( )

[ ] : lim lim

lim lim 0

lim 0 lim

k kij ijk k

ijF

k k

Fk k

k kij ij ij ijk k

A A a a

F a

A A A A

a a a a

定理

证：取 范数

1 1

1 1 1

12

1

[ ] 1 max

2 max

3

n

iji n j

n

ijj n i

T

A a

A a

A

A A

定理 （） 行和范数

（ ） 列和范数

（） 谱范数

为 模最大的特征根

由算子范数诱导出的3个矩阵范数

2

12

1,2 2

5 7(5 )(13 ) 49 18 16

7 13

9 65 9 65 4.13A

；

1,2,

1

2 2

1 3

5 74, 5,

7 13T

A A

A A A A

例： 求

norm(x,2) is the same as norm(x).

norm(x,1) is the 1-norm of x,

norm(x,inf) is the infinity norm of x,

norm(x,'fro') is the frobenius norm,

>> A=[2 2;1 3]; norm(A)ans =

4.1306

1 1

1 max

n

iji n j

A a

证明（） 行和范数

11 1 1

maxn n

ij ji n j j

a a

A

设

往证

11 , max .ii n

A x x

1

2

j j

j j

nj j

a xa x

Ax

a x

1 1

max

n

ij ji n j

Ax a x

1 1

max( )n

ij ji n j

a x

1 11

max maxn

ij ji n j nj

a x x

0, 0, max

x

Ax Axx

x x

1 1 1

1

01

1 0j j j

jj

a a ax x

a

则

2 , A x 取一特殊的向量 ，其分量为

1 1

1 11 1

max

,

n

ij ji n j

n n

j j jj j

Ax a x

a x a Ax

而

1max

xA Ax Ax A

1

[ ] ( 1, 2, , )( ) max .

n ni

ii n

A R i nA A

谱半径 设 的特征值为

则称 为 的谱半径

[ 1] ( )

命题

这里 指 的任一算子范数。

A A

A A

证：设 是 的任一个特征根，

为与其对应的特征向量

i

i i i i

AA

0左

右

i ii i

i i i i

A AA

1 1

[ 2] 1

max max 1x x

I

I Ix x

命题 算子范数

2[ ] , , , , , lim 0 ( ) 1

k

k

k

I A A AA A

定理

（证略）

线性方程组的条件数

原方程原方程

Ax Ax = = b b （（11））

如果如果 bb 收到扰动：收到扰动：b b →→bb++bb, ,

扰动方程扰动方程

AA((xx ++xx)= )= bb++bb （（22））

（（22））--

（（11））

x x = = AA--11 bb

1 1 , x A b A b b A x

1

cond( ) :

x b x bA A

A x b

cond( )x b

Ax b

b b →→bb++bb ，，bb受到扰动时的结果受到扰动时的结果

1 1 , x A b A b b A x

A → A + A 而 b 精确

AAx = b x = b （原式）（原式）

((AA++AA))((xx++xx) = ) = bb

A A x = x = --AA((xx ++xx), ),

x = x = --AA--11 AA((xx ++xx))

1x A A x x

cond( )

1 cond( )

AA

x AAx

AA

1x A A x x

1 11x A A A A x

1 1 A A 当 时，

关于条件数关于条件数

1

12 12 2

( )

( )

n

Tn

Cond A A A

Cond A A A

A A

是 模最小的特征值。

条件数的性质条件数的性质

Cond(ACond(A) ) ≥≥1 1 （算子范数）（算子范数）

1=1=‖‖II‖‖= = ‖‖AAAA--11‖≤‖≤ Cond(Cond(AA) ) ；；

如果如果 A A 正交，正交， Cond(Cond(AA))2 2 = 1 = 1

Cond(Cond(AA)= )= Cond(Cond(AA) ) ，，

00，常数，常数

1 1 12 22

1

Cond( ) ( ) ( )

(( ) ) ( ) ( ) 1

T T

T T T

A A A A A A A

A A A A I

误差分析误差分析

1 2

1 2

0.780 0.563 0.217 1 ,

0.913 0.659 0.254 1x x

xx x

精确解

6*

0.314,

0.087

10

0

x

r b Ax

*取近似解

剩余量

62Cond( ) 2.1932 10A

* ( 0)

*, *

Cond

x xAx b

r b Axx x r

Ax b

定理：

设 和 分别为非齐次方程组

的准确解和近似解， 则

(1)b Ax A x

*Cond

x x rA

x b

1 1

1 1

* *

* (2)

x x A A x A b

A Ax b A r

1

(1)(2)

*Cond(A)

A rx x rx b A b

§3 常用迭代格式

3.1 Jacobi迭代法

1 2 3

1 2 3

1 2 3

10 2 7.2 10 2 8.3

5 4 2

x x xx x xx x x .

11 2 3

( 1)2 1 3

1 ( ) ( )3 1 2

0 1 0 2 0 72 (1)

0 1 0 2 0 83 (2)

0.2 0.2 0.84 (3)

(k ) (k) (k)

k (k) (k)

(k ) k k

x . x . x .

x . x . x .

x x x

(0) (9)

0 1.09994 1.10 1.19994 . 1.20 1.29992 1.3

x x x

取

1

1, , 0n

ij j i iij

a x b i n a

一般地， 设

][11

)()1(

n

ijj

kjiji

ii

ki xab

ax

Jacobi公式

用矩阵表示：

x(k+1)= D-1b + (I-D-1A) x(k) 其中：

11

nn

aD

a

0

0

0

1

22

2

22

21

11

1

11

12

1

nn

n

n

n

aa

aa

aa

aa

aa

ADI

令 BJ = I-D-1A，g=D-1b，则有

x(k+1)=BJ x(k)+g。BJ =I-D-1A 迭代矩阵

计算时，先给定一初值，然后一直计算到

为止

当aii相对较大时，以上迭代对任意x(0)收敛

)1(

)()1(

k

kk

x

xx

3.2 Gauss-Seidel迭代法

例1中, 由(1)求出 x1(k+1), 认为它更逼近 x1 ,

在(2)中由 x1(k+1) 代 x1

(k)…

G-S迭代

( 1) ( ) ( )1 2 3

( 1) ( 1) ( )2 1 3( 1) ( 1) ( 1)

3 1 2

0.1 0.2 0.72 (1)

0.1 0.2 0.83 (2)

0.2 0.2 0.84 (3)

k k k

k k k

k k k

x x x

x x x

x x x

bD

x

x

aaaa

aa

x

x

aa

aa

x

xx

n

n

nk

nnn

nn

1

1

22

2

11

1

11

12)1(1

1

22

21

2

1

0

0

0

0

0

0

＋＋＝

( 1) ( 1) ( )k k kx Lx Ux g

LU

g

( 1) ( )

( 1) 1 ( ) 1

( )

( )( ) ( )

k k

k k

kGS

I L x Ux gx I L Ux I L g

B x g

3.3 松弛法

G-S： gUxLxx kkk )()1()1(

G-S+x(k)的线性组合能加速收敛?

( 1) ( ) ( 1) ( )(1 ) [ ]k k k kx x Lx Ux g

：松弛因子。 G-S法中 =1( 1) ( )

( 1) 1 ( ) 1

( )

( ) [(1 ) ]( ) [(1 ) ] ( )

k k

k k

k

I L x I U x gx I L I U x I L g

Bx g

作业作业

已知已知

求求JacobiJacobi迭代和迭代和GaussGauss--SeidelSeidel迭代的迭代的

迭代矩阵谱半径迭代矩阵谱半径

1 2 2, 1 1 1

2 2 1Ax b A