四川大学 2019 – 2020学年第二学期

统计计算

2020年 2月 27日

目录

1 引言

2 矩阵的三角-三角分解

引言

统计计算经常遇到各种矩阵计算问题.

1 线性方程组的求解2 处理矩阵问题的一个最基本方法: 将一个结构复杂矩阵分解为形式比较简单或者我们对其性质较熟悉的一些矩阵的乘积.

例如:

三角矩阵和对角矩阵是非常简单的矩阵, 其计算 (如求逆或求行列式等)是非常简单的;

正交矩阵或酉阵具有很好的性质.

引言

统计计算经常遇到各种矩阵计算问题.

1 线性方程组的求解2 处理矩阵问题的一个最基本方法: 将一个结构复杂矩阵分解为形式比较简单或者我们对其性质较熟悉的一些矩阵的乘积.

例如:

三角矩阵和对角矩阵是非常简单的矩阵, 其计算 (如求逆或求行列式等)是非常简单的;

正交矩阵或酉阵具有很好的性质.

引言 (续)

3 几种常用的矩阵分解三角分解正交-三角分解特征值分解或谱分解奇异值分解· · ·

4 广义逆及其计算5 消去 (扫描)变换

引言 (续)

3 几种常用的矩阵分解三角分解正交-三角分解特征值分解或谱分解奇异值分解· · ·

4 广义逆及其计算5 消去 (扫描)变换

引言 (续)

3 几种常用的矩阵分解三角分解正交-三角分解特征值分解或谱分解奇异值分解· · ·

4 广义逆及其计算5 消去 (扫描)变换

参考文献

A. Ben-Israel and T. N. E. Greville, Generalized Inverses: Theory and Ap-

plications (Second Edition), John Wiley & Sons, New York, 2002.

J. E. Gentle, Matrix Algebra: Theory, Computations, and Applications in

Statistics, Springer, 2007.

G. H. Golub and C. F. Van Loan, Matrix Computation (Third Edition), Johns

Hopkins University Press, Baltimore, 1996.

R. A. Horn and C. R. Johnson, Topics in Matrix Analysis, Cambridge Uni-

versity Press, 1991.

程云鹏,张凯院,徐仲,矩阵论 (第三版),西北工业大学出版社, 2006.

目录

1 引言

2 矩阵的三角-三角分解

分解形式

若一个矩阵分解为两个三角矩阵乘积, 则称之为三角-三角分解.

具体地可以考虑以下四种形式:

1 LDR分解A = LDR,

其中, L是单位下三角矩阵, D 是对角矩阵, R 是单位上三角矩阵.

2 LR分解 (Doolittle分解)

A = LR,

其中, L是单位下三角矩阵, R 是上三角矩阵.

分解形式 (续)

3 Crout分解A = LR,

其中, L是下三角矩阵, R 是单位上三角矩阵.

4 Cholesky分解 (平方根分解)

A = TTH,

其中, A是 Hermite正定阵, T 是下三角矩阵.

问题

问题1 矩阵的 LR分解是否存在?

2 如何给出分解算法?

Gauss消去法的矩阵形式

设 A ∈�n×n. 若 A的前 n −1个顺序主子式 Éi , 0 (i = 1, · · · ,n −

1),则 A存在 LR分解 (LR分解存在的充分条件).

下面我们给出用 Gauss消去法求矩阵 LR分解的详细过程.

Gauss消去法的矩阵形式 (续)

设 A(0) = A =(a(0)

i j

). 因为 a

(0)

11= É1 , 0,所以可令 li1 = a

(0)

i1/a(0)

11(i =

2, · · · ,n),并构造

L1 =

1

l21 1... . . .ln1 1

.

Gauss消去法的矩阵形式 (续)

记 A(1) = L−11A(0),则有

A(1) =

a(0)

11a(0)

12· · · a

(0)

1n

a(1)

22· · · a

(1)

2n

... ...

a(1)

n2· · · a

(1)

nn

.

显然 A的二阶顺序主子式 É2 = a(0)

11a(1)

22= É1a

(1)

22.

Gauss消去法的矩阵形式 (续)

因为 É2 , 0,所以 a(1)

22, 0. 令 li2 = a

(1)

i2/a(1)

22(i = 3, · · · ,n), 并构

造

L2 =

1

1

l32 1... . . .ln2 1

.

Gauss消去法的矩阵形式 (续)

记 A(2) = L−12A(1),则有

A(2) =

a(0)

11a(0)

12a(0)

13· · · a

(0)

1n

a(1)

22a(1)

23· · · a

(1)

2n

a(2)

33· · · a

(2)

3n... ...

a(2)

n3· · · a

(2)

nn

.

此时, A的三阶顺序主子式 É3 = a(0)

11a(1)

22a(2)

33= É2a

(2)

33.

Gauss消去法的矩阵形式 (续)

因为 Éi , 0(i = 3, · · · ,n − 1), 所以上述步骤可继续下去直到第n −1步为止,从而可得单位下三角矩阵 L1, · · · ,Ln−1.

在此过程中有

Éi+1 = a(0)

11a(1)

22· · ·a(i−1)

i ia(i)

i+1,i+1 = Éia(i)

i+1,i+1, i = 1, · · · ,n −1.

Gauss消去法的矩阵形式 (续)

令L = L1L2 · · ·Ln−1,

及

R = L−1A =

a(0)

11a(0)

12· · · a

(0)

1,n−1 a(0)

1n

a(1)

22· · · a

(1)

1,n−1 a(1)

2n

. . . ... ...

a(n−2)n−1,n−1 a

(n−2)n−1,n

a(n−1)nn

.

则 L 为单位下三角矩阵, R 为上三角矩阵, 从而 A = LR 成为矩阵 A

的 LR分解.

Gauss消去法的矩阵形式 (续)

上述过程实际上给出了1 LR分解存在的充分条件.

2 用 Gauss消去法求矩阵 LR分解的详细过程.

矩阵的 LR分解的存在唯一性

定理矩阵 A ∈ �n×n 有唯一 LR分解的充要条件是 A 的前 n −1个顺序主子式 Éi , 0(i = 1, · · · ,n −1).

矩阵的 LR分解的存在唯一性

课堂思考题如何证明上述定理？

非奇异矩阵的三角分解

推论设 A ∈ �n×n 非奇异,则 A 可以分解为 n 阶下三角矩阵与 n 阶上三角矩阵之积的充要条件是 A的各阶顺序主子式 Éi , 0(i = 1, · · · ,n).

上述推论中的三角分解形式不唯一. 事实上,若 A 有 LR分解 A = LR,

取 D 为任意 n 阶非奇异对角矩阵,则 L̃ = LD 和 R̃ = D−1R 分别为下三角和上三角矩阵,且 A = L̃R̃.

非奇异矩阵的三角分解

推论设 A ∈ �n×n 非奇异,则 A 可以分解为 n 阶下三角矩阵与 n 阶上三角矩阵之积的充要条件是 A的各阶顺序主子式 Éi , 0(i = 1, · · · ,n).

上述推论中的三角分解形式不唯一. 事实上,若 A 有 LR分解 A = LR,

取 D 为任意 n 阶非奇异对角矩阵,则 L̃ = LD 和 R̃ = D−1R 分别为下三角和上三角矩阵,且 A = L̃R̃.

非奇异矩阵的 LR分解

例设

A =

[0 1

2 3

]则不存在单位下三角矩阵 L和上三角矩阵 R 使得 A = LR.

非奇异矩阵的 LR分解 (续)

引理设 A 是 n 阶非奇异矩阵,则存在置换矩阵 P 使得 PA 的 n 个顺序主子式非零.

定理设 A是 n 阶非奇异矩阵,则存在置换矩阵 P 使得 PA有唯一的 LR分解.

矩阵的 LR分解算法

设 A = (ai j) ∈�n×n 有 LR分解:

A =

1

l21 1... ... . . .ln1 ln2 · · · 1

r11 r12 · · · r1n

r22 · · · r2n. . . ...

rnn

=

r11 r12 · · · r1n

l21r11 l21r12 + r22 · · · l21r1n + r2n...

......

ln1r11 ln1r12 + ln2r22 · · · ln1r1n + ln2r2n + · · ·+ rnn

. (1)

矩阵的 LR分解算法 (续)

由式 (1)两边第一行和第一列元素分别相等,可分别求得 R 的第一行和 L的第一列元素:

r1j = a1j , j = 1, · · · ,n,lj1 =

aj1

r11, j = 2, · · · ,n.

再由式 (1)两边第二行和第二列元素分别相等,可分别求得 R 的第二行和 L的第二列元素:

r2j = a2j − l21r1j , j = 2, · · · ,n,

lj2 =aj2 − lj1r12

r22, j = 3, · · · ,n.

依此类推,即可求出矩阵 R 和 L.

矩阵的 LR分解算法 (续)

上述递推过程的计算顺序为:

第 1行 +第 1列 −→第 2行 +第 2列 −→ ·· ·

矩阵的 LR分解算法 (续)

LR分解算法对 i = 1, · · · ,n,计算

ri j = ai j −i−1¼k=1

likrkj , j = i , · · · ,n,

lj i =1

ri i

aj i −i−1¼k=1

lj krki

, j = i + 1, · · · ,n.

矩阵的 LR分解算法 (续)

若对矩阵 A 进行 LR分解之后不再需要存储 A,则将因子 L 和 R

按 r11 r12 r13 · · · r1nl21 r22 r23 · · · r2n... ... ... ...ln1 ln2 ln3 · · · rnn

的方式直接存放于矩阵 A的存储单元,就可得到以下节省存储空间的算法.

矩阵的 LR分解算法 (续)

节省存储空间的 LR分解算法对 i = 1, · · · ,n 计算

ai j = ai j −i−1¼k=1

aikakj , j = i , · · · ,n,

aj i =1

ai i

aj i −i−1¼k=1

aj kaki

, j = i + 1, · · ·n.

问 题?

矩阵的 LDR分解

定理

设 A ∈ �n×n, 则 A 有唯一 LDR 分解的充要条件是 A 的顺序主子式

Éi , 0(i = 1, · · · ,n −1),其中 D = diag(d1, · · · ,dn),且

di = Éi /Éi−1, i = 1, · · · ,n,

这里记 É0 = 1.

矩阵的 LDR分解算法

LDR分解可以在 LR分解的基础上进行.

1 求出 A的 LR分解 A = LR.

令 D为 R的主对角线上元素构成的对角阵,即 D = diag(r11, · · · , rnn).此时有 ri i , 0(i = 1, · · · ,n −1).

矩阵的 LDR分解算法 (续)

2 若 A非奇异,则 rnn , 0, D 可逆.

令 R̃ = D−1R, 则有 A = LR = LDR̃. 由于 R̃ 实际上是将 R 的第 i

行除以 ri i 后的结果,因此, R̃ 是单位上三角矩阵.

矩阵的 LDR分解算法 (续)

3 若 A奇异,则 rnn = 0,此时有

D = diag(r11, · · · , rn−1,n−1,0).

令 R̃ 为将 R 的第 i 行除以 ri i(i = 1, · · · ,n −1),并将 rnn 换成 1所得的矩阵.

矩阵的 Crout分解算法

1 方法 1:

首先得到 LDR 分解, 再令 L̃ = LD 即得 A 的 Crout 分解 A =

LDR = L̃R.

2 方法 2:

同 LR分解算法的分析一样可得,只是算法的计算顺序为: 第 1列+第 1行 −→第 2列 +第 2行 −→ ·· ·

矩阵的 Crout分解算法 (续)

Crout分解算法对 i = 1, · · · ,n,计算

lj i = aj i −i−1¼k=1

lj krki , j = i , · · · ,n,

ri j =1

li i

ai j −i−1¼k=1

likrkj

, j = i + 1, · · · ,n.

矩阵的 Crout分解算法 (续)

练习要求自己写出节省存贮空间的算法.

问 题?