第四章 最小二乘问题
Post on 24-Jan-2016
148 Views
Preview:
DESCRIPTION
TRANSCRIPT
1 数值分析
数值分析
问题的提出
0 1
0 1
0
2
0
1 , , , ,
, , , ,
( ) ( )
( ) ( ), , ( )
( ( )) min (1)
i m
i m
n
j
m
i ii
m x x x x
y y y y
x m n
s x H span x x
y s x
j
0 n
给定 个数据点
及基函数
构造出拟合函数 ,
使
T TA AC A Y GC F 等价于 或
第四章 最小二乘问题
2 数值分析
数值分析
0 1( , , ..., )nA 其中
0 0 1 0 0
0 1 1 1 1
0 1
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
n
n
m m n m
x x x
x x x
x x x
0 1( , , , )TmY y y y
0 0 0 1 0
1 0 1 1 1
0 1
0 1
( , ) ( , ) ( , )
( , ) ( , ) ( , )
( , ) ( , ) ( , )
( , ) ( , ) ( , )
n
n
n n n n
T
n
G
F Y Y Y
3 数值分析
数值分析
( ) ( ) , 0,1, ...,i ix x s x y i m n
i ii=0
若求s( )= c ,使
0 0 0 0 1 1 0 0 0
1 0 0 1 1 1 1 1 1
0 0 1 1
( ) ( ) ( ) ... ( )
( ) ( ) ( ) ... ( )
( ) ( ) ( ) ... ( )
n n
n n
m m m n n m m
s x c x c x c x y
s x c x c x c x y
s x c x c x c x y
Y AC Y S2
2minC AC Y 显然这是不能成立的。只能求出 使
AC Y线性最小二乘问题:求矛盾方程组 的最小二乘解。
C AC Y是矛盾方程组 的最小二乘解。
4 数值分析
数值分析
2 2, min
,(
:.
).m n
Ax b r b AxA R m n
求矛盾线性最小二乘问题
方程组 使 的解其中
1
2
1 1 0
1 1 1 .
1 2
:
0
x
x
为矛盾方程组例
第一节 求解线性最小二乘问题的一般原理
5 数值分析
数值分析
: .1 : n
T Tx R Ax b
x A Ax A b
是矛盾方程组 的最小二乘解的
充分必要条件是 是方程组定
的解理
2
2 2
( ) ( )
( ) 2( ( ), ) ( )
r x Ax Ay
r x r x Ax Ay Ax Ay
2 2 2, , ,
( ) ( ) ( ): nx y R x yr y b Ay b Ax Ax Ay
证明 设有 且 则
.
,)()(
0)),((
,,
22
的最小二乘解是矛盾方程组即
则有
使对任意如果存在
bAxx
Ryyrxr
AyxAxr
RyRx
n
nn
6 数值分析
数值分析
nTT
nn
RyxrAyx
RyAyAxxrRx
,0)()(
,0)),((,对
bAAxAAxbA
ANxrxrATTT
TT
0)(
)()(0)(
证毕使存在使即存在
bAxAARx
RyAyxAxrRxTTn
nn
,
,0)),((,
bAAxAxAxbx
bAAxATT
TT
使求使求
方程称为最小二乘问题的法
min
.2
7 数值分析
数值分析
.,,)()3(.
.,)2(
.)1(
:
唯一解不题称为亏秩的最小二乘问时当
题称为满秩的最小二乘问乘解存在唯一的最小二对应的矛盾方程组
存在唯一解法方程为列满秩时当的解一般不唯一法方程
注
nAr
bAxbAAxAA
bAAxATT
TT
8 数值分析
数值分析
.
)(,)(
,,
,,
1
1111
1111
1
bAxbAx
AAAAAAAA
AAAAAAAA
ARA
TT
nn
的解
且有则存在逆阵可逆若
是否有类似的性质,不可逆,或若 nmnn RARA
第二节 矩阵的广义逆
9 数值分析
数值分析
1 ; 2 ;
3 ; 4 ( )
m n n m
T T
n m X
AXA A XAX X
AX AX XA XA
X A
A
A R R
,若存 矩阵
满足以下四个条件(也称为Penrose条件):
( )
则称 是矩阵 的广义逆,又称为Penrose-Moore
广义逆,并记为 (也称为加号逆,或为伪逆)。
设 义 定
2 2
1 ;
2 ( ) , ( ) , ( ) ;
n n
A A A A AA AA A A
A R
+ -1
简单 质
当 是可逆阵时,A A
+ A的 性
10 数值分析
数值分析
1
3 , ( ) ,
( )
m n
T Tn m
A m n r A n
A A A A A A I AA I
A A A
R
是列满秩矩阵( )
则 =( ) ,且 但一般不成立
为列满秩时,称 为 的“ 左逆” ;
1
2 3
1 1
1 1
1 1
4 2 21( )
8 -4 2 2
,
,
T T
A
A A
A I A I
A A A
A A
A A
。
是列满秩的矩阵,可以求它的左逆
验算有 但 。
:
已知 求 的广 义逆
解
例
11 数值分析
数值分析
1
4 , ( ) ,
( );
m n
T Tm n
A m n r A m
A A AA AA I A A I
A A A
R
是行满秩矩阵( )则
= ( ) ,且 但一般不成立
为行满秩时,称 为 的“ 右逆” 。
1
2 4
1 2 3 6
1 2 1 2
1 9
2 181( )
76 11 23
8 4
1 0,
0 1
,
T T
A
A A
A I A I
A A A
A A
A A
的 。
是行满秩的矩阵,可求它的右逆
验算有 但 。
:
已知 求 广义逆
解
例
12 数值分析
数值分析
推论 : A+=(ATA) + AT=AT(AAT) +
IAAAAABAB ,)(一般说来
1
0
0 0
0
0 0
2 m n
Tr
Tr
A U V
A
A V U
A R
有奇异值分解
则 存在唯一的广义逆是
设矩阵定理
13 数值分析
数值分析
ABAB
AB
ABAB
BA
)(
00
01
01
01
2
1)(,
00
11
,10
11,
00
01:例如
ABABBA )(,,, 有行满秩时列满秩当但是
14 数值分析
数值分析
ABAB
ABAAAA
BBBB
ABAB
BA
TT
TT
)(
01
01
2
1,01)(
,1
1
2
1)(
01
01
2
1)(,
00
11
,11,0
1:
1
1
例如
15 数值分析
数值分析
,
m n
m n n n
A
R
R A
A QR Q R R
Q R A
是列满秩矩阵,则
是列 矩阵,
。
若 已知 有正交分解其中 正交
是可逆的上三角阵。试用 和 表示
例
1
1 1
1 1
( )
( ) ( )
( )
T T
T T T T T T T
T T T T
m n T
A
A A
R Q QR R Q R R R Q
R R R Q R Q
A A
Q R Q Q
是列满秩矩阵时,其广义逆为左逆,
对于列
:
矩阵 ,有 。正交的
解
16 数值分析
数值分析
, ( ) 0,
,
3 m n
m r r n
r A
B C A BC
A R
R R
A
秩 则必有列
满秩矩阵 和行满秩矩阵 使
设
称为矩阵 的满秩分解(简称秩分解)。
定理
0 0, 0
0 0 0 0 0: r r r
r
I I IPAQ I
证
11
1111
0,0
0000
0
QICI
PB
BC
QII
PQI
PA
rr
rrr
其中
17 数值分析
数值分析
注( 1 )满秩分解不唯一
1 1(2)
( ) ( )T T T TA BCA C B C CC B B B
1 0
1 0
1 0 11 0
1 0 1
1 0 2 10
1 0 22
, ( ) 1,
A
A
A r A
,是 的一个满秩分解,
, 也是 的一个满秩分解。
如矩阵 秩
显然
18 数值分析
数值分析
11 12 11 12
21 22 11 12
11 12
(3) ( ) 1,
1
a a a ar A A
a a ba ba
a ab
1 01 2 1
( ) 2, 1 00 3 2
0
:
1
r A A BC
解
2 1
2 1
3 2
+
-1
-1 。0
设A= ,试用A的满秩分解求广义逆A例:
19 数值分析
数值分析
100
02/12/1
100
011
10
02/1)(
10
02
10
01
01
100
011,
10
01
01
1 TT
T
BBBB
BBB
43
22
813
14
1
68
813
14
1
21
32
01
)(
68
813
14
1
21
32
01
230
121,
230
121
1TT
T
CCCC
CCC
833
422
161313
28
1BCA
20 数值分析
数值分析
对任意一个线性方程组 Ax=b ,它的解可以用广义逆统一地表示成一般形式。
(1)(2)
( ) ,
4 m n m
n
Ax b,A R ,b RAx b AA b b
Ax b A b
x A b I A A y y R
线性方程组 则有解
若 有解, 是它的一个特解,其全部解(通解)是
定理
第三节 最小二乘解的基本问题
21 数值分析
数值分析
, , ,(1)(2)
(
5
) ,
m n m
T T
n
Ax b A R b RA Ax A b
x A b I A A y y R
矛盾方程组 则法方程 恒有解;法方程的通解是
定理
;
2
(3)
(4) m n
x A b
A Rx A b
是矛盾方程组的最小二乘解,
即解集合中欧式范数 最小的解,又称为极小范数解;当 是列满秩矩阵,则满秩最小二乘问题存在唯一解 。
22 数值分析
数值分析
注:( 1 )矛盾方程组 Ax=b 恒有最小二乘解;
( 2 )最小二乘解不唯一;
( 3 ) x=A+b 最小二乘解中欧氏范数最小的解;
( 4 ) A 列满秩时,最小二乘解唯一。
1
2
1 1 1
1 1 1
2 1 0
1 1 2 11
1 0 , 02
2 2 2 0
T
x
x
x A b
用广义逆求矛盾方程组
的最小二乘解
:
。
例:
解
23 数值分析
数值分析
列满秩线性最小二乘问题存在唯一解 x=A+b
有四种解法:1. 直接解法方程 ATAx=ATb
2. 正交分解法 A=QR
3. 奇异值分解法 A=U∑VT
4. 迭代法
第四节 列满秩线性最小二乘问题 的数值解法
24 数值分析
数值分析
2. 正交分解法
1
(1) , ,m n n n
T T T T T T
T T
A QR Q R R R
A Ax A b R Q QRx R Q b
Rx Q b x R Q b
可逆上三角阵
1 2 1
11
(2) ,
, ,
, ,0
m m m n
m n n n
A QR
Q R Q Q Q Q R
RR R R R R
用Householder变换对A作QR分解
可逆上三角阵
11 2 1 1
1 1 1 1 1 1
11 1 1 1
0T T T T T T
T T
RA QR Q Q Q R
A Ax A b R Q Q R x R Q b
R x Q b x R Q b
25 数值分析
数值分析
1 2 1
1 2 1
,
;
, ,
Tn n
Tn n
m n
Houserholder A QR
R Q A H H H H A
C Q b H
Ax b A R r A
H H H b
n
(1)用 变换
列满秩最小二乘问题
求解方法,做正
如 :
算
下交分解
计
1
1
(2)
;
m n n n
m n
R R n n R R
C R n C R
取 的上部 矩阵
取 的前 个分量组成子向量
。向后回代求解 11)3( CxR
26 数值分析
数值分析
1 1 2 2
2 2 221 1 222 2 2 ,
01 1 222 2 2
1 1 2 2
2 2 2
Ax b
A b
用正交分解法求解矛盾方程组例
4 3
4 4
(1)
1 1 10
2 221 1 01 1 1
00 1 12 22
,1 1 1 0 0 1
02 2 0 0 021 1 1
02 22
A Householder A QR
Q R
解 对 用 变化换做正交分解:
27 数值分析
数值分析
T
TT
C
RR
bQC
)2,0,1(
100
110
011
33
)3,2,0,1()2(
1
1
矩阵的上部取矩阵
计算
。二乘解求出矛盾方程组的最小
求解上三角方程组
)2,2,21(
)3( 11
x
CxR
28 数值分析
数值分析
3. 奇异值分解法
1
1 2
0
0 0
0
0 0
1 1 1( , , )( )
10
m n Tr
Tr
T
n
nn
A R A U V
A V U
x A b
x Vdiag U b
设矩阵 有奇异值分解
列满秩最小二乘问题的唯一解是
0计算中最小奇异值 接近 时,可将 置为 。
29 数值分析
数值分析
4 、迭代法
1 ( )1 2
2
1 ( )1 2
2
1 ( )1 2
2
, ,
, 0
, ,
,
,
,
m n m n m
T T T
n n m n n
n m n
n m n
A R b R x R r R
A Ax A b r Ax b A r
A r b
AA A R A R
A
rr r R r R
r
bb b R b R
b
求 ,使得求解
将 分块表示
其中 ,非奇异,
其中 ,
其中 ,
30 数值分析
数值分析
nnm
nmnmnm
TTnm
n
TTnm
n
mn
RxRrrx
y
Rb
b
bR
AA
IA
IA
A
b
b
r
r
x
AA
IA
IA
byA
rAbAxr
RrRxT
,
,
0
,
0
0
0
,
00
0
0
,
0,
,,
1
2
2
1)()(
12
2
1
2
1
1
2
12
2
1
解向量
即
使得求
31 数值分析
数值分析
2
2
1 1
0 0 0 0 0
0 0 , 0 0 0
0 0 0 0 0
( , , )
n
T
Tm n
A A D L U
I
L A U
A
D diag A I A
对 作自然分解
( 1) ( )
11
12
1 2
11 1
12
( 0,1,2, )
0 0
0 0
0 0
0
k kJ
JT T
y B y G k
A
B I D A A
A A
Jac
A b
G D b b
obi
迭代格式为
32 数值分析
数值分析
( 1) ( )1 1 1
( 1) ( )2 2 2
( 1) ( )1 1 2 2
0,1,2, ...
k k
k k
T k T k
A x r b
r A x b k
A r A r
块Jacobi迭代
33 数值分析
数值分析
第五节 非线性最小二乘曲线拟合 与非线性最小二乘问题
最小二乘曲线拟合问题的一般提法0 1
0 1
0 1
2
0
1 , , , ,( ) ( ), ( ), , ( ),
, , ..., ( , )( )
( ),
( ( ) ( )) min (1)
i m
i m
m
m
i i ii
m x x x xf x f x f x f x
s x cs x
f x
f x s x
给定 个数据点
及权系数 ,并已知函数模型 。用给定的数据点,按给定的函数模型,构造拟合函数逼近未知函数 使
此问题称为最小二乘曲线拟合,又称为离散数据的最佳平方逼近。
34 数值分析
数值分析
0 1 1( , ) ( , , , , )
( ; )
Tn ns x c c c c c c
y f x c
是关于系数 的非线性函数,
记
非线性最小二乘曲 拟
为
线 合:
。2
2
0 1
20 1 2
0
20 1
0
( ; ) ,
( , , ) ( ( ; ))
( ( ))i
c x
m
i i ii
mc x
i i ii
f x c c x c e
g c c c y f x c
y c x c e
如:
记
0 1 2 0 1 2, , ( , , ) minc c c g c c c
非线性最小二乘曲线拟合问题求 使 无约束优化问题非线性最小二乘问题
35 数值分析
数值分析
0 0
1 1
( , )
( , )
( , )m m
f x c y
f x c y
f x c y
非线性最小二乘问题,即
求矛盾方程组 的最小二乘解
2
2 0
2 1
2
0 1
0 0 1 0
0 1 1 1
0 1
( ; ) ,
m
c x
c x
c x
c xm m
f x c c x c e
c x c e y
c x c e y
c x c e y
如:
矛盾方程组为
36 数值分析
数值分析
常用解法:
( 1 )采用局部线性化思想,将非线性最小二乘曲线
拟合问题转化为线性最小二乘曲线拟合问题。
P219----P221
( 2 )无约束优化方法,较好的方法有高斯—牛顿法。
P276
37 数值分析
数值分析
MATLAB 调用格式:
1. 多项式拟合
(1) pn=polyfit(x,y,n), y0=polyval(pn,x0), polt(x,y,x0,y0)
(2) pn=polytool(x,y,n)2. 多元线性拟合
( 1 )利用回归矩阵建立拟合函数, c=A\y
(2) c=regress(y,A)
线性最小二乘曲线拟合:
=A\bx线性最小二乘问题:
38 数值分析
数值分析MATLAB 调用格式:
1. c=nlinfit(x,y,’cfun’,c0)2
1 3( ; ) sin( ),c xf x c c e c x 如:非线性拟合函数function y=cfun(c,x)
y=c(1)+exp(c(2)*x)+sin(c(3)*x);
x=(0:0.1:1.0)';
y=[1.0 2.5 3.0 2.0 1.5 0.9 0.0 -1.0 -2.0 -1.5 -0.8]';
c0=[1 1 1];
c=nlinfit(x,y,'cfun',c0)
2. nlintool(x,y,’cfun’,c0)
非线性最小二乘曲线拟合:
[x,rs,rd]=lsqnonlin(,’fun’,x0,lx,ux)
非线性最小二乘问题:
39 数值分析
数值分析
习 题
P165-----7 , 11 , 13P154-----7 , 11 ,13
top related