5.6 数据拟合与最小二乘法
DESCRIPTION
5.6 数据拟合与最小二乘法. 实例：考察某种纤维的强度与其拉伸倍数的关系 , 下表 是实际测定的 24 个纤维样品的强度与相应的拉伸倍数 是记录 :. 纤维强度随拉伸 倍数增加而增加. 并且 24 个点大致分 布在一条直线附近. ---------(1). 必须找到一种度量标准来衡量什么曲线最接近所有数据点. 一、最小二乘法. 考虑一般的线性超定方程：. ---------(2). 写成矩阵形式：. ---------(3). 其中，. 记. --(4). - PowerPoint PPT PresentationTRANSCRIPT
1
5.6 数据拟合与最小二乘法§
实例：考察某种纤维的强度与其拉伸倍数的关系 , 下表是实际测定的 24 个纤维样品的强度与相应的拉伸倍数是记录 :
编 号 拉伸倍数 强 度 编 号 拉伸倍数 强 度1 1. 9 1. 4 13 5 5. 52 2 1. 3 14 5. 2 53 2.1 1. 8 15 6 5. 54 2. 5 2. 5 16 6. 3 6. 45 2. 7 2. 8 17 6. 5 66 2. 7 2. 5 18 7. 1 5. 37 3. 5 3 19 8 6. 58 3. 5 2. 7 20 8 79 4 4 21 8. 9 8. 510 4 3. 5 22 9 811 4. 5 4. 2 23 9. 5 8. 112 4. 6 3. 5 24 10 8. 1
ii yx ii yx
2
1 2 3 4 5 6 7 8 9 101
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 101
2
3
4
5
6
7
8
9
纤维强度随拉伸倍数增加而增加
系
要关系应是线性关
的主与拉伸倍数
因此可以认为强度
xy
并且 24 个点大致分布在一条直线附近
bxaxy )(
为待定参数其中 ba,
---------(1)
3
越接近越好与所有的数据点我们希望 ),()( ii yxbxaxy
必须找到一种度量标准来衡量什么曲线最接近所有数据点
一、最小二乘法考虑一般的线性超定方程：
)(2211
22222121
11212111
nmbxaxaxa
bxaxaxa
bxaxaxa
mnmnmm
nn
nn
写成矩阵形式：
---------(2)
4
bAx 其中， T
mT
nnmij bbbbxxxxaA ),,,(,),,,(,)( 2121
---------(3)
记mibxaxaxar ininiii ,2,1,)( 2211 --(4)
并称向量 为超定方程组 (2) 的余向量Tmrrrr ),,,( 21
定义：称 n维向量 为线性超定方程组 (2)的最小二乘解，如果它使
Tnxxxx ),,,( 21
m
iininii bxaxaxarF
1
22211
2
2)(
达到最小值 .
--(5)
5
要使 (5) 达到最小值，即求 F 的最小值，因此有：
m
iikininii
k
abxaxaxa
x
F
12211 )(2
0
])([211
2211
m
iiik
m
ininiiik baxaxaxaa
])([2111
m
iiik
n
jjij
m
iik baxaa
nkbaxaam
iiik
n
jj
m
iikij ,,2,1])([2
11 1
即：
6
nkbaxaam
iiik
n
jj
m
iikij ,,2,1)(
11 1
上式写成矩阵形式为：
bAAxA TT ---------(6)
将 n元线性方程组 (6) 称为超定方程组 (2) 的正规方程组或法方程组，其解称为超定方程组 (2) 的最小二乘解
定理：如果线性超定方程组 (2) 的系数矩阵 A的列向量组线性无关，则其正规方程组 (6) 存在唯一的解向量 ,而且 是式 (2) 的最小二乘解，即对任意的 n维向量 ，当 时有
x
xy x y
22bAybAx
7
证：
因为 A的列向量线性无关，所以由线性代数的知识可以知道 是对称正定矩阵，因此方程组 (6) 存在唯一的解向量 .设记
AAT
xxyyyy T
n ),,,( 21
niniii yayayas 2211
niniii xaxaxat 2211
m
iii
m
iii btbs
bAxbAy
1
2
1
2
2
2
2
2
)()(
8
m
iiiiiii bttbss
1
22 )22(
m
iiiiiii bttsts
1
2 )])((2)[(
)(])([2)[(1 11
2ii
m
i
n
kikkk
m
iii btaxyts
)(2)()[(111
2ii
m
iik
n
kkk
m
iii btaxyts
k
n
kkk
m
iii x
Fxyts
11
2 )()[(
)0(0)[(1
2
k
m
iii x
Fts
9
二、数据拟和
已知 n组实验数据niyx ii ,,2,1),,(
求表达式 ，使它尽可能地反映已知数据的变化趋势，也就是说要求误差向量
)(xyy
Tnn yxyyxyyxyr ])(,,)(,)([ 2211
按某种范数达到最小，这个问题称为数据拟和 ( 或曲线拟和 ) 问题，称 为拟和曲线或经验公式)(xyy
如果拟和曲线是次数低于 n-1 的代数多项式，则称其为多项式拟和
以下讨论多项式拟和的最小二乘法
--(7)
10
组数据是已知的设 nniyx ii ),,2,1)(,(
)1()( 2210 nmxaxaxaaxy
mm
m
次多项式求
n
iii yxyrF
1
22
2])([
使
.取得最小值
-(8)
将 分别代入多项式 (7) 的两端，得一个含有 m+1 个未知数的线性超定方程组：
),,2,1)(,( niyx ii
11
nmnmnn
mm
mm
yxaxaxaa
yxaxaxaa
yxaxaxaa
2210
22222210
11212110
写成矩阵形式为： bAx
其中，
mnnn
m
m
xxx
xxx
xxx
A
2
2222
1211
1
1
1
ma
a
a
x
1
0
ny
y
y
b
2
1
----(9)
12
.)()7(
)9(
的系数次多项式达到最小值的式就是使的最小二乘解因此超定方程组xym
x
是其正规方程组最小二乘解 maaa ,,, 10
bAxAT 的解 , 其中
n
i
mi
n
i
mi
n
i
mi
n
i
mi
n
ii
n
ii
n
i
mi
n
ii
T
xxx
xxx
xxn
AA
1
2
1
1
1
1
1
1
2
1
11
n
ii
mi
n
iii
n
ii
T
yx
yx
y
bA
1
1
1
13
例 1. 回到本节开始的实例，从散点图可以看出
纤维强度和拉伸倍数之间近似与线性关系
xaaxy 10)(
故可选取线性函数
为拟合函数， 的正规方程组10 ,aa
24
1
224
1
24
1
24
ii
ii
ii
T
xx
xAA
24
1
24
1
iii
ii
T
yx
ybA
14
法方程组为
61.8295.1275.12724
1
0
aa
6.7311.113
1505.00 a
即为所求的最小二乘解xxy 8587.01505.0)(*
8587.01 a解得
15
1 2 3 4 5 6 7 8 9 101
2
3
4
5
6
7
8
9
1 2 3 4 5 6 7 8 9 101
2
3
4
5
6
7
8
9
拟合曲线与散点的关系如右图 :