第五章 內積空間 5.1 r n 上之長度與點積 5.2 內積空間 5.3 單範正交基底：...
Post on 19-Dec-2015
281 views
TRANSCRIPT
第五章內積空間
5.1 Rn 上之長度與點積 5.2 內積空間 5.3 單範正交基底： Gram-Schmidt 過程 5.4 數學模型與最小平方分析
5 - 2
5.1 Rn 上之長度與點積 長度 (length)
在 Rn上向量 的長度可能表示為 22
22
1|||| nvvv v
注意：長度的性質 ( 向量的長度不能為負數 )
vv
vv
vv
v
cc
4
0 iff 0 3
1 2
0 1
為單位向量 (unit vector)
),,,( 21 nvvv v
注意：向量的長度也可以稱為範數 (norm)
5 - 3
範例 1 ：(a) 在 R5上， 的長度
(b) 在 R3上， 的長度
)2,4,1,2,0( v
525)2(41)2(0|||| 22222 v
117
17
17
3
17
2
17
2||||
222
v
),,(173
172
172 v
( 因為長度為 1 ，所以 v 是單位向量 )
5 - 4
Rn的標準單位向量 (standard unit vector)
vu
vu
vu
0 2
0 1
c
c
c
和 同方向 (same direction)
和 反方向 (opposite direction)
注意：兩非零向量互相平行 (parallel)
1,,0,0,0,,1,0,0,,0,1,,, 21 neee
範例：R2 上的標準單位向量：
R3 上的標準單位向量：
1,0,0,1, ji
1,0,0,0,1,0,0,0,1,, kji
5 - 5
定理 5.1 ：純量乘積的長度令 v 為 Rn上的向量，而 c 是一純量，則
|||||||||| vv cc
||||||
||
)(
)()()(
||),,,(||||||
222
21
222
21
2
222
21
21
v
v
c
vvvc
vvvc
cvcvcv
cvcvcvc
n
n
n
n
證明：),,,( 21 nvvv v
),,,( 21 ncvcvcvc v
5 - 6
定理 5.2 ：在 v 方向上的單位向量若 v 是 Rn中一個非零的向量，則下列向量
表示長度為 1 且與 v 同方向。向量 u 可稱為在 v 方向上的單位向量 (unit vector in the direction of v)
||||v
vu
證明：v不為零向量 0
10
vv
vv
1u ( 與 v為同方
向 )
1||||||||
1
|||||||| v
vv
vu (u 的長度為 1)
5 - 7
注意：
(1) 向量 可稱為在 v 方向上的單位向量 (u
nit vector in the direction of v)
(2) 這個在 v 方向上找單位向量的過程稱為單範化 (normalizing) 向量 v
||||v
v
5 - 8
範例 2 ：求單位向量求在 方向上的單位向量，並證明其長度為 1
14
2,
14
1,
14
3)2,1,3(
14
1
2)1(3
)2,1,3(
|||| 222v
v
114
14
14
2
14
1
14
3
222
v
v 為單位向量
)2,1,3( v 14213 222 v
解：
)2,1,3( v
5 - 9
兩個向量間的距離 (distance)
在 Rn上 u 與 v 兩個向量間的距離為
||||),( vuvu d
注意：距離的性質(1)(2) 若且唯若 (3)
0),( vud
0),( vud vu
),(),( uvvu dd
5 - 10
範例 3 ：求兩向量間的距離 兩向量 與 間的距離為)2,2,0(u )1,0,2(v
312)2(
||)12,02,20(||||||),(
222
vuvud
5 - 11
Rn的點積 (dot product)
在 Rn上 與 的點積為
範例 4 ：求兩向量間的點積 兩向量 與 間點積是)3,0,2,1( u )2,4,2,3( v
7)2)(3()4)(0()2)(2()3)(1( vu
nnvuvuvu 2211vu
),,,( 21 nuuu u ),,,( 21 nvvv v
5 - 12
定理 5.3 ：向量點積的性質 若 u, v 與 w 為 Rn 上的向量且 c 為一純量， 則以下的性質成立 (1)
(2)
(3)
(4)
(5) ， 此外 若且唯若
uvvu
wuvuwvu )(
)()()( vuvuvu ccc 2||||vvv
0vv 0vv 0v
5 - 13
歐基里德 n 維空間 (Euclidean n-space)
Rn被定義為所有有序 n 項實數對的集合。當 Rn結合了 向量加法、純量乘積、向量長度與點積這些標準運 算後所構成的向量空間，我們稱為歐基里德 n 維空間
5 - 14
解：6)8)(2()5)(2()( vua
)18,24()3,4(66)()( wwvub
12)6(2)(2)2()( vuvuc
25)3)(3()4)(4(||||)( 2 wwwd
)2,13()68,)8(5(2)( wve
22426)2)(2()13)(2()2( wvu
範例 5 ：求點積 )3,4(),8,5(,)2,2( wvu 求解下列問題
(a) ； (b) ； (c) ；(d) ； (e)
vu wvu )( )2( vu 2|||| w )2( wvu
5 - 15
範例 6 ：使用點積的性質已知 39uu 3vu 79vv
)3()2( vuvu
解：
求解
5 - 16
定理 5.4 ：科西 - 舒瓦茲不等式 (Cauchy - Schwarz inequal
ity)
若 u 與 v 為 Rn 上的向量，則 ( 代表 的絕對值 )
|||||||||| vuvu
|| vu vu
vuvu
vvuuvu
vu
55511
11
5 ,11 ,1 vvuuvu
範例 7 ：科西 - 舒瓦茲不等式的例子 用 與 來證明科西 - 舒瓦茲
不 等式
3) 1,- ,1(u 1)- 0, ,2(v
解：
5 - 17
注意： 零向量與其他向量的夾角並沒有被定義
Rn上兩個非零向量的夾角 (angle)
0,||||||||
cosvu
vu
1cos
1cos
0
0cos 2
0cos2
0cos 2
0
反方向 0vu 0vu 0vu 同方向
5 - 18
範例 8 ：求兩向量間的夾角
)2,2,0,4( u )1,1,0,2( v
解： 242204 2222 uuu
1144
12
624
12
||||||||cos
vu
vu
61102 2222 vvv
12)1)(2()1)(2()0)(0()2)(4( vu
u 與 v 是反向的
)2( vu
5 - 19
正交 (orthogonal)
Rn 上的兩個向量 u 與 v 為正交 若 0vu
注意： 零向量 0 與任何向量都成正交
5 - 20
範例 10 ：求正交向量 求 Rn 中與 成正交的所有向量
0
24
),()2,4(
21
21
vv
vvvu
0
2
11024
tvt
v
21 ,2
Rt,tt
,2
v
)2,4(u 令 ),( 21 vvv
解： )2,4(u
5 - 21
定理 5.5 ：三角不等式 (triangle inequality)
若 u 與 v 為 Rn 上的兩個向量，則 |||||||||||| vuvu
證明：)()(|||| 2 vuvuvu
2222 ||||||2|||| ||||)(2||||
)(2)()(
vvuuvvuu
vvvuuuvuvvuu
2
22
||)||||(||
||||||||||||2||||
vu
vvuu
|||||||||||| vuvu 注意：
三角不等式的等號成立若且唯若 u 與 v 為同方向
5 - 22
定理 5.6 ：畢氏定理 (Pythagorean theorem)
若 u 與 v 為 Rn 上的兩個向量，則 u 與 v 為正交若且唯若
222 |||||||||||| vuvu
5 - 23
點積與矩陣乘積
nu
u
u
2
1
u
nv
v
v
2
1
v用一個 nx1 的行矩陣來表示在 Rn 上向量 ),,,( 21 nuuu u
5 - 24
摘要與復習 (5.1 節之關鍵詞 )
length: 長度 norm: 範數 unit vector: 單位向量 standard unit vector : 標準單位向量 normalizing: 單範化 distance: 距離 dot product: 點積 Euclidean n-space: 歐基里德 n 維空間 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 angle: 夾角 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理
5 - 25
5.2 內積空間
(1)
(2)
(3)
(4) 且 若且唯若
〉〈〉〈 uvvu ,,
〉〈〉〈〉〈 wuvuwvu ,,, 〉〈〉〈 vuvu ,, cc
0, 〉〈 vv 0, 〉〈 vv 0v
內積 (inner product)
令 u, v 與 w 為向量空間 V的向量且 c 是任何純量。 V
上的內積是一個函數 <u, v> ，其將每一向量對 u 與 v
對應到一個實數並且滿足下列公理
5 - 26
注意：具有內積的向量空間 V 稱為內積空間 (inner product spac
e)
注意：
上的一般內積在向量空間〉〈上的歐基里德內積點積
V
Rn
vu
vu
,
)(
, , , ,
, ,
V
V向量空間：
內積空間：
5 - 27
範例 1 ： Rn 上的歐基里德內積 說明 Rn 上的點積符合內積的四個公理
nnvuvuvu 2211, vuvu 〉〈
),, ,(,),, ,( 2121 nn vvvuuu vu 解：
由定理 5.3 可知點積符合內積的四個公理
因此為 Rn 上的內積
5 - 28
範例 2 ： Rn 上的另一種內積
證明下列式子符合 R2 的內積定義
2211 2, vuvu 〉〈 vu
),(),( 2121 vvuu vu
解：
〉〈〉〈 uvvu ,22,)( 22112211 uvuvvuvua
〉〈〉〈
〉〈
wuvu
wvu
,,
)2()2(
22
)(2)(,
22112211
22221111
222111
wuwuvuvu
wuvuwuvu
wvuwvu),()( 21 wwb w
5 - 29
注意：
0,, 222111 innn cvucvucvuc 〉〈 vu
Rn 上的一個內積型式
〉〈〉〈
vu
vu
,
)(2)()2(,)( 2211211
c
vcuvcuvuvuccc
02,)( 22
21 vvd 〉〈 vv
)0(0020, 212
22
1 vvv vvvv〉〈
5 - 30
範例 3 ：一個非內積的函數證明下列式子不是 R3 的一個內積
332211 2 vuvuvu 〉〈 vu
解：令 )1,2,1(v
06)1)(1()2)(2(2)1)(1(, 〉〈則 vv
不符合第 4個公理 所以此式子不是 R3 的一個內積
5 - 31
定理 5.7 ：內積的性質 令 u, v 與 w 為內積空間 V 的向量且 c 是任何實數 (1)
(2)
(3)
0,, 〉〈〉〈 0vv0
〉〈〉〈〉〈 wvwuwvu ,,,
〉〈〉〈 vuvu ,, cc
u 的範數 (norm) 或長度 (length)
〉〈 uuu ,||||
〉〈 uuu ,|||| 2
注意：
5 - 32
u 與 v 的距離 (distance)
vuvuvuvu ,||||),(d
兩個非零向量 u 與 v 的夾角 (angle)
0,||||||||
,cos
vu
vu 〉〈
正交 (orthogonal)
0, 〉〈 vu若 ，則稱 u 與v 為正交
)( vu
5 - 33
注意：(1) 若 則稱其為單位向量 (unit vector)
(2)
1|||| v
0
1
v
v 單範化
v
v( 在 v方向的單位向量 )
非單位向量
5 - 34
範例 6 ：求內積
上的向量為令 )(24)(,21)( 222 xPxxxqxxp
nnbababaqp 1100〉,〈 為一內積函數
?,)( 〉〈 qpa ?||||)( qb ?),()( qpdc
解：2)1)(2()2)(0()4)(1(,)( 〉〈 qpa
211)2(4,||||)( 222 〉〈 qqqb
22)3(2)3(
,||||),(
323)(
222
2
qpqpqpqpd
xxqpc
5 - 35
範數的性質(1)(2) 若且唯若 (3)
距離的性質(1)(2) 若且唯若 (3)
0|||| u
0|||| u 0u
|||||||||| uu cc
0),( vud
0),( vud vu
),(),( uvvu dd
5 - 36
定理 5.8 ：
若 u 與 v 為內積空間 V 的向量
(1) 科西 - 舒瓦茲不等式：
(2) 三角不等式：
(3) 畢氏定理： u 與 v 成正交若且唯若
|||||||||||| vuvu 定理 5.5
222 |||||||||||| vuvu 定理 5.6
|||||||||,| vuvu 〉〈 定理 5.4
5 - 37
正交投影 (orthogonal-projection) 令 u 與 v 為內積空間 V 上的兩個向量且 ， 則 u 正交投影到 v 可表示為
0v
vvv
vuuv 〉,〈
〉,〈proj
注意：若 (v 為單位向量 )，則 u 正交投影到 v 的式子可簡寫成
1||||, 2 vvv 〉〈
vvuuv 〉〈 ,proj
5 - 38
範例 10 ：求 R3 上的正交投影用 R3 上的歐氏內積求的正交投影
)0,2,1()4,2,6( vu 到
uvproj
解：10)0)(4()2)(2()1)(6(, vu
5021, 222 vv
)0,4,2()0,2,1(proj 510
vvv
vuuv
5 - 39
定理 5.9 ：正交投影與距離令 u 與 v 為內積空間 V 上的兩個向量且 ，則 0v
〉,〈〉,〈
,),()proj,(vv
vuvuuu v ccdd
5 - 40
摘要與復習 (5.2 節之關鍵詞 )
inner product: 內積 inner product space: 內積空間 norm: 範數 distance: 距離 angle: 夾角 orthogonal: 正交 unit vector: 單位向量 normalizing: 單範化 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式 triangle inequality: 三角不等式 Pythagorean theorem: 畢氏定理 orthogonal projection: 正交投影
5 - 41
5.3 單範正交基底： Gram-Schmidt 過程 正交 (orthogonal)
在內積空間 V 上的集合 S 稱為正交，若在 S 上每對向量均為正交
單範正交 (orthonormal)
若在 S 上每對向量均為正交且每個向量均為單位向量則稱 S 為單範正交
ji
jiii
n
0
1,
,,, 21
vv
VvvvS
0,
,,, 21
ii
n
vv
VvvvS
ji
注意：若 S 為基底，則分別稱為正交基底 (orthogonal basis)
或單範正交基底 (orthonormal basis)
5 - 42
範例 1 ：R3上一個非標準的單範正交基底
證明 S 為單範正交基底
3
1,
3
2,
3
2,
3
22,
6
2,
6
2,0,
2
1,
2
1321
S
vvv
解：證明三個向量彼此為正交
09
22
9
2
9
2
0023
2
23
2
00
32
31
61
61
21
vv
vv
vv
5 - 43
證明三個向量的長度均為 1
因此 S 是一個單範正交集合
1||||
1||||
10||||
91
94
94
333
98
362
362
222
21
21
111
vvv
vvv
vvv
5 - 44
證明： ,001 2
1 xx v ,00 22 xx v ,00 2
3 xx v
範例 2 ： 的單範正交基底 在 上，使用下列的內積定義
)(2 xP
)(2 xP
221100, bababaqp
} , ,1{ 2xxB
0)1)(0()0)(1()0)(0(,
,0)1)(0()0)(0()0)(1(,
,0)0)(0()1)(0()0)(1(,
32
31
21
vv
vv
vv則
此組標準基底 為單範正交
5 - 45
1110000
,1001100
,1000011
2
1
333
22
11
v,vv
v,vv
v,vv
5 - 46
定理 5.10 ：正交集合為線性獨立若 為內積空間 V 上一些非零向量所構成的正交集合，則 S 為線性獨立
n21 v,,v,vS
證明： 因為 S 為正交且 S 上的每個向量都不為零向量
00 jiji v,vv,v 且即 ji
iiinn
nn
ccc
ccc
0,0,
0
2211
2211
vvvvv
vvv
令
5 - 47
定理 5.10 的推論若 V 為 n 維的內積空間，則 n 個非零向量所構成的任意正交集合為 V 的基底。
iniii2i1 v,vv,vv,vv,v ni cccc 21
ii v,vic
是線性獨立S
v,v ii
iic 0
0
5 - 48
範例 4 ：使用正交性質來測試基底證明下列集合為 的基底4R
)}1,1,2,1(,)1,2,0,1(,)1,0,0,1(,)2,2,3,2{(4321
Svvvv
解： ：非零向量
02262
02402
02002
41
31
21
vv
vv
vv
4321 ,,, vvvv
01201
01001
01001
43
42
32
vv
vv
vv
為正交S
的基底是 4RS ( 定理 5.10 的推論 )
5 - 49
定理 5.11 ：相對於單範正交基底的座標若 為內積空間 V的單範正交基底，則向量 w 相對於 B 的座標表示為
},,,{ 21 nB vvv
},,,{ 21 nB vvv 為單範正交
ji
jiii
0
1, 〉〈 vv
Vw
nnkkk vvvw 2211 ( 唯一表示 )
證明：因為 為 V 的基底},,,{ 21 nB vvv
nn vvwvvwvvww 〉〈〉〈〉〈 ,,, 2211
5 - 50
ik
kkk
kkk
i
inniiii
inni
〉,〈〉,〈〉,〈
〉,)(〈〉,〈
11
2211
vvvvvv
vvvvvw
nn221 vvwvvwvvww ,,, 1
注意：若 為 V 的單範正交基底且},,,{ 21 nB vvv Vw
則 w 相對於 B的座標矩陣為
n
B
vw
vw
vw
w
,
,
,
2
1
5 - 51
範例 5 ：相對於單範正交基底的向量表示 求 相對於下列 單範正交基底的座標
)}1,0,0(,)0,,(,)0,,{( 53
54
54
53 B
3R)2,5,5( w
解：
2)1,0,0()2,5,5(,
7)0,,()2,5,5(,
1)0,,()2,5,5(,
3
53
54
22
54
53
11
vwvw
vwvw
vwvw
3
2
7
1
][ Bw
5 - 52
Gram-Schmidt 單範正交化過程 為內積空間 V 的基底 },,,{ 21 nB uuu
11 uv 令
})({1 1vW span
}),({2 21 vvW span
},,,{' 21 nB vvv
},,,{''2
2
n
nBv
v
v
v
v
v
1
1
為正交基底
為單範正交基底
1
1 〉〈〉〈
1
n
ii
ii
innnnn n
proj vv,v
v,vuuuv W
21W vv,v
v,uv
v,v
v,uuuuv
〉〈〉〈
〉〈〉〈
22
23
11
133333 2
proj
111
122222 〉〈
〉〈1
vv,v
v,uuuuv W proj
5 - 53
解：)0,1,1(11 uv
)2,0,0()0,2
1,
2
1(
2/1
2/1)0,1,1(
2
1)2,1,0(
222
231
11
1333
vvv
vuv
vv
vuuv
範例 7 ： Gram-Schmidt 單範正交化過程的應用應用 Gram-Schmidt 單範正交化過程求下列基底的單範正交基底
)}2,1,0(,)0,2,1(,)0,1,1{(321
Buuu
)0,2
1,
2
1()0,1,1(
2
3)0,2,1(1
11
1222
vvv
vuuv
5 - 54
}2) 0, (0, 0), , 2
1 ,
2
1-( 0), 1, (1,{},,{' 321 vvvB
正交基底
}2) 0, (0, 0), , 2
1 ,
2
1-( 0), ,
2
1 ,
2
1({},,{''
3
3
2
2 v
v
v
v
v
v
1
1B
單範正交基底
5 - 55
範例 10 ： Gram-Schmidt 單範正交化過程的另一種形式 求下列線性方程式齊次系統之解空間的單範正交基底
0622
07
4321
421
xxxx
xxx
解： 此系統的增廣矩陣可化簡為
08210
01201
06212
07011 .. EJG
1
0
8
1
0
1
2
2
82
2
4
3
2
1
ts
t
s
ts
ts
x
x
x
x
5 - 56
因此解空間的一組基底為 )}1,0,8,1(,)0,1,2,2{(},{ 21 vvB
1 ,2 ,4 ,3
0 1, 2, ,2 9
181 0, 8, 1,
,
,
0 1, 2, ,2
111
1222
vvv
vuuv
uv 11
1,2,4,3 0,1,2,2' B ( 正交基底 )
30
1,
30
2,
30
4,
30
3 , 0,
3
1,
3
2,
3
2''B ( 單範正交基
底 )
5 - 57
摘要與復習 (5.3 節之關鍵詞 )
orthogonal set: 正交集合 orthonormal set: 單範正交集合 orthogonal basis: 正交基底 orthonormal basis: 單範正交基底 linear independent: 線性獨立 Gram-Schmidt Process: Gram-Schmidt 過程
5 - 58
5.4 數學模型與最小平方分析 W 的正交補集 (orthogonal complement)
令 W 是內積空間 V 的一個子空間(a) 在 V 中的一個向量 u 被稱正交於 W (orthogonal to W) ， 若 u 正交 W 中的每一個向量(b) 在 V 中與 W 上每一個向量正交的所有向量所構成的 集合被稱為 W 的正交補集 (orthogonal complemen
t) }W ,0,|V{W wwvv
W W ( 讀 “ perp
”)
0V(2)
V0(1)
注意：
5 - 59
注意：
WW(3)
0WW(2)
VW(1)
VW
的子空間是
的子空間是
WW
WW
RyW
xWRV
(3)
)0,0( (2)
- (1)
- ,2
2
的子空間為軸則
軸若
範例：
5 - 60
直和 (direct sum)
令 與 為 上的子空間。若每個向量 可被唯一寫成為 中向量 與 中向量 的和，
則 為 與 的直和而且我們可以寫成
定理 5.13 ：正交子空間的性質 令 W 為 Rn 的子空間，則下列性質為真 (1)
(2)
(3)
1W 2W nRnRx
1W 1w 2W 2w
21 wwx nR 1W 2W
21 WW nR
n )Wdim()Wdim( WWnR
W)W(
5 - 61
定理 5.14 ：在子空間的投影 (projection onto a subspace)
若 為內積空間上子空間 W 的一組單範正交基底且 ，則
},,,{ 21 tuuu
Vv
vv W
proj
||
tt uuvuuvuuvv ,,,proj 2211W
ii 0,projW
vv
5 - 62
範例 5 ：在上子空間的投影
3 ,1 ,1 ,0 ,0 ,2 ,1 ,3 ,0 2 vww1
求向量 v 在上子空間 的投影
:, 21 ww 解：
W 之正交基底
:0,0,1),10
1,
10
3,0( , ,
2
2
1
1
w
w
w
wuu 21
單範正交基底
}),({W 21 wwspan
5 - 63
可用後面之方法求：
bb
b
b
vbww
AT1T
T1T
21
AAAAA
AAA
A
,,A
xproj
x
x
cs
5 - 64
定理 5.15 ：正交投影與距離 令 W 為 V 上的子空間且 ，則對所有 且 ，下式成立
Vv Ww
vw Wproj
||||||proj|| W wvvv
||||min||proj|| W wvvv 或Ww
( 在 W 的所有向量中， 是最逼近於 v 的向量 )
vWproj
5 - 65
證明： )proj()proj( WW wvvvwv
)proj()proj( WW wvvv
利用畢氏定理 2
W2
W2 ||proj||||proj|||||| wvvvwv
0projproj WW wvvw2
W2 ||proj|||||| vvwv
||||||proj|| W wvvv
5 - 66
注意：(1) 在所有向量 u 的純量倍數中， v 正交投影到 u 是 最逼近 v 的一個向量(2) 在子空間 W 的所有向量中，向量 是 最逼近 v 的向量
vwproj
5 - 67
定理 5.16 ：矩陣的基本子空間 (fundamental subspaces)
若 A為一 mxn 的矩陣，則 (1)
(2)
(3)
(4)
ACSANS
ANSACS
)(
)(
ACSANS
ANSACS
)(
)(
mmT RANSACSRANSACS )()()()(
nTnT RACSACSRANSACS )()()()(
5 - 68
範例 6 ：基本子空間 求下列矩陣的四個基本子空間
000
000
100
021
A ( 列簡梯形形式 )
解： 的子空間40,0,1,00,0,0,1span)( RACS
的子空間31,0,00,2,1span)( RARSACS
5 - 69
的子空間30,1,2span)( RANS
的子空間41,0,0,00,1,0,0span)( RANS
0000
0010
0001
~
0010
0002
0001
RA
檢查： ANSACS )(
ANSACS )(
4)()( RANSACS T 3)()( RANSACS T
ts
5 - 70
範例 3 ：
令 W 是 R4的子空間且(a) 求一個 W 的基底(b) 求一個 W 的正交補集的基底
)1 0, 0, 0,( ),0 1, 2, 1,( 2 ww1
解：
21
00
00
10
01
~
10
01
02
01
ww
RA ( 列簡梯形形式 )
}),({W 21 wwspan
5 - 71
1,0,0,0,0,1,2,1
)(
ACSa W
W 的基底
W
W
0,1,0,10,0,1,2
0
1
0
1
0
0
1
2
0
2
1000
0121
)(
4
3
2
1
tst
s
ts
x
x
x
x
A
ANSACSb
的基底
注意：
4
4
)2(
)dim()dim()dim( )1(
R
R
WW
WW
5 - 72
最小平方問題 (least squares problem)
為線性方程式系統
(1) 如果此系統為一致性，我們可以使用高斯消去法
與反代法來解 x
bx A11 mnnm
(2) 當系統為不一致性時，如何找出“最可能的”解，也 就是 x 的值使得 Ax 與 b 的差相當 的小。有一個方 法可以定義出“最可能的”，此法需要最小化 Ax-b 的範數。這個定義即是最小平方問題 的核心。
5 - 73
最小平方解 (least squares solution)
考慮一個有 m 個線性方程式和 n 個未知數的系統 Ax=b ，最小平方問題是在 Rn 中找出使得 為最小的向量 x ，此向量稱為 Ax=b 的最小平方解
bx A
5 - 74
ACSW
RACSACSA
R
MA
m
n
nm
的子空間為x
x
bx
xb
xb
xb
bx
AAA
AA
ANSACSA
ACSA
projA W
ˆ
0ˆ
ˆ
ˆ
ˆ
即
令
(Ax=b 的一般方程式 (normal equations))
5 - 75
注意：解 的最小平方問題相當於是在解其所相對的一般方程式 的明確解
bx A
bx AAA ˆ
定理：對於任一線性系統 ，這其所相對的一般方程式
為一致性系統，且一般方程式的所有解是 Ax=b 的最小平方解。此外，假如 W 是 A 的行空間，且 x 是 Ax
=b 的任一最小平方解，則 b 正交投影到 W 是
bx A
bx AAA ˆ
xb Apwoj W
5 - 76
定理：若 A 為一具有線性獨立行向量之 mxn 的矩陣，則對於每一個 mx1 的矩陣 b ，線性系統 Ax=b 有一唯一最小平方解。這解為
此外，假如 W 是 A 的行空間，則 b 正交投影到 W 是
bx AAA1
bxb AAAAAproj1
W
5 - 77
範例 7 ：求解一般方程式 求下列系統的最小平方解
和求 b 正交投影到 A 的行空間
5 - 78
解：
這個一般方程式為
5 - 79
這個系統 Ax=b 的最小平方解為
23
35
x
b 的正交投影到 A 的行空間
617
68
61
23
35
)(
31
21
11
xb Aproj ACS
5 - 80
摘要與復習 (5.4 節之關鍵詞 )
orthogonal to W: 正交於 W orthogonal complement: 正交補集 direct sum: 直和 projection onto a subspace: 在子空間的投影 fundamental subspaces: 基本子空間 least squares problem: 最小平方問題 normal equations: 一般方程式