Download - 付録1.数学 の復習
付録1.数学の復習
行列の微分行列式の logの微分
対称行列の 2次形式の traceへの置き換え
ブロック行列の逆行列(Woodbury)
クラシックな機械学習の入門
by 中川裕志(東京大学)
行列の微分
xx
x
x
x
x
BA
ABAB
BA,
ax
xa
x
ax
xx
xx
x
xf
x
x
x
x
a
x
x
xfxx
g
gfggf
TrB
A
Tr
matrix
x
f
x
f
x
f
x
f
x
f
x
f
f
a
a
f
f
f
x
x
Tji
ij
TT
k
m
k
m
k
kmk
)()(rulechain
)()(
)()(
)()(
)(
)(
)(
)(
)(
)(
)()(
1
11
1
1
111
行列で微分する場合の
とする。を
とする。はスカラー
行列で微分
mnm
n
mnm
n
a
Af
a
Af
a
Af
a
Af
A
Af
aa
aa
A
1
111
1
111
行列の積の微分、逆行列の微分
111
11
1
111
11
1
0
0
) ont independen is if()(
)(
AA
AA
A
A
A
AAA
A
A
A
IAA
Ax
AA
x
A
x
AAA
x
A
x
IAA
BABA
BAB
A
ABx
BAB
x
A
x
AB
で微分するとこれを
で微分するとこれを
行列式の logの微分
T
T
dc
ba
ac
bd
bcad
bcadd
bcadc
bcadb
bcada
bcadexample
xTr
x
d
x
cx
b
x
a
ac
bd
bcadTr
bx
cc
x
ba
x
dd
x
a
bcadbcad
xdc
ba
xexample
dc
ba
xTr
x
1
1
1
1
1
loglog
loglog1||log:
||log
1
1loglog:
||log
AA
AAA
AA
AA
AA りの場合の例は以下の通
線形代数学の役立つ公式
)(
)()(
TT AtraceAA
BAtraceABtrace
Trtrtrace
xxxx
が対称行列なら
共分散行列 Σは対象で、正規分布では、 xTΣxの計算をすることが多く、そのときには必須。AICやBICなどの情報量基準の計算ではよ
く使う。
線形代数学の役立つ公式1
1111111
11
11111
111
)()(
identityWoodbury
)()(
)()(
1||
LemmaInversionMatrix ,1
||||
,
)()(||
1||||||||
CABCADBAACBDA
BAIAAABI
casespecial
RBPBPBRBBRBP
baabI
baN
BAIABI
MNBA
AAA
ABAAB
TTTT
TTNN
TMM
TNN
TT
立つ公式:逆行列を求めるとき役
立つ公式逆行列を求めるとき役
のときすなわち列ベクトル
行列のときは
P-1の計算が大変なとき役立つ
D -1の計算が大変なとき役立つ
線形代数学の役立つ公式
||
1||||||||
1
1),..1(
)1(||
1
,2,21,1
AABAAB
theneven
thenoddiNipermutaionif
AAAA iNNii
線形代数学の役立つ公式ブロック行列の逆行列
)( 111
1111
11
MatrixCBDAMwhere
CMBDDDCMD
MBDM
DC
BA
式
例えば、多次元正規分布の共分散行列やその逆行列(精度行列)を
求めるときに必須