付録１．数学の復習

行列の微分行列式の logの微分

対称行列の 2次形式の traceへの置き換え

ブロック行列の逆行列（Woodbury)

クラシックな機械学習の入門

by 中川裕志（東京大学）

行列の微分

xx

x

x

x

x

BA

ABAB

BA,

ax

xa

x

ax

xx

xx

x

xf

x

x

x

x

a

x

x

xfxx

g

gfggf

TrB

A

Tr

matrix

x

f

x

f

x

f

x

f

x

f

x

f

f

a

a

f

f

f

x

x

Tji

ij

TT

k

m

k

m

k

kmk

)()(rulechain

)()(

)()(

)()(

)(

)(

)(

)(

)(

)(

)()(

1

11

1

1

111

　　行列で微分する場合の

とする。を

とする。はスカラー

行列で微分

mnm

n

mnm

n

a

Af

a

Af

a

Af

a

Af

A

Af

aa

aa

A

1

111

1

111

行列の積の微分、逆行列の微分

111

11

1

111

11

1

0

0

) ont independen is if()(

)(

AA

AA

A

A

A

AAA

A

A

A

IAA

Ax

AA

x

A

x

AAA

x

A

x

IAA

BABA

BAB

A

ABx

BAB

x

A

x

AB

で微分するとこれを

で微分するとこれを

　　 　 　 　 　 　 　 　 　 　

行列式の logの微分

T

T

dc

ba

ac

bd

bcad

bcadd

bcadc

bcadb

bcada

bcadexample

xTr

x

d

x

cx

b

x

a

ac

bd

bcadTr

bx

cc

x

ba

x

dd

x

a

bcadbcad

xdc

ba

xexample

dc

ba

xTr

x

1

1

1

1

1

loglog

loglog1||log:

||log

1

1loglog:

||log

AA

AAA

AA

AA

AA りの場合の例は以下の通

線形代数学の役立つ公式

)(

)()(

TT AtraceAA

BAtraceABtrace

Trtrtrace

xxxx

が対称行列なら

共分散行列 Σは対象で、正規分布では、 xTΣxの計算をすることが多く、そのときには必須。ＡＩＣやＢＩＣなどの情報量基準の計算ではよ

く使う。

線形代数学の役立つ公式１

1111111

11

11111

111

)()(

identityWoodbury

)()(

)()(

1||

LemmaInversionMatrix ,1

||||

,

)()(||

1||||||||

CABCADBAACBDA

BAIAAABI

casespecial

RBPBPBRBBRBP

baabI

baN

BAIABI

MNBA

AAA

ABAAB

TTTT

TTNN

TMM

TNN

TT

立つ公式：逆行列を求めるとき役

立つ公式逆行列を求めるとき役

のときすなわち列ベクトル

行列のときは

P-1の計算が大変なとき役立つ

Ｄ -1の計算が大変なとき役立つ

線形代数学の役立つ公式

||

1||||||||

1

1),..1(

)1(||

1

,2,21,1

AABAAB

theneven

thenoddiNipermutaionif

AAAA iNNii

線形代数学の役立つ公式ブロック行列の逆行列

)( 111

1111

11

MatrixCBDAMwhere

CMBDDDCMD

MBDM

DC

BA

式

例えば、多次元正規分布の共分散行列やその逆行列（精度行列）を

求めるときに必須