osaka prml reading_3.2-3.3.1

10
1 3.2 バイアス - バリアンス分解 大阪 PRML 読書会 2014.09.28 @florets1

Upload: florets1

Post on 13-Jul-2015

218 views

Category:

Data & Analytics


4 download

TRANSCRIPT

Page 1: Osaka prml reading_3.2-3.3.1

1

3.2 バイアス -バリアンス分解

大阪 PRML読書会

2014.09.28

@florets1

Page 2: Osaka prml reading_3.2-3.3.1

2

過学習を避けるとモデルの表現能力が限られてしまう

Page 3: Osaka prml reading_3.2-3.3.1

3

損失関数をバイアスとバリアンスに分けて考える

Page 4: Osaka prml reading_3.2-3.3.1

4

Page 5: Osaka prml reading_3.2-3.3.1

5

Page 6: Osaka prml reading_3.2-3.3.1

6

3.3 ベイズ線形回帰

大阪 PRML読書会

2014.09.28

@florets1

Page 7: Osaka prml reading_3.2-3.3.1

7

ちょっと復習

この尤度関数を見ると, μについての二次形式の指数の形を取っている。よって,事前分布にガウス分布を選べば,この尤

…度関数の共役事前分布となる。なぜなら

Page 8: Osaka prml reading_3.2-3.3.1

8

尤度関数 p(t|w)は wの 2次関数の指数であることに着目

Page 9: Osaka prml reading_3.2-3.3.1

9

共役事前分布はガウス分布

事後分布もガウス分布

Page 10: Osaka prml reading_3.2-3.3.1

10

事後分布の対数を取ると

この事後分布を wに関して最大化することは

正則化最小二乗法の結果と等価になる。