学習理論よ何処へ - watanabe lab.watanabe-¦習理論よ何処へ 東京工業大学...

37
学習理論よ 何処へ 東京工業大学 渡辺澄夫 情報論的学習理論と機械学習研究会 東京大学安田講堂 20171110この講演では東京大学・佐藤一誠先生に お世話いただきました. 御礼申し上げます.

Upload: phungdang

Post on 14-Jul-2018

230 views

Category:

Documents


0 download

TRANSCRIPT

  • 20171110

    . .

  • 4

  • 5

  • 6

    SNS

  • AIAI

  • 11

    X1,X2,,Xn

    G

    q(x)

    p(x)

  • E[ G ] = + o( ) d

    n

    1

    n

    d : , n:

  • N(x) : m,

    p(x|a,s) = (1/s) N( (x-a)/s )

    p(X1|w) p(X2|w) p(Xn|w)

    p(x|a,b) = (1-a) N(x) + a N(x-b)

    (1)

    (2) 2

  • , n=30 (1/s) N((x-a)/s), a=0, s=1.

  • , n=3000 (1-a)N(x) + aN(x-b), a=0.5, b=0.3

  • 30

  • n

  • E[ G ] = + o( )

    n

    1

    n

    : , n:

    < d/2

  • s

  • W

  • AIC

    E[ ] = E[ ] + d

    n

    d : , n:

    AIC

  • AIC

    1993,

  • WAIC

    E[ ] = E[ ] + E[ ]

    = Vw[ log p(X|w) ]

    d/2n

  • p(x|w) = ak G(x-bk)K

    k=1

    x R2

    n=50.

    K=8, =5

  • WAIC

    ] = E[]

    WAIC

  • (1)

    (2)

    (3)

  • (1)

  • x

    f

    State of Art

    f(x) = = x(f)

  • ()

  • (3)

    q(x)

    S= - q(x) log q(x)

    S

  • , -, , 66(3), 172-173, 2011.

    1

  • 2 3 11, n=30, n=3000 19 21 AIC WAICWAIC(1) () (3)