[iclr2017読み会 @ dena] iclr2017紹介

ICLR2017紹介宮戸 岳

Preferred Networks, Inc.

宮戸岳 (https://takerum.github.io/)

リサーチャー @ Preferred Networks, Inc.

● 04/2014-03/2016, 情報学修士 @ 京大

● 01/2016-05/2016, インターン @ Google Brain ● 06/2016-08/2016, 研究技術員 @ ATR● 09/2016-(now)

○ リサーチャー @ Preferred Networks, Inc. ○ 客員研究員 @ ATR

最近の興味:

● Generative Adversarial Networks (GANs)

● Semi-supervised and Unsupervised Learing on Neural Networks

● Learning on Extremely Large Distributed Systemshttps://arxiv.org/abs/1507.00677, https://arxiv.org/abs/1605.07725, https://arxiv.org/abs/1702.08720, https://arxiv.org/abs/1704.03976

https://openreview.net/forum?id=H1hLmF4Fx, https://arxiv.org/abs/1705.10941

(自己紹介)

目次

● ICLRって何？○ ICLRの主な特徴

● ICLR2017に行ってきました

● 話題のGANsとは？

ICLRとは?● International Conferene on Learning Representations. ‘I CLeaR’って呼ぶ人が

多い。（Yann Lecun が最初にそうよんだらしい）. ● 3日間の国際会議, 通常大体5月のはじめに開かれる（今年は4/24-4/26).● 今年が5回目の開催。最初のICLRは2013年。

● Website : http://www.iclr.cc/doku.php○ Facebook page : https://www.facebook.com/iclr.cc/?fref=ts ○ Twitter account (ICLR2017) : https://twitter.com/iclr2017?lang=en

● ICLRの詳しい経緯とかが載っている記

事:http://www.kdnuggets.com/2016/02/iclr-deep-learning-scientific-publishing-experiment.html

ICLRの主な特徴(1)● Deep Learningとその応用に焦点をあてている。

○ 大体のアクセプトされた論文はneural networksを扱っている。

○ Learning Represenationとあるがこの言葉自体はあまり意味ないものと思っ

て良い。表現学習以外の論文がほとんど。

Variational Auto-Encoder (ICLR2014)

ADAM optimizer (ICLR2015)

ICLRの主な特徴(2)● Open Review System https://openreview.net/

○ Single blind review (Reviewerのみが匿名)○ だれでもreviewやrebuttalを(review process中に)みることができる。

○ だれでもreview processに加わることができる。

他の特徴

● 2トラック : Conference track and Workshop track● シングルのoralトラック

● ITジャイアントスポンサーがたくさん

https://blogs.sap.com/2017/05/22/dive-deep-into-deep-learning-sap-at-the-international-conference-on-learning-representations-iclr/

投稿数と参加者数

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf

ICLR2017 http://www.iclr.cc/doku.php?id=ICLR2017:main (Toulon, France)

● 参加者 : 1100 (~300 last year)● Accepted papers

○ Conference track : 196, 15 oral○ Workshop track : ~110

https://twitter.com/iclr2017/status/864863545867079680

taken by Okumura-san

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf

New

（去年は28%くらい）

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf

機関毎の投稿

企業はGoogleが特に多く,つい

で Facebook, Microsoft, OpenAI

大学は Berkeley, Montreal, CMU, Stanford, MIT, NYU

https://prlz77.github.io/iclr2017-stats/

議論が活発だったsubmissionは通りやすかった

http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf

オーラルセッション:● 1つのオーラルセッション● 午前と午後の2セッション

○ 各セッション毎に、1つの招待講演と 2~3のオーラル論文プレゼン。

● オーラルセッションはLiveストリーミングされました: https://www.facebook.com/iclr.cc/?fref=ts

ポスターセッション

● こちらも午前と午後の2セッション● Conference track

○ 各セッション~40件のポスター発表○ 各ポスターで常に10~20人の聴衆○ 多いところは30人くらい居た気がします

● Workshop track○ ~20件のポスター発表○ 各ポスターで~5人の聴衆

● ちなみに去年のポスターセッションは

○ ~5人くらいの聴衆

(撮影: DeNA奥村さん)

自分のプレゼンテーション● 1 conference track poster と 1 workshop track poster

https://arxiv.org/abs/1605.07725 https://openreview.net/pdf?id=H1hLmF4Fx

After hours partiesGoogle, Facebook, Salesforce ...etc.が個別に

夜の時間帯にパーティーを開催。

○ ネットワーキング

○ (有名な）研究者やエンジニアと議論

■ 結構多くの人が夜中までしていた

みたいです。

人気トピック @ ICLR2017● ニューラルネットの汎化性能について

○ Rethinking generalization https://arxiv.org/abs/1611.03530

○ Large batch training coverges to sharp minima https://arxiv.org/abs/1609.04836

● Generative Adversarial Networks○ Towards principled methods of training GANs https://openreview.net/pdf?id=Hk4_qw5xe

○ Energy based GANs https://arxiv.org/abs/1702.01691

○ Two-sample tests by classifier https://openreview.net/forum?id=SJkXfE5xx&noteId=SJkXfE5xx

● Deep Reinforcement Learning ○ Reinforcement Learning with Unsupervised Auxiliary Tasks https://openreview.net/pdf?id=SJ6yPD5xg

○ (Not RL) Learning to act by predicting future https://arxiv.org/abs/1611.01779

● Neural Programmer○ Making Neural Programming Architectures Generalize via Recursion

https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg

Generative Adversarial Networks (GANs)● オリジナルのアルゴリズムは Ian Goodfellow et al. (2014) によって提案

● 以降とても多くの論文がarXiv等で（乱発ぎみに）発表された。○ GAN Zoo https://github.com/hindupuravinash/the-gan-zoo

https://github.com/hindupuravinash/the-gan-zoo

(GANs)

GANsのフレームワーク

● Discriminator D(x) : Generator G(z) から生成されたサンプルと本物（データセット）のサンプルを見分けるように学習

● Generator G(z) : Discriminator D(x)が見分けられないようにデータを生成するように学習。

(GANs)

GANの何がいいのか?● 生成モデル pG(x)の明な密度を計算できなくても学習で

きる。

○ ただサンプルできればよい。x ~ pG(x)

● 半教師あり学習と統合した学習ができる

https://arxiv.org/abs/1606.03498 （ただこれは theoriticalな解析がまだなさ

れていない。）

○ 特にラベル数が少ない半教師あり学習で良い性能

https://arxiv.org/pdf/1702.08896.pdf

(GANs)

GAN論文 (ICLR2017に投稿されたもの)● b-GAN (uehara et al. https://arxiv.org/pdf/1610.02920.pdf )

○ GANのDiscriminatorを密度比推定器 rD(x) と解釈。　

○ rD(x) とq(x) / pG(x)とのBregman ダイバージェンス の最小化で(Generatorの分布が与えられた際の) 真の密度比q(x) / pG(x) をrD(x) で近似

● Implicit Generative Models (Mohamed et al. https://arxiv.org/abs/1610.03483 )

○ GANsのアルゴリズムを使って Likelihood-free estimation ● Deep and Hireachical Implicit models (Tran et al. https://arxiv.org/pdf/1702.08896.pdf ) (※Not

subimitted to ICLR)

○ GANsのアルゴリズムを使って Likelihood-free variational inference (LFVI) ■ モデルと変分分布qVI(x, z) と pModel(x, z) に要求されるのはただサンプルで

きればよいということ。柔軟な変分推定を実現できる

(僕が重要だと思う )

ありがとうございました！ I enjoyed water taxi ⚓ (Hotel <-> Conference)