nips2015概要資料
TRANSCRIPT
NIPS 2015 概要紹介
⽐⼾将平 Preferred Networks America, Inc.
⾃⼰紹介
l ⽐⼾将平（HIDO Shohei） l TwitterID: @sla l 専⾨：データマイニング、機械学習 l 経歴：
l 2006-2012: IBM東京基礎研究所データ解析グループ l 機械学習のアルゴリズム研究開発（主に異常検知）
l 2012-2014: 株式会社Preferred Infrastructure l ⼤規模オンライン分散機械学習基盤Jubatusチームリーダー
l 2014-: 株式会社Preferred Networks l 2015-: Preferred Networks America, Inc. @ シリコンバレー
l Chief Research Officer
l NIPSは2013年に続いてのワークショップ発表&参加
2
NIPS 2015
l 第29回のNIPS l ICML（32回）に次ぐ伝統
l 期間: 2015年12⽉7〜12⽇ l チュートリアル1⽇ l 本会議3⽇ l ワークショップ2⽇
l 開催地: ケベック州モントリオール l ほぼフランス語圏
3
⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
4
⽐較: ICML 2015 Main Conference
l 招待講演とベストペーパー以外は6並列セッション
5
NIPSの特徴(1) シングルトラック l 頑なに⼤ホール
l アクセプト論⽂の多くは ポスター発表のみ
l わずか3%程度がOral発表
l 20分
l + 7%程度がSpotlight発表 l 5分
6
「NIPSでオーラル発表しました」の意味
l 招待講演とおなじ⼤ホール、2000+席
7
NIPS特徴(2) 過酷なポスター発表l 400+件のポスター
l 普通のポスター セッションは各90-120分
l NIPSは各300分(5時間)
8
夜中12時まで5時間セッション ⽴ちっぱなし x 4⽇連続l 各⽇約100件ずつ
l 時間で割ると1時間20件
l 1ポスター3分で⾒て回って やっと全て⾒て回れる
l ポスター会場にはイスを 「絶対に」置かない主義
l ※理解⼒的にも体⼒的にも 全制覇はほぼ無理
9
NIPSの特徴(3) 尖ったワークショップ
l 40種類のワークショップ / 2⽇間 = 20並列開催 l 最先端: Reasoning, Attention, Memory (RAM) Workshop l マイナー: Quantum Machine Learning, Time Series l 分野特化: Reinforcement Learning, Computational Biology l ソフトウェア: Machine Learning Systems
10
ワークショップといえど全く気を抜けないNIPS
l 普通の国際会議 l ワークショップ期間は過疎化
l NIPSは90%くらい⼈が残る感覚 l ただ参加者が偏る＆深層学習⼈気
l 特に混雑：深層強化学習 l 開始30分前に全席が埋まった l プロジェクタ前に体育座り
l 昨年の反省は⽣かされたか？ l Deep Learning Workshopの爆発 →別⽇のSymposiaに格上げ
11
⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
12
論⽂統計
13
l 投稿数は403/1838、アクセプト率は約22%、⼤きく変わらず l 最も多いジャンルはディープラーニング（それでも10%） l ディープラーニング会議ではない（最適化、学習理論、ベイズ…）
トレンド(1) 複雑化するニューラルネットワーク
l 画像認識、⾳声認識タスクのCNNのみでは研究になりにくい l 1. Recurrent NN (LSTM)やAttentionを⽤いた⼿法 l 2. 複数のデータソースを組み合わせる（例: 画像x⽂章） l 3. もっと⽬新しいタスクに新しいネットワーク構造を提案する
14
Ladder Network A. Rasmus et. al. (松元さん発表)
End-to-End Memory Network S. Sukhbaatar et. al. (海野さん発表)
トレンド(2) 深層学習による⽣成モデル
l DeepDream以降、特に⾃然な画像の⽣成への注⽬ l Ex. Neural Artistic Style (chainer-goghの元論⽂)
l Encode-Decodeに加えてGenerative Adversarial Netが⽬⽴つように
15
Laplacian Pyramid of GAN E. L. Denton et. al. (濱⽥さん発表)
Deep Visual Analogy-Making S. Reed et. al.
トレンド(3) 続く深層強化学習の進化
l NIPS2013のDQN論⽂ by DeepMind以来のATARIゲーム中⼼ l Recurrent Netによって時系列性を取り込んで⻑期予測、など l 物理シミュレーションベースの動作獲得系（UC Berkeley盛ん）
16
Learning Continuous Control Policies by Stochastic Value Gradients
N. Hees et. al. (DeepMind, 藤⽥さん発表)
Action-Conditional Video Prediction using Deep Networks in Atari Games
J. Oh+
トレンド(4) ⾮凸最適化
l 深層学習のほとんどは⾮凸最適化であるのにしたがって活発化 l ⾮同期SGDや様々な近似法に関する収束性や性能の話が増加
17
Hessian-Free Optimization for MDRNN M. Cho et. al. (瀬⼾⼭さん発表)
Asynchronous SGD for Non-convex Opt. X. Lian+
トレンド(5) Probabilistic Programming & Inferencel Tutorial on Probabilistic Programming l Workshop on Approximate Bayesian Inference l Workshop on Approximate Bayesian Computation l Workshop on Black-box Optimization
18
Automatic Variational Inference in Stan A. Kucukelbir et. al. (柏野さん発表)
“A Year of Approximate Inference” Blog by Shakir Mohamed (DeepMind)
その他雑感
l 流⾏ったarXiv論⽂の確認のような雰囲気もある（特に深層学習） l 「あれ、この論⽂出たのまだ今年だったっけ…？」
l ⼀⽅arXivに出てないもの、ポスターで初めて認識できるもの l ポスターセッションで著者に直接質問できるのも参加価値
l Tech giantの圧倒的存在感 l Google > Facebook = Microsoft Research >> Others l Google DeepMind勢の多さ（100⼈以上来てたらしい）
l それ以外の新しいスタートアップのプレゼンスも増加 l 論⽂発表、スポンサー、デモ、ワークショップ主催など
l OpenAIの設⽴発表（イーロン・マスクらが主導） l 「⼤学を辞めて⺠間研究所に移ると給料も研究時間も増える」⽪⾁
19
⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
20
NIPS 2015 参加者数: 3,755
l 前年のほぼ1.5倍 l ここ10年、指数的な伸びを続けている l ⼀⽅、投稿数はそこまで⼤きく増えてはいない
l 研究者が増えたというより 企業や他分野に裾野が広がった （お⾦の匂いに寄せられて）
21
NIPS 2006 Sponsors (9)
22
NIPS 2011 Sponsors (15)
23
NIPS 2015 Sponsors (41) >> Last year (28)
24
⽬次
l NIPSの特徴と構成
l 統計と流⾏りのトピック
l NIPSに集まるヒトとカネ
l NIPSのススメ
25
論⽂を書こう！＆読もう！→NIPSに参加しよう！
26
NIPS 2016 @ バルセロナ
27
l 北⽶以外ではスペインにしか⾏かないNIPS (2011年はグラナダ)
NIPS 2017 @ ロングビーチ
l 寒冷地を離れ海辺のリゾート地
28