Upload File

convolutional neural networkとranknetを用いた画像の順序予測

15
東京工業大学 大学院情報理工学研究科 計算工学専攻 秋山研究室 鈴木 翔吾 Convolutional Neural Networkと RankNetを用いた画像の順序予測 TokyoTech LT 2016/10/19

Upload: shogo-suzuki

Post on 14-Jan-2017

42 views

Category:

Data & Analytics


2 download

Report

TRANSCRIPT

Page 1: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

東京工業大学大学院情報理工学研究科計算工学専攻秋山研究室鈴木翔吾

Convolutional Neural NetworkとRankNetを用いた画像の順序予測

TokyoTech LT 2016/10/19

Page 2: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

お前誰よ? 2

鈴木翔吾 / Shogo D. Suzuki

@sz_dr

• 東京工業大学大学院情報理工学研究科計算工学専攻秋山研究室

• ケモインフォマティクス･機械学習• メインはPython，たまにC++

Page 3: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

今日のお話 3

♥研究でやってること

A B CA ≻ B ≻ C

A ≻ C ≻ B

化合物 タンパク質 機械学習で順序を予測

Page 4: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

今日のお話 4

♥研究でやってること

A B CA ≻ B ≻ C

A ≻ C ≻ B

化合物 タンパク質 機械学習で順序を予測

今日お話すること

A B C

画像

♥

@sz_dr

A ≻ B ≻ C

A ≻ C ≻ B

機械学習で順序を予測

Page 5: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

アイデア 5

好み関数 0.9

画像 スコア

これが求まると嬉しい

0.5

0.6

0.9

≺ ≺

スコアでソートした結果

Page 6: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

好み関数のモデル化 6

好み関数 0.9

画像 スコア

(RGB, W, H)= (3, 80, 80)

Convolutional Neural Network

𝑓:ℝ𝐼1×𝐼2×𝐼3 → ℝ

画像認識の分野で広く用いられているモデル

[LeCun+ 98]

※話すと長くなる部分なので，知らない方は各自調べてみてください

Page 7: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

好み関数の最適化 7

好み関数

𝑓:ℝ𝐼1×𝐼2×𝐼3 → ℝ@sz_drの好みを反映するように好み関数のパラメータを学習する

訓練データ

: 9

: 8

⋮

: 1

損失関数𝐶𝐴𝐵を最小化するように学習 (Rank Net)

※ と を近づけていくイメージ

好み関数𝑓がAをBよりも高くランク付けする確率

好み関数𝑓による画像A, Bの予測スコア

Aの方が好きなとき1Bの方が好きなとき0同じくらい好きなとき0.5

[Burges+ 05]

Page 8: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

学習の流れ 8

Lantisちゃんねるから『TVアニメ「ラブライブ！」先行発表PV』を取得

OpenCVを用いて顔部分をクリッピング

(277枚の顔画像を生成)

各画像にスコアを割り当て(つらい)

9 8 7 6 5 4 3 2 1

Chainer(Deep Learningフレームワーク)を用いて学習

Page 9: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

訓練データの予測結果 9

好み関数を正しく学習できているか確認9 8 7 6 5 4 3 2 1

Page 10: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

訓練データの予測結果 10

好み関数を正しく学習できているか確認9 8 7 6 5 4 3 2 1

Page 11: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

テストデータの予測 11

訓練データ

: 9

: 8

⋮

: 1

テストデータ

『ラブライブ！』 『ラブライブ！サンシャイン!!』

※訓練データにテストデータの画像は含まれていないことに注意

Page 12: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

テストデータの予測 12

@sz_drによる好み順序

訓練データ

テストデータ

Page 13: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

テストデータの予測 13

@sz_drによる好み順序

CNN+RankNetによる予測結果

訓練データ

テストデータ

Page 14: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

テストデータの予測 14

CNN+RankNetによる予測結果

☺ 似ている画像は同じような順位にきている

☹ 予測結果は正しい好み順序をあまり反映していない(訓練データとテストデータで順序傾向が異なるため?)

Page 15: Convolutional Neural NetworkとRankNetを用いた画像の順序予測

まとめ 15

やったこと

Convolutional Neural NetworkとRankNetを用いた画像の順序予測

応用先は?

漫画の表紙買いとか…広告画像の最適化とか…？？

できてないこと

• 訓練データを集めるのが大変(人手による評価が必要)

• 評価値のバラエティの考慮(9段階も必要…?Excellent･Good･Badくらいで良い??)

• CNNでは見た目しか考慮できない(キャラクターの性格等をどうやって考慮する…??)


Neural Networks - Seoul National Universitymrl.snu.ac.kr/courses/CourseMLforCG/NeuralNetworks.pdf · 2018-03-26 · •Neural network basics •Convolutional Neural Networks •Recurrent

A Multithreaded CGRA for Convolutional Neural Network ...lalsie.ist.hokudai.ac.jp/publication/dlcenter.php?fn=paper/cs_2017_ando.pdf · Convolutional neural network (CNN) is an essential

𝐼 𝑙 - Politecnico di Milanohome.deib.polimi.it/boracchi/teaching/IC/IC_Lez1_a... · 2018-02-14 · Convolutional Neural Networks ... Convolutional Neural Networks for Visual

CONVOLUTIONAL NEURAL NETWORK UNTUK IDENTIFIKASI …

Understanding Convolutional Neural Networks · 2017-10-17 · Abstract This seminar paper focusses on convolutional neural networks and a visualization technique allowing further

Convolutional neural networks for sentiment classification

Convolutional Neural Network untuk Pendeteksian Patah

Forensic age estimation with Bayesian convolutional neural ... · age estimation system, we use Bayesian convolutional neural networks to perform age and uncertainty estimation using

Acceleration of deep convolutional neural networks on ...1326323/FULLTEXT01.pdf · Acceleration of deep convolutional neural networks on multiprocessor system-on-chip Martin Reiche

IMPLEMETASI ALGORITMA CONVOLUTIONAL NEURAL …

A Multithreaded CGRA for Convolutional Neural Network Processinglinda.ist.hokudai.ac.jp/publication/dlcenter.php?fn=paper/cs_2017_an… · A Multithreaded CGRA for Convolutional Neural

Klasifikasi Tutupan Lahan Menggunakan Convolutional Neural

Pedestrian Detection Based on Deep Convolutional Neural ... · Pedestrian Detection Based on Deep Convolutional Neural Network with Ensemble Inference Network ... conducted using

What does a convolutional neural network recognize in the

Convolutional Neural Networks - unipi.it · 2020-02-14 · •Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Advanced topics

Attacking Convolutional Neural Network using Differential ...Attacking Convolutional Neural Network using Differential Evolution Jiawei Su Kyushu University Japan [email protected]

Image net classification with deep convolutional neural network

Convolutional Neural Networks CNN Partie I

Convolutional Neural Network @ CV勉強会関東

4. Convolutional Neural Networks - Oregon State Universityclasses.engr.oregonstate.edu/eecs/winter2017/cs519-006/... · 2017-02-01 · Convolutional Neural Networks CS 519 Deep Learning,

Deep convolutional neural networks for segmenting …...RESEARCH ARTICLE Deep convolutional neural networks for segmenting 3D in vivo multiphoton images of vasculature in Alzheimer

Understanding Convolutional Neural Networks with

DEEP CONVOLUTIONAL NEURAL NETWORK의images.nvidia.com/content/gtc-kr/part_5_theano.pdf · 2015-10-14 · 개요 심층 컨볼루션 신경망(Deep Convolutional Neural Network) 소개

Convolutional Neural Networks€¦ · Convolutional Neural Networks Dozent: Dr. Zoran Nikolić Machine Learning Seminar Julia Odenthal Mathematisches Institut. 2/33 Gliederung Der

Convolutional Neural Network untuk Pengenalan Citra Notasi

Convolutional Neural Networks

Convolutional Neural Networks - e-learning•Convolutional Neural Networks •Deep Autoencoders and RBM •Gated Recurrent Networks (LSTM, GRU, …) •Recurrent, recursive and contextual

Convolutional Neural Networks (CNNs) and Recurrent Neural

KLASIFIKASI CITRA MENGGUNAKAN CONVOLUTIONAL NEURAL …

Graph Convolutional Neural Networks• Introduction to Graph Convolutional Neural Networks (Graph CNN) • Background in Graph Signal Processing for analysis on graphs • Spectral

IMPLEMENTASI METODE CONVOLUTIONAL NEURAL NETWORK …

ConvolutionalNeuralNetworksfor MalwareClassification · 2017-08-29 · convolutional neural networks. ... To understand how a neural network works, ... ARTIFICIAL NEURAL NETWORKS

IMPLEMENTASI CONVOLUTIONAL NEURAL NETWORKS UNTUK

Learning Convolutional Neural Networks for Graphs

DEEP CONVOLUTIONAL NEURAL NETWORK의개요 심층 컨볼루션 신경망(Deep Convolutional Neural Network) 소개 다양한 딥러닝 프레임워크 비교 설명 Theano의 특징