![Page 1: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/1.jpg)
東京工業大学大学院情報理工学研究科計算工学専攻秋山研究室鈴木翔吾
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
TokyoTech LT 2016/10/19
![Page 2: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/2.jpg)
お前誰よ? 2
鈴木翔吾 / Shogo D. Suzuki
@sz_dr
• 東京工業大学大学院情報理工学研究科計算工学専攻秋山研究室
• ケモインフォマティクス・機械学習• メインはPython,たまにC++
![Page 3: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/3.jpg)
今日のお話 3
♥研究でやってること
A B CA ≻ B ≻ C
A ≻ C ≻ B
化合物 タンパク質 機械学習で順序を予測
![Page 4: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/4.jpg)
今日のお話 4
♥研究でやってること
A B CA ≻ B ≻ C
A ≻ C ≻ B
化合物 タンパク質 機械学習で順序を予測
今日お話すること
A B C
画像
♥
@sz_dr
A ≻ B ≻ C
A ≻ C ≻ B
機械学習で順序を予測
![Page 5: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/5.jpg)
アイデア 5
好み関数 0.9
画像 スコア
これが求まると嬉しい
0.5
0.6
0.9
≺ ≺
スコアでソートした結果
![Page 6: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/6.jpg)
好み関数のモデル化 6
好み関数 0.9
画像 スコア
(RGB, W, H)= (3, 80, 80)
Convolutional Neural Network
𝑓:ℝ𝐼1×𝐼2×𝐼3 → ℝ
画像認識の分野で広く用いられているモデル
[LeCun+ 98]
※話すと長くなる部分なので,知らない方は各自調べてみてください
![Page 7: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/7.jpg)
好み関数の最適化 7
好み関数
𝑓:ℝ𝐼1×𝐼2×𝐼3 → ℝ@sz_drの好みを反映するように好み関数のパラメータを学習する
訓練データ
: 9
: 8
⋮
: 1
損失関数𝐶𝐴𝐵を最小化するように学習 (Rank Net)
※ と を近づけていくイメージ
好み関数𝑓がAをBよりも高くランク付けする確率
好み関数𝑓による画像A, Bの予測スコア
Aの方が好きなとき1Bの方が好きなとき0同じくらい好きなとき0.5
[Burges+ 05]
![Page 8: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/8.jpg)
学習の流れ 8
Lantisちゃんねるから『TVアニメ「ラブライブ!」先行発表PV』を取得
OpenCVを用いて顔部分をクリッピング
(277枚の顔画像を生成)
各画像にスコアを割り当て(つらい)
9 8 7 6 5 4 3 2 1
Chainer(Deep Learningフレームワーク)を用いて学習
![Page 9: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/9.jpg)
訓練データの予測結果 9
好み関数を正しく学習できているか確認9 8 7 6 5 4 3 2 1
![Page 10: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/10.jpg)
訓練データの予測結果 10
好み関数を正しく学習できているか確認9 8 7 6 5 4 3 2 1
![Page 11: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/11.jpg)
テストデータの予測 11
訓練データ
: 9
: 8
⋮
: 1
テストデータ
『ラブライブ!』 『ラブライブ!サンシャイン!!』
※訓練データにテストデータの画像は含まれていないことに注意
![Page 12: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/12.jpg)
テストデータの予測 12
@sz_drによる好み順序
訓練データ
テストデータ
![Page 13: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/13.jpg)
テストデータの予測 13
@sz_drによる好み順序
CNN+RankNetによる予測結果
訓練データ
テストデータ
![Page 14: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/14.jpg)
テストデータの予測 14
CNN+RankNetによる予測結果
☺ 似ている画像は同じような順位にきている
☹ 予測結果は正しい好み順序をあまり反映していない(訓練データとテストデータで順序傾向が異なるため?)
![Page 15: Convolutional Neural NetworkとRankNetを用いた画像の順序予測](https://reader034.vdocuments.pub/reader034/viewer/2022042611/5879efb51a28ab70298b46f3/html5/thumbnails/15.jpg)
まとめ 15
やったこと
Convolutional Neural NetworkとRankNetを用いた画像の順序予測
応用先は?
漫画の表紙買いとか…広告画像の最適化とか…??
できてないこと
• 訓練データを集めるのが大変(人手による評価が必要)
• 評価値のバラエティの考慮(9段階も必要…?Excellent・Good・Badくらいで良い??)
• CNNでは見た目しか考慮できない(キャラクターの性格等をどうやって考慮する…??)