Sketch-based 3D Shape Retrievalusing Convolutional Neural Networks

発表 :a-i-to

書誌情報、著者に関してFang Wang, Le Kang, Yi Li, Sketch-based 3D Shape Retrieval using Convolutional Neural Networks, CVPR, 2015.

著者の方たちの所属• NICTA ( オーストラリアの情報系の研究機

関）• ANU ( オーストラリア国立大学）• University of Maryland at College Park

目的• 手描きのスケッチをクエリーにして 3D モ

デルを検索したい– 手描きのスケッチから、それと同じ「カテゴ

リ」の 3D モデルを検索する

アプローチ• “siamese CNNs” 　

– 入力を２つ取って、それぞれを同じ CNNs にかけて特徴ベクトル抽出– その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする– S. Chopra, R. Hadsell, and Y. LeCun. Learning a similarity 　 metric discriminatively, with

application to face verification. 　で提案された手法

損失関数

• y: 同じカテゴリなら 0 、違うカテゴリなら 1

• LG: 同じカテゴリの時に使う損失関数– EW が小さい … 同じカテゴリで似てる– EW が大きい … 同じカテゴリなのに似てない LG は EW に対し、単調増加するような関数にする

• LI: 違うカテゴリの時に使う損失関数– EW が小さい … 違うカテゴリなのに似ちゃってる– EW が大きい … 違うカテゴリで似てない=> LI は EW に対し、単調減少するような関数にする

損失関数この論文で採用している損失関数

neural network の全体構成• スケッチ用の siamese network• 3D モデル用の siamese networkの２つを用意する

全体の損失関数を• 各ドメインでの損失関数• ドメイン間の損失関数の和で表す

※ s: スケッチデータ , v: 3D モデルのデータ s1 と v1 が同じカテゴリ、 s2 と v2 が同じカテゴリとする。 よって y は s1 と s2 が同じカテゴリかどうか (= v1 と v2 が同じカテゴリか）を表す

各 CNNs の構成入力 畳込み層 + プーリング

層

3D モデルの扱いランダムに生成した２種類の view で 2D に写像する– ３ D モデルは上下固定– view は 45 度以上、間隔があるもの

※ 「モデルごとにたくさんの view で投影したものを用意する」のではなく、２種類のview だけ用意する

3D モデルの扱い

view が決まったら、Suggestive Contours などの技法を使って 2D の線で描画されたデータにする

実験：データセット• PSB/SBSR dataset– The Princeton Shape Benchmark + the Shape Based Shape Retrival – 1814 個の 3D モデル 、 1814 個のスケッチ、クラス数

90 （訓練時）、 92 （テスト時）• SHREC’13 dataset– 1258 個の 3D モデル、 7200 個のスケッチ、クラス数 90

• SHREC’ 14 dataset– 8987 個の 3D モデル、 13680 個のスケッチ、クラス数

171

http://techtalks.tv/talks/sketch-based-3d-shape-retrieval-using-convolutional-neural-networks/61590/　より

実験：定性的な評価

• 大枠では、カテゴリを捉えている• 人の絵を描いたら、人のモデルが出てくる

ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル では間違った結果を返してしまう• 向き（ view ）に対して、ロバストな感じ（赤枠と緑枠に注目）

実験：定量的な評価

適合率 - 再現率曲線を描いてみた。赤い線が本論文の提案手法。既存のものよりいい。

実験：定性的評価

他の指標でも勝ってる

まとめ• 新しいスケッチからの 3D モデル検索手法の提

案– 3D モデルに対して、たくさんの view を用意しなく

てもよく– 既存のものに比べて性能の良い

• 2 つの Siamese CNNs を組み合わせて、– ドメイン内（スケッチ同士、 3D モデル同士）– ドメイン間（スケッチと 3D モデル）で類似度を計算する方法の提案