1

紹介論文

Discriminative illumination: Per-Pixel Classification of Raw Materials based on Optimal Projections of Spectral

BRDFJinwei Gu and Chao Liu (Rochester Institute of

Technology)

2

タイトルから読む研究目的

目的物体の素材判定

Discriminative illumination:Per-Pixel Classification of Raw Materialsbased on Optimal Projections of Spectral BRDF

などなど、様々な分野で必要とされる技術

ゴミの分別 & リサイクル 食品検査 顔料同定 肌検査

3

Computer Vision における素材判定

判定対象加工されていない素材（ uncoated, unpainted な素材）

特徴量見た目に基づくもの• 色• 反射特性 (BRDF)• テクスチャ• 透明度• 偏光　 etc…

金属

プラスチック 布 セラミック 木材

使用された素材の一部

4

BRDF とは

BRDF (Bidirectional Reflectance Distribution Function, 双方向反射率分布関数 )物体の反射特性を表わす関数

x=(x, y)

照明 観測

物体表面での反射

5

BRDF (Bidirectional Reflectance Distribution Function, 双方向反射率分布関数 )物体の反射特性を表わす関数

BRDF とは

x=(x, y)

照明 観測

qrqi

frfi

),,,,( fqfq rriif ( 入射角，出射角，波長に依存入射光と出射光の強度の比を記述 )

2 次元の場合

1 点に対して，　波長 : 3 段階 (R, G, B など ) 入射角 : 0~180 度 (1 度刻み ) 出射角 : 0~180 度 (1 度刻み )→ 3*181*181 回の計測が必要

計測面倒くさいヨ ( ； ´Д ｀ )

6

計測時間を短縮かつ効率よく特徴を獲得するために

関連研究``Material classification using BRDF slices’’, Wang et

al.,CVPR2009BRDF の 2 次元スライスを利用• カメラ位置は固定• 光源位置のみ変化• 波長は考えない

``Learning of optimal illumination for material classification’’, 　

　 Pattern Recognition, Springer, 2010.• ランダムフォレストにより最適光源を学習• 任意光源の生成可

7

タイトルから読む提案手法

目標素材判定を行うのに最適な照明を提案• two-class classification の場合： 1 種類• n-class classification の場合 : n 種類

実現方法特徴量 (Spectral BRDF ）を差別化する最適照明を機械学習により求める→ 少ない計測回数で素材判定が可能に !

Discriminative illumination:Per-Pixel Classification of Raw Materialsbased on Optimal Projections of Spectral BRDF

8

使用する計測装置

* 光源の強さは　 256 段階に調節可能

9

Two-class classification (1/2)

線形分類器を考える

求めるべきは w

: 特徴量である Spectral BRDF

10

撮影される画像

Two-class classification (2/2)

f(wi, wo, )

L(wi, )

S()I(wo)

f(wi, wo, ): Spectral BRDFL(wi, ): 照明パターン

S(): カメラの周波数応答

ここで、カメラ位置・周波数応答が与えられると

線形識別器の式

11

Two-class classification の結果

アルミ vs. 合金SVM により求めた照

明→ 95 ％の精度で識別

* 最適照明が負になる場合　照明の組合せにより実現

正の照明と負の照明に分ける

* Training data: 　素材セットのうちの　半分の素材について　 LED を 1 つずつ光らせて　撮影した画像群

12

Multi-class classification (N クラス識別する場合 )

ここでも線形識別器を考えるOne-vs-all の場合

N 個の識別器（最適照明も N 個）

One-vs-one の場合N(N-1)/2 個の識別器（最適照明も N(N-1)/2 個）

13

Multi-class classification(one-vs-all) の結果

布 vs. セラミック vs. 樹脂SVM により求めた照明

→ 94% の精度で識別

* 最適照明が負になる場合

14

線形識別器→非線形識別器へ

Detection problem のための Cascade Classifier

Cascade classifier 導入による非線形識別器

線形識別器を段階的に適用し非線形識別器に

15

Cascade classifier の結果

アルミニウム vs. その他段階を経るごとに false positive が低下

16

実験

使用装置右のとおり。前述のとおり。

用いる素材100 個の Unpainted material• 金属 ( 合金，アルミニウム，鉄，真鍮，　　ステンレス鉄，銅 ) / プラスチック / 　　セラミック / 布 / 木材

学習データ、テストデータ各カテゴリに属する素材を半々に分けて使用

17

実験装置の評価

確認したいこと1.Spectral BRDF が適切な特徴量であるのか2.実験装置の LED の数は適切なのか

1.評価手法• 使用する LED を制限して

識別率の変化を観察

評価結果

25 個の LED クラスタを使用すると識別率がほぼ 1 に近づく

18

様々な組み合わせによるクラスタリング問題以下の学習での比較• Fisher LDA• SVM• Raw measurement

大体は 9割を超える識別率

実験結果

19

アルミニウムのクラスタリング

４種類のアルミニウム• 2000 series銅との合金

• 5000 seriesマグネシウムとの合金

• 6000 seriesマグネシウムとシリコンとの合金

• 7000 series亜鉛との合金

特別な装置なしでもある程度の分別が可能

20

まとめというか感想

感想アイディアは単純。シンプル。認識率もまぁまぁ。読みやすい話。細かい話は supplementary material へ

21

だからと言って万々歳というわけではなく…

もちろん、制限事項は多い• 未知の形状には適用できない…？• BRDF は法線の向きに依存するため

• テクスチャは扱えない• ピクセル単位の BRDF を見てるため

• 相互反射や表面下散乱は扱えない• BRDF では表現できない現象

• Painted, coarted な素材は扱えない• 言わずもがな…

相互反射 表面下散乱

OK …???

22

終わり