20160512

検索 G で取り組んでいる画像処理について

2

アジェンダ

• 自己紹介

• 検索 G について

• 画像処理背景

• ROI 抽出 色認識 エンジン

• デモンストレーション

• 今後の予定

3

自己紹介

4

自己紹介

氏名：大川 真吾

所属：サービス事業本部 Syn. 事業部 検索サービス部

職種：バックエンドエンジニア

担当：クエリパーサー実装

　　　 BOT 判定器実装

　　　テキストストリームフィルタ

　　　画像処理

5

検索 G について

6

検索 G について

全文検索エンジン？

7

検索 G について

全文検索エンジン？

8

検索 G について

全文検索エンジン！情報

高速文字列解析

高性能計算

自然言語処理 全文検索

統計モデル

データ解析

形式言語処理UI / UX

デザイン

機械学習信号処理分散処理

9

検索 G について

全文検索エンジン！情報

高速文字列解析

高性能計算

自然言語処理 全文検索

統計モデル

データ解析

形式言語処理UI / UX

デザイン

機械学習信号処理分散処理

10

検索 G について

全文検索エンジン！情報

高速文字列解析

GPU

自然言語処理 色インデックス

統計モデル

クラスタリング

形式言語処理UI / UX

デザイン

機械学習画像処理分散処理

11

画像処理背景

12

画像処理背景

知っていますか？

13

画像処理背景

【ＷＷＷコンテンツ統計調査報告書】 総務省 情報通信政策研究所 平成１９年３月

14

画像処理背景

【ＷＷＷコンテンツ統計調査報告書】 総務省 情報通信政策研究所 平成１９年３月

15

画像処理背景

利用していますか？

画像は参考にしますか？

16

画像処理背景

17

画像処理背景

• EC サイトなど画像が重要な要素になりうる

• 検索サービスの外販化に向けた多様化

• 視覚情報は個人の社会的属性になりうる

• 様々な媒体で情報が顕在

• 視覚障害者の支援

18

ROI 抽出 色認識 エンジン

19

ROI 抽出 色認識 エンジン

20

ROI 抽出 色認識 エンジン

色空間 (RGB) のヒストグラム？

21

ROI 抽出 色認識 エンジン

COUNT

RGB

22

ROI 抽出 色認識 エンジン

RGB

COUNT

23

ROI 抽出 色認識 エンジン

• 単純なヒストグラムでは特徴を捉えられない

• 背景と ROI ( 関心領域 ) を分離する必要がある

• 色空間の座標データは扱いにくい

• RGB が人の視覚に近いとは限らない

24

ROI 抽出 色認識 エンジン

• 単純なヒストグラムでは特徴を捉えられない

• 背景と ROI ( 関心領域 ) を分離する必要性

• 色空間の座標データは扱いにくい

• RGB が人の視覚に近いとは限らない

Mean Shift クラスタリングによる特徴抽出

Level Set 法 による ROI 抽出

色空間変換による人の感覚のシミュレート

Octree インデックスによる色空間近接検索

25

CPU

GPU

OpenCL C++ (CUDA)

ROI 抽出 色認識 エンジン

CPU

GPU

Flask Python

MEAN SHIFTSEGMENTOR

PYTHONAPIs

RESPONSE

LEVEL SETROI

DETECTOR

OCTREECOLORINDEXR

EQUEST

OPENCLHOST

OPENCLDEVICE

OPENCLKERNEL

OPENCLDEVICE

OPENCLDEVICE

OPENCLDEVICE

26

ROI 抽出 色認識 エンジン

Mean Shift クラスタリング

27

ROI 抽出 色認識 エンジン

COUNT

RGB

28

ROI 抽出 色認識 エンジン

RGB

COUNT

29

ROI 抽出 色認識 エンジン

30

ROI 抽出 色認識 エンジン

Level Set ROI 抽出

31

ROI 抽出 色認識 エンジン

32

ROI 抽出 色認識 エンジン

33

ROI 抽出 色認識 エンジン

Octree インデックスによるラベル

34

ROI 抽出 色認識 エンジン

30 pale_red_violet rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

31 pale_violet_red rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

32 violet_red_pale rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

33 fandango_pink rgb 222 82 133 hex #DE5285 hsv 338 63 87 . . .

35

デモンストレーション

36

デモンストレーション

Flask Python による REST API 化

37

デモンストレーション

クロップ有り クロップ無し

38

今後の予定

39

今後の予定

• 機械学習アルゴリズムによる認識器

• 汎用的な前処理 / 後処理モジュール

• 画像品質評価エンジン

• GPU ベースアーキテクチャの策定

• その他諸々