20160512

検索 G で取り組んでいる画像処理について

2

アジェンダ

• 自己紹介

• 検索 G について

• 画像処理背景

• ROI 抽出色認識エンジン

• デモンストレーション

• 今後の予定

3

自己紹介

4

自己紹介

氏名：大川真吾

所属：サービス事業本部 Syn. 事業部検索サービス部

職種：バックエンドエンジニア

担当：クエリパーサー実装

　　　 BOT 判定器実装

　　　テキストストリームフィルタ

　　　画像処理

5

検索 G について

6


全文検索エンジン？

7


全文検索エンジン？

8


全文検索エンジン！情報

高速文字列解析

高性能計算

自然言語処理全文検索

統計モデル

データ解析

形式言語処理UI / UX

デザイン

機械学習信号処理分散処理

9




高性能計算

自然言語処理全文検索

統計モデル

データ解析


デザイン

機械学習信号処理分散処理

10




GPU

自然言語処理色インデックス

統計モデル

クラスタリング


デザイン

機械学習画像処理分散処理

11

画像処理背景

12

画像処理背景

知っていますか？

13

画像処理背景

【ＷＷＷコンテンツ統計調査報告書】総務省情報通信政策研究所平成１９年３月

14

画像処理背景

【ＷＷＷコンテンツ統計調査報告書】総務省情報通信政策研究所平成１９年３月

15

画像処理背景

利用していますか？

画像は参考にしますか？

16

画像処理背景

17

画像処理背景

• EC サイトなど画像が重要な要素になりうる

• 検索サービスの外販化に向けた多様化

• 視覚情報は個人の社会的属性になりうる

• 様々な媒体で情報が顕在

• 視覚障害者の支援

18

ROI 抽出色認識エンジン

19


20


色空間 (RGB) のヒストグラム？

21


COUNT

RGB

22


RGB

COUNT

23


• 単純なヒストグラムでは特徴を捉えられない

• 背景と ROI ( 関心領域 ) を分離する必要がある

• 色空間の座標データは扱いにくい

• RGB が人の視覚に近いとは限らない

24


• 単純なヒストグラムでは特徴を捉えられない

• 背景と ROI ( 関心領域 ) を分離する必要性

• 色空間の座標データは扱いにくい

• RGB が人の視覚に近いとは限らない

Mean Shift クラスタリングによる特徴抽出

Level Set 法による ROI 抽出

色空間変換による人の感覚のシミュレート

Octree インデックスによる色空間近接検索

25

CPU

GPU

OpenCL C++ (CUDA)


CPU

GPU

Flask Python

MEAN SHIFTSEGMENTOR

PYTHONAPIs

RESPONSE

LEVEL SETROI

DETECTOR

OCTREECOLORINDEXR

EQUEST

OPENCLHOST

OPENCLDEVICE

OPENCLKERNEL

OPENCLDEVICE

OPENCLDEVICE

OPENCLDEVICE

26


Mean Shift クラスタリング

27


COUNT

RGB

28


RGB

COUNT

29


30


Level Set ROI 抽出

31


32


33


Octree インデックスによるラベル

34


30 pale_red_violet rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

31 pale_violet_red rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

32 violet_red_pale rgb 219 112 147 hex #DB7093 hsv 340 49 86 . . .

33 fandango_pink rgb 222 82 133 hex #DE5285 hsv 338 63 87 . . .

35

デモンストレーション

36


Flask Python による REST API 化

37


クロップ有りクロップ無し

38

今後の予定

39

今後の予定

• 機械学習アルゴリズムによる認識器

• 汎用的な前処理 / 後処理モジュール

• 画像品質評価エンジン

• GPU ベースアーキテクチャの策定

• その他諸々

20160512

Engineering