紫色の研究 - 画像処理によるパープルフリンジ除去スライド

26
紫色の研究 ~ 画像処理によるパープルフリンジ除去 A Study in Purpure – Removal of Purple Fringing by Image Processing 松永 Chikara Matsunaga 株式会社朋栄アイ・ビー・イー FOR-A IBE Co., Ltd. 2014 6 12 日(木) 聠聠翮翮緹緫緱縑 翮聠緱綋縈繢

Upload: doboncho

Post on 07-Jul-2015

182 views

Category:

Engineering


6 download

TRANSCRIPT

紫色の研究~ 画像処理によるパープルフリンジ除去

A Study in Purpure – Removal of Purple Fringing by Image Processing

松永 力Chikara Matsunaga

株式会社朋栄アイ・ビー・イーFOR-A IBE Co., Ltd.

2014年 6月 12日(木)

聠聠翮翮緹緫緱縑糫翮聠緱綋縈繢

次世代テレビ放送へ向けて

「次世代放送推進フォーラムの事業概要」資料より.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 2 / 26

研究の目的

画像/映像の高解像度化

デジタル一眼レフカメラ (Digital Single Lens Reflex camera,DSLR)の高解像度化

4K/8K(スーパーハイビジョン)解像度を持つ次世代テレビ放送

高解像度の画像/映像の高画質化を阻む要因が存在する.→ 色収差,パープルフリンジ,,

# しかし,両者は,しばしば混同されている.

本研究では,“パープルフリンジ”と呼ばれる妨害を簡易な画像処理によって除去する.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 3 / 26

パープルフリンジ

高輝度部分に隣り合った低輝度部分に紫色や青色の偽色が出る現象

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 4 / 26

パープルフリンジ

高輝度部分に隣り合った低輝度部分に紫色や青色の偽色が出る現象

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 5 / 26

パープルフリンジ除去処理

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 6 / 26

パープルフリンジ検出

パープルフリンジは,

高輝度領域に隣接する低輝度領域の画素に発生しやすい.→ 水平垂直エッジの絶対値の総和によるエッジ強度を 2値化する.

G(緑)画素値よりも B(青)画素値が大きい.

両者の論理積 (AND)をパープルフリンジ候補画素とする.

論理積の前後にモルフォロジーによる適度な膨張処理を行なってもよい.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 7 / 26

パープルフリンジ除去 ~ RGB輝度色差変換

パープルフリンジ候補画素を色補正処理する.色補正処理は,RGBカラー画像を輝度色差信号 YCbCrに変換した色差信号で行う.

ANSI/SMPTE125M規格 ∗ によると,RGB信号から輝度色差信号YCbCrへの変換は次のようになる.

Y = 0.587G + 0.114B + 0.299R,

Cb = −0.331G + 0.500B− 0.169R,

Cr = −0.419G− 0.081B + 0.500R.

∗ ANSI/SMPTE, Component Video Signal 4:2:2 – Bit-Parallel Digital Interface,ANSI/SMPTE 125M-1995.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 8 / 26

パープルフリンジ除去 ~ 色差信号の重み付け平均

近傍画素領域 B におけるパープルフリンジ候補画素以外の画素との輝度値の差と空間的な距離による重みを用いた色差信号 C の重み付け平均であり,次のように書ける.

C(i, j) =

k,l∈B w(i+ k, j + l)C(i+ k, j + l)∑

k,l∈B w(i+ k, j + l),

w(i+ k, j + l) = wc(i+ k, j + l)ws(i+ k, j + l).

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 9 / 26

パープルフリンジ除去 ~ 色差信号の重み付け平均 (2)

重み係数 wは,輝度値 Y の差による重み ws と距離による重み wc

の積であり,それぞれ,ガウス関数により,次のように書ける.

ws(i+ k, j + l) = exp

(

−(Y (i, j)− Y (i+ k, j + l))2

2σ2s

)

,

wc(i+ k, j + l) = exp

(

−(√k2 + l2)2

2σ2c

)

.

σs, σc はそれぞれ輝度値の差と画素の空間的な距離の許容範囲を調整するパラメータである.

これは,輝度値が近く,空間的な距離も近い画素の色は似ていると期待するものであり,“バイラテラルフィルタ [1]”による色補正処理と見なせる.[1] C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images, Proc. IEEE Conf. ICCV, Jan, 1998.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 10 / 26

パープルフリンジ除去処理例

(a) (b)

図 1: (a) 原画像,(b) パープルフリンジ候補 2 値マスク画像.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 11 / 26

パープルフリンジ除去処理例

(c) (d)

図 2: (c) 処理画像,(d) パープルフリンジ除去処理前後におけるパープルフリンジ候補画素値の 2次元色差平面プロット結果.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 12 / 26

パープルフリンジ除去処理例 ~ 除去前

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 13 / 26

パープルフリンジ除去処理例 ~ 除去後

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 14 / 26

パープルフリンジ除去処理例

背景に似た色がある場合..

(a) (b) (c) (d)

図 3: (a) 原画像,(b) G/B画素値の比較によるパープルフリンジ候補 2値マスク画像,(c) G/B画素値の比較とエッジ強度によるパープルフリンジ候補 2値マスク画像の論理積を取ったマスク画像,(d) 処理画像.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 15 / 26

パープルフリンジ除去処理例

(a) (b)

図 4: (a) 原画像,(b) 処理画像.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 16 / 26

パープルフリンジ除去処理例 ~ 除去前

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 17 / 26

パープルフリンジ除去処理例 ~ 除去後

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 18 / 26

パープルフリンジ除去処理例 ~ PF候補 2値マスク画像

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 19 / 26

パープルフリンジ除去処理例 ~ 除去前

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 20 / 26

パープルフリンジ除去処理例 ~ 除去後

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 21 / 26

パープルフリンジ除去処理例 ~ PF候補 2値マスク画像

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 22 / 26

パープルフリンジ除去処理例 ~ 除去前

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 23 / 26

パープルフリンジ除去処理例 ~ 除去後

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 24 / 26

パープルフリンジ除去処理例 ~ PF候補 2値マスク画像

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 25 / 26

まとめ

画像/映像中に見られるパープルフリンジ妨害を簡易な画像処理によって除去した.

実際のパープルフリンジを含む画像を処理することにより,その有効性を確認した.

今後の課題としては,マルチコア CPU / GPU によるパープルフリンジ映像のリアルタイム処理の実現や各種パラメータの自動最適化が挙げられる.

松永 力 (朋栄アイ・ビー・イー) 紫色の研究 A Study in Purpure 2014 年 6 月 12 日(木) 26 / 26