紫色の研究 ～ 画像処理によるパープルフリンジ除去

A Study in Purpure – Removal of Purple Fringing by Image Processing

松永 力Chikara Matsunaga

株式会社朋栄アイ・ビー・イーFOR-A IBE Co., Ltd.

E-mail: matsunaga@for-a.co.jp

(a) (b) (c) (d)

図 1 パープルフリンジ除去処理例．(a) 原画像，(b) パープルフリンジ候補 2値マスク画像，(c) 処理画像，(d) パープルフリンジ除去処理前後におけるパープルフリンジ候補画素値の 2次元色差平面プロット結果．

Abstract

高解像度の画像／映像の高画質化を阻む要因のひと

つとして，パープルフリンジと呼ばれる妨害が知られ

ている．これは，画像／映像中の高輝度部分に隣り合っ

た低輝度部分に紫色や青色の偽色が出る現象のことで

あり，センサの飽和によるとも，レンズの収差による

とも言われているが，はっきりとした原因はわかって

いない．

本研究では，画像／映像中のパープルフリンジ妨害を

画像処理によって除去する．その基本的な戦略は，パー

プルフリンジは，高輝度領域に隣り合う低輝度領域の画

素に発生しやすい，さらに，パープルフリンジ画素は，

G（緑）画素値よりも B（青）画素値が大きい，という

事前の知識を用いて，簡易な画像処理によって，パープ

ルフリンジの候補画素を検出する．そして，検出され

たパープルフリンジ候補画素の色差信号に対して，色

補正処理を行う．色補正処理は，近傍画素領域におけ

るパープルフリンジ候補画素以外の，できるだけ輝度

値が近く，空間的な距離も近い画素の色差信号の重み

付け平均とする．

1 はじめに

近年のデジタル一眼レフカメラ（Digital Single Lens

Reflex camera，DSLR）の高解像度化や，次世代テレ

ビ放送へ向けて，地上デジタル放送における HD画質

を越える解像度を持つ 4K／ 8K（スーパーハイビジョ

ン）解像度が推進されているが 1，そのような高解像度

の画像／映像の高画質化を阻む要因のひとつとして，色

収差と呼ばれる妨害が知られている．これは，画像／

映像における色ずれとして，物体境界に顕著に見られ

るが，高解像度化に伴い，レンズによる光学的な補正

だけでは十分とは言えなくなりつつある．

松永は，RGBカラー画像における倍率色収差を補正

するために，RGB画像間での画像全体のグローバル動

きを推定した [9]．RGB画像間は，画像内容によって

は，局所的にレベル反転しているので，予め前処理と

して，方向エッジ二乗画像を局所正規化して，それら

の差分二乗総和（SSD）を最小化する補正パラメータ

を，Lucas-Kanadeアルゴリズム [7] を効率的に計算す

る逆結合 Lucas-Kanadeアルゴリズム [2]を基に，その

更新量を 1次近似した“近似逆結合アルゴリズム”に

よって推定した 2．

しかし，実際の色収差と思われる画像を処理してみ

ると，倍率色収差補正では補正できない画像が少なか

らず存在することがわかった．それは，RGB間の位置

ずれだけではなく，RGB間でレベルが変動しているも

のであり，主に画像／映像中の高輝度部分に隣り合っ

た低輝度部分に紫色や青色の偽色として現れる“パー

プルフリンジ”と呼ばれる現象であることがわかった．

パープルフリンジは，センサの飽和によるとも，レン

ズの収差によるとも言われているが，はっきりとした

1 次世代放送推進フォーラム（Next Generation Television& Broadcasting Promotion Forum, NexTV-F），http://www.

nextv-f.jp/2 その他の関連する研究は [9] の参考文献を参照．

IS1/38 政20虻渥臣つ〝せ〝きせ〝げそゃと,К汝,2014辻6亀

IS1 / 38 / 1

図 2 パープルフリンジ除去処理ブロック図．

原因はわかっていない．そして，倍率色収差とパープ

ルフリンジは往々にして混同されているようである．

本研究では，画像／映像中のパープルフリンジ妨害を

画像処理によって除去する．その基本的な戦略は，パー

プルフリンジは，高輝度領域に隣り合う低輝度領域の画

素に発生しやすい，さらに，パープルフリンジ画素は，

G（緑）画素値よりも B（青）画素値が大きい，という

事前の知識を用いて，簡易な画像処理によって，パープ

ルフリンジの候補画素を検出する．そして，検出され

たパープルフリンジ候補画素の色差信号に対して，色

補正処理を行う．色補正処理は，近傍画素領域における

パープルフリンジ候補画素以外の，できるだけ輝度値

が近く，空間的な距離も近い画素の色差信号の重み付

け平均とする．これは，バイラテラルフィルタ [11]に

よる色補正処理と見なせる．

松永は，反復によらない 1パスビデオ超解像処理と

して，画像の局所的な時間空間方向による補間の重み

付け平均とマルチスケール化した非線形エンハンサを

提案した [8]．画像の局所的な時間空間方向の推定には，

注目画素の近傍ブロック領域を用いたブロックマッチ

ングを用いて，そのマッチング残差による重み係数を

画素毎に計算して，各方向における補間結果の重み付

け平均を最終的な補間画素とした．これは，ノイズ除

去に用いられる非局所平均（Non-local means）フィル

タ [3]の探索範囲を限定して，補間処理に適用したもの

と見なすことができる．あるいは，ブロックマッチン

グ規準の最小の方向による補間が“最尤推定”である

のに対して，すべての方向の補間結果の重み付け平均

は，“ベイズ推定”[10]であるとも言える（実際，[5]で

は，非局所平均フィルタのベイズ的な解釈がなされて

いる）．

本論文の構成は，2章でパープルフリンジ除去処理の

詳細について説明して，3章で実際のパープルフリンジ

画像を処理した結果を示す．4章で纏める．

2 パープルフリンジ除去処理

パープルフリンジ除去処理の手順は次のようになる．

2.1 パープルフリンジ検出

ハイコントラストな画素を検出する．具体的には，G

画素のエッジ強度のしきい値処理による．さらに，G

画素値よりも B画素値が大きい画素を検出する．両者

の論理積（AND）をパープルフリンジ候補画素とする．

論理積の前後にモルフォロジー [6]による適度な膨張処

理を行なってもよい．

2.2 パープルフリンジ除去

パープルフリンジ候補画素を色補正処理する．色補

正処理は，RGBカラー画像を輝度色差信号 YCbCrに

変換した色差信号で行う．付録にRGB輝度色差変換の

式を示す．具体的には，パープルフリンジ候補画素の

色差信号 C を，近傍画素領域 Bにおけるパープルフリンジ候補画素以外の画素の色差信号の重み付け平均と

する．その重み係数は，パープルフリンジ候補画素と

それ以外の画素の輝度値 Y の差と空間的な距離によっ

て，次のように計算する 3．

C(i, j) =

∑

k,l∈Bw(i+ k, j + l)C(i+ k, j + l)∑

k,l∈Bw(i+ k, j + l)

, (1)

w(i+ k, j + l) = wc(i+ k, j + l)ws(i+ k, j + l). (2)

重み係数 wは，輝度値 Y の差による重み wsと距離に

よる重みwcの積であり，それぞれ，ガウス関数により，

次のように書ける．

ws(i+ k, j + l)

= exp

(

− (Y (i, j)− Y (i+ k, j + l))2

2σ2s

)

, (3)

wc(i+ k, j + l) = exp

(

− (√k2 + l2)2

2σ2c

)

. (4)

σs, σc はそれぞれ輝度値の差と画素の空間的な距離の

許容範囲を調整するパラメータである．これは，輝度

値が近く，空間的な距離も近い画素の色は似ていると

期待するものであり，バイラテラルフィルタ [11]によ

る色補正処理と見なせる．

処理を行う近傍画素領域 Bはパープルフリンジの幅に応じて十分な画素数を取らなければならないが，画

素数が増すにつれて計算量も増える．そこで，間引き

なしウェーブレット変換に用いられている画素を飛び

飛びに処理する a trous アルゴリズム [4]を適用して計

算量の低減を図る 4．しかし，あまり離れた画素を用い

ると，画像内容によっては，輝度値は似ていても色が

異なることもあり得るので，注意が必要である．また，

領域内には，色補正に十分な画素が存在しないことも

考えられる．そこで，重み係数 wの総和があるしきい

値以下の場合には，色補正の結果を 0とする．図 2に

パープルフリンジ除去処理のブロック図を示す．3 色差信号 Cb, Cr の両者として略記する．4 これは，モルフォロジー処理に適用してもよい．

IS1 / 38 / 2

IS1/38 政20虻渥臣つ〝せ〝きせ〝げそゃと,К汝,2014辻6亀

(a) (b) (c) (d)

図 3 パープルフリンジ除去処理例．(a) 原画像，(b) G/B画素値の比較によるパープルフリンジ候補 2値マスク画像，(c) G/B画素値の比較とエッジ強度によるパープルフリンジ候補２値マスク画像の論理積を取ったマスク画像，(d) 処理画像．

3 処理結果

図 1は，パープルフリンジが見られる画像を処理し

た結果の一例である．同図 (a) が原画像であり，エッジ

部分に紫色のパープルフリンジが発生している．それ

を処理して得られるパープルフリンジ候補 2値マスク

画像が同図 (b)である．パープルフリンジの検出には，

G画素よりも値が 20以上大きい B画素を検出し，さ

らに 3× 3画素領域によるモルフォロジー処理により膨

張させた．同図 (c)が除去処理の結果である．同図 (d)

は，すべてのパープルフリンジ候補画素値の除去処理

の前後における 2次元色差平面へのプロットの結果で

ある．処理前の候補画素では，紫色の画素が現れてい

たが，処理の結果，除去されているのがわかる．色差

信号による色補正処理では，21× 21画素を 3画素飛び

の領域として用いて，σs = 10, σc = 10とした．

図 3の場合，背景の色がパープルフリンジの紫色に

近く，G/B画素値の比較によるパープルフリンジ検出

では，背景まで検出されてしまう（同図 (b)）．そこで，

水平垂直エッジを検出して，それらの絶対値の総和によ

るエッジ強度マスク画像との論理積を取ったものをパー

プルフリンジ候補 2値マスク画像とする（同図 (c)）．こ

こでは，さらに 19×19 画素領域によるモルフォロジー

処理により膨張させている．色差信号による色補正処

理では，21×21画素を 3画素飛びの領域として用いて，

σs = 40, σc = 40とした．図 4にも，パープルフリン

ジ除去処理例を示す（パラメータ設定は図 1と同じ）．

4 まとめ

画像／映像中のパープルフリンジ妨害を画像処理に

よって除去した．その基本的な戦略は，パープルフリン

ジは，高輝度領域に隣り合う低輝度領域の画素に発生

しやすい，さらに，パープルフリンジ画素は，G（緑）

画素値よりもB（青）画素値が大きい，という事前の知

識を用いて，簡易な画像処理によって，パープルフリン

ジの候補画素を検出した．そして，検出されたパープ

ルフリンジ候補画素の色差信号に対して，色補正処理

を行った．色補正処理は，近傍画素領域におけるパー

プルフリンジ候補画素以外の，できるだけ輝度値が近

く，空間的な距離も近い画素の色差信号の重み付け平

均とした．これは，輝度値が近く，空間的な距離も近

い画素の色は似ていると期待するものであり，実際の

パープルフリンジを含む実画像を処理することにより，

その有効性を確認した．

今後の課題としては，マルチコア CPU / GPU によ

るパープルフリンジ映像のリアルタイム処理の実現や

各種パラメータの自動最適化が挙げられる．

謝辞：本研究の機会を与えて下さった朋栄アイ・ビー・

イー和田社長に感謝します．

参考文献

[1] ANSI/SMPTE, Component Video Signal 4:2:2

– Bit-Parallel Digital Interface, ANSI/SMPTE

125M-1995.

[2] S. Baker and I. Matthews, Lucas-Kanade 20 years

on: A unifying framework, International Journal

of Computer Vision, 56-3 (2004), 221–255.

[3] A. Buades, B. Coll, and J.-M. Morel, A non-local

algorithm for image denoising, IEEE Computer

Society Conference on Computer Vision and Pat-

tern Recognition (CVPR 2005), June 2005, San

Diego, CA, U.S.A., Vol. 2, 60–65.

[4] M. Holschneider, R. Kronland-Martinet, J. Mor-

let, and P. Tchamitchian, A real-time algorithm

for signal analysis with the help of the wavelet

transform, In Wavelets, Time-Frequency Meth-

ods and Phase Space, 289–297, Springer-Verlag,

1989.

[5] C. Kervrann, J. Boulanger, and P. Coupe,

Bayesian non-local means filter, image redun-

IS1 / 38 / 3

IS1/38 政20虻渥臣つ〝せ〝きせ〝げそゃと,К汝,2014辻6亀

図 4 パープルフリンジ除去処理例．各段ともに左から原画像，パープルフリンジ候補 2値マスク画像，処理画像．

dancy and adaptive dictionaries for noise re-

moval, Proceedings of the First International

Conference on Scale Space and Variational Meth-

ods in Computer Vision (SSVM’07), May-June

2007, Ischia, Italy, 520–532.

[6] 小畑秀文,「モルフォロジー」, コロナ社, 1996年.

[7] B. D. Lucas and T. Kanade, An iterative im-

age registration technique with an application to

stereo vision, Proceedings of the 1981 DARPA

Image Understanding Workshop, April 1981,

121–130.

[8] 松永 力，時間空間方向性補間とマルチスケール非

線形エンハンサによる 1パスビデオ超解像, 第 20

回画像センシングシンポジウム (SSII2014)講演論

文集，横浜 (パシフィコ横浜), 2014年 6月．

[9] 松永力，画像からの倍率色収差の自動推定補正,第

20回画像センシングシンポジウム (SSII2014)講演

論文集，横浜 (パシフィコ横浜), 2014年 6月．

[10] S. J. D. Prince, Computer Vision: Models, Learn-

ing, and Inference, Cambridge University Press,

New York, NY, U.S.A., June 2012. http://www.

computervisionmodels.com/

[11] C. Tomasi and R. Manduchi, Bilateral filtering

for gray and color images, Proceedings of the Sixth

IEEE International Conference on Computer Vi-

sion (ICCV’98), January 1998, Bombay, India,

839–846.

付録 RGB輝度色差変換

ANSI/SMPTE125M規格 [1]によると，RGB信号か

ら輝度色差信号 YCbCrへの変換は次のようになる．

Y = 0.587G + 0.114B + 0.299R, (A.1)

Cb = 0.564 (B−Y)

= −0.331G + 0.500B− 0.169R, (A.2)

Cr = 0.713 (R−Y)

= −0.419G− 0.081B + 0.500R. (A.3)

Y, Cb, Crは各８ビットとすると，Yには 220レベル

を割り当て，黒レベルを 16，白ピークレベルを 235と

する．Cb, Crについては 225レベルを割当て，信号は

16～240の範囲とし，0信号のレベルを 128とする．

Yと同じ範囲の R, G, B各 8ビットの信号から色差

信号の 0信号レベルが 0となるような Y, Cb, Crへの

変換は次のようになる．

G = Y − 0.6982278Cb− 0.3360236Cr, (A.4)

B = Y+ 0.0009681Cb + 1.7326033Cr, (A.5)

R = Y+ 1.3703991Cb− 0.0009061Cr. (A.6)

IS1 / 38 / 4

IS1/38 政20虻渥臣つ〝せ〝きせ〝げそゃと,К汝,2014辻6亀