colorcorrect 色恒常性仮説に基づく色補正ライブラリ

Gunosy inc Shunsuke Aihara

自己紹介• 粟飯原俊介 (http://argmax.jp) @shunsukeaihara

• Gunosyのマネージャー

• 広告配信システムの開発全体とR&D系を担当

• 専門: 計算言語学

• Pythonと非同期分散システムを好む

• DNN声質変換とか趣味でやってる

• 画像処理・音声信号処理等でいろいろライブラリ作ってる

• https://bitbucket.org/aihara

これは画像認識等のための 地味な前処理の話です

colorcorrect

色恒常性/明るさ恒常性の仮説に基づき

変色・white baranceのズレを自動補正

画像の光源色とホワイトバランスは実データではバラバラ

•色を用いた物体認識を行おうとすると、学習データセットと色がずれていると判定精度は落ちる

•色情報を用いたBag-Of-Keypoint系の手法では結構色補正が効いてくる•類似画像検索 / 景観画像からの物体検出とか作った時に相当ハマった

• Deep Learningとかいろいろ期待してるけど、実際に仕事で学習データセット集めるとなるといろんな撮影条件の画像集めるの結構大変•複数照明条件に対するData Augmentationよくわからない

•あと、画像の見た目キレイにしたいとかいろいろある•なんとか楽したかったので補正手法の論文とかいろいろ調べた

用途• 変色した写真の補正

• 設定ミスって撮った写真の修正

• コンデジで設定間違えて撮った写真とか

• 物体認識等の前処理

• 適当に公開しておいたらCVPR2013の論文で実際に使われた！

あと褪色画像を戻したかったこれは色の情報が失われているのでどうやってもムリ

pip install colorcorrect

色恒常性 (Color Constancy)

明るさ恒常性 (lightness constancy)

• 照明光のスペクトルが変化しても、物体色の認知は大きく変化しない(元の色が認識できる)

色恒常性

チェッカーシャドー錯視明るさと人間が認知したものと異なる 隣接部位のコントラストに影響を受けて異なる認知

From Wikimedia Commons

色の知覚の簡単なモデル• 目に入射する光は光源光と対象の分光反射率で決まる

• 色恒常性は入射光から光源光を推定して、分光反射率を推定する問題と定義出来る

S(�) = I(�) ·R(�)

• S(λ) 入射光

• I(λ) 光源光

• R(λ) 物体の分光反射率

色恒常性仮説の簡単な物• 灰色仮説

• 白色光源下の場合、視覚内の色の平均値を取ると灰色(127,127,127)になるはずなのでそのズレを補正する

• 輝度 - 色相関

• 視覚内の色に偏りがある場合は灰色仮説では恒常性を担保出来ないので、輝度と色の相関から色の偏りが光源によるか元の物体色によるか推定して補正

• これらをベースに様々なアルゴリズムが提案されている

Algorithms

実装した色恒常性アルゴリズム• gray world

• max white

• stretch

• retinex, retinex with adjust

• weighted grey world

• standard deviation weighted grey world

• luminance weighted gray world

• standard deviation and luminance weighted gray world

• automatic color equalization

• ->超ヒューリスティクスだけど補正力がすごい

Implementation

実装• Pythonによる実装(2系)

• PIL

• Numpy

• 速度が必要な部分はC++のライブラリをnumpy.ctypesでラップ

• pip install colorcorrectで利用可能

DEMOhttp://colorcorrect.argmax.jp/

まとめ• 手軽に画像の色補正が出来て便利なので使ってみてください

• Python3系 + Pillow対応もそろそろします

• 音声の前処理ライブラリとかも公開してます

• https://bitbucket.org/aihara/pyssp

• Gunosyには物体認識・画像clipの仕事あります