画像特徴(点、直線、領域)の検出と識別 -3
DESCRIPTION
画像特徴(点、直線、領域)の検出と識別 -3. 参考書: 松山隆司、久野義徳、井宮 淳、 コンピュータビジョン ー技術評論と将来展望ー 新技術コミュニケーションズ. Hough 変換 投票と多数決原理に基づく幾何学的対象の検出と識別. 投票 と 多数決 原理に基づく図形の検出・識別法. Hough 変換( P.V.C. Hough 、 1962) 2 値画像から、 直線の検出 Hough 変換( R.O.Duda and P.E.Hart 、 1972) 2 値画像から、 円、楕円の検出 - PowerPoint PPT PresentationTRANSCRIPT
画像特徴(点、直線、領域)の検出と識別 -3
Hough変換投票と多数決原理に基づく幾何学的対象の検出と識別
参考書: 松山隆司、久野義徳、井宮 淳、参考書: 松山隆司、久野義徳、井宮 淳、 コンピュータビジョン ー技術評論とコンピュータビジョン ー技術評論と将来展望ー将来展望ー 新技術コミュニケーションズ 新技術コミュニケーションズ
投票と多数決原理に基づく図形の検出・識別法
Hough 変換( P.V.C.Hough 、 1962)2 値画像から、直線の検出
Hough 変換( R.O.Duda and P.E.Hart 、 1972)2 値画像から、円、楕円の検出
一般化 Hough 変換( D.H.Ballard 、 1981)2 値画像から、平行移動、回転、拡大などの変換を受けた任意形状の図形の検出
Geometric Hashing ( Y.Lamdan et al. 、 1988) 2 値画像から、予め与えた複数の図形集合の検出・識別
ポーズが固定ポーズが固定
形状に投票形状に投票 //多数決多数決
Geometric Hashing
Compute invariants不変特徴を計算
Hash-table
List of objects
Verify
Hash Table中の対応要素に“モデル、記述に用いた基底”の組を登録
Basis Geometric Hashing
Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997
拡大縮小 回転
平行移動
点 4 と点 1 から生成された基底に基づいて、Hash Table にモデルを登録するイメージ
う性質を持っている変化しないといの座標変換を受けても
大などが平行移動や回転、拡集合
はもとの点が得られる。この
不変特徴の集合ことにより、図に示す座標値を求めるで表された各特徴点のする。この基底となる直交基底を生成
点から、する。これらの
を選択点から、れたモデルN個の点によって表さ
}{
)},{(
)}(),({()},{(
),(),,(
2
2),,{
2
21
i
ikijikij
ij
ij
ijij
jiN
P
PPYPPX
YPP
PPX
P,PPPP
ff
ff
ijijijij
yx
yx
xyyx
M
モデルの登録
点 i,j を基底とする場合
点 j,k を基底とする場合
Basis Geometric Hashing
Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997
全ての2点の組合せから生成される基底に対してそれぞれ不変特徴を求め、それらを全て Hash Tableに登録しておく
Basis Geometric Hashing
Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997
モデルの多重記述により、モデルと相似な図形が与えられたとき、この図形に含まれる任意の 2点から求められる不変特徴と Hash Table上に記録された(モデル、基底)の組のどれかが一致することが保証
4 1
5 2
3
Wolfson and Rigoutsos, Geometric Hashing, an Overview, 1997
Geometric Hashing
対象とするモデルの全てに関して同様に記述を行っておくことにより、複数のモデルを同時に扱うことが可能となる
Geometric Hashing の投票と識別1
1.Hash Table の各要素に対する投票数を0にする
2.画像からまだ選択されていない任意の 2 点を選択し、基底を求める
3.この基底に対して画像上の全ての点の不変特徴を計算し、対応する Hash Table 中の要素の投票度数を各々1増加させる
4.投票終了後、(モデル、基底)の組ごとに投票度数を集計し、予め与えた閾値を越えるものがあるかどうかを調べる。閾値を越えた投票が得られたものがなければ、 1 .の処理に戻る
Geometric Hashing の投票と識別2
5 .高い投票が得られた(モデル、基底)組の基底と、画像から求められた基底を対応付ける座標変換を求める
6 .求められた変換を用いてモデルを画像上に写像し、モデルにマッチする特徴点が十分存在することを確認する。特徴点が十分存在すれば終了し、そうでなければ 1 .の処理に戻る
画像中に存在する複数の対象を識別、検出する場合には、モデルにマッチする特徴点集合を取り除きながら、上記の手続きを繰り返し行う
Geometric Hashing の意味
1. Hash Table に登録された形状モデルは、不変特徴によって記述された形状の「テンプレート」と見なすことができる
2. Geometric Hashing において、“ポーズを固定する”ということは、画像から不変特徴を求める際に1つの基底を用いることを意味
Geometric Hashing の性質
「基底によって画像を不変特徴に変換し、 Hash Table 上で複数のテンプレートとのマッチングを行う」という処理を様々な基底について繰り返す
投票と多数決に基づくアルゴリズムの特長(安定性)
• より多くの証拠情報によって支持される仮説を求めるという多数決原理に基づく手法であり、雑音などによって生じる偽の特徴点が含まれる場合でも安定に動作する
• 局所的な特徴のみを用い、特徴点間の連結性を用いないため、遮蔽などによって特徴点が欠落した場合でも対象の検出・認識が可能である
• 任意形状の検出・認識に適用できる。特にGeometric Hashingでは、画像から 3次元物体の識別を行ったり、アフイン変換に対する不変特徴を用いるなどの拡張も比較的容易に実現できる
• 投票計算が各特徴点ごとに独立に行われるため、計算の並列化が容易である
投票と多数決に基づくアルゴリズムの特長(拡張性)
• 画像中に複数の図形が含まれる場合、異なる図形からの投票が投票空間上で重畳する
• 特徴点の誤差(位置の変動)により、投票空間中での投票位置がずれてしまう
• 投票空間の標本化が不適切な場合、 Aliasingが生じ、投票数に偏りが生じる
エイリアシング( Aliasing):ぎざぎざ
投票と多数決に基づくアルゴリズムの問題点(精度)
• Hough変換において、パラメータ空間中のセルを表現するために用いられるメモリは、空間の次元数に対して指数関数的に増加する
• 投票に要する計算は、投票軌跡の次元数に対して指数関数的に増加する
• Geometric Hashingでは、同一の図形に含まれる複数の点から基底を選択する必要があるため、基底の選択を何回も繰り返さなければならない
• 投票数の集計を(モデル、基底)の組毎に行わなければならない
投票と多数決に基づくアルゴリズムの問題点(計算コスト)
現状のアルゴリズムの限界
Snakes 収束の例
弾性輪郭モデル( Snakes )動的輪郭モデル
• 具体的な表現が与えられていない対象に関しても適用可能な「投票と多数決に基づく対象の検出・認識アルゴリズム」の開発
解決の方針としては、• 特徴点の座標値のような定量的特徴ではなく、定性的特徴を用いる
• 統計的パターン認識手法を併用するなどが考えられる
今後の展望
投票と多数決原理に基づく図形の検出・識別法は何種類がある?それぞれの名前と機能を記入してください。
学籍番号と名前を記入してください。
出席チェック
カラー情報の表現と解析
参考書:● 南 敏、中村 納 画像工学 ( 増補 )― 画像のエレクトロニクス― コロナ社
● 松山隆司、久野義徳、井宮淳: コンピュータビジョン -- 技術評論と将来展望 --
新技術コミュニケーションズ、 1998
Physics-Based Vision● 知覚とは別に,視覚系への色刺激となる光の物理現象を調べて,これを利用する視覚研究● 物体表面での光の反射の仕方(物体表面を構成する材質によって異なる)が画像生成を決定づける
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
Observer (Camera)光源 カメラ
物体
光の反射の仕方物体表面の材質による
Color Image Formation
OutputCamera RGB
●画像内の物体の色は照明光源、物体、カメラ3者 の幾何関係と物体表面の材質に応じて変化する
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
Observer (Camera)照明光源 カメラ
物体
光の反射の仕方物体表面の材質による
Color Image Formation (光源)
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
OutputCamera RGB
Observer (Camera)光源 カメラ
光の反射の仕方物体表面の材質による
物体
光源のスペクトルBlackbody Radiator 黒体の放
射
光源のスペクトルは関係した色温 (Correlated Color Temperature; CCT) より構成される
評価の基本単位:ケルビン (Kelvin; K).
Fluorescent light 蛍光灯
光源のスペクトルCCT = 6200KCCT = 2600KBlackbody Radiator
Fluorescent light
・光源の色温度が異なると、同じ物体でも撮られた画像の色が異なる・K:絶対温度(=摂氏温度+ 273)
Color Image Formation (物体)
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
OutputCamera RGB
Observer (Camera)
対象物からの放射エネルギーの分布対象物からの放射エネルギーの分布
光源 カメラ
光の反射の仕方物体表面の材質による
物体
Reflectance of Gray
グレーの対象物からの放射エネルギーのグレーの対象物からの放射エネルギーの分布は一定分布は一定
Reflectance of Human Skin
白人
黒人
東洋人
黒人
白人
紅斑のある白人
Reflectance of Vegetation & Soil
草木土
異なる対象物からの放射エネルギーの分布は異なる異なる対象物からの放射エネルギーの分布は異なる
Color Image Formation (カメラ)
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
OutputCamera RGB
Observer (Camera)光源 カメラ
光の反射の仕方物体表面の材質による
物体
Observer/SensorEye Response Camera Response
Reflected light spectrum is represented by a 3 element vector
・人間の目とセンサーの色知覚が異なる・反射光のスペクトルがRGB3次元のベクトルより表現
表色系 (Color System)
表色系は特定の記号を用いて、色の表示を明確に行うための一連の規定および定義からなる体系である
CIE standardized (Commission Internationale de L’Eclairage) → 国際照明委員会
CIE 色空間 CIEは“ imaginary”光を三つ( X, Y, Z)定義
Note that:X ~ RY ~ GZ ~ B
Measured vs. CIE色空間
measured basis• 単色光• 物理的観測• 負の部分を含む
CIE transformed basis• イメージ光源“ imaginary” lights
• 全部正、単位面積• Yは明るさ
RGBと CIE色空間
CIE 色空間RGB 色空間(立方体)
RGB 色空間 in CIE 色空間
HSV 色空間
ValueSaturation
Hue
Color SpacesModels Applications
Colorimetirc XYZ Colorimetric calculations
Device-oriented
Non-uniform spacesRGB, YIQ, YCC
Storage, processing, analysis, coding, color TV
Uniform spacesL* a* b*, L* u* v*
Color difference evaluation, analysis, color management systems
User-oriented
HSI, HSV, HSL, I1I2I3
Human color perception, computer graphics
Munsell Human visual system
CIE 色度図
3次元の CIE 色空間内の色を2次元に変換し、表現:
X’ = X / (X+Y+Z)Y’ = Y / (X+Y+Z)X’+Y’+Z’=1
カラーデバイスと CIE 色度図の比較
色弁別 (Color Discrimination)色弁別:色の違いを見つけること;等色実験より測定●観測者は刺激光 CTを参考光 CRに何回も繰り返し等色する
CR
CT
●RGBの量を適当に調整し、 I, IIの色がまったく一致した時等色された●明るさも一致していなければならない
図の中の図の中の I, III, II はは白色拡散反射面であり、白色拡散反射面であり、II にはには 33原色光を濃度原色光を濃度フィルタを通して照射し、フィルタを通して照射し、IIII には試料光を照射するには試料光を照射する
等色実験
色弁別 (Color Discrimination)●刺激光 CTは参考光 CRの周りにばらつく●そのばらつきの標準偏差を求め 10倍して表示●CIE色度図の上方の緑色の部分の楕円は極めて大きく、左下の青紫の部分の楕円は極めて小さい
●人間の色に対する弁別能力が、色度図上の位置によって大きく異なる
均等色度図● 色度図の座標変換を行って、色度図上のどの部分においても、標準偏差の楕円は大きさが等しい円として示されるようになれば、色度の視覚差がどこでも均質なものとなる
● このようにして得られる色度図が均等色度図 (Uniform Chromaticity Scale Diagram, UCS Diagram) である
CIE1960UCS 色度図 ●CIE1960UCS 色度図( xy 色度図)への座標変換は次式より行われている u = 4x / (-2x+12y+3); v = 6y / (-2x+12y+3)●3 刺激値 X, Y, Z を用いれば u = 4X / (X+15Y+3Z); v = 6Y / (X+15Y+3Z) となる
● 利点:式で簡単に計算できる 欠点:完全に均一になっていない →楕円は円に近いが、円になっていない
均等色空間( D.Farnsworth 1957 )
心理実験より
混色 ●混色 (Color Mixing あるいは Color Mixture)
二つの色を混合して別の色を生ずること● 加法混色: 二つの色光を同一スクリーン上に重ねて投影したときに別の色が生ずるような混色●減法混色: 光源とスクリーンの間に色フィルタ・他の吸収媒質を置き、その重ね合わせによって別の色を生じさせるような混色
カラーテレビジョン
カラー画像表示は、加法混色の原理に基づく加法混色の 3 原色:赤( R )、緑( G ) ,青( B )が用いられる
減法混色・補色減法混色では、 RGB の補色(Complementary Color)、シアン( C )、マゼンタ( M )、黄( Y )を 3 原色として用いる
補色 : 二つの色光を加えて白色になる場合、それら二つの色光は互いに補色の関係がある
カラープリントの場合は、減法混色の原理に基づいて色を再現している
●カラープリントは、シアン( C)、マゼンタ(M)、黄( Y) 3層の色からカラー画像を構成●カラープリントに入射した光は、 C層で Rを、M層で Gを、 Y層で Bを吸収する●反射光として我々の目に入り、カラー画像として知覚される
Color Image Formation (物体)
)(Object of eReflectanc
)(
Light
E
)()()(
Light Reflected
EL
OutputCamera RGB
Observer (Camera)
光の反射の仕方は物体表面を形成する材質に依存する
照明光源
物体
カメラ
Dichromatic Reflection Model ( 2 色性反射モデル)ー絶縁体材料
Surface Reflected Light(light source color)
)(surfL
)(bodyLBody Reflected Light(object color)
)()()( bodysurf LLL
Incident Light )(E
Material surface
Absorption (吸収) Scattering (散布) Colorant (着色剤)
)()()()( EEL
物体からの反射光が2つの反射成分の組合わせで記述できることを仮定している
Example Reflectance of Skin
From [Anderson and Parrish]
同じ素材の RGB は同じ平面に存在
RGBbody
R
G
B
RGBsurface
RGBbody+ RGBsurface
●For small the camera RGB will be in the ‘body’ direction
●As becomes large so the RGB moves towards the ‘surfface’ direction
2 色平面( Dichromatic Plane )
反射された RGB はRGBbody+a RGBsurface 必ず“ body”RGB と“ surface”RGB の間にある
RGBs outside this plausible(striped) region can only occurif we have negative body orsurface contributions. We cannotsince light is a positive quantity
R
G
B
RGBsurface
RGBbody
2 色平面
Measurement in RGB Space
材質の推定に関する研究が可能
Fixed viewingangle
Fixed lightinggeometry
Fixed color of light
Seeing Color Image●画像内の物体の色は照明光源、物体、カメラ3者の幾何関係と物体表面の材質に応じて変化
光源の幾何関係 (shading) 光源の色
光源の幾何関係 1: 光源の位置
n
e2
n
e1
光源は物体表面の法線方向に近いほど、画像の色が明るくなる
暗い 明るい
光源の幾何関係 2: マルチ光源
e1
n
e2
ne1+ e2
マルチ光源は一つの有効光源に等価することも可能光源が多いほど、画像の色が明るくなる
有効光源マルチ光源
Shape From Shading
yxI ,
s vni
: source brightness
: surface albedo (reflectance)
: constant (optical system)
k
c
明るさと独立した色度平面内のRGB
BGR
Bb
BGR
Gg
BGR
Rr
1 bgr
Same Color, different brightnesses
Colour CubeChromaticity Plane 色度平面
画像の色が光源色に依存
Macbethcolor checker
Daylight Tungsten
Redder
タングステン電球白色蛍光灯
光源色の補正
Illuminant ColorTungsten
ColorCorrection
元の照明光源の色が分かれば、照明による画像の色変化が校正・除外できる
照明が何に?Macbeth color
checker と一致
光源色の推定
?
ColorCorrection
IlluminantEstimation
Macbeth color checker と比較
光源色の推定||
色恒常性の計算
Estimating the Illuminant Color||
Computational Color Constancy
Estimation error 1.6°
Example of ApplicationColor Correction
Canonical image at CCT = 3200K
Re-rendered imageto canonical cond.標準条件の画像
Image taken underCCT = 4700K
00
00
00
B
G
R
B
G
R
c
c
c
von KreisTransformation
Color Image Segmentation Pixel-based techniques (画素) Region-based techniques (領域) Edge-based techniques (エッジ) Stochastical Model-based techniques (確率的)
Physics-based techniques (物理) Hybrid techniques (混成)
Example modelling skin and segmenting
Color Clustering by K-means AlgorithmForm K-means clusters from a set of n-dimensional vectors
1. Set i (iteration count) to 12. Choose randomly a set of K means m1(1), …, mK(1).3. For each vector xi, compute D(xi,mk(ic)), k=1,…K and assign xi to the cluster Cj with nearest mean.4. Increment i by 1, update the means to get m1(i),…,mK(i).5. Repeat steps 3 and 4 until Ck(i) = Ck(i+1) for all k.
Original RGB Image Color Clusters by K-Means
代表する色恒常性のアルゴリズム
Grey-world color constancy [e.g. Hunt] Linear model algorithms [Maloney-Wandell] Neural Net approach [Funt-Cardei] Gamut Mapping Color Constancy [Forsyth
1991]
研究例 : 肌色からの光源推定
鼻のハイライトから光源の推定
Dichromatic Reflection Model ( 2 色性反射モデル)ー絶縁体材料
Surface Reflected Light(light source color)
)(surfL
)(bodyLBody Reflected Light(object color)
)()()( bodysurf LLL
Incident Light )(E
Material surface
Absorption (吸収) Scattering (散布) Colorant (着色剤)
)()()()( EEL
物体からの反射光が2つの反射成分の組合わせで記述できることを仮定している
Stepwise Principal Component Analysis in
Ascending Intensity
Body Vector Estimation
2-Test
Surface Vector Estimation
• Search:Descending Intensity
• Stop Criteria:Twice standard deviation to body vector (second eigenvalue of body vector)
• Direction of Csurf is the Illuminant Chromaticity
Spectral Integration
dfEG GSkin )()()(
dfER RSkin )()()(
)(RGBfSpectral Sensitivity of Camera
(Tristimulus)ReflectanceLight Source Spectrum )()(E
BGR
Bb
BGR
Gg
BGR
Rr
dfEB BSkin )()()(
Skin Color in the Chromaticity Plane
The camera is white balanced at CCT = 3200K
Modelled and Measured Skin Color in the Chromaticity Plane
Test ImagesC
CT
= 2
760K
CC
T =
519
0K
CC
T =
690
0KC
CT
= 3
870K
Segment ResultC
CT
= 2
760K
CC
T =
519
0K
CC
T =
690
0KC
CT
= 3
870K
識別( Recognition ) Color distribution as a cue for object recognition Histogram [Swain & Ballard. U of Rochester]
A general vision problem: ‘Find and identify all the objects in the image’
- something we find easy to do
- Too difficult for an automated vision system to do!
What vs WhereTo make computation tractable, Swain identified two subproblems:
Identify what single objectis in the image
Find where an object is located in the image
(e.g. where is the tortoise)
識別問題 探索問題
What colors are in an image?
The rabbit is mostly grey, but has pink ears,blue eyes and red nose
Qualitative:
Quantitative:
The histogram of colors in an imagedefines the image color distribution #
of p
ixel
s
The color histogram is a vector of numbers!#
of p
ixel
s
# of pixels
10000100103000
Color Distribution
= (10,0,0,0,100,10,30,0,0)
Images are similar if their histograms are similar!
Color Distribution = (10,0,0,0,100,10,30,0,0)
Color Distribution = (10,0,0,0,90,10,40,0,0)
Color Distribution = (0,40,0,0,0,0,0,0,110,0)
Dissimilar
Similar!
Formalizing similarity
Color Distribution = (10,0,0,0,100,10,30,0,0)
Color Distribution = (0,40,0,0,0,0,0,110,0)
1H
2H
9
1
21 ),min(i
ii HHHISTOGRAM INTERSECTION = = SIMILARITY
Color Distribution = (10,0,0,0,100,10,30,0,0)
Color Distribution
= (10,0,0,0,90,10,40,0,0)
Color Distribution = (0,40,0,0,0,0,0,0,110,0)
Histogram intersection= 0 ?
Histogram intersection= 140 ?
Big intersections correlate with large similarity
Is histogram intersection a good measure?
… there are many ways to see if two vectors of numbers are the same!
Abstractly, Histogram Intersection is a measure (actually an inverse measure) of distance:
Large intersection = small distance
Small intersection = large distance
Distance is an intuitive concept which we understand
So, we can judge the suitability of histogram intersectionby looking at it from a distance measure point of view.