STROJNI VID

SEMINARSKA NALOGA

ODPRAVLJANJE SVETLOSTNIH NEHOMOGENOSTI Z

MINIMIZACIJOENTROPIJE SLIKE

(Shading correction)

Blaž Zorko

Kaj je ”Shading”:

• je nezaželen pojav

• kaže se kot neenakomerna osvetljenost v sliki,

ki na realnih objektih ni prisotna

• odpravljanje ”shadinga” je pomemben korak

pri obdelavi slike (pred postopki segmentacije,

detekcije, razpoznavanja,...)

Vzroki za ”Shading”:

• neenakomerna osvetlitev objektov

• umazanost leč, popačenja na lečah

• neenakomerna prostorska občutljivost senzorja

v kameri

KOREKCIJSKE METODE

Kalibracijske:

• popravljajo neodvisno od zajete slike

• zajeto sliko sproti korigirajo

Û(x,y)=N(x,y)-NBCK(x,y)+C ... odštevanje popravljalne slike

Û(x,y)=N(x,y) / NBCK(x,y)*C ... deljenje s popravljalno sliko

Retrospektivne:

• potrebujejo informacijo zajete slike

RETROSPEKTIVNE METODE

• iterativni postopki

• z informacijo iz zajete s slike, ki vsebuje shading, učijo popravljalno funkcijo

• s pomočjo popravljalne funkcije popravijo moteno sliko

1. Metoda s prileganjem ploskvi (FB)

2. Metoda z minimizacijo entropije slike (EMI)

MODEL SHADINGA

naravna slika = f –1 (motena slika) U ( x , y ) = f –1 ( N ( x , y ) )

Model shadinga predstavimo z naslednjimi enačbami:

popravljena slika = f –1 (motena slika) Û ( x , y ) = ( N ( x , y ) – SA( x , y ) ) / SM( x , y ) )

SA( x , y ) ... aditivna popravljalna komponenta

SM( x , y ) ... multiplikativna popravljalna komponenta

Popravljanje z eno samo komponento:

Û ( x , y ) = N ( x , y ) – SA( x , y )

Û ( x , y ) = N ( x , y ) / SM( x , y )

1. Metoda s prileganjem ploskvi

Popravljalno funkcijo F ( x , y ) je potebno naučiti tako, da bo srednja kvadratna napaka med njo in moteno sliko, čim manjša.

Funkcija, ki jo prilegamo na sliko (ploskev) :

F ( x , y ) = a0 + a1X + a2Y + a3X2 + a4Y2 + a5XY

2

___),(),(..

sliketockahtivnihreprezentapoyxNyxFfcE

ITERACIJSKI OPTIMIZACIJSKI POSTOPEK določi parametre funkcije F(x,y), tako da bo izpolnjen spodnji pogoj:

Izbira reprezentativnih točk

• sliko razdelimo na kvadratke (npr. 10x10 pixlov)

• v vsakem kvadratku poiščemo ali izračunamo reprezentativno točko, ki je lahko: - lokalni minimum (pixel z najmanjšo svetlostjo) - lokalni maksimum - lokalni median

IZRAČUNAMO ADITIVNO IN MULTIPLIKATIVNOKOMPONENTO MODELA:

CayxFyxaS ),(),(ˆ

CmyxFyxmS ),(),(ˆ

MxNiyxF

MxNyxFyxCa

:1),(

1),(),(

MxNiMxNi

yxF

yxN

MxNyxNMxN

yxF

yxN

yxNyxCm

:1:1

),(

),(1

),(1

1

),(

),(

),(

1),(

POPRAVLJAMO PO SPLOŠNEM MODELU:

Û ( x , y ) = ( N ( x , y ) – SA( x , y ) ) / SM( x , y ) )

FB metoda s prileganjem:

• lahko izberemo dve vrsti reprezentativnih točk , naučimo dve popravljalni funkciji

),((),((

),(),(),(ˆ

yxFyxF

yxFyxFyxmS

DB

DB

),((),((

),()),((),()),((),(ˆ

yxFyxF

yxFyxFyxFyxFyxaS

DB

BDDB

),(

),(),()),((

yxS

yxSyxFyxF

M

ADD

),(

),(),()),((

yxS

yxSyxFyxF

M

ABB

Dve enačbi, dve neznanki,...

FB . . . . . . Optimirana na lokalne mediane

FD . . . . . . Optimirana na lokalne minimume

.

2. Metoda z entropijsko minimizacijo

25

243210),( YaXaXYaYaXaaYXSA

Popravljalni komponenti zapišemo takole:

Model shadinga ostane enak:

Û ( x , y ) = ( N ( x , y ) – SA( x , y ) ) / SM( x , y ) )

25

243210),( YmXmXYmYmXmmYXSM

upoštevajoč robna pogoja: 0),( dxdyyxSyx

A1),(

1 dxdyyxS

WH yx

M

)12

()12

(),(2

25

22

43210

HYa

WXaXYaYaXaaYXSA

)12

()12

(1),(2

25

22

43210

HYm

WXmXYmYmXmmYXSM

dobimo:

Iterativni optimizacijski postopek:

),(

),(),(minarg,, YXS

YXSYXNHma

M

A

ma

Entropija popravljene slike naj bo čim manjša:

HxW

n

npnpYXUH1

))(log(*)()),((

Entropija slike:

S spreminjanjem parametrov komponent SA in SM

sproti popravljamo sliko. )

12()

12(),(

22

5

22

43210

HYa

WXaXYaYaXaaYXSA

)12

()12

(1),(2

25

22

43210

HYm

WXmXYmYmXmmYXSM

• postopek ustavimo, ko nadaljnje iteracije ne zmanjšajo

več entropije slike, ki jo popravljamo • popravljena slika je slika iz tistega koraka, v katerem je

bila entropija le-te najmanjša

UPORABA OBEH METOD NA SLIKAH

SLIKE KOŠARKAŠKIH INROKOMETNIH IGRIŠČ

UMETNO GENERIRANE SLIKE PODOBNIH OBJEKTOV

barvne: 384 x 288

črnobele : 400 x 400

PRESLIKAVA V HSV BARVNI PROSTOR

Za

Blue240o

Red0o

Green120o

Magenta

Cyan

Yellow

H

S

V

White

V=0.0

V=1.0

S=0.0 S=1.0Black

0o-360o

0.0-1.0

0.0-1.0

Grafično lahko HSV model

predstavimo v obliki

šeststranega stožca.

METODA Z ENTROPIJSKO MINIMIZACIJO

RGB.bmp

R BG

MOTENA BARVNA SLIKA

H VS

H

MIN

H

MIN

H

MIN

H

MIN

H

MIN

H

MIN

R' B'G' H' V'S'

RGB'.bmpPOPRAVLJENA BARVNA SLIKA

255x255x255 barv

255 nivojev

Popravljanje slike v HSV prostoru je smiselno:

- rezultati enaki ali boljši kot v RGB

- popravljati je potrebno le V komponento

- problem: pretvorba v HSV in nazaj (časovno potratno,

morebitna izguba informacije pri prelikavi ?)

HSV barvni model je bolj soroden naravi človeškega zaznavanja slike.

Hue - parameter določa barvo spektra. Podajamo ga v stopinjah in lahko zavzame vse vrednosti kotov znotraj barvnega kroga heksagrama med 0o in 360 o. Kot 0 o pomeni rdečo barvo.

Saturation – je mera, ki podaja koncentracijo ali čistost barve. Zavzame lahko vrednosti od 0.0 (sivi nivo) pri V-osi do 1.0. (čista barva). Čisto rdečo barvo lahko tako na primer zapišemo kot H=0,S=1,V=1.

Value – je mera, ki podaja svetlost barve. Zavzame lahko vrednosti med 0.0 (temna) in 1.0. (svetla). Če je S=0, predstavlja V-os paleto sivih nivojev, od črne spodaj do bele na vrhu.

BGBRGR

BRGRH

2

1 5.0cos1

GBječeHH 1

GBječeHH 13600

BGRMax

BGRMinBGRMaxS

,,

,,,,

255

,, BGRMaxV

ENAČBE ZA PRETVORBO RGB > HSV

. . . . komponenta, ki vsebuje shading

3D slika igrišča:

- močna refleksija, svetlostna nehomogenost

Popravljena slika:

- razporeditev svetlosti bolj enakomerna, prihaja do popačenj

- minimizacija entropije zaradi velike širine histograma preveč efektivna

- rešitev : omejiti domeno (področje histograma) na kateri deluje algoritem

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

Histogram originalne slike Histogram popravljene slike

ORIG. EMI RGB 0-255

EMI RGB 30-180 EMI HSV 30-180

ORIGINAL SLIKAHISTOGRAM R

HISTOGRAM G

HISTOGRAM B

RGB POVPREČNI HISTOGRAM

0 50 100 150 200 250

0

500

1000

1500

2000

0 50 100 150 200 250

0

200

400

600

800

1000

1200

1400

1600

1800

0 50 100 150 200 250

0

200

400

600

800

1000

1200

1400

0 50 100 150 200 250

0

200

400

600

800

1000

1200

1400

1600

ORIG. EMI RGB 30-180

EMI HSV 30-170 FB metoda

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

4000

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

4000

4500ORIG. EMI RGB 30-180

EMI HSV 30-170 FB metoda

FB metoda s prileganjem ni dobra za velike objekte- črno ozadje je velik objekt >> izločimo ga:ORIGINAL

FB metoda

EMI RGB shading correction-dodano k

originalni sliki EMI RGB shading correction-odvzeto od originalne slike

EMI HSV shading correction-dodano k

originalni sliki EMI HSV shading correction-odvzeto od originalne slike

Popravljanje sivih (umetnih) slik objektov

• boljši rezultati, ker je zelo malo točk na skrajni levi in skrajni desni strani histograma (ni črnega ozadja in bele refleksije)

• ni potrebno omejiti domene svetlosti, v kateri EMI korekcija deluje(deluje v celotnem območju 0-255)

ORIGINAL EMI RGB

FB EMI HSV

0 50 100 150 200 250

0

0.5

1

1.5

2

2.5x 10

4

0 50 100 150 200 250

0

0.5

1

1.5

2

2.5x 10

4

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

0 50 100 150 200 250

0

0.5

1

1.5

2

2.5x 10

4

ORIGINAL EMI RGB

FB EMI HSV

FB shading correction-dodano k

originalni sliki FB shading correction-odvzeto od originalne slike

OCENA korekcije slike – entropija popravljene slike

(povprečje za 15 testiranih slik)

  ORIGINAL EMI- RGB EMI-HSV FB

ENTROPIJA 0.2655 0.2330 0.2165 0.2369

H[%]- -13% -19% -11%

Ugotovitve in sklepi:

• vse tri metode so se izkazale kot efektivne

• vse tri delujejo zelo dobro na slikah, ki ne vsebujejo preveč komponent skrajnih leg histograma (bela refleksija, črno ozadje)

• FB metoda ni najboljša na slikah, ki vsebujejo velike objekte

• z omejitvijo domene popravljanja (spodnjega in zgornjega praga histograma) se z EMI metodo izognemo popačenjem - posledica: nekoliko manjši efekt popravljanja shadinga

• če je le mogoče, zajamemo sliko brez nepotrebnih elementov(brez črne okolice)

• možne so korenite izboljšave algoritmov za specifične slike

Dodatek 1: neenakomerna osvetlitev keramičnih ploščic

EMI-HSV 0-255

FB EMI-RGB 0-255

ORIGINAL

Dodatek 2: senca na hišiEMI-HSV 80-220

FB EMI-RGB 80-220

ORIGINAL

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

0 50 100 150 200 250

0

2000

4000

6000

8000

10000

12000

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

0 50 100 150 200 250

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

EMI-HSV 80-220 FB

EMI-RGB 80-220ORIGINAL

KONEC