restauracija slike

RESTAURACIJA SLIKE

Linearni sistemh(x,y;,)

Nelinearnostsenzora

s(·)

r(·)

a(x,y) b(x,y) v(x,y)

n2(x,y) n1(x,y)

n(x,y)

f(x,y) KvantizerQ(·)

nq(i,j)

f(i,j)

( , ) ( , ; , ) ( , )b x y h x y a d d

)],([),( yxbsyxv

),()],([),(),( 21 yxnyxvryxnyxn

),(),(),( yxnyxvyxf

),()],([),( jinyxfQjif q

( , ) ( , ) ( , )

( , ) ( , )

( , ) ( , )

b x y h x y a x y

h x y a d d

a x y h d d

Prostorno invarijantan optički sistem:

RESTAURACIJA SLIKE

A

B

F FS 2

S 1

O 1

O 2

2

1

impulsni odziv sistema nije prostorno nepromenljiv

efekat defokusiranja

2

22

2

2

1),(

yx

eyxh

model:

parametar σ odgovara stepenu zamrljanosti

RESTAURACIJA SLIKE

modeli šuma

nelinearna zavisnost

1 2( , ) ( , ) [ ( , ) ] ( , )n x y n x y r s b x y n x y

)(r najčešće ima oblik kvadratnog korijena

),(1 yxn

),(2 yxn

- uzajamno neovisni, ne zavise od sadržaja slike

širokopojasni termički šum

modelira zavisnost šuma od sadržaja slike:

- dvodimenzionalni Gausov bijeli šum

2( , ) ( , )s b x y n x y

uprošćenje: ( , ) bb x y

),()]([),(),( 21 yxnsryxnyxn b

dvodimenzionalni Gausov bijeli šum

RESTAURACIJA SLIKE

određivanje parametara degradacije iz slike (a posteriori )

- kada nije poznat mehanizam degradacije - kada su fizičke zakonitosti koje utiču na degradaciju slike suviše složene za formiranje modela

određivanje snage šuma

- u prostornom domenu, iz regiona slike sa uniformnim intenzitetom određivanjem varijanse intenziteta u tom regionu

- u frekvencijskom domenu, iz onih dijelova amplitudskog spektra koji odgovaraju visokim učestanostima

određivanje funkcije prenosa na osnovu njenih nula

- nule funkcije prenosa se javljaju u ampl. spektru degradirane slike - logaritmovanje (negativne vrijednosti logaritma se predstavljaju nulom)- razmak i raspored nula se mogu koristiti za određivanje karakterističnih parametara procesa degradacije

RESTAURACIJA SLIKE

određivanje impulsnog odziva degradacije iz slike

- raspodela intenziteta u okolini tačkastog izvora svjetlosti u degradiranoj slici predstavlja impulsni odziv sistema(primjer u astronomiji)

- korištenje ivica za određivanje impulsnog odziva

idealna vertikalna ivica:

zamrljana slika ivice:

( , ) ( , ) ( , )bi x y h x y i d d

0

0

,( , )

,

k d x xi x y

k x x

RESTAURACIJA SLIKE

određivanje impulsnog odziva degradacije iz slike

iPretpostavimo da je mpulsni odziv optičkog sistema oblika dvodimenzionalne Gausove funkcije (odlika mnogih sistema):

- posmatrana ivica funkcija samo jedne koordinate α

2 2

2 22 2( , ) x y

x y

h x y Ke

2 2

2 2

( ) ( )

2 2( , ) ( , )x y

x y

bi x y Ke i d d

2

2211

2

x

e dx

2 20

2 2

0

( ) ( )

2 2( , ) 2 ( )x x

x xx

b y

x

i x y K k e d k d e d

vrijedi:

RESTAURACIJA SLIKE

određivanje impulsnog odziva degradacije iz slike

2 2 20 0

2 2 2

( ) ( ) ( )

2 2 2( , ) 2 ( )x x x

x x xx x

b yi x y K k e d k d e d e d

-idealna ivica (jedinična odskočna funkcija) je integral impulsne funkcije, te je dobiveni izraz integral impulsnog odziva-impulsni odziv sistema se odredi diferenciranjem:

2 220 00

2 2 2

( ) ( )( )

2 2 21

( , )2 2x x x

x x x xxx

by y

i x yK d e d K de K e

x x

x

K

2

11

2

2

2

)(

2

1)( x

xx

x

exf

xx xxf )(

xxx xfx )()( 2

se određuje korištenjem horizontalne iviceyparametar

RESTAURACIJA SLIKE

određivanje impulsnog odziva degradacije iz slike

optička prenosna funkcija ima oblik propusnika niskih učestanosti:

2)(22

22222

2

2

2

2

1

2

1),(

yyxx

yxyx edxdyeeHyxj

yx

yxyx

U stvarnosti, u degradiranoj slici detalji (visoke frekvencije) nisu uklonjeni, te je mnogo realniji model je dat sa:

2

2222

21),(yyxx

eH yxyx

0 yx 1),( yxHdobro fokusiran sistem:

RESTAURACIJA SLIKE

Inverzni filtar

uprošten model (degradacija bez šuma):

M=N=512, MN=262.144broj simultanih jednačina je: MNxMN=68.719.476.736

RESTAURACIJA SLIKE

Inverzni filtar

uprošten model (degradacija bez šuma):

( , ) ( , ) ( , ) ( , ) ( , ) ( , )f x y b x y h x y a x y h x y a d d

( , ) ( , ) ( , )x y x y x yF H A

( , ) ( , ) ( , )x y I x y x yA H F ),(

1),(

yxyxI H

H

- problem realizacije zbog nula prenosne funkcije

- kako je većina prenosnih funkcija degradacije filtar propusnik niskih frekvencija, inverzni filtar ima velike vrijednosti na visokim frekvencijama, te je slika dobvena inverznim filtrom često neupotrebljiva zbog nedopustivog pojačanja šuma na visokim frekvencijama, iako je degradacija uklonjena

RESTAURACIJA SLIKE

Pseudoinverzni filtar

|),(|,

),(

),(

|),(|,),(

1

),(

yxyx

yx

yxyx

yxPI

HH

H

HH

H

rješava problem realizacije zbog nula prenosne funkcije

RESTAURACIJA SLIKE

9105.2 n

Prvi red: original, zamrljana, rekonstruisanaDrugi red: rekonstrukcija zamrljane kojoj je dodataditivni bijeli šum vrlo male snage, nulte srednje vrijednosti

RESTAURACIJA SLIKEVinerov filtar za otklanjanje šuma

pretpostavka da se poznaju neke statističke karakteristike šuma

uprošten model (bez degradacije, linearan senzor):

( , ) ( , ) ( , ) ( , ) ( , )f x y b x y n x y a x y n x y

slika i šum su stacionarni slučajni 2D signali:- srednje vrijednosti oba signala su nula - slika i šum su međusobno linearno nezavisni

),( yxhW impulsni odziv Vinerovog estimatora se određuje minimizacijom srednje kvadratne greške

ˆ( , ) ( , ) ( , )Wb x y h x y f x y

RESTAURACIJA SLIKEVinerov filtar za otklanjanje šuma

princip ortogonalnosti: ),( yxe ),(* yxf

22 ˆ{ ( , ) } { ( , ) ( , ) }E e x y E b x y b x y

*{ ( , ) ( , )} 0, ( , ) i ( , )E e x y f x y x y x y

* * *ˆ{ ( , ) ( , )} { ( , ) ( , )} {[ ( , ) ( , )] ( , )}WE b x y f x y E b x y f x y E h x y f x y f x y

( , )( , )

( , )bf x y

W x yf x y

PH

P

( , ) ( , ) ( , )bf W fR x y h x y R x y

nekorelisani

prenosna funkcija nekauzalnog Vinerovog filtra

RESTAURACIJA SLIKEVinerov filtar za otklanjanje šuma

niti se može lako proceniti

ako slučajni signali (slika i šum) nisu korelisani

Prenosna funkcija je realna i nenegativna, te utiče samo na amplitudski spektar. Zbog realnosti frekvencijske karaketristike impulsni odziv Vinerovog filtra nije kauzalan.

sa srednjim vrijednostima jednakim nuli

( , )bf x yP

{ ( , ) ( , )} { ( , )} { ( , )}E b x y n x y E b x y E n x y

( , ) ( , )bf bR x y R x y ( , ) ( , ) ( , )f b nR x y R x y R x y

( , )( , )

( , ) ( , )b x y

W x yb x y n x y

PH

P P

( , ) ( , )bf x y b x yP P ( , ) ( , ) ( , )f x y b x y n x yP P P

RESTAURACIJA SLIKEOsobine Vinerovog filtra za otklanjanje šuma

Na niskim frekvencijama je snaga slike mnogo veća od snage šuma:

Na visokim frekvencijama dominira šum:

Vinerov filtar za redukciju šuma je NF filtar

( , ) ( , )b x y n x yP P ( , ) 1W x yH

( , ) ( , )b x y n x yP P ( , ) 0W x yH

RESTAURACIJA SLIKEOsobine Vinerovog filtra za otklanjanje šuma

Problem nenultih srednjih vrednosti signala i šuma: oduzimanje srednjih vrijednosti slike i šuma, filtriranje, dodavanje srednje vrijednosti slike

Uz pretpostavku da je spektar snage šuma konstantan, on se određuje izračunavanjem periodograma u oblasti frekvencijske ravni koja odgovara visokim učestanostima.

Određivanje spektra snage slike:- usrednjavanje spektra snage za više slika- modeliranje autokorelacione funkcije

( , ) ( )b nf x y ' ( , ) ba x y

2 2

( , ) , 0 1x ybR x y

RESTAURACIJA SLIKEOsobine Vinerovog filtra za otklanjanje šuma

slika sa šumom Vinerov filtar median filtar 3x3

RESTAURACIJA SLIKEUklanjanje zamrljanja i šuma Vinerovim filtrom

( , ) ( , ) ( , ) ( , ) ( , ) ( , )f x y b x y n x y h x y a x y n x y

Spektar snage slike (linearni optički sistem): ),(|),(|),( 2yxpyxyxb PHP

2

2

| ( , ) | ( , ) 1( , )

| ( , ) | ( , ) ( , ) ( , )x y a x y

W x yx y a x y n x y x y

H PH

H P P H

kaskadna veza sistema za redukciju šuma i inverznog filtra:

2

*( , ) ( , )( , )

| ( , ) | ( , ) ( , )x y a x y

W x yx y a x y n x y

H PH

H P P

( , ) ( , )a x y n x yP P

),(1),( yxyxW HH Na niskim frekvencijama gdje je snaga šuma zanemariva, amplitudska karakteristika raste:

( , ) ( , )a x y n x yP P

0),( yxWH

Vinerov filtar koji redukuje šum i otklanja zamrljanje je propusnik opsega

Na viskom frekvencijama je šum dominantan:

RESTAURACIJA SLIKEUklanjanje zamrljanja i šuma Vinerovim filtrom

sika sa distorzijom i šumom

Vinerov filtar median filtar 3x3

RESTAURACIJA SLIKE

vrijeme ekspozicije dugo u poređenju sa kretanjem objekata na slici

model kretanja u smjeru x-ose,T- vrijeme ekspozicije , p - pomeraj objekta za vrijeme trajanja ekspozicije :

0 0

1 1 1( , ) ( , ) ( , ) ( , ) 0

pT x

x p

pb x y a x t y dt a x y d a y d x L

T T p p

1, 0 , 0

( , )

0, 0,

x p yph x y

x x p

0

0 0

1( , ) ( , 0) 1 ( , ) ( , ) ( , ) ( , )

p

b x y a x y d d a x y h d d a x y h x yp

1, 0 , 0

( , )

0, inače

x p y qpqh x y

translatorno kretanje u ravni (p i q po x i y):

sin2( , )

2

x

x yx

p

Hp

sin2( , )

2

x y

x yx y

p q

Hp q

Uklanjanje zamrljanja usljed uniformnog kretanja

RESTAURACIJA SLIKEUklanjanje zamrljanja usljed uniformnog kretanja

0

1 1( , ) ( , ) ( , ) ( , ) 0

T x

x p

pf x y b x y a x t y dt a y d x L

T T p

prvi izvod zamrljane slike po promenljivoj x:

L dimenzija slike po x-osi L Kp

, 0, , cijeli dio od x z mp z p m x p

', , 1 ,a z mp y f z mp y a z m p y

( , ) ( , ) ( , ), 0f x y a x y a x p y x L

RESTAURACIJA SLIKEUklanjanje zamrljanja usljed uniformnog kretanja

dio scene koji ulazi u vidno polje kamere tokom ekspozicije:

rekurzivno rješenje:

bilo poznato, slika bi se mogla tačno rekonstruisati

( , ) ( , ), 0x y a x p y x p

kada bi

' ', , , , ,a z y f z y a z p y f z y z y

' ' ', , , , , ,a z p y f z p y a z y f z p y f z y z y

' ' ' '2 , 2 , , 2 , , , ,a z p y f z p y a z p y f z p y f z p y f z y z y

0

( , ) ( , ) ( , )m

k

a z mp y f z kp y z y

0

( , ) ( , ) ( , ), 0 , cijeli dio od , 0,1,..., 1m

k

a x y f x kp y x mp y x L m x p m K

( , )x y

', , 1 ,a z mp y f z mp y a z m p y

0 x mp p

RESTAURACIJA SLIKEUklanjanje zamrljanja usljed uniformnog kretanja

U opisanom iterativnom postupku

smjena:

Za dovoljno veliko K prva suma je srednja vrijednost intenziteta slike,

se ponavlja K puta. ( , )x y

0

ˆ( , ) ( , )m

k

a x y f x kp y

ˆ( , ) ( , ) ( , ), 0 , 0,1,..., 1x mp y a x y a x y x p m K

Računajući za svako i sumirajući za( 1)jp x j p 0,1,..., 1j K 1 1

0 0

1 1ˆ( , ) ( , ) ( , ), 0

K K

j j

x y a x jp y a x jp y x pK K

sra

1

0

1ˆ ˆ( , ) ( , ) ( , )

K

srj

a x y a x y a a x jp yK

1

0 0 0

1( , ) [ , ] [ ( ) , ], 0 , (*)

m K m

srk j k

a x y a f x kp y f x j k p y x y LK

RESTAURACIJA SLIKEUklanjanje zamrljanja usljed uniformnog kretanja

rastauracija slike zamrljane uniformnim kretanjemna osnovu izraza (*) sa prethodnog slajda

RESTAURACIJA SLIKE

S lijeva na desno: -Slika degradirana uniformnim kretanjem pod uglom –45

o, a zatim aditivnim šumom, pri čemu je odnos maksimalne svjetline i amplitudee šuma bio: 1,10,100 (odozgo prema dole).- Restauracija inverznim filtrom.- Restauracija Vinerovim filtrom.

RESTAURACIJA SLIKE

S lijeva na desno: -Slika degradirana uniformnim kretanjem i aditivnim šumom.- Restauracija inverznim filtrom.- Restauracija Vinerovim filtrom.

RESTAURACIJA SLIKEInteraktivna restauracija

- posmatrač nadgleda proces restauracije i podešava raspoložive parametre

- primjer 2D sinusoidalne interferencijske mustre (koherentni šum)

0 0, sinn x y A u x v y 0 0 0 0, , ,2 2 2 2 2

u v u vjAN u v u v u v

, , ,G u v F u v N u v

aditivni šum

- u spektru slike se pojave dva impulsa na koordinatama

- filtriranje filtrom nepropusnikom opsega (“notch filtar”)

0 0 0 0, , ,2 2 2 2

u v u v

RESTAURACIJA SLIKEInteraktivna restauracija

RESTAURACIJA SLIKEKorekcija sjenčenja

yxayxIyxb ill ,,,

uticaj osvjetljenja je multiplikativan kamera unosi pojačanje i offset

nmoffsetnmbnmgainnmc ,,,,

nmoffsetnmanmInmgainnmc ill ,,,,,

A posteriori estimat

- niskopropusno filtriranje ˆ , , , Ka m n c m n LowPass c m n

- homomorfno filtriranje

nmanmInmgainnmc ill ,,,,

nmanmInmgainnmc ill ,ln,,ln,ln

nmanmcHighPass ,ln,ln

nmcHighPassnma ,lnexp,ˆ

A priori estimat

nmoffsetm,n ,BLACK

nmoffsetnmInmgainnm ill ,,,,WHITE

nmnm

nmnmcnma

,BLACK,WHITE

,BLACK,constant,

RESTAURACIJA SLIKEKorekcija sjenčenja

Poređenje različitih algoritama za korekciju sjenčenja (linijski presjek)(a) slika sa neuniformnim osvjetljenjem,(b) korekcija sjenčenja niskopropusnim filtriranjem, (c) korekcija sjenčenja homomorfnim filtriranjem,(d) korekcija sjenčenja test slikama