corso di elaborazione di segnali multimediali elaborazione...
TRANSCRIPT
Corso di Elaborazione di Segnali MultimedialiElaborazione Morfologica delle Immagini
Raffaele Gaetano
3 Giugno 2014
L’analisi di immagini
Tra le discipline informatiche, l’analisi di immagini ha come scopol’estrazione, la caratterizzazione e l’identificazione delle informazionisignificative a partire da immagini digitali.
Spesso, le tecniche di analisi partono da una etichettatura dei pixeldell’immagine, per permettere l’estrazione di informazioni di piu altolivello (forme, oggetti, strutture, ...)
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 2 / 35
La morfologia matematica
La morfologia matematica offre una serie di strumenti di base perl’elaborazione di immagini binarie:
Operatori di manipolazione di forme (denoising, smoothing, etc.)Descrittori di forma (contorni, scheletri, inviluppi convessi, ...)
Alcuni esempi...
Come eliminare rumore o oggetti indesiderati?Come separare componenti sovrapposte?Come riconoscere forme simili?
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 3 / 35
Definizioni preliminari
Il linguaggio della morfologia matematica e quello della teoria degli insiemi.
Per una immagine binaria f , che assume cioe 2 valori possibili (0 e 1), ci siconcentra tipicamente sugli insiemi di pixel di foreground:
Z2 ⊇ A = {w : f (w) = 1} con w = (m, n)
Le classiche espressioni insiemistiche sono allora ben definite:
Appartenenza: w ∈ A, w /∈ AInclusione: A ⊆ BUnione: A ∪ BIntersezione: A ∩ BComplemento: (A)c = {w : w /∈ A}Differenza: A− B = {w : w ∈ A,w /∈ B}...
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 4 / 35
Definizioni preliminari
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 5 / 35
Definizioni preliminari
Due definizioni aggiuntive tipiche della morfologia matematica...
La traslazione: (A)z = {w : w = a + z , for a ∈ A, z = (z1, z2)}La riflessione: B = {w : w = −b, for b ∈ B}
L’origine di un insieme e il punto di coordinate (0,0) (il punto nero in figura).
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 6 / 35
L’elemento strutturante
Tutti gli operatori di morfologia matematica si basano sul confronto localedelle forme e strutture dell’immagine con una forma di riferimento:l’elemento strutturante.
La scelta dell’elemento strutturante (forma e dimensione) dipende dal tipo diinformazione che si vuole mettere in evidenza.
Tipicamente, ma non necessariamente, l’elemento strutturante esimmetrico, connesso e convesso:
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 7 / 35
Operatori morfologici
Gli operatori morfologici di base consistono in una “ispezione” di unaimmagine A guidata dall’elemento strutturante B (tipicamente piu piccolo).
Si stabilisce una regola di confronto locale (ad. es. B ∩ A 6= ∅).Si fa scorrere l’elemento strutturante sull’immagine, sovrapponendo irisultati del confronto.
Analogie con la convoluzione spaziale.
Sono definiti cinque operatori principali: dilatazione, erosione, apertura,chiusura, trasformazione hit-or-miss......di cui due sono elementari (erosione e dilatazione). Operatori piucomplessi sono definiti come combinazione di questi ultimi.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 8 / 35
La dilatazione morfologica
La dilatazione morfologica ha come effetto l’allargamento dei contorni diun oggetto (insieme di pixel) di foreground.
Crescita dell’area dell’oggetto.Riduzione dei “vuoti” dell’oggetto.
La dilatazione di A con l’elemento strutturante B e definita come:
A⊕ B = {z : (B)z ∩ A 6= ∅}
In pratica, l’oggetto risultante conterra tutte le posizioni z in cui ilriflesso di B traslato in z (relativamente alla sua origine) e A sisovrappongono in almeno un punto.
B
A
A⊕ B
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 9 / 35
La dilatazione morfologica
Immagine originaleDilatazione con
disco di raggio 1Dilatazione con
disco di raggio 2Dilatazione con
disco di raggio 4
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 10 / 35
L’erosione morfologica
L’erosione morfologica ha come effetto la contrazione dei contorni di unoggetto (insieme di pixel) di foreground.
Riduzione dell’area dell’oggetto.Allargamento dei buchi dell’oggetto.
L’erosione di A con l’elemento strutturante B e definita come:
A B = {z : (B)z ⊆ A}
In pratica, l’oggetto risultante conterra tutte le posizioni z in cui latraslazione di B (relativamente alla sua origine) e interamentecontenuta in A.
B
A B
A
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 11 / 35
L’erosione morfologica
Immagine originaleErosione con
disco di raggio 1Erosione con
disco di raggio 2Erosione con
disco di raggio 4
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 12 / 35
Dilatazione e erosione: proprieta
Dilatazione ed erosione hanno una proprieta notevole:
A B ⊆ A ⊆ A⊕ B, ∀B
Dilatazione →gap bridging
Riempie i buchi di dimensione piupiccola dell’elemento strutturanteAllarga le estremita delle formeRiempie i passaggi strettiSalda oggetti a distanza inferiore allataglia dell’e.s.
Erosione →elimina dettagli irrilevanti
Elimina le componenti connesse didimensione piu piccola dell’elementostrutturanteCancella le estremita sottiliAllarga buchi e passaggiSepara oggetti connessi da un ponte“stretto”
Altre proprieta:Dualita: (A B)c = (A)c ⊕ B
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 13 / 35
Filtraggio morfologico: apertura e chiusura
Gli operatori elementari hanno proprieta interessanti, ma modificanosignificativamente l’informazione rilevante.
La dilatazione ricostruisce gli oggetti disconnessi ma ne compromette laforma esterna.L’erosione rimuove efficacemente rumore e dettagli ma rischia discomporre gli oggetti.
La combinazione di questi due operatori da’ luogo a operatori complessidalle proprieta ancora piu interessanti.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 14 / 35
L’apertura morfologica (Morphological Opening)
L’apertura morfologica e costituita da un’erosione seguita da unadilatazione effettuata mediante lo stesso elemento strutturante.
A ◦ B = (A B)⊕ B
L’effetto dell’apertura e di preservare il piu possibile le regioni di formasimile all’elemento strutturante, eliminando quelle differenti.
Si tratta di un filtro di smoothing morfologico, il cui effetto e determinatoda forma e dimensioni dell’elemento strutturante.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 15 / 35
L’apertura morfologica
Immagine originaleApertura cone.s. circolare
Apertura cone.s. romboidale
Apertura cone.s. a stella
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 16 / 35
Filtraggio morfologico: l’apertura
L’apertura morfologica “seleziona” le forme d’interesse:
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 17 / 35
La chiusura morfologica (Morphological Closing)
La chiusura morfologica e costituita da una dilatazione seguita daun’erosione effettuata mediante lo stesso elemento strutturante.
A • B = (A⊕ B) B
L’effetto della chiusura e speculare a quello dell’apertura: le cavitadell’immagine sono riempite in accordo all’elemento strutturante scelto.
Si tratta ancora di un filtro di smoothing morfologico.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 18 / 35
La chiusura morfologica
Immagine originaleChiusura cone.s. circolare
Chiusura cone.s. romboidale
Chiusura cone.s. a stella
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 19 / 35
Filtraggio morfologico: la chiusura
Comportamento duale rispetto all’apertura:
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 20 / 35
Apertura e chiusura: proprieta
Apertura e chiusura hanno due proprieta notevoli:
Ordine: A ◦ B ⊆ A ⊆ A • B, ∀BIdempotenza: (A ◦ B) ◦ B = A ◦ B, (A • B) • B = (A • B)
Apertura →smoothing interno
Regolarizza le formeElimina le componenti connesse didimensioni inferiori all’e.s.Conserva spesso la taglia e la formaPuo alterare la topologia
Chiusura →smoothing esterno
Salda le forme vicineRiempie i “buchi” di dimensioniinferiori all’e.s.Conserva spesso la taglia e la formaPuo alterare la topologia
Altre proprieta:Dualita: (A • B)c = (A)c ◦ B
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 21 / 35
Filtraggio morfologico: combinazione di operatori
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 22 / 35
Trasformazione Hit-or-Miss
La trasformazione Hit-or-Miss e una operazione generale della morfologiabinaria, usata per cercare pattern di pixel del foreground e del background.
E uno strumento di base per il riconoscimento di forme complesse.
Basato sulla costruzione di una o piu maschere (analoghe agli elementistrutturanti) a 3 valori: foreground (1), background (-1) e don’t care (0).
La maschera scorre l’immagine, e se intercetta un pattern corrispondente, laposizione corrispondente alla sua origine e marcata come hit (1),altrimenti come miss (0).
Implementazione efficiente tramite doppia erosione...
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 23 / 35
Trasformazione Hit-or-Miss
Per ogni maschera B, si costruisce un pattern di foreground B1 e unpattern di background B2 (elementi strutturanti)
B =-1 1 -11 1 1-1 1 0
⇒ B1 =0 1 01 1 10 1 0
e B2 =1 0 10 0 01 0 0
Si erode l’immagine A tramite e.s. B1 e il suo complemento Ac tramite B2.
Il risultato finale della hit-or-miss e dunque:
A ~ B = (A B1) ∩ (Ac B2)
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 24 / 35
Trasformazione Hit-or-Miss: esempi
Estrazione di angoli (corners) con 4 maschere:
0 1 0-1 1 1-1 -1 0
0 1 01 1 -10 -1 -1
0 -1 -11 1 -10 1 0
-1 -1 0-1 1 10 1 0
Estrazione di punti isolati, endpoints di linee, giunzioni, ...
-1 -1 -1-1 1 -1-1 -1 -1
0 0 0-1 1 -1-1 -1 -1
0 1 00 1 01 0 1
1 0 00 1 01 0 1
Molto utile per l’analisi dei contorni e gli scheletri di forme.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 25 / 35
Algoritmi di elaborazione morfologica
La combinazione degli operatori visti finora consente di eseguire numeroseoperazioni complesse:
Estrazione dei contorni delle formeRiempimento delle regioniEtichettatura delle componenti connesseInviluppo convessoAssottigliamento (thinning) e skeletonizationInspessimento (thickening)Pruning...
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 26 / 35
Estrazione dei contorni
Il contorno di una forma binaria A, indicato con β(A), si puo otteneremolto semplicemente tramite:
l’erosione di A attraverso un elemento strutturante B: A B,l’insieme differenza tra A e A B: β(A) = A− (A B)
Lo spessore del contorno dipendera dalla dimensione dell’elementostrutturante.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 27 / 35
Riempimento di regioni
E un primo esempio di applicazione iterativa di operatori morfologici:
Si parte da una immagine dei contorni A e si seleziona un punto interno p.Iterativamente, si dilata la parte interna con un elemento strutturanteappropriato, sopprimendo ad ogni passo i punti che toccano il contorno A:
X k = (X k−1 ⊕ B) ∩ Ac .
L’algoritmo si interrompe quando X k = X k−1.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 28 / 35
Assottigliamento di forme (thinning)
Altra procedura iterativa, basata sulla trasformazione hit-or-miss,finalizzata a ottenere un descrittore “sottile” di forma.
Basato sulla ricerca e l’eliminazione iterativa di configurazioni elementarispesse. Si usa un appropriato set di maschere ruotate:
Formalmente:
Operazione base A⊗ B = A− (A ~ B)
Thinning 1-pass A⊗ {B} = ((. . . ((A⊗ B1)⊗ B2) . . .)⊗ B8)
Thinning completo X k = X k−1 ⊗ {B}, fino a convergenza
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 29 / 35
Assottigliamento di forme (thinning)
Thinning, passo 1 Thinning, passo 10
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 30 / 35
Assottigliamento di forme (thinning)
Thinning, passo 50 Thinning, passo ∞
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 31 / 35
Nota sulla skeletonization
Si tratta di un’operazione analoga al thinning, ma meglio definita dalpunto di vista geometrico (anche se esistono piu definizioni).
E finalizzata all’estrazione di descrittori di forma particolarmente precisi.
Una possibile definizione: luogo geometrico dei centri dei cerchibi-tangenti inscritti nella regione di foreground.
In pratica, la skeletonization e spesso approssimata tramite thinning.
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 32 / 35
Estensione alle immagini in scala di grigi
Gli operatori inizialmente definiti su immagini binarie possono esserefacilmente estesi per operare su immagini a scala di grigi.
In principio, dal confronto logico del caso binario si passa a un confrontonumerico sulla scala di valori “catturati” dall’elemento strutturante.
Operatori elementari (x immagine, b elemento strutturante):
Dilatazione [x ⊕ b](m, n) = max(s,t)∈b{x(m − s, n − t)}(allarga i dettagli chiari e sopprime quelli scuri di dimensione ridotta)
Erosione [x b](m, n) = min(s,t)∈b{x(m + s, n + t)}(comportamento duale rispetto alla dilatazione)
Apertura [x ◦ b] = [x b]⊕ b(sopprime i dettagli piu brillanti)
Chiusura [x • b] = [x ⊕ b] b(comportamento duale rispetto all’apertura)
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 33 / 35
Estensione alle immagini in scala di grigi
Immagine sorgente
Dilatazione Erosione
Apertura Chiusura
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 34 / 35
Altre applicazioni alle immagini in scala di grigi
Lo smoothing morfologico e ottenuto dalla sequenza di apertura echiusura con lo stesso elemento strutturante.
Il gradiente morfologico si ottiene analogamente all’estrazione dei contorniper il caso binario, cioe come differenza tra una versione dilatata e unaerosa dell’immagine (stesso elemento strutturante):
Raffaele Gaetano Morfologia Matematica 3 Giugno 2014 35 / 35