luca del tongo
DESCRIPTION
Luca Del Tongo - Analisi e sviluppo di metodi per l'individuazione di manipolazioni Copy‐Move in applicazioni di Image ForensicsTRANSCRIPT
Relatori CorrelatoriProf. Alberto Del BimboProf. Alessandro Piva
Dr. Irene AmeriniDr. Lamberto BallanDr. Roberto CaldelliDr. Giuseppe Serra
15 Luglio 2011
UNIVERSITA’ DEGLI STUDI DI FIRENZE
CORSO DI LAUREA INGEGNERIA INFORMATICA
Analisi e sviluppo di metodi per l'individuazione di manipolazioni Copy‐Move
in applicazioni di Image Forensics
Luca Del Tongo
Image Forensics
Insieme di tecniche volte ad analizzare la veridicità
di immagini digitali, affinché
il loro contenuto possa essere utilizzato come
prova giuridica all'interno di un'indagine forense.
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:
1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move).
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:
1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move).
=+
Forgery Detection
Le varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:
1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move).
Obiettivo
L’obiettivo del seguente lavoro di tesi consiste nello sviluppo di un metodo in grado di identificare e
localizzare manipolazioni Copy‐Move effettuate su immagini digitali.
Copy‐Move Detection: tecniche letteratura
1.
Immagine in input suddivisa in blocchi sovrapposti.2.
Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.
).3.
Identificazione blocchi duplicati.
Copy‐Move Detection: tecniche letteratura
1.
Immagine in input suddivisa in blocchi sovrapposti.2.
Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.
).3.
Identificazione blocchi duplicati.
f00 f01 f0k
MATRICE DELLE FEATURES
Copy‐Move Detection: tecniche letteratura
1.
Immagine in input suddivisa in blocchi sovrapposti.2.
Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.
).3.
Identificazione blocchi duplicati. MATRICE DELLE FEATURES
fn0 fn1 fnk
. . . . . . . . . . . . .
f00 f01 f0kf10 f11 f1kf20 f21 f2kf30 f31 f3kf40 f41 f4k
. . . . . . . . . . . . .
. . . . . . . . . . . . .
Copy‐Move Detection: tecniche letteratura
1.
Immagine in input suddivisa in blocchi sovrapposti.2.
Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.
).3.
Identificazione blocchi duplicati.
fn0 fn1 fnk
. . . . . . . . . . . . .
MATRICE DELLE FEATURES ORDINATA
f00 f01 f0k
f10 f11 f1k
f20 f21 f2k
f30 f31 f3k
f40 f41 f4k
. . . . . . . . . . . . .
. . . . . . . . . . . . .
Copy‐Move Detection: tecniche letteratura
1.
Immagine in input suddivisa in blocchi sovrapposti.2.
Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.
).3.
Identificazione blocchi duplicati.
LIMITAZIONI
• Elevata
complessità
computazionale.
• Scarsa robustezza rispetto alle tipiche operazioni di manipolazione copy‐move: scala, rotazione, blur etc..
• Elevata presenza di falsi allarmi.
Copy‐Move Detection: Amerini et Al. TIFS 2011
1.
Estrazione SIFT features.2.
Matching descrittori SIFT.
3.
Clustering keypoints duplicati.
Matching Descrittori SIFT
Clustering Keypoints
Copy‐Move Detection: Amerini et Al. TIFS 2011
1.
Estrazione SIFT features.2.
Matching descrittori SIFT.
3.
Clustering keypoints duplicati.
CARATTERISTICHE
• Robusto rispetto alle tipiche operazioni di manipolazione copy‐move: scala, rotazione, etc.
• Il criterio di matching identifica
solamente una singola copia di un oggetto duplicato.
• Problemi di identificazione per regioni duplicate vicine.
Matching Descrittori SIFT
Clustering Keypoints
Copy‐Move Detection: approccio proposto
Supera le principali limitazioni del precedente lavoro di Amerini et al.
introducendo:
•Nuovo criterio di matching descrittori SIFT (g2NN).
•Nuove tecniche di clustering keypoints.
•Localizzazione regioni duplicate.
Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello
stesso descrittore (copy‐move multiplo).
Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello
stesso descrittore (copy‐move multiplo).
Matching g2NN
QUERY 1NN 2NN
distanceratio 1
distanceratio 2
Matching 2NN
• Generalizzazione matching 2NN in grado di identificare molteplici copie dello stesso descrittore (copy‐move multiplo).
1NN
2NN
Matching g2NN
1NN
2NN
3NN
Matching 2NN
• Generalizzazione matching 2NN in grado di identificare molteplici copie dello stesso descrittore (copy‐move multiplo).
QUERY 1NN 2NN
distanceratio 1
distanceratio 2
distanceratio 3
3NN
Matching g2NN
Clustering• DBSCAN
– Metodo basato sulla densità
spaziale dei punti.– Stima automatica dei parametri di clustering.– Clusters non identificati per copie di oggetti vicini.
• DBSCAN Vincolato– Metodo semi‐supervisionato basato sulla densità
spaziale dei punti.
– Stima automatica dei parametri di clustering.– Clusters non correttamente identificati per copie di oggetti vicini.
• J‐Linkage– Metodo operante nello spazio delle trasformazioni affini.– Clusters correttamente identificati per copie di oggetti vicini.
DBSCAN vincolato• Clustering semi‐supervisionato
basato sulla densità
e su di un
insieme di vincoli che guidano il processo di clustering:– Vincoli cannot‐link definiti tra i punti duplicati identificati durante la
fase di matching.
VINCOLO CANNOT‐LINK
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
T1
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
T2
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
Tk
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
2.
Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in
precedenza.
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
2.
Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in
precedenza.
3.
Clustering gerarchico agglomerativo dei matches nel nuovo spazio delle trasformazioni.
J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini:
1.
K
selezioni di 3 matches e calcolo delle relative trasformazioni affini.
2.
Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in
precedenza.
3.
Clustering gerarchico agglomerativo dei matches nel nuovo spazio delle trasformazioni.
• I matches appartenenti allo stesso cluster condividono una trasformazione affine.
Clustering: regioni duplicate vicine
DBSCAN‐VINCOLATO
IMMAGINE INPUT MANIPOLATA
J‐LINKAGE K=120
DBSCAN
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Localizzazione regioni duplicate
Risultati sperimentali: DB‐1982• Dataset composto da 440 immagini originali e 160 immagini
manipolate (copie multiple, copie vicine, copie scalate e ruotate).• Valutazione accuratezza di identificazione: TPR, FPR.• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP),
Pixel Falsi Negativi (FN).
IDENTIFICAZIONE TPR % FPR %
DBSCAN 71,7 5,6
DBSCAN VINCOLATO 88,1 31,3
J‐LINKAGE 82 9,7
Amerini TIFS 2011 69 12,5
LOCALIZZAZIONE FP % FN %
DBSCAN 0,2 12,7
DBSCAN VINCOLATO 0,3 7,9
J‐LINKAGE 0,3 5,5
Risultati sperimentali: SATS‐130• Confronto con le tecniche stato dell’arte.• Dataset composto da 130 immagini manipolate (assenza di
manipolazioni affini).• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP),
Pixel Falsi Negativi (FN).
LOCALIZZAZIONE FP % FN %
LOG‐POLAR 4 96
CIRCLE‐BLOCK 24 66
ZERNIKE 0,4 88
APPROCCIO PROPOSTO 0,8 14
Conclusioni e sviluppi futuri• Sviluppo metodo di copy‐move detection:
– Robusto a manipolazioni geometriche.
– Robusto a copie multiple dello stesso oggetto.
– In grado di localizzare accuratamente le eventuali regioni duplicate.
• Articolo ICME 2011– I. Amerini, L. Ballan, R. Caldelli, A. Del Bimbo, L. Del Tongo, and G. Serra, "An
image forensics tool for copy‐move detection and localization", ICME 2011 Barcelona Spain 11‐15 July 2011.
• Sviluppi futuri:– Integrazione con altre tecniche di image forensics applicate nelle zone
a bassa tessitura.
Relatori CorrelatoriProf. Alberto Del BimboProf. Alessandro Piva
Dr. Irene AmeriniDr. Lamberto BallanDr. Roberto CaldelliDr. Giuseppe Serra
15 Luglio 2011
UNIVERSITA’ DEGLI STUDI DI FIRENZE
CORSO DI LAUREA INGEGNERIA INFORMATICA
Analisi e sviluppo di metodi per l'individuazione di manipolazioni Copy‐Move
in applicazioni di Image Forensics
Luca Del Tongo