![Page 1: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/1.jpg)
Bruno Bertini
Firenze, 12/10/2012 Relatori: Prof. Alberto Del Bimbo Dott. Roberto Caldelli Dott. Irene Amerini
Studio e sviluppo di una tecnica per l’identificazione blind
di dispositivi di acquisizione di immagini digitali
![Page 2: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/2.jpg)
Digital Forensics → Image Forensics
Metodologia o Estrazione feature o Classificazione Blind → Spectral Clustering
Risultati sperimentali
Conclusioni e sviluppi futuri
Sommario
![Page 3: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/3.jpg)
Il Digital Forensics è la scienza che permette attraverso l'analisi di prove digitali di ricostruire eventi collegati ad azioni illegali.
Prova digitale: Qualsiasi informazione, con valore probatorio, memorizzata in formato digitale.
Image Forensics Tampering detection
Digital Forensics
Source identification
![Page 4: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/4.jpg)
Image source identification Identificazione del dispositivo che ha generato una immagine digitale
![Page 5: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/5.jpg)
1) Estrazione caratteristiche distintive della sorgente: feature
𝒗𝒗𝒗𝒗𝒗𝒗𝒗 𝒇𝒗𝒇𝒗𝒇𝒗𝒗 = [ … ]
2) Classificazione delle immagini
non–Blind
Blind
Metodologia
![Page 6: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/6.jpg)
Test-Set Classificatore Estrazione Feature
Classe 1
Classe 3
Classe 2
Training-Set Estrazione
Feature Addestramento
Algoritmo Blind
Classificazione non-Blind Classificazione Blind
Classe n
![Page 7: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/7.jpg)
Test-Set Estrazione
Feature Algoritmo
Blind
Obiettivo della tesi
![Page 8: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/8.jpg)
Tre tecniche distinte per estrarre feature:
1. Denoising dell’immagine
2. Analisi trasformata Wavelet
3. Predizione lineare
𝑣𝑣𝑣𝑣𝑣𝑣𝑣 𝑓𝑣𝑓𝑣𝑓𝑣𝑣 = [37 𝑣𝑒𝑣𝑒𝑣𝑒𝑣𝑒 ]
X 3 bande
𝒗𝒗𝒗𝒗𝒗𝒗𝒗 𝒇𝒗𝒇𝒗𝒇𝒗𝒗 = [𝟏𝟏𝟏 𝒗𝒆𝒗𝒆𝒗𝒆𝒗𝒆 ]
Estrazione delle feature
![Page 9: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/9.jpg)
D 𝒇𝒗𝒇𝒗𝒇𝒗𝒗 𝟏 → 𝟏𝟏 𝑭𝒆𝒆𝒗𝒗𝒗 𝒅𝒆 𝑴𝒆𝑴𝑴𝒇𝑴
Media Righe
Media Colonne
𝑓𝑣𝑓𝑣𝑓𝑣𝑣 [ 1 → 8 ]
𝒇𝒗𝒇𝒗𝒇𝒗𝒗 𝟏𝟏 → 𝟐𝟐 𝟏 𝒇𝒆𝒆𝒗𝒗𝒆
1. Filtro Mihcak 2. Filtro Media 3x3 3. Filtro Mediana 3x3
4. Filtro Gaussiano 3x3 5. Filtro Wiener 3x3 6. Filtro Wienere 5x5
Media e deviazione standard delle 6 versioni del rumore
4 momenti statistici per Media Col. e Media Rig.
𝑓𝑣𝑓𝑣𝑓𝑣𝑣 [ 9 → 14 ] 3 momenti statistici per Corr. Righe e Corr. Colonne
𝑓 15 = 1 − ∑𝑐𝑣𝑣𝑣𝑐𝑐𝑐∑ 𝑐𝑣𝑣𝑣𝑟𝑐𝑟
∗ 100
Denoising dell’immagine
![Page 10: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/10.jpg)
Deviazione Standard per ciascuna delle 3 sottobande HL, HH e LH
𝒇𝒗𝒇𝒗𝒇𝒗𝒗 [ 𝟑𝟏 → 𝟑𝟑 ] Per ogni sottobanda confronto della
distribuzione gaussiana p(y) con la distribuzione q(y) dei coefficienti della sottobanda stessa.
p(y)
q(y)
𝛿 = � 𝑝 𝑦 − 𝑞(𝑦) 𝑑𝑦
Analisi trasformata Wavelet 𝒇𝒗𝒇𝒗𝒇𝒗𝒗 𝟐𝟐 → 𝟑𝟑
![Page 11: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/11.jpg)
1. Identificazione zone lisce mediante segmentazione con filtro di Prewitt
2. ‘’Zone lisce chiare’’ e ‘’zone lisce scure’’ mediante soglia di intensità luminosa
3. In ciascuna zona predizione pixel bi mediante pixel limitrofi
ai,1 ai,4 ai,6
ai,2 bi ai,7
ai,3 ai,5 ai,8
4. Confronto tra pixel predetti b’ e pixel reali b
∆𝑏 = 𝑏′ − 𝑏
Media e Deviazione Standard di ∆𝑏 per le 2 zone
Predizione lineare
𝒇𝒗𝒇𝒗𝒇𝒗𝒗 𝟑𝟑 → 𝟑𝟐
![Page 12: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/12.jpg)
Algoritmo di Spectral Clustering [Shi et al. 2000]
Tecnica basata su Teoria dei Grafi
Algoritmo Top-Down
Cluster 1
Cluster Iniziale
Cluster 2
Cluster 1.2 Cluster 1.1
Si parte con la totalità delle N immagini Ad ogni iterazione il grafo viene
bipartizionato o meno in base al coefficiente di aggregazione
Condizione di stop: coefficiente di aggregazione supera una soglia TH predefinita
[Shi et al. 2000] - J. Shi and J. Malik, ‘’Normalized cuts and image segmentation’’, Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 22, no. 8, pp. 888-905, aug 2000.
o Nodi = Dati da partizionare o Archi = Matrice di similarità
N immagini
Classificazione Blind
![Page 13: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/13.jpg)
Matrice delle similarità: Correlazione tra i vettori delle feature.
Matrice delle Feature (Nx111)
Matrice delle Similarità (NxN)
Spectral Clustering
Valore soglia TH
Spectral Clustering
Cluster 1
Cluster 2
Cluster k
![Page 14: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/14.jpg)
1. Scelta valore soglia TH
2. Classificazione Spectral Clustering
3. Confronto Spectral Clustering con algoritmo K-means
4. Confronto Spectral Clustering con stato dell’arte
Database 300 immagini: 100 immagini per ciascuna delle 3 sorgenti.
Camera CG Scanner
70 40 100 Dataset 1
40 50 90 Dataset 2
90 60 80 Dataset 3
… … … ...
… … … Dataset 63
Combinate in 63 dataset
Esperimenti:
Risultati sperimentali
![Page 15: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/15.jpg)
Curve ROC: True Positive Rate e False Positive Rate (TPR/FPR) Intervallo valori soglia [0.82 – 0.95] con incremento di 0.01
Risultati 1: scelta valore soglia TH
![Page 16: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/16.jpg)
TH=0.85
Valore Soglia TH
Media distanza Euclidea
0,82 0,9058
0,83 0,903
0,84 0,9139
0,85 0,7779
0,86 0,9918
Risultati 1: scelta valore soglia TH
![Page 17: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/17.jpg)
Camera CG Scanner
Camera 86% 1.9% 12.1%
CG 7.8% 83.8% 8.4%
Scanner 10.6% 17.1% 72.3%
Media su 63 esperimenti
Valore soglia TH = 0.85
Risultati 2: Spectral Clustering
![Page 18: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/18.jpg)
Risultati 3: confronto con K-means
![Page 19: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/19.jpg)
𝐚𝐚𝐚𝐚𝐚𝐚𝑴
𝑺𝒆𝒆.𝑪𝒗𝒗𝒇𝒇.
𝑓𝑖: 𝑐𝑣𝑣𝑐𝑒𝑣𝑒𝑣 𝑏𝑖: 𝑐𝑣𝑝𝑓𝑣𝑓𝑠𝑒𝑣𝑒𝑣
𝑆𝑒𝑒.𝐶𝑣𝑣𝑓𝑓. =𝑏𝑖 − 𝑓𝑖
𝑒𝑓𝑚 𝑓𝑖 , 𝑏𝑖= [−1 , 1]
K-means: algoritmo di clustering
Calcolo coefficiente di silhouette per ogni K = [2 - 30]
E’ imposta la scelta iniziale del numero K di cluster da cercare
Risultati 3: confronto con K-means
![Page 20: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/20.jpg)
Camera CG Scanner
Camera 86% 1.9% 12.1%
CG 7.8% 83.8% 8.4%
Scanner 10,6% 17.1% 72.3%
Camera CG Camera 96.5% 3.5%
CG 4.2% 95.8% Scanner 52.5% 47.5%
Camera CG Scanner
Camera 90.2% 2.6% 7.2%
CG 4.1% 93% 2.9%
Scanner 3.6% 11.6% 84.8%
Camera CG Scanner
Camera 90% 4% 6%
K=2
K=3
K=3
Spectral Clustering
K-means
Singola sorgente (100 camera)
Camera CG Scanner
Camera 60% 19% 21%
Risultati 3: confronto con K-means
![Page 21: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/21.jpg)
[Delp et al. 2008] - N. Khanna, G.-C. Chiu, J. Allebach, and E. Delp, ‘’Forensic techniques for classifying scanner, computer generated and digital camera images’’. in Acoustics, Speech and Signal Processing, 2008. ICASSP 2008. IEEE International Conference on, 31 2008-april 4 2008, pp. 1653-1656.
[McKay et al. 2008] - C. McKay, A. Swaminathan, H. Gou, and M. Wu, ‘’Image acquisition foren- sics: Forensic analysis to identify imaging source’’, in ICASSP'08, 2008, pp.1657-1660.
Confronto con due metodologie non-Blind: [Delp et al. 2008] e [McKay et al. 2008]
Database 300
immagini
240 (80 x sorgente)
60 (20xsorgente)
SVM
Addestramento SVM
Spectral Clustering
Risultati 4: confronto con stato dell’arte
![Page 22: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/22.jpg)
Camera CG Scanner Altro
Camera 83.6% 1.8% 9.4% 5.2%
CG 3.6% 80.1% 8.8% 7.5%
Scanner 13.8% 8.4% 72% 5.8%
Camera CG Scanner
Camera 74.4% 17.8% 7.8%
CG 4.6% 81% 14.4%
Scanner 6% 20% 74%
Camera CG Scanner
Camera 97.1% 2.9% 0%
CG 14.2% 85.4% 4%
Scanner 7% 1% 92%
[Delp et al. 2008]
Spectral Clustering
[McKay et al. 2008]
Risultati 4: confronto con stato dell’arte
![Page 23: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/23.jpg)
o Corretta identificazione della sorgente nel 80% dei casi o Migliore del K-means in ambiente Blind o Risultati paragonabili con lo stato dell’arte (non-Blind)
Vantaggi
Svantaggi o Minor robustezza rispetto al caso non-Blind o Dipendenza dalla numerosità del dataset
Definizione di un nuovo coefficiente di aggregazione
Estrazione feature basate su rumore Scelta Spectral Clustering per classificazione Blind Test Spectral Clustering e confronti con altri algoritmi e metodologie non-Blind
Sviluppi Futuri
Conclusioni
![Page 24: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/24.jpg)
![Page 25: Bruno Bertini - Studio e sviluppo di una tecnica per l’identificazione blind di dispositivi di acquisizione di immagini digitali](https://reader034.vdocuments.pub/reader034/viewer/2022051515/54c8e8454a79595e2f8b4642/html5/thumbnails/25.jpg)