Prof. Dr. Anderson [email protected]
http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp
Av. Albert Einstein, 1251 - Cidade UniversitáriaCEP 13083-970 • Campinas/SP - Brasil
Análise Forense deDocumentos Digitais
Organização
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Avisos
‣ Aulas
• 23/09 – Fast-Forward dos Trabalhos
• Seminário 28/09 – Técnicas para Atribuição do Dispositivo de Captura Específico (Câmeras)
• Seminário 30/09 – Técnicas para Atribuição de Dispositivos de Captura Específico (Scanners e Impressoras)
3
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Organização
‣ Recap.
‣ Autenticação de Imagens
‣ Thumbnails
4
‣ Como estimar um Thumbnail?
‣ Experimentos & Validação
‣ Considerações Finais
Recap.!
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Recap.!
‣ O que é Computação Forense Digital?
6
É o conjunto de técnicas científicas para a preservação, coleção, validação, identificação, análise, interpretação, documentação e apresentação de evidências derivadas de meios digitais com a finalidade de facilitar e/ou permitir a reconstrução de eventos, usualmente de natureza criminal
Edward Delp – Purdue University
“
”
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Recap.!
‣ O que é Análise Forense Digital?
• Campo de Pesquisas dentro da Computação Forense
• Objetivos
‣ Atribuição de origem
‣ Verificação de autenticidade
‣ Reconstrução de eventos de manipulação
7
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Recap.!
‣ Com relação à Análise Forense de Documentos (AFD), já vimos (top-down)
• Métodos para atribuição (Modelo e Específico)
• Identificação de Criações Sintéticas
‣ Algumas abordagens para identificação de adulterações em documentos
8
Autenticação de Imagens
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ O que é autenticação?
‣ Podemos fazê-lo via Watermarks?
‣ Quais as implicações (pros/cons)?
10
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ Imagens digitais, vídeos e gravações de audio estão cada vez mais presentes como evidências em uma corte de justiça
‣ Nestes casos, a integridade das evidências é crucial
11
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ Diversas abordagens tem sido propostas na literatura para AFD
• Detecção de Cópia/Colagem
• Inconsistências de Aquisição, Iluminação, de Estrutura etc.
‣ Métodos voltados à detecção de manipulações, atribuição de fonte e identificação de criações sintéticas
12
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ Agora estamos interessados em um outro problema
• Queremos apontar se uma dada imagem é ou não autêntica
• Nesse cenário, a presença de qualquer modificação na imagem a leva à perda de sua autenticidade
13
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ [Avcibas et al. 2006] apresentam uma técnica baseada em Aprendizado de Máquina e combinação de diversos descritores
• Métricas de Qualidade de Imagem (IQM)
• Métricas de Similaridade entre Planos de Bits (BSMs)
• Descritores Wavelet de Alta Ordem (HOWS)
14
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ [Kee & Farid 2010] apresentam uma técnica baseada em propriedades relacionadas ao processo de formação e armazenamento de thumbnails de imagens JPEG
15
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ O que é um thumbnail?
• Representação pictórica de uma imagem de maior resolução
• Tipicamente de 160x120 pixels
• Armazenado junto com a imagem
16
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ [Kee & Farid 2010] modelam a criação de um thumbnail com uma série de operações de filtragem, ajuste de contraste e compressão
‣ Os autores apresentam uma abordagem para estimar os parâmetros de geração dos thumbnails de forma automática
17
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Autenticação de Imagens
‣ Qual o interesse nisso?
• Tais parâmetros, embora não únicos, são diferentes entre modelos diferentes de câmeras e pacotes de software de edição
• Desse forma, podem ser usados como uma assinatura para autenticação de imagens
18
Thumbnails
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Dada uma imagem podemos criar um thumbnail desta em seis passos
1. Recorte
2. Pré-Filtragem
3. Reamostragem (Down-Sampling)
4. Pós-Filtragem
5. Ajuste de Brilho/Contraste
6. Compressão JPEG
20
f(x, y)
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Se a resolução da imagem original tem uma razão de aspecto diferente, fazemos recorte ou preenchimento com zeros (padding) de acordo
‣ A quantidade de recorte/padding à esq, dir, acima e abaixo é dada por quatro parâmetros
‣
‣ Valor + (padding), Valor – (recorte)
21
cl, cr, ct, cb
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Denotando por a imagem original recortada, os próximos quatro passos de processamento são dados por:
22
f̂(x, y)
t(x, y) = α�D{f̂(x, y) � h1(x, y)} � h2(x, y)
�+ β
Thumbnail
Contraste
Downsampling
ImagemRecortada
Convolução
Pré-Filtro
Pós-Filtro
Brilho
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Normalmente,
• Pré-Filtro é um filtro de passa-baixas para evitar efeitos de aliasing antes da compressão (e.g., distorções, padrão de Moiré etc.)
• Pós-Filtro é um filtro de realce (Sharpening)
23
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
24
Reamostragem comArtefato de Moiré
© W
ikim
edia
Com
mon
s
© W
ikim
edia
Com
mon
s
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
25
Filtro de Realce (Sharpening)
© A
. Roc
ha
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ No último passo, fazemos a compressão JPEG do thumbnail gerado
‣ Na prática, fazemos algumas suposições para simplificar o modelo
26
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Assumimos que:
• O pré-filtro Gaussiano circular simétrico
• Pré-filtro é unitário com soma 1
• O pós-filtro tem tamanho 3x3
27
exp(−(x2 + y2)/σ2)
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Assumimos que:
• Pós-Filtro é simétrico
o que resulta no filtro (aba; bcb; aba)
• Pós-Filtro é unitário com soma 1 restrito a
28
h2(x, y) = h2(−x, y) e h2(x, y) = h2(x,−y)
c = 1− (4a+ 4b)
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Com estas restrições, um thumbnail é especificado por 11 parâmetros de processamento
• 2 para o tamanho do thumbnail
• 4 para recorte/padding
• 1 para pré-filtro
• 2 para pós-filtro
• 2 para brilho/contraste
29
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Thumbnails
‣ Adicionalmente, usamos 128 parâmetros para a compressão JPEG
• 64 (8x8) luminância
• 64 (8x8) crominância – os autores assumem que os dois canais de crominância têm a mesma tabela de quantização JPEG
30
Como estimar um Thumbnail?
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ O primeiro passo na construção de um thumbnail, consiste em gerar um retângulo delimitador relativo à imagem em alta resolução
‣ Isso é feito a partir de operações de translação e escala anisotrópicas sobre o retângulo delimitador tal que a imagem recortada e reamostrada seja compatível com o thumbnail extraído da imagem de alta resolução
32
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Para os parâmetros de recorte, primeiro geramos um retângulo delimitador com a mesma razão de aspecto do thumbnail extraído
‣ Redimensionamos tal retângulo de modo que este englobe a imagem em sua maior dimensão
33
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ A imagem de alta resolução é então cortada de acordo com este retângulo delimitador, padded e downsampled para gerar o thumbnail inicial
‣ A razão de reamostragem (D) é:
‣ N e n referem-se às dimensões da imagem e do thumbnail respectivamente
34
t̂0(x, y) = D{f̂0(x, y)}
max
�Nx
nx,Ny
ny
�
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ O thumbnail inicial sofre escala e translação anisotrópicas para fazer o match com o thumbnail real extraído da imagem de alta resolução
‣ Para o match, usamos registro de imagens
35
t(x, y) = t̂0(sxx+∆x, syy +∆y)
Escala Translação
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Após o registro, descobrimos os parâmetros de escala e translação a serem aplicados à imagem de alta resolução
36
© K
ee &
Far
id
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Após a estimativa dos parâmetros de recorte e redimensionamento, precisamos estimar os parâmetros dos filtros (pré e pós) e os ajustes de brilho e contraste
‣ Função definida em termos dos filtros e não do brilho e contraste
37
E1(h1, h2) =�
x,y
�t(x, y)− α
�D{f̂(x, y) � h1(x, y)} � h2(x, y)
�− β
�2
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Dado um par de filtros, estimamos o brilho e contraste minimizando a seguinte função
onde
38
E2(α,β) =�
x,y
�t(x, y)− (αt̂h(x, y) + β)
�2
t̂h(x, y) = D{f̂(x, y) � h1(x, y)} � h2(x, y)
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Para minimizar E1, usamos força bruta no espaço de parâmetros
‣ Em cada passo de E1, minimizamos E2 analiticamente
39
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Finalmente, as dimensões do thumbnail real e os 128 parâmetros de compressão são extraídos do cabeçalho JPEG diretamente
‣ Dado que o thumbnail original t foi comprimido com esses parâmetros, precisamos, também, comprimir nossas estimativas
40
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
‣ Especificamente,
• é comprimido antes de fazermos a estimativa dos parâmetros de escala e translação
• é comprimido antes de fazermos a estimativa de brilho e contraste
41
t̂0(·)
t̂h(·)
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Como estimar um Thumbnail?
42
© K
ee &
Far
id
Experimentos& Validação
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ 1.514 imagens não modificadas do Flickr
‣ Não modificada significa
• Classificadas como originais pelo Flickr
• Datas de criação/modificação consistentes
• Metadados não modificados/removidos
• Metadado “software” vazio
44
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ 1.514 imagens compreendem 142 câmeras (marcas e modelos diferentes)
‣ Câmeras do mesmo modelo e fabricante, às vezes, variam o tamanho dos thumbnails bem como suas tabelas de quantização (e.g., versões diferentes de firmware)
45
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ Essas variações afetam o cálculo dos parâmetros
‣ Dessa forma, as 1514 imagens são particionadas em 245 classes de câmeras (classes de equivalência)
• Mesmo fabricante/modelo
• Mesmas características para tabela de quantização e tamanho dos thumbnails
46
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ Primeiro calculam-se os parâmetros para uma imagem representativa de cada classe
‣ Pré- e Pós-filtro bem como Brilho e Contraste são calculados for força-bruta
‣ Pré-filtro: [0.005, 1], 20 passos iguais
‣ Pós-filtro: [-0,5, 0,5], 11 passos iguais
‣ Brilho e contraste calculados analiticamente
47
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ Em seguida, avalia-se o quanto esses parâmetros são consistentes para identificar/diferenciar imagens dentro de uma mesma classe e entre classes
‣ Os parâmetros de thumbnail para uma classe de câmera são dados pela média dos limites de recorte, pré- e pós-filtros e pela média dos valores de brilho/contraste de todas as imagens em uma classe
48
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ O tamanho do thumbnail e a tabela de quantização são os mesmos para todas as imagens em uma classe (por construção)
‣ Dois modelos de thumbnail são considerados equivalentes se seus parâmetros são iguais a menos um pequeno limiar de diferença
49
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
50
Esquerda: Probabilidade de uma câmera estar em uma classe de equivalência de um determinado tamanho.
Direita: número de classes de equivalência de um determinado tamanho.
Linha #1: distribuições considerando todos os parâmetros do thumbnail (40.8% das câmeras tem parâmetros únicos, ou seja, tem classe de equivalência de #1)
Linha #2: distribuições considerando apenas o tamanho do thumbnail e a tabela de quantização (23.7% das câmeras tem parâmetros únicos).
© Kee & Farid
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
51
Esquerda: Probabilidade de uma câmera estar em uma classe de equivalência de um determinado tamanho.
Direita: CDF
Linha #1: distribuições considerando todos os parâmetros do thumbnail mais a resolução da imagem (72.2% das câmeras tem parâmetros únicos, ou seja, tem classe de equivalência de #1)
Linha #2: distribuições considerando apenas o tamanho da imagem e a tabela de quantização (40.4% das câmeras tem parâmetros únicos).
© Kee & Farid
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ Para testar ainda mais a abordagem, os autores analisam também os thumbnails gerados pelo Adobe Photoshop CS3
‣ Algumas imagens são salvas com 13 parâmetros diferentes de compressão
‣ Os parâmetros são estimados e comparados às 245 classes que equivalência
52
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Experimentos & Validação
‣ Nenhum dos parâmetros dos thumbnails gerados no Photoshop são compartilhados por quaisquer das 245 classes
‣ O mesmo ocorre para as tabelas de quantização da imagem e do thumbnail
‣ Assinatura bastante discriminativa
53
ConsideraçõesFinais
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Considerações Finais
‣ Parâmetros relativos aos thumbnails podem ser efetivamente usados para autenticação de imagens
‣ Melhores resultados são obtidos quando combinados aos parâmetros de compressão e de tamanho da imagem original
55
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Considerações Finais
‣ A efetividade da abordagem depende
• da uma boa geração da biblioteca de thumbnails e parâmetros de imagens
• grande coleção de imagens
‣ Autores estão trabalhando em um conjunto de 1.2M imagens originais
56
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Considerações Finais
‣ Alguém se interessa em implementar essa abordagem para o trabalho prático?
‣ Potencial de publicação é alto
57
Referências
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Referências
1. [Avcibas et al. 2006] Avcibas, I., Bayram, Sankur, B., S., Memon, N., (2006). Image manipulation detection. In Journal of Electronic Imaging (JEI), 15(4):1–17.
2. [Kee & Farid 2010] Kee, E., Farid, H., (2010). Digital Image Authentication from Thumbnails. In SPIE Symposium on Electronic Imaging (SEI), pp. 1–10, San Jose, USA.
59
PróximosCapítulos
A. Rocha, 2010 – Análise Forense de Documentos Digitais
Próximos Capítulos
‣ Temas para os seminários
• Abordagens selecionadas nas aulas
• Tópicos complementares à disciplina
61
Obrigado!