Aula 05 Analise Forense Documentos

Prof. Dr. Anderson Rochaanderson.rocha@ic.unicamp.br

http://www.ic.unicamp.br/~rocha

Reasoning for Complex Data (RECOD) Lab.Institute of Computing, Unicamp

Av. Albert Einstein, 1251 - Cidade UniversitáriaCEP 13083-970 • Campinas/SP - Brasil

Análise Forense deDocumentos Digitais

Organização

A. Rocha, 2011 – Análise Forense de Documentos Digitais

Organização

‣ Identificação de Adulterações

• Cópia-Colagem

• Variações e Inconsistências em Descritores

• Inconsistências (Aquisição, Iluminação, Estruturais)

‣ Desafios em AFD

‣ Algumas conclusões

‣ Cenas dos Próximos Capítulos

Recap.!

‣ O que é Computação Forense Digital?

É o conjunto de técnicas científicas para a preservação, coleção, validação, identificação, análise, interpretação, documentação e apresentação de evidências derivadas de meios digitais com a finalidade de facilitar e/ou permitir a reconstrução de eventos, usualmente de natureza criminal

Edward Delp – Purdue University

Recap.!

‣ O que é Análise Forense Digital?

• Campo de Pesquisas dentro da Computação Forense

• Objetivos

‣ Atribuição de origem

‣ Verificação de autenticidade

‣ Reconstrução de eventos de manipulação

Recap.!

‣ Com relação à Análise Forense de Documentos (AFD), já vimos (top-down)

• Métodos para atribuição (Modelo e Específico)

• Identificação de Criações Sintéticas

‣ Vamos ver agora algumas abordagens para identificação de adulterações em documentos

Identificação de Adulteracões

Identificação de Adulterações

‣ Maior objetivo da análise forense de documentos consiste na identificação de adulterações em documentos digitais

‣ Manipulações típicas

• Aumento, redução, rotação

• Compensação de cor, brilho, contraste

• Supressão e modificação de detalhes etc.

Estado da Arte

‣ Abordagens propostas na literatura ainda são incipientes

‣ Maior parte dos trabalhos publicada a partir de 2004

‣ Poucos grupos estabelecidos no mundo

‣ Diversos problemas ainda a serem abordados

Estado da Arte

‣ Podemos agrupar as principais abordagens nas seguintes categorias não exclusivas

1. Técnicas para detecção de clonagem (cópia-colagem)

2. Técnicas que analisam variações em descritores de características

3. Técnicas que analisam inconsistências em descritores de características

Estado da Arte

‣ De forma geral, podemos agrupar as principais abordagens em

4. Técnicas que analisam inconsistências relativas ao processo de aquisição

5. Técnicas que analisam inconsistências de iluminação

6. Técnicas que analisam inconsistências de compressão

Detecção deClonagem

Detecção de Clonagem

‣ Uma das técnicas de adulteração mais simples

‣ Também conhecida como cópia-colagem

‣ Presente em operações mais sofisticadas tais como

• Retoque e conciliação

• Content Aware Fill

‣ Objetivo clonagem: fazer um objeto desaparecer de uma cena utilizando propriedades da própria cena

‣ Abordagens para detecção baseado em busca exaustiva

• Problemas?

‣ Abordagens baseadas em análise por blocos[Fridrich et al. 2003] e [Popescu & Farid 2004a]

‣ Ideia central

• Dividir a imagem em blocos

• Sumarizar cada bloco de acordo com uma transformação

‣ Ideia central (cont.)

• Ordenar lexicograficamente

• Localizar candidatos próximo segundo um limiar

A. Rocha, 2011 – Análise Forense de Documentos Digitais 18

Clonagem Análise por Blocos

�1,1 �1,2 . . . �1,k

�2,1 �2,2 . . . �2,k...

......

...�n,1 �n,2 . . . �n,k

ação

�01,1 �0

1,2 . . . �01,k

�02,1 �0

2,2 . . . �02,k

......

�0n,1 �0

n,2 . . . �0n,k

Ordenação lexicográfica

�01,1 �0

1,2 . . . �01,k

�02,1 �0

2,2 . . . �02,k

......

�0n,1 �0

n,2 . . . �0n,k

Detecção de duplicações

. A. S

‣ A sumarização é importante?

‣ Por que não utilizar uma região diretamente?

‣ Sumarização

• PCA

• Transformação DCT

‣ Como estender para vídeo?

‣ Câmeras estacionárias vs. não estacionárias

‣ Abordagem

• Análise quadro a quadro

• Transformação de Fourier dos quadros

• Normalized Cross-Power Spectrum

• Análise de picos

Variações deDescritores

Variações em Descritores

‣ Análise de descritores de imagens e vídeos sensíveis ao processo de adulteração

‣ Objetivo: detectar composições

‣ Hipótese

• Possibilidade de mensurar a variação dos descritores no cenário de adulterações

Estado da Arte

‣ Abordagens baseadas em análise de métricas de qualidade de imagens (IQMs)[Avcibas et al. 2004]

‣ Análise de estatísticas de alta ordem utilizando bicoerência[Ng & Chang 2004]

Estado da Arte

‣ Análise de estatísticas de alta ordem utilizando decomposição wavelet (HOWS)[Lyu & Farid 2005]

‣ Métricas binárias de similaridade (BSM)[Bayram et al. 2005a]

Estado da Arte

‣ Modelos combinados IQMs, BSMs e HOWS[Bayram et al. 2006]

‣ Análise de estatísticas de momento de Markov[Shi et al. 2007]

Estatísticas de Markov

Diferenças em diversas direçõeshorizontal, vertical, diagonal principal e secundária

‣ Abordagem muito “ad-hoc”?

‣ Abordagem efetiva para transições bruscas (abordagens de composição mais simples)

‣ Bons resultados no data set no Columbia Splicing data set

‣ Experimentações precisam ser feitas no cenário de modificações mais sofisticadas

Inconsistênciasem Descritores

Inconsistências em Descritores

‣ Análise de inconsistências em descritores de características ao invés de variações

‣ Inconsistências podem ser

• desvios abruptos de um ponto a outro

• presença de similaridades inesperadas

Estado da Arte

‣ Trabalhos relevantes tem considerado artefatos devido à reamostragem[Popescu 2004]

‣ Artefatos de compressão[He et al. 2004]

Artefatos de Reamostragem

‣ No momento da criação de uma imagem composta, frequentemente, é necessário fazer uma reamostragem em uma nova grade (lattice)

‣ Para isso, utiliza-se abordagens de interpolação

‣ A reamostragem contem correlações específicas que, quando detectadas, podem revelar indícios de adulteração

‣ Para um melhor entendimento, considere um sinal 1D, x[t] com m amostras

‣ O número de amostras em x[t] pode ser aumentado ou diminuído por um fator de p/q para n amostras em três passos

‣ Passo 1: Up-sample – criação de um novo sinalxu[t] com pm amostras, onde xu[pt] = x[t], t = 1, 2, ..., m e xu[t] = 0, caso contrário

‣ Passo 2: Interpolação – convolução de xu[t] com um filtro de passa-baixas xi[t] = xu[t] ★ h[t]

‣ Passo 3: Down-sample – criar um novo sinal xd[t] com n amostras, onde xd[t] = xi[qt], t = 1,2, ..., n

‣ O filtro de passa-baixas h[t] define a forma da interpolação

‣ Diferentes tipos de interpolação são conseguidos com diferentes filtros

Reamostragem por um fator de p/q = 4/3(a) Sinal original; (b) Up-sampled; (c) Interpolação; (d) Sinal final

‣ Dado um sinal interpolado por uma quantia conhecida e o algoritmo de interpolação, é possível encontrar as amostras periódicas

‣ Na prática, as amostras não são conhecidas nem a forma específica de correlação

‣ [Popescu 2004] propõem uma abordagem para descrever a forma destas correlações

‣ A forma das correlações pode ser determinada achando-se o tamanho da vizinhança em que ocorre a combinação dos pixels

‣ Além de , é necessário achar o conjunto de coeficientes representando os parâmetros das combinações

�~�

‣ [Popescu 2004] aplicam uma abordagem de maximização da esperança (EM) para, simultaneamente, achar

• o conjunto de amostras correlacionadas com seus vizinhos

• e a forma específica de tais combinações

‣ Os autores assumem dois modelos M1 e M2

‣ M1 corresponde ao modelo em que as amostras si são correlacionadas com seus pixels vizinhos

‣ M2 corresponde ao modelo em que as amostras não são correlacionadas com seus pixels vizinhos (dist. uniforme)

‣ Nesse sentido, o algoritmo EM calcula

• No passo E, a probabilidade de cada amostra pertencer ao modelo

• No passo M, a forma específica das correlações

‣ M1 dado por

onde os parâmetros do modelo são dados pela forma específica das correlações,

‣ são amostras de uma dist. Gaussiana iid

M1 : si =�X

k=��

�ksi+k +N (i),

‣ No passo E, analisamos a probabilidade de cada amostra si pertencer ao modelo M1

‣ Priors são considerados como sendo 1/2

Pr{si � M1|si} =Pr{si|si � M1}Pr{yi � M1}P2

k=1 Pr{si|si � Mk}Pr{yi � Mk}

Pr{si|si � M2} = U{0, 1}

‣ No passo M, uma nova estimativa de é calculada utilizando mínimos quadrados

E(⇥�) =X

si �

k=��

�ksi+k

w(i) � Pr{si ⇥ M1|si}

Image Original Mapa de Probabilidade (p) |F(p)|

Exemplo sem interpolação

Entrada p |F(p)|

OriginalFalsificada

Inconsistências no Processo de Aquisição

Inconsistências de Aquisição

‣ Análise de inconsistências relacionadas ao processo de aquisição do documento

‣ Partes de um mesmo documento contem traços apontando para diferentes fontes originadoras?

Estado da Arte

‣ Trabalho relevantes tem analisado artefatos de interpolação[Popescu & Farid 2005b]

‣ Padrão inerente de ruído[Lukas et al. 2007]

‣ Análise das funções de resposta não linear das câmeras digitais e inconsistências de bordas[Lin et al. 2005]

Funções de Resposta das Câmeras

‣ [Lin et al. 2005] apresentam uma abordagem para identificação de manipulações baseada em análise de consistência/inconsistência de funções de resposta das câmeras digitais

‣ Imagem é adulterada se as funções de resposta são inconsistentes ao longo da imagem sob investigação

‣ A função de resposta de uma câmera (camera response function, CRF) é um mapeamento entre a irradiância de um ponto e o valor do pixel relativo a esse ponto após a aquisição

Radiância da Cena

MC = fcam(�)

Irradiância da Imagem Cor observada

(a) (b) (c)

‣ A irradiância do pixel na borda deveria ser uma combinação linear dos pixels fora da aresta

‣ Devido à não-linearidade da função de resposta da câmera, esta relação linear é quebrada durante a leitura dos valores dos pixels

‣ Os autores estimam o relacionamento linear calculando a função inversa de resposta da câmera

‣ Limitação técnica no cálculo de da função inversa

‣ Para esse cálculo, é necessário calcular uma função inversa que requer o aprendizado sobre um modelo GMM proveniente de um banco de dados contendo diversas funções de resposta (DoRF)

‣ Problemas caso a imagem analisada seja uma composição de regiões não documentadas no banco de dados

‣ Esta abordagem requer a interação do usuário para marcar pontos de bordas “duvidosos”

‣ Problema no caso de câmeras modernas que utilizam sensores CMOS adaptativos (adaptam a função de resposta on-the-fly)

Inconsistências de Iluminação

Estado da Arte

‣ Ao criar uma composição, frequentemente, é necessário casar os padrões de iluminação das partes compostas

‣ Abordagens na literatura tem buscado estimar a origem de iluminação global em uma cena para apontar inconsistências[Johnson & Farid 2005]

‣ Estimação de diversas fontes de iluminação[Johnson 2007]

Estado da Arte

‣ Alguns autores tem analisado inconsistências de iluminação via reflexos oculares em composições envolvendo pessoas[Johnson & Farid 2007b]

‣ Para a estimação da origem de iluminação em uma cena, abordagens tradicionais supõem que a superfície:

• É Lambertiana

• Tem um valor constante de reflectância

• É iluminada por uma fonte localizada no infinito

‣ Segundo essas suposições, podemos representar a intensidade na imagem como

‣ é o valor da constante de reflectância

‣ é um vetor de tamanho três apontando na direção da origem de iluminação

‣ é um vetor de tamanho três representando a superfície normal no ponto (x,y) e é o termo representando a iluminação constante do ambiente

I(x, y) = ⇥(�U(x, y) · ��+A),

‣ Nesse modelo simplificado, com quatro pontos com a mesma reflectância e superfícies normais distintas pode-se

• achar a direção da luz e

• termo ambiente

‣ Como? Mínimos quadrados

‣ Qual o problema?

‣ Abordagens tradicionais requerem o conhecimento de superfícies normais 3D, de pelo menos, quatro pontos distintos

‣ Muito restritivo com a posse de apenas uma imagem

‣ Para contornar esse problema, [Johnson & Farid 2005] utilizam uma abordagem desenvolvida por [Nillius & Eklundh 2001]

‣ [Nillius & Eklundh 2001] relaxam a restrição de reflectância constante em toda a cena e adotam o modelo em que a imagem possui regiões (patches) com reflectância constante

‣ Isso tem muito sentido para imagens “outdoors”

‣ Extensão para mais fontes (imagens “indoors”)

‣ Para o funcionamento desta técnica, é necessário a intervenção do usuário para marcar contornos de oclusão na imagem

‣ Contornos de oclusão são bons candidatos para a determinação de superfícies normais

A. Rocha, 2011 – Análise Forense de Documentos Digitais 69

Imagem Destino (host)

(Spliced

)Direção de Iluminação ⇥1

Direção de Iluminação ⇥2

Luz não direcional ou difusa

Luz direcional

~123º

Montagens © A. Rocha

(c) (d) (e) (f)

Análise de Reflexos Oculares

‣ Reflexos oculares (peq. brancos na íris) podem nos dar pistas importantes em relação a uma composição envolvendo pessoas

‣ A posição de um reflexo ocular é determinada pela

• posição relativa da fonte de luz

• a superfície de reflexão

• visualizador

‣ Reflexos oculares podem fornecer informações poderosas quanto à forma, cor, localização da fonte de iluminação em uma cena

‣ A lei da reflexão da Física diz que um raio de luz reflete a partir de uma superfície em um ângulo de reflexão igual ao ângulo de incidência medidos em relação a uma superfície normal

Câmera

Fonte de Luz

Modelo Computacionaldo Olho

Modelagem e Estimação daDireção de Iluminação

Localização e Extração deCaracterísticas

Imagem para Análise

~⇥© A

‣ Assumindo vetores unitários, a direção do raio refletido pode ser escrita em termos da direção da luz e a normal de superfície

‣ Assumindo-se um refletor perfeito ( ),

�R�U~⇥

⇥R = ⇥�+ 2(cos(�i)⇥U � ⇥�)

= 2cos(�i)⇥U � ⇥�.

�V = �R

⇥� = 2cos(�i)⇥U � ⇥V

= 2(⇥V T ⇥U)⇥U � ⇥V .

‣ Com isso, a direção de iluminação pode ser estimada a partir da normal de superfície e a direção de visualização em um reflexo ocular

‣ Problemas?

• Reflexos oculares são pequenos

• Ataques contra-forenses possíveis

~⇥�U

Inconsistências Estruturais

Inconsistências de Compressão

‣ Algumas técnicas forenses são desenvolvidas com um alvo em específico

‣ Normalmente, mudanças estruturais são analisadas

‣ Ex.: Paletas de cores do formato de imagem GIF

Estado da Arte

‣ [Popescu & Farid 2004b] analisam os efeitos de dupla quantização de imagens codificadas em formato JPEG

‣ Dupla quantização não implica ato malicioso

Detecção de Dupla Compressão

‣ Dupla quantização pode ser representada como uma sequência de três passos

• Quantização de um sinal com um Passo b

• De-quantização com Passo b

• Quantização com Passo a

‣ Se a/b não resulta em um valor inteiro, a dupla quantização insere artefatos periódicos no sinal

‣ Hipótese: a dupla quantização JPEG introduz artefatos específicos não presentes em imagens comprimidas uma única vez

Sinal original gerado por uma Gaussiana padrão

Quantização com Passo 2

Dupla quantização. Passos 3 seguido de 2

Quantização com Passo 3

‣ [Popescu & Farid 2004b] propõem uma abordagem para detectar os “picos” e “vales”

‣ O algoritmo consiste em estimar a matriz de quantização JPEG

‣ Após a estimativa busca-se por “picos” e “vales” nos histogramas dos sinais

‣ Quais os problemas com a detecção de dupla quantização JPEG?

• Recorte

• Compressões de alta qualidade seguidas de compressões de baixa qualidade

Acabou?

Abordagens Adicionais

‣ Autenticação de imagens

• Dada uma imagem, queremos dizer apenas se esta é autêntica, ou seja, é idêntica à imagem que foi capturada ou se sofreu qualquer modificação

‣ [Kee & Farid 2010] apresentam uma abordagem para autenticação de imagens baseado em análise de thumbnails

‣ Um thumbnail é uma representação icônica de uma imagem de alta resolução com uma resolução reduzida

‣ Dada uma imagem, os autores geram um thumbnail a partir de uma série de operações

• recorte

• pré-filtragem

• redimensionamento

• ajuste de brilho & contraste

• compressão JPEG etc.

‣ Os autores comparam thumbnails gerados com diversos thumbnails conhecidos

‣ Diferenças nessa comparação podem apontar se uma imagem é autêntica ou se foi processada, de algum modo, em um software de edição conhecido (e.g., Gimp, Adobe Photoshop, etc. )

Desafios

‣ Avaliação de performance e benchmarking

‣ Abordagens apresentam (principalmente) provas de conceito

‣ Conjuntos de dados precisam ser criados e compartilhados

‣ Aspectos de Robustez (Ataques) precisam ser discutidos

Algumas Conclusões em AFD

Conclusões

‣ A área de Análise Forense de Documentos está em seu início

‣ Diversos e fascinantes problemas em aberto

‣ Técnicas contra-forenses são positivas para a evolução da área

‣ Arm’s race

Conclusões

‣ Esforços multi-disciplinares

• Propriedades físicas de equipamentos de captura e suas propriedades estatísticas

• Mineração, indexação, clusterização e resumo de dados (Bancos de Dados)

• Análise de padrões, aprendizado e heurísticas (Inteligência Artificial)

Conclusões

‣ Esforços multi-disciplinares

• Proc. de Imagens e Vídeos e Visão Computacional

• Teoria da Computação para desenvolvimento de abordagens eficientes e computacionalmente viáveis

• etc.

Conclusões

Um trabalho colaborativo e multi-disciplinar, com a utilização de diversas áreas do conhecimento, bem como a conscientização crítica de pesquisadores e entusiastas podem nos conduzir um passo à frente

Referências

1. [Avcibas et al. 2004] Avcibas, I., Bayram, S., Memon, N., Ramkumar, M. e Sankur, B. (2004). A classifier design for detecting image manipulations. In Intl. Conf. on Image Processing (ICIP), pp. 2645–2648, Singapore.

2. [Bayram et al. 2005a] Bayram, S., Avcibas, I., Sankur, B. e Memon, N. (2005a). Image manipulation detection with binary similarity measures. In European Signal Processing Conf. (EUSIPCO), pp. 752–755, Antalya, Turkey.

3. [Bayram et al. 2005b] Bayaram, S., Sencar, H., Memon, N. e Avcibas, I. (2005b). Source camera identification based on CFA interpolation. In Intl. Conf. on Image Processing (ICIP), Genova, Italy.

4. [Bayram et al. 2006] Bayram, S., Avcibas, I., Sankur, B. e Memon, N. (2006). Image manipulation detection. Journal of Electronic Imaging (JEI), 15(4):1– 17.

5. [Fridrich et al. 2003] Fridrich, J., Soukal, D. e Lukas, J. (2003). Detection of copy-move forgery in digital images. In Digital Forensic Research Workshop (DFRWS), Cleveland, USA.

6. [He et al. 2004] He, J., Lin, Z., Wang, L. e Tang, X. (2006). Detecting doctored JPEG images via DCT coefficient analysis. In European Conf. on Computer Vision (ECCV), pp. 423–435.

7. [Kee & Farid 2010] Kee, E e Farid, H. (2010). Digital image authentication from thumbnails. In SPIE Symposium on Electronic Imaging, San Jose, USA.

Referências

8. [Johnson & Farid 2005] Johnson, M. K. e Farid, H. (2005). Exposing digital forgeries by detecting inconsistencies in lighting. In ACM Multimedia and Security Workshop, New York, USA.

9. [Johnson 2007] Johnson, M. K. (2007). Lighting and Optical Tools for Image Forensics. PhD thesis, Dep. of Computer Science – Dartmouth College, Hanover, USA.

10. [Johnson & Farid 2007b] Johnson, M. K. e Farid, H. (2007b). Exposing digital forgeries through specular highlights on the eye. In Intl. Workshop in Infor- mation Hiding (IHW), Saint Malo, France.

11. [Lin et al. 2005] Lin, Z., Wang, R., Tang, X. e Shum, H.-Y. (2005). Detecting doctored images using camera response normality and consistency. In Intl. Conf. on Computer Vision and Pattern Recognition (CVPR), New York, USA.

12. [Lukas et al. 2007] Lukas, J., Fridrich, J. e Goljan, M. (2007). Detecting digital image forgeries using sensor pattern noise. In SPIE Photonics West.

13. [Lyu & Farid 2005] Lyu, S. e Farid, H. (2005). How realistic is photorealistic? IEEE Transactions on Signal Processing (TSP), 53(2):845–850.

14. [Ng & Chang 2004] Ng, T.-T. e Chang, S.-F. (2004). Blind detection of photo-montage using higher order statistics. In Intl. Symposium on Circuits and Systems (ISCAS), pp. 688–691, Vancouver, Canada.

Referências

15. [Nillius & Eklundh 2001] Nillius, P. e Eklundh, J.-O. (2001). Automatic estimation of the projected light source direction. In Intl. Conf. on Computer Vision and Pattern Recognition, pp. 1076–1082, Hawaii, US. IEEE.

16. [Popescu 2004] Popescu, A. C. (2004). Statistical Tools for Digital Image Forensics. Phd thesis, Dep. of Computer Science – Dartmouth College, Hanover, USA.

17. [Popescu & Farid 2004a] Popescu, A. C. e Farid, H. (2004a). Exposing digital forgeries by detecting duplicated image regions. Relatório Técnico TR 2004- 515, Dep. of Computer Science - Dartmouth College, Hanover, USA.

18. [Popescu & Farid 2004b] Popescu, A. C. e Farid, H. (2004b). Statistical tools for digital forensics. In Intl. Workshop in Information Hiding (IHW), Toronto, Canada.

19. [Shi et al. 2007] Shi, Y. Q., Chen, C. e Chen, W. (2007). A natural image model approach to splicing detection. In ACM Multimedia and Security Workshop, pp. 51–62, Dallas, USA.

PróximosCapítulos

Próximos Capítulos

‣ Detalhamento de técnicas selecionadas

‣ Tentaremos ver, pelo menos, uma técnica de cada assunto em detalhes

‣ Temas para os seminários

• Abordagens selecionadas nas aulas

• Tópicos complementares à disciplina

Obrigado!

Aula 05 Analise Forense Documentos

Documents

Transcript of Aula 05 Analise Forense Documentos

lesionología forense

AULA 09 Psicopatologia forense. Ramo da medicina legal que estuda as doenças, deficiências e distúrbios de natureza mental. Tendo interesse na análise.

Anon - Patologia Forense

Auditoria forense rossi

Aula 14 - Analise MSG-3 Zonal

Informática forense

Auditoria Forense

Toxicología forense

Tanatologia Forense

fotografiaa forense

Windows Forense

Aula 6 - Analise de Mel

Bioseguridad Forense

Biologia forense

Analise SWOT ou Analise FOFA.pptx

Acustica forense

PsicologíA Forense

Balistica Forense

AUDITORIA FORENSE II.docx

SS Ufpe Aula 08 Analise Sistemas Continuos Transformada Fourier