Não bastam as diretas! Cientistas descobrem formas indiretas de espionagem

Informações valiosas, porém escondidas, trazem inquietação para os curiosos, e também para os cientistas. O que existe numa sala fechada, o que aquele colega vê no monitor, ou o que se fala em um ambiente que não temos acesso?

Cientistas desenvolveram novas técnicas que um simples saquinho de batatas, por exemplo, pode ser usado de forma similar ao microfone. Nessa busca, foram desenvolvidos novos instrumentos que permitem ver e ouvir além dos limites do nosso corpo. Por conhecimentos de física, propagação da luz e vibração em materiais, os cientistas podem resolver um problema inverso.

A pergunta é: o que fazer com os efeitos de espalhamento do som? A música pode ser recuperada? As novas técnicas usam inferências em imagens de fotos ou vídeo para espiar um ambiente.

Recuperação de som por objetos no ambiente

Há alguns anos, cientistas do MIT reportaram usar um saco de batatas chips que funcionava como microfone. Em um ambiente acusticamente isolado por um vidro, havia som e um saquinho de batatas. Como o saquinho é muito fino, ele vibra facilmente com o som, só que de maneira quase imperceptível a olho nu. Essas pequenas vibrações foram suficientes para os cientistas recuperarem grande parte da música, apenas com uma gravação de vídeo.

Com um gravador de vídeo com captura de 1000 quadros por segundo (maior do que o vídeo comum de 30 quadros por segundo), foi possível avaliar essas pequenas vibrações por variações de cores e bordas do objeto. O método inovador utilizado pelos cientistas foi publicado na conferência SIGGRAPH. Os autores ainda exploraram o uso de câmera comum de vídeo a 60 quadros por segundo e pequenos deslocamentos, e conseguiram também fazer a recuperação da música. Veja no vídeo abaixo os resultados da recuperação do áudio ambiente. Essa técnica é similar à detecção de som por interferometria a laser.

Fonte: The Visual Microphone, MIT.

Caracterização de materiais

Os cientistas ainda testaram diferentes materiais como copos de plástico e caixa de papelão. E mostraram ser possível também obter sons da vibração de plantas no ambiente. Em um outro trabalho, também mostraram a possibilidade de caracterizar materiais pela vibração percebida pelo vídeo. Como exemplo, foi possível detectar diferentes elasticidades para tecidos como seda e poliéster.

Periscopia computacional

Ver além do nosso campo de visão também é um grande desafio. Cientistas da Universidade de Boston publicaram recentemente uma nova técnica de periscopia que permite ver fora da linha direta de visão. No passado, marinheiros dentro de submarino usavam um instrumento que lançava um tubo ao alto e possuía espelhos para observar a superfície acima da água.

O periscópio funciona como se posicionasse os olhos em outro lugar, pois os espelhos desviam a luz fora de alcance para a direção do observador. Dessa forma, os marinheiros podiam manter em vista os navios e aviões acima da água, como estratégia para defesa e também de ataque aos adversários.

Figura 1: Imagem do periscópio e mecanismo de funcionamento com lentes e espelhos. Fonte: imagem e esquema da Wikipedia.

Em um artigo recente da revista Nature, os cientistas americanos observaram um objeto que estava fora do campo de visão utilizando apenas uma câmera comum de 4 MP. O objeto, além de fora do campo de visão, estava ocultado parcialmente por um outro objeto.

Veja na figura abaixo o posicionamento dos objetos. Nesta configuração, a câmera capturou imagens da sombra produzida neste oclusor pelo objeto. Justamente por causa das quinas e bordas do objeto oclusor, é possível recuperar a matriz de transporte de luz com computação inversa.

Uma forma intuitiva de entender pode ser vista no vídeo: quando a tela oculta tem dois quadrados como foco de luz, há duas imagens de penumbra, e o efeito da dispersão está relacionado às distâncias entre os objetos e a parede tanto em profundidade como no deslocamento horizontal.

Figura 2: Esquema experimental da periscopia computacional. Fonte: Saunders, Nature (2019).

Na proposta bem sucedida dos autores, eles usaram como instrumento apenas a câmera e tiraram uma sequência de vinte fotos para melhorar a imagem. Eles sabiam o tamanho e formato do objeto oclusor, porém não sabiam a posição deste. A cena de interesse era projetada em um monitor de 20 polegadas, o desenho de cogumelo foi uma das imagens testadas.

Com a imagem captada, estimou-se a posição do obstáculo e a inversão da matriz de transporte de luz em canais por cores (RGB). Assim, mesmo que não se veja o objeto, a luz que sai dele pode ser vista como borrão e penumbra, e essa informação usada para recuperar a imagem deste objeto.

Fonte: Computational Periscopy/YouTube.

Espionagem

Essas técnicas que usam como sensores as informações visuais para observar o que não se vê ou ouve podem ser muito úteis. Em missões de defesa e resgate, especialmente em tarefas que há perigo de contaminação química ou radioativa, esse tipo de mapeamento pode ser útil.

Aplicações mais óbvias ficam no domínio da espionagem, para desvendar que vídeo ou tela uma pessoa está vendo, ou mapear objetos no espaço. Ainda, com a possibilidade de recuperar o som, podemos ouvir a conversa ambiente mesmo sem acesso ao som. Assim, essas novas técnicas só adicionam ao repertório de instrumentos que podem coletar dados e segredos valiosos.