Esta interface mágica permitirá que você copie e cole o mundo real em seu computador

Uau.

Esta interface mágica permitirá que você copie e cole o mundo real em seu computador

Temos smartphones, tablets e laptops. Todos estão equipados com um número sem precedentes de câmeras e até mesmo sensores 3D. E, no entanto, se você quiser apenas tirar uma foto do seu gato e colocá-lo em um cartão de agradecimento, esse processo é incrivelmente complicado. Você pode tirar a foto com seu telefone. Envie por email para o seu computador. Em seguida, importe-o para o Photoshop.



Mas um novo aplicativo para smartphone e desktop vindo de Cyril Diagne , um artista residente no Google, simplifica muito o processo. Chamado AR Copy Paste , ele pode literalmente tirar uma foto de uma planta, caneca, pessoa, jornal - seja o que for - em seu telefone e, em seguida, por meio de um pedaço mágico de UX, solte esse objeto direto na tela do Photoshop no computador principal.

Você meio que tem que ver para entender. Então dê uma olhada:



o que o símbolo da paz significa

Recentemente, durante o confinamento, passei algum tempo todos os fins de semana para criar protótipos de novas ideias sobre este tópico de design de interação + aprendizado de máquina, diz Diagne. Eles são pequenos protótipos que eu posto no meu Twitter, junto com insights técnicos e um link para o código-fonte para qualquer um experimentar.



AR Copy Paste começou exatamente dessa maneira. Diagne fez um mock up do projeto fora do horário de trabalho e, em seguida, postou no Twitter. . . onde foi prontamente curtido mais de 40.000 vezes. Ele também compartilhou a tecnologia que tornou isso possível. AR Copy Paste usa um algoritmo de reconhecimento de objeto chamado BASNet para capturar um objeto e recortá-lo de seu fundo. Em seguida, Diagne usa outro trecho de código, chamado SIFT , para lidar com a pasta.

[Imagem: cortesia de Cyril Diagne]

Como essa pasta funciona? Na verdade, é o resultado de duas fotos tiradas ao mesmo tempo, explica Diagne. Quando você clica no botão colar no aplicativo, a câmera do seu telefone tira uma foto do seu monitor e o seu computador faz uma captura de tela do que está sendo exibido no monitor. Portanto, para que esse efeito funcione, você precisa de um software instalado em seu dispositivo móvel e em seu computador. O software faz a referência cruzada dessas duas imagens para descobrir sua posição em relação à tela do computador e criar aquele momento de colagem perfeito.

Jean Claude Van Damme Volvo



Depois de ver a popularidade viral do tweet, Diagne começou a trabalhar para criar um smartphone independente e um aplicativo de computador que permitirá que qualquer pessoa use AR Copy Paste, sem necessidade de conhecimento de codificação. O protótipo do aplicativo de smartphone estará livre para testar quando for lançado. Você pode se inscrever para ser um dos primeiros a experimentar aqui .

Não é tão difícil abrir o escopo de suas aplicações potenciais. Em primeiro lugar, não se limita a objetos e funciona igualmente bem com materiais impressos, como livros, álbuns de fotos antigos e brochuras, diz Diagne. Da mesma forma, o princípio não se limita ao Photoshop, mas pode ser aplicado a qualquer software de edição de imagem, documento ou vídeo.

Diagne ainda afirma que o AR Copy Paste pode ser usado para outras funções além de simplesmente copiar e colar. Ele imagina que você pode usar seu software principal para apontar objetos ao seu redor em uma determinada sequência para executar uma função. Imagino que você possa construir uma ferramenta de senha dessa forma, tratando os objetos como um código. Em vez de 1, 2, 3, 4 ″, sua senha pode ser uma série de coisas para as quais você mira a câmera do telefone - suculenta, pés, mouse, lâmpada.

Talvez o aplicativo de Diagne decole, talvez não. Mas, no mínimo, o projeto é um lembrete: a interface do usuário do nosso mundo ainda não foi aperfeiçoada. Temos a tecnologia para melhorá-lo. Agora, só precisamos manter a imaginação.