Pinterest vê o futuro

Como a IA visual mudará a maneira como comemos, brincamos e fazemos compras.

Pinterest vê o futuro

Tudo começou há 16 meses com um abacate. (Este é Afinal de contas, Califórnia.)



Este abacate em particular foi colocado em uma mesa da diretoria na sede do Pinterest em São Francisco. Cercado por meia dúzia de colegas, Albert Pereta aproximou-se da fruta e apontou cuidadosamente seu telefone. O diretor de criação do Pinterest estava testando a última invenção da empresa, um recurso chamado Lens, que - se funcionasse corretamente - não apenas identificaria a fruta, mas também pesquisaria bilhões de fotos que foram enviadas ao serviço nos últimos sete anos para encontre imagens semelhantes.

Pereta tirou a foto. O aplicativo demorou alguns minutos para sincronizar com a nuvem e, em seguida, puxou os resultados. A tela de Pereta foi preenchida com um pergaminho aparentemente interminável de abacates maduros, com pele, fotografados de todos os ângulos imagináveis.



Muitas pessoas ficaram maravilhadas, dizendo 'Olha como isso é bom!', Conta Pereta. O Pinterest conseguiu identificar um objeto apenas por meio de dicas visuais, um problema de engenharia incrivelmente difícil. Mas Pereta não estava satisfeito: E você sabe, eu estava olhando para isso - mil alfinetes de abacate - e pensei: ‘Quem se importa? & Apos;



A tecnologia de busca visual funcionou perfeitamente, mas seus resultados eram insignificantes. Ninguém tira uma foto de um abacate na esperança de obter uma foto quase idêntica de um abacate, muito menos um fluxo interminável deles. Começamos a perguntar à sala: 'O que você gostaria se você tirasse uma foto de um abacate? & Apos; Pereta lembra. Alguém se intrometeu dizendo que gostaria de receitas de guacamole. Então, você nem veria um abacate, mas um guacamole mole, diz Pereta. Ou talvez o Pinterest pudesse fornecer informações sobre como cultivar abacates, ou hacks que você poderia fazer com abacates. Porra, sim, isso seria incrível, Pereta se lembra de ter dito.

Hoje, a história do abacate tornou-se parábola dentro das paredes de madeira compensada do Pinterest HQ - um lembrete de que a personalização é mais valiosa do que a perfeição. Isso é especialmente verdadeiro à medida que a empresa mergulha no campo emergente da pesquisa visual com ferramentas como o Lens, que foi lançado em beta em fevereiro passado. Essa versão não evocou apenas milhares de imagens de abacates. Incorporando os insights de Pereta, o aplicativo foi capaz de oferecer ideias de coisas para fazer com eles, como, sim, fazer guacamole. Foi uma primeira olhada em como o Pinterest é, em um sentido muito real, depositando suas esperanças na IA visual para revisar tudo, desde como as pessoas compram até como comem.


Nas últimas duas décadas, procuramos coisas online digitando em uma barra de pesquisa. Graças aos avanços na tecnologia de aprendizado de máquina, a visão computacional está prestes a nos permitir pesquisar simplesmente tirando fotos. Google, Facebook, Microsoft e Amazon estão despejando recursos na tecnologia. Não é de admirar: o Google aceitará cerca de $ 28,6 bilhões em 2017, por meio de publicidade na pesquisa de texto tradicional. O potencial da pesquisa por voz, usando serviços como Alexa, Siri e Google Assistant, está apenas sendo percebido. E a busca visual? Isso pode ser monumental, já que muitos tecnólogos imaginam o smartphone do futuro vivendo não em nossos bolsos, mas em nossos olhos.



Eu realmente acredito que a câmera será o próximo teclado, diz o CEO do Pinterest, Ben Silbermann. Será uma ferramenta fundamental que você usará para consultar o mundo ao seu redor, descobrir coisas ao seu redor ou visualizar como algo pode se encaixar em sua vida.

Neste cenário competitivo, a startup de 1.200 pessoas da Silbermann - mais conhecida por permitir que as pessoas fixem ideias para decoração rústica de casamento e lembrancinhas infantis faça você mesmo em quadros digitais - pode parecer um desafio improvável. Mas o Pinterest tem muita coisa escondida sob aquela pilha de abacates. Em um momento em que gritos partidários tomam conta de muitos aplicativos e sites, os 200 milhões de usuários mensais do Pinterest recorrem ao serviço para literalmente imaginar uma vida melhor, seja na forma de uma sala de estar mais aconchegante, uma viagem de aventura ou um lanche saudável. Eles não procuram pornografia alimentar, como o Instagram, mas refeições diárias que eles podem realmente preparar: 98% dos usuários do Pinterest relatam experimentar coisas novas que encontram no serviço, de acordo com um estudo da Nielsen. E os anunciantes estão adotando o site. A receita anual do Pinterest está projetada para quintuplicar para US $ 500 milhões de 2015 a 2017, enquanto seus usuários crescem 40% em todo o mundo. (O Pinterest não quis comentar sobre o crescimento da receita e as projeções.)

Cofundador do Pinterest Evan Sharp [Foto: Chloe Aftel ]



A popularidade do Pinterest baseia-se em sua capacidade de criar um gráfico de sabor único para cada usuário, conectando estranhamente os pontos entre seus pinos para inferir no que mais ela pode estar interessada. Agora, ele está trabalhando para incorporar a visão computacional em seu profundo entendimento das preferências do usuário. Tudo gira em torno da utilidade do Pinterest para descobrir ideias para a sua vida real, diz Silbermann. Se as pessoas estão realmente usando o Pinterest para decidir todas as coisas que vão colocar em suas casas, ou alimentos que vão cozinhar, ou suas próximas férias, há um enorme valor nisso. Isso significa que o Pinterest não só precisa dominar a localização do que você está procurando, como o Google; também tem que prever as coisas que você nunca soube que queria. Se a empresa for bem-sucedida, poderá usar nossas câmeras para desbloquear um mundo de intermináveis ​​descobertas pessoais.

O impacto duradouro da pesquisa visual não será um produto ou recurso específico, diz o cofundador do Pinterest, Evan Sharp, mas sim o que ela permite que as pessoas façam: transformar qualquer coisa que virem em algo que possam usar para descobrir mais na internet.


Estou em um apartamento úmido com jardim no bairro SOMA de São Francisco. As janelas do estúdio são meras fendas nas paredes, fechadas para privacidade à noite, mas a porta da frente é de vidro, tornando a modéstia mais ou menos impossível. O preço de US $ 250 por noite que o Airbnb cobra por este apartamento parece absurdo, mas o aluguel é imaculadamente encenado com toda a alegria de meados do século de um painel estereotipado do Pinterest.

Eu retiro o aplicativo Pinterest. Mesmo na iluminação do porão, o Lens funciona estranhamente bem, combinando os objetos que fotografo com uma especificidade nítida. O Lens não vê apenas uma cadeira, mas um clube cadeira. Não apenas um travesseiro, mas um tapete almofada. Não apenas arte, mas um Rothko pintura. Na verdade, estou aprendendo algo. Muitos resultados têm links acionáveis ​​que posso marcar ou até comprar.

Mais tarde, tentei colocar fotos semelhantes por meio do Google Lens, um concorrente do Pinterest Lens lançado no início deste ano, em beta, nos telefones Pixel. A versão do Google não entende que vê uma cadeira, ou mesmo móveis, e me pede desculpas. Ele confunde o travesseiro com uma colcha. A única coisa que corresponde corretamente é a impressão de Rothko, embora seja importante notar que a identificação de arte 2D é amplamente considerada um dos desafios mais simples para ferramentas de pesquisa visual.

O Google Lens simplesmente não é muito bom . Pelo menos ainda não. Mas você pode ver como a IA visual se relaciona com o imperativo de negócios mais amplo da empresa, bem como com o de outros gigantes da tecnologia. O Google está no negócio de indexação, então faz sentido que a empresa queira ajudar os usuários a identificar visualmente o mundo ao seu redor. O Facebook tem seu gráfico social, focado em conectar usuários a amigos, e um grande interesse em usar IA para identificar rostos. Amazon tem e-commerce. Para isso, a busca visual poderia ser uma ponte entre os mundos digital e físico - por exemplo, permitindo que você fotografe um par de sapatos para procurar por outros semelhantes, talvez mais baratos, na Amazon. Cada empresa pode abordar a IA visual de forma diferente, mas as implicações são as mesmas: há dinheiro em jogo neste campo em expansão, mesmo que seja muito cedo para articular quanto. Pense na possibilidade de tirar uma foto para pesquisar algo que você nem consegue descrever - é uma coisa muito poderosa, diz o analista de pesquisa da Forrester Collin Colburn. Pode ser o mais imaturo [pesquisar], mas provavelmente tem o maior potencial.

O Google tem centenas de funcionários trabalhando apenas em IA visual. O Facebook tem 20.000 funcionários e 300 pesquisadores de IA, além de operar 1,2 milhão de experimentos de IA visual na rede social a qualquer momento. A Amazon tem mais de 500.000 funcionários com 5.000 trabalhando no Alexa - seu novo Echo Show apresenta não apenas um microfone, mas uma câmera para interagir com Alexa também - uma câmera dá à Amazon a visão de um cômodo inteiro dentro de sua casa . Pinterest? Tem apenas 12 funcionários dedicados à pesquisa visual.

quanto custa mulan na disney plus

Mas o Pinterest é mais poderoso do que parece. Para começar, ele tem um grande conjunto de dados para treinar sua IA visual. Quanto mais imagens você tiver, mais inteligente o algoritmo se tornará e melhor será no atendimento às recomendações que os usuários realmente desejam. O maior conjunto de dados públicos usado por muitos pesquisadores, Image Net, consiste em 14 milhões de fotos crowdsourced de objetos do cotidiano. O Pinterest tem bilhões - carregados por pinners ávidos, folheados de blogs e postados pelas próprias corporações - a maioria dos quais são imaculadamente encenados e iluminados porque são fotos oficiais de produtos. Os computadores veem imagens perfeitas com mais facilidade. Tão significativo quanto: essas fotos foram marcadas e rotuladas manualmente pelos próprios usuários leais do Pinterest durante anos.

Você quer ter amostras de tudo o que pode acontecer e tudo o que pode ser visto. Quanto maior o conjunto de dados, maior a probabilidade de você não se surpreender, diz Manuela Veloso, chefe de aprendizado de máquina da Carnegie Mellon University. O que é interessante sobre os bilhões [do Pinterest] é que eles cobrirão extremos.

Chefe de engenharia Li Fan [Foto: Chloe Aftel ]

Também ajuda o fato de o Pinterest, por design, oferecer resultados um tanto confusos para qualquer pesquisa. Consultas sobre jaquetas jeans irão obter resultados com jaquetas jeans. Mas se uma imagem no feed tiver jeans preto em vez de azul, ou talvez uma bolsa jeans azul, não parece um erro. Essa é a lição que o Pinterest aprendeu com os abacates. As correspondências exatas são a especialidade da pesquisa do Google, que foi otimizada para responder a perguntas específicas - como Como você grelha peixes? - com o link perfeito. Os usuários do Pinterest tendem a fazer perguntas mais vagas: eles podem pesquisar ideias para jantar com frutos do mar várias vezes por semana. Para eles, uma correspondência não exata não é um erro. É inspiração.

Em outras palavras, a IA do Pinterest pode falhar em uma pesquisa visual, mas ainda assim ter sorte em uma resposta certa. Imagine o Siri fazendo a mesma coisa. Em algumas outras empresas, falamos muito sobre recall preciso. Mas, no final do dia, é o quão útil o usuário se sente [um recurso é], diz Li Fan, chefe de engenharia do Pinterest. Eles podem não exigir 100% de precisão. Tudo bem. Contanto que atendamos às expectativas, eles sentem que é uma experiência consistente, eles sentem que é útil.

O Pinterest também conquistou a confiança de seus usuários em um momento em que plataformas concorrentes estão sob ataque por invasão de privacidade. As pessoas veem o Pinterest como algo diferente de um mecanismo de pesquisa ou rede social. A relação que procuramos ter com nossos usuários é que, quando você compartilha coisas sobre você, você compartilha porque quer recomendações melhores, e nós damos a você, diz Silbermann. Essa expectativa é bem clara. Você está usando o Pinterest para encontrar estilo, então se perguntarmos, ‘Quais são suas cores favoritas?’ Não há nada [invasivo] nisso. Esses tipos de interação permitem que o Pinterest forneça resultados surpreendentes e precisos. E faz isso em uma linguagem de design que parece mais organizada do que calculada, mais humana do que robótica.


O Pinterest foi fundado em 2010 com uma grande aposta no design: uma plataforma que permite coletar e classificar os tópicos de seu interesse, não como links de texto em azul feio, mas como fotos lindas que ficam em fichas virtuais. O cofundador Sharp era o visionário criativo - um designer que se formou na Escola de Arquitetura de Pós-Graduação de Columbia - e o complemento perfeito para o CEO Silbermann, um consultor de gestão que se tornou empresário. A plataforma foi um sucesso: em 2012, a comScore analytics declarou que era o serviço da web de crescimento mais rápido da história.

Mas a abordagem outrora inovadora do Pinterest para cartões com fotos foi adotada por titãs como o Google, que os usa em tudo, desde resultados de pesquisa até o sistema operacional do Android. E seu crescimento meteórico diminuiu. Hoje, o serviço de fixação foi ofuscado pelo Instagram, com seus 800 milhões de usuários ativos mensais, e pelo Snapchat, com suas tecnologias radicais de realidade aumentada.

Em vez de perseguir um crescimento agressivo, no entanto, o Pinterest dobrou sua oferta principal: prever o que os usuários desejam ver. Acabamos investindo muito no [aprendizado de máquina], diz Sharp, que agora atua como diretor de produtos, enquanto caminha em torno de uma mesa de conferência com uma camiseta branca da marca Pinterest. Sharp não tem escritório próprio, tecnicamente. Ninguém no Pinterest sabe. Em vez disso, ele assumiu uma pequena sala com uma mesa redonda ao estilo do Rei Artur no centro. Na parede posterior, há um grande quadro de alfinetes analógico adornado com um logotipo bordado do Pinterest, feito por sua mãe. Muito do que os usuários veem é determinado por algoritmos, diz ele. É uma recomendação, um resultado de pesquisa ou um Pin relacionado.

Este último recurso, uma lista relativamente simples de pins sugeridos, gerada a partir do que você viu por último, lançado em 2013. Ele logo respondeu por 10% de todas as impressões no Pinterest, mas estagnou até que a empresa encarregou alguns engenheiros de IA de criá-lo melhor em 2014. Eles treinaram algoritmos para sugerir tópicos relacionados e recomendar itens semelhantes com base apenas em dicas visuais, priorizando os pinos que obteriam mais cliques. Toque em um cabide feito de galhos de árvores caídos e os Pins Relacionados incluem um Diagrama de Venn de sugestões sensatas que misturam decoração doméstica e amadeirada, incluindo um cabideiro de tronco de árvore, uma divisória de sala de mudas e uma bandeja de chaves de madeira de celeiro recuperada. Hoje, os Pins relacionados representam 40% de todo o engajamento no Pinterest.

A empresa acompanhou esse investimento inicial em IA visual recrutando o guru da visão computacional Fan do Google em 2016. Pintora de infância apaixonada por artes visuais, Fan foi empurrada para a engenharia por seus pais aos 12 anos. Ela começou a trabalhar na Google por oito anos, antes de liderar os 1.000 engenheiros que trabalhavam em buscas no Baidu. Em seguida, ela voltou ao Google, optando por um papel mais focado como chefe da pesquisa de imagens do Google. Finalmente, o Pinterest bateu à sua porta. Os valores de Li - como líder e pessoa - estavam muito alinhados com os valores do Pinterest, diz Silbermann. Uma coisa que realmente ressoou em mim foi que ela viu a tecnologia como uma forma de enriquecer a vida das pessoas, não a tecnologia pela tecnologia.

Ben Silbermann [Foto: Chloe Aftel ]

Sob Fan, as pesquisas visuais do Pinterest - conduzidas no Lens, Pins e na extensão do navegador da empresa - aumentaram quase 70% ano após ano, com mais de 300 milhões de pesquisas por mês. Enquanto isso, os parceiros comerciais do Pinterest viram o volume de cliques em seus pins Shop the Look - um recurso que permite aos usuários clicar e comprar itens em imagens - o dobro.

Tudo isso converge em uma rica oportunidade de negócios. Originalmente, [Pinterest] foi curado por categoria, por pessoas, diz Rick Heitzmann, capitalista de risco da FirstMark Capital, que cortou os cofundadores do Pinterest seu primeiro cheque em 2009 e esteve envolvido em todas as rodadas de investimento desde então. Mas, com a evolução da tecnologia, o que importa é a IA, o reconhecimento de imagem e a descoberta das coisas que você ama e se preocupa. Conforme a missão do Pinterest se codifica para a pesquisa visual, Heitzmann está animado com as oportunidades. Você pode ver que o mercado potencial é grande.

O Pinterest já oferece aos anunciantes que desejam promover seus pins uma plataforma atraente. Os usuários normalmente estão lá em uma missão: de acordo com pesquisas internas, 93% deles usam o Pinterest para planejar compras e 87% compraram algo que descobriram por meio dele, de acordo com um estudo de Milward Brown. Mas, crucialmente, os pinners ainda não se decidiram sobre o produto exato que desejam. De acordo com o Pinterest, 97% das consultas de pesquisa não têm uma marca especificada nelas. Enquanto isso, as ferramentas de pesquisa visual tornam esse processo de descoberta da marca ainda mais atraente, especialmente quando os resultados estão vinculados ao gráfico de gosto pessoal do usuário.

batalha de jill scott erykah badu

A Target recentemente se tornou a parceira de varejo exclusiva nos EUA para a tecnologia Lens do Pinterest. Em breve, dentro do aplicativo principal do varejista, você poderá usar uma versão integrada do Lens para, digamos, fotografar uma lâmpada e ver um feed de lâmpadas visualmente semelhantes vendidas pela Target. Nossos clientes desejam facilidade e conveniência em cada experiência de compra. A pesquisa visual é um grande desbloqueio para isso porque elimina muito do atrito na pesquisa de produtos, diz Rick Gomez, CMO da Target. Simplesmente tirando uma foto de um item de interesse, o Pinterest Lens retornará produtos que são feitos sob medida para o que nosso hóspede está procurando. (Walmart, American Eagle e Tommy Hilfiger também têm recursos de pesquisa visual em seus aplicativos, criados pela startup Slyce.) O Pinterest também fez parceria com a Samsung para potencializar a pesquisa visual nos smartphones Galaxy da empresa e com o Shopstyle para vincular os resultados do Lens a pins compráveis ​​de mais de 5 milhões de acessórios de moda. As marcas estão começando a entender que a busca visual é uma parte crucial de seu futuro.

O problema, claro, é que as marcas têm orçamentos de marketing limitados. E o Pinterest não é o único que quer vendê-los em IA visual.


Em novembro, o Pinterest estreou sua última versão do Lens: Lens Your Look , que ajuda os usuários a encontrar novas maneiras de usar as roupas que já possuem. Fotografe algo em seu armário, como um par de saltos pretos grossos e, em seguida, use consultas de texto para pesquisar itens de roupa que possam ir com ele (como vestidos pretos). O Lens Your Look exibirá imagens de pessoas usando vestidos pretos e saltos grossos - talvez até mesmo da mesma marca e estilo que o seu.

Conforme os usuários tocam em imagens específicas, o Pinterest descobre quais resultados foram essencialmente corretos, ou os mais corretos, na pilha maior, e pode priorizá-los na próxima vez. É a destilação perfeita da abordagem da empresa para a pesquisa visual: minerando seu banco de dados descomunal, explorando os gostos dos usuários e abraçando a imperfeição.

Isso não significa que o fluxo do usuário do Lens Your Look necessariamente permanecerá por aí. Sharp é o primeiro a admitir que o contêiner exato para a pesquisa visual pode nem ter sido inventado ainda: Será que realmente usaremos nossos telefones com câmera para apontar e pesquisar ou precisaremos de alguns fones de ouvido de realidade aumentada para que o conceito decole? ? Chegamos muito cedo, diz Sharp, é como se estivéssemos onde a pesquisa de texto estava em meados dos anos 90. Existe essa tecnologia, é interessante, mas ninguém realmente se aprofundou o suficiente para saber o que é o produto ou quais problemas ele vai resolver.

Resta saber se o Pinterest, de todas as empresas, pode ser o único a quebrar o código. Será que algum dia iremos fixá-lo em vez de pesquisar no Google? A perspectiva parece assustadora, especialmente porque o Pinterest está enfrentando algumas das empresas mais valiosas e poderosas do mundo.

Falando sobre isso em seu escritório improvisado, Sharp parece engolir a vontade de reclamar. Ele quer compartilhar seu manual tanto quanto não. Eventualmente, ele não consegue se conter, então ele caminha até o quadro branco e desenha uma grade 2 × 2. No eixo x, ele escreve Compartilhando e pesquisando. No eixo y, ele escreve Texto e Visão.

Compartilhamento de texto? Esse quadrante pertence ao Facebook e Twitter. Compartilhamento de visão? Facebook, Instagram e Snapchat. Procurando texto? Isso é Google e Bing. Mas pesquisar através da visão? O marcador de Sharp fica suspenso no ar por um momento. Em seguida, ele escreve uma empresa na caixa vazia. Pinterest. Desenhar um eixo x-y e colocar dramaticamente sua empresa sozinha em um quadrante é uma jogada clássica do fundador. Mas a Sharp está certa sobre uma coisa: a visão é um espaço raro e não colonizado.

Você volta e grita comigo em 5 a 10 anos. Este é o quadrante mais valioso aqui em cima por uma porra de um quilômetro, ele continua, jogando o marcador de volta na bandeja para pontuar seu ponto. Essa é a premissa do Pinterest.