Por dentro do DuckDuckGo, o menor e mais feroz concorrente do Google

Em 2008, lançar um mecanismo de busca parecia uma ideia maluca. Veja como Gabriel Weinberg provou que os críticos estavam errados.

Quando Gabriel Weinberg lançou um mecanismo de busca em 2008, muitas pessoas pensaram que ele era louco. Como pôde DuckDuckGo , uma pequena startup com sede na Filadélfia, vai contra o Google? Uma maneira, ele apostou, era respeitar a privacidade do usuário. Seis anos depois, estamos morando no pós-Snowden era, e a ideia não parece tão maluca.

Na verdade, DuckDuckGo está explodindo.

jantar da casa branca do lobo michelle

Olhando para um gráfico das consultas de pesquisa diárias do DuckDuckGo , os marcos são óbvios. Um investimento de US $ 3 milhões da Union Square Ventures em 2011. Pouco antes disso, uma campanha de outdoor em São Francisco. Inclusão em Tempo 'S 50 melhores sites de 2011 . Cada uma dessas coisas mudou o tráfego para a DuckDuckGo, mas nenhuma delas chegou perto de gerar algo parecido com o grande aumento de consultas que a empresa viu em julho passado. Foi quando Edward Snowden revelou pela primeira vez o extenso programa de vigilância digital da NSA para o mundo. A pequena linha azul no gráfico não parou de subir para o norte desde então.




Todos os anos, crescemos 200-500%, diz Weinberg. Os números continuam crescendo. No início de fevereiro, DuckDuckGo estava vendo mais de 4 milhões de consultas de pesquisa por dia. Um ano atrás, esse número mal ultrapassava 1 milhão.

Surpreendentemente, o sucesso repentino não fez o site desabar. Nem mudou o foco despojado e nítido da empresa. É assim que uma pequena empresa está lentamente, certamente abrindo caminho para a categoria mais monopolizada em tecnologia.

Três ideias em uma: de onde o DuckDuckGo veio

Weinberg não se propôs originalmente a construir um mecanismo de busca. Depois de fechar uma startup fracassada e vender outra para Classmates.com por US $ 10 milhões em 2006, o graduado do MIT começou a explorar várias novas ideias. Em vários projetos, ele se concentrou em dados estruturados, Quora estilo de perguntas e respostas e combate ao spam de forma programática.

Comecei todos esses projetos de forma independente e nenhum deles realmente decolou, diz Weinberg. Então eu percebi, talvez se eu colocasse todos eles juntos, poderia haver uma experiência de pesquisa interessante lá.

O resultado foi DuckDuckGo, um mecanismo de busca que oferece respostas diretas às perguntas das pessoas, em vez de apenas entregar uma lista de links. Abaixo dessas chamadas Respostas Instantâneas, o site ainda exibe resultados de pesquisa link-a-link tradicionais sindicados de terceiros como Bing e Yandex, mas, o que é crucial, eles são filtrados e reorganizados para reduzir o spam.

Podemos todos apenas admitir que o Google é um império do mal?

Um crescente coro de vozes na indústria de tecnologia está nos exortando a nos acostumar com as violações do Google à privacidade e preferências dos usuários.
Leia mais >>

Olhando para a história moderna do espaço de busca, Weinberg percebeu que várias empresas no início dos anos 2000 haviam tentado - e não conseguido - rivalizar com o Google, imitando seu método de indexação em massa da web. Em vez de seguir esse caminho ambicioso (e muito caro), Weinberg decidiu deixar a infraestrutura de outras empresas fazer a maior parte do trabalho pesado para que sua startup - inicialmente, apenas ele codificando em casa com seu filho recém-nascido por perto - pudesse se concentrar na construção de uma empresa superior experiência para encontrar informações online. A chave, a seu ver, seriam as Respostas Instantâneas.

Quando você faz uma pesquisa, geralmente deseja uma resposta. Você não precisa necessariamente clicar em links, diz Weinberg. É nosso trabalho tentar obter uma resposta. Nossa grande visão é que isso aconteça para 80% das consultas, mesmo para coisas muito específicas.

Para fornecer essas respostas, DuckDuckGo conta com uma mistura de fontes de dados de terceiros e o conhecimento profundo - às vezes bizarramente misterioso - de sua crescente comunidade de usuários e desenvolvedores.

Temos receitas, peças de Lego e outras coisas estranhas que não conhecemos como equipe, diz Weinberg. A única maneira de isso funcionar é se tivermos uma comunidade de pessoas interessadas o suficiente para saber sobre esses assuntos. Em seguida, tenha ideias sobre qual deve ser a resposta, sugira as fontes e até mesmo as desenvolva.

Com Respostas Instantâneas, ele estava claramente no caminho certo. Hoje, quando você faz uma pesquisa no Google por Galileo ou Qual é a altura do Big Ben? a lista usual de links azuis é acompanhada por uma caixa branca bem organizada exibindo uma mini-biografia de Galileu ou, no último caso, a resposta: 316 pés.

Este é o maior risco para qualquer startup que se atreve a desafiar um gigante de frente: a qualquer momento, os Googles, Facebooks ou Maçãs do mundo podem apenas imitar o que o tornou diferente, jogando seus sonhos despedaçados na lata de lixo da história da tecnologia .

Weinberg e sua pequena equipe parecem implacáveis. Afinal, DuckDuckGo tem um ativo que o Google nunca poderia copiar, mesmo se quisesse.

Arma secreta de DuckDuckGo: Hardcore Privacy

Quando você faz uma pesquisa no site do DuckDuckGo ou em um de seus aplicativos móveis, ele não sabe quem você é. Não há contas de usuário. Seu endereço IP não é registrado por padrão. O site não usa cookies de pesquisa para rastrear o que você faz ao longo do tempo ou onde mais você vai online. Não salva seu histórico de pesquisa. Quando você clica em um link nos resultados do DuckDuckGo, esses sites não verão quais termos de pesquisa você usou. A empresa ainda tem seu próprio relé de saída Tor, permitindo portão usuários pesquisem DuckDuckGo com menos atraso de desempenho.

Simplificando, eles são radicais com relação à privacidade.

Mas as coisas não começaram assim. Weinberg, que diz que sempre foi uma pessoa preocupada com a privacidade, não estava particularmente preocupado com questões de privacidade de pesquisa quando começou a construir o serviço. Na verdade, ele sabia muito pouco sobre o assunto. Então, os primeiros usuários começaram a fazer perguntas.

Algumas das primeiras perguntas que recebi foram sobre privacidade, diz Weinberg. Eu tinha lançado e estava ligado Reddit e Hacker News . Portanto, era altamente tecnológico e havia muitas pessoas preocupadas com a privacidade.


O site usa cookies de rastreamento? Ele registrou endereços IP? Essas são coisas sobre as quais Weinberg não havia pensado muito, mas claramente importavam para sua base de usuários recém-descoberta. Portanto, o autodescrito geek da política de tecnologia decidiu se aprofundar nas práticas de privacidade do Google e de outros mecanismos de busca. Ele não gostou do que aprendeu.

Se você olhar os registros das sessões de pesquisa das pessoas, verá que eles são o que há de mais pessoal na Internet, diz Weinberg. Ao contrário do Facebook, onde você escolhe o que postar, com a pesquisa você digita problemas médicos e financeiros e todo tipo de outra coisa. Você não está pensando nas implicações de privacidade de seu histórico de pesquisa.

Essa funcionalidade comum, combinada com a possibilidade de vazamentos acidentais de dados e hacks, deixou Weinberg nervoso. Ao mesmo tempo, ele percebeu que ainda era possível construir um modelo de negócios viável em torno da pesquisa sem rastrear os usuários. Pode-se não atingir os níveis de lucratividade do Google sem a publicidade direcionada em grande escala, mas a lógica fundamental de entrega de anúncios da rede de pesquisa - pesquisas do usuário por motocicletas, você mostra a eles um anúncio de motocicleta vendido por palavra-chave - ainda é válida. E, é claro, a lucratividade desse modelo só cresce à medida que mais pessoas procuram mais.

Rapidamente ficou claro que adotar uma abordagem sem barreiras para a privacidade daria ao DuckDuckGo um ponto de venda exclusivo, à medida que o Google engolia mais dados privados do usuário. Portanto, a empresa se posicionou de acordo e começou a chamar a atenção conforme a questão da privacidade online aumentava lentamente na consciência do público.

Era extremo na época, diz Weinberg. E ainda pode ser considerado extremo por algumas pessoas, mas acho que está se tornando menos extremo hoje em dia. No ano passado, tornou-se óbvio porque as pessoas não querem ser rastreadas.

Como a comunidade da DuckDuckGo informa seu produto - e folha de pagamento

Uma pessoa que não achou que a abordagem pró-privacidade fosse extrema é Caine Tighe. Depois de ouvir sobre o DuckDuckGo em 2009, o jovem programador decidiu entrar em contato para ver se Weinberg precisava de alguma ajuda.

Conheci Gabe como encontro muitas pessoas: na Internet, diz Tighe. Achei interessante que ele estivesse trabalhando em um novo mecanismo de busca. Ele realmente não tinha muito material para mim na época, pois ainda estava desenvolvendo a ideia. Mais tarde, ajudei-o a escrever o primeiro aplicativo Android.

Por que o Google está investindo em aprendizado profundo

A aquisição da DeepMind pelo Google faz com que todos falem sobre aprendizado profundo. Aqui está o que você precisa saber para entrar na conversa.
Leia mais >>

Em 2011, armado com seu primeiro infusão de dinheiro de risco , A DuckDuckGo estava pronta para deixar o porão de Weinberg e se tornar uma empresa de verdade. Tendo trabalhado em vários projetos com Weinberg, Tighe foi uma escolha óbvia para se tornar a primeira funcionária em tempo integral da empresa. Ele logo se tornou o Diretor de Componentes Principais, uma função na qual supervisiona a infraestrutura da DuckDuckGo, desde sua tecnologia da web subjacente à funcionalidade de seus aplicativos móveis.

análise de cartão de débito de carma de crédito

A trajetória da Tighe é aquela que todos os futuros funcionários seguiriam: um por um, os membros da comunidade DuckDuckGo aumentaram gradualmente seu envolvimento com os plug-ins de construção de sites, recomendando fontes de dados obscuros, até contribuindo com código - eventualmente se posicionando como acéfalos candidatos a emprego na próxima vez que a empresa fizer uma contratação.

Se você quiser trabalhar conosco, descobrimos que as pessoas mais motivadas vêm diretamente da comunidade, diz Zac Pappis, Diretor de Marketing e Comunidade da DuckDuckGo. Qualquer pessoa pode molhar os pés. Na verdade, o próprio Pappis estava fortemente envolvido na comunidade DuckDuckGo e trabalhava meio período para Weinberg à noite, antes de ser oferecido um cargo de tempo integral em 2012.

É nesta capacidade que Pappis ajuda a supervisionar a crescente comunidade de usuários e desenvolvedores que contribuem com o DuckDuckGo. Com o tempo, essa comunidade assumiu um papel cada vez mais vital na evolução do produto principal da empresa. Não só arranca novos funcionários deste grupo de devotos, mas um subgrupo dele se fragmentou em uma plataforma própria: DuckDuckHack .

Permitindo que os usuários hackem seu próprio mecanismo de pesquisa

Tudo começou muito casualmente, diz Weinberg. Acabei de fazer algumas APIs e tentei envolver esses caras na codificação de coisas para isso. E então ocorreu que esta poderia ser realmente uma plataforma na qual as pessoas poderiam trabalhar.


Com a marca DuckDuckGo de código aberto, a plataforma DuckDuckHack permite que os desenvolvedores criem seus próprios plug-ins de Resposta Instantânea usando o conjunto de APIs e documentação da empresa (principalmente baseado em Perl). É essencialmente um kit de ferramentas que permite que qualquer pessoa defina programaticamente como interpretar tudo o que as pessoas podem perguntar a um mecanismo de pesquisa, bem como onde encontrar as informações online.

Alguns exemplos são óbvios: as informações sobre filmes vêm do IMBD ou do Rotten Tomatoes. Uma pesquisa por The Beatles traz uma sinopse biográfica da Wikipedia ou da Last.fm. Cálculos simples vêm de Wolfram Alpha . Tighe parece particularmente animado com sua recente integração com Forecast.io , a fonte de dados por trás do popular aplicativo de previsão do tempo Dark Sky.

Depois, há as coisas mais obscuras e menos óbvias. É aí que a comunidade entra em jogo.

A experiência do Wolfram Alpha realmente abriu meus olhos para o fato de que você poderia ter respostas para coisas realmente esotéricas, diz Weinberg. E começamos a incluí-los. Você poderia ter respostas para toneladas e toneladas de tópicos sobre os quais nossa equipe não sabia absolutamente nada. Celebridades, por exemplo. Não somos grandes na cultura pop aqui.

Um usuário, por exemplo, era um grande nerd em Lego. Como os entusiastas de Lego sabem, cada peça do icônico conjunto de blocos de construção tem um número de identificação exclusivo. Para facilitar a busca por essas peças no DuckDuckGo, ele criou um plug-in que extrai de um banco de dados de peças de Lego criadas por fãs de Lego tão geeks quanto ele.

Percorrer a lista de consultas de Resposta instantânea existentes - conhecido como brindes em DuckDuckHack –Você começa a entender por que a DuckDuckGo abriu essa parte de seu processo para outras pessoas: Algumas dessas coisas são estranhas demais para serem resolvidas por uma empresa.

Por dentro de DuckDuckGo: como sua equipe minúscula funciona

Entrando na sede da DuckDuckGo em Paoli, Pensilvânia, é difícil imaginar que seus dois andares modestos e pouco ocupados poderiam ser usados ​​para lançar uma insurgência contra uma das maiores empresas de tecnologia do planeta.

Mas eles são - mais ou menos. A maioria dos cerca de 20 funcionários da DuckDuckGo trabalham remotamente. Doug Brown, um especialista em desenvolvimento de front-end, mora em Toronto, fazendo viagens para o pequeno subúrbio da Filadélfia periodicamente. O mais novo contratado pela empresa, um desenvolvedor chamado Jag Talon, começou a trabalhar para a empresa nas Filipinas antes de sua família se mudar para Nova Jersey no ano passado. Quando visitamos seu escritório em janeiro, menos de uma dúzia de pessoas perambulavam pelos corredores. Isso, nos disseram, era mais do que o normal.


Dia a dia, as prioridades da equipe são ditadas pelo que eles chamam de caminho crítico - a pequena lista de pontos focais que os impedem de se distrair da missão central de DuckDuckGo. Surpreendentemente, o recente aumento no tráfego não alterou muito o caminho crítico, a não ser para verificar se o site estava bem arquitetado o suficiente para lidar com a carga (era).

Um item recentemente retirado da lista de prioridades foi a consolidação dos sites comunitários voltados ao público da empresa em uma única interface da web . O próximo passo é uma reformulação visual do site DuckDuckGo, que eles pretendem relançar no segundo trimestre deste ano.

Como qualquer empresa com uma equipe quase sempre remota, a DuckDuckGo faz experiências com todas as ferramentas de colaboração online mais recentes.

melhor maneira de fazer anotações

Skype. Yammer. HipChat. Asana. Tentamos tudo o que sabemos, diz Pappis.

Ultimamente, eles têm brincado com Sqwiggle , uma ferramenta de colaboração online que usa vídeo persistente e capturas de tela periódicas para permitir que os colegas de trabalho se vejam - ou saibam quem está longe da mesa.

O Skype é mais como pegar o telefone, enquanto o Sqwiggle é mais como enviar mensagens de texto, diz Brown. Você pode ver os rostos das pessoas e conversar com elas bem rápido, sem ter que marcar um horário formal, porque você sabe que elas estão ali. Essa é praticamente a chave para tudo. E ter certeza de que todos sabem o que você está fazendo e quando está fazendo.

No lado técnico, todo o código da equipe - principalmente Perl e JavaScript - é gerenciado e discutido por meio ir e GitHub Enterprise . Cada mudança, não importa o quão minuto, é empurrada através da equipe HipChat sala para que todos possam ver o que está acontecendo o tempo todo. Essa prática, todos parecem concordar, é incrivelmente útil.

É interessante porque isso é um subproduto do fato de a equipe estar remota, diz Tighe. Não existiria se todos estivessem neste escritório, porque todos estariam apenas conversando uns com os outros sobre o que está acontecendo localmente, em vez de ficarem tipo: Precisamos ter cada pedaço de informação disponível para todos no equipe que poderia ser potencialmente responsável por ele, de forma assíncrona.

Quando se trata das ferramentas que os desenvolvedores individuais usam para desenvolver os recursos do DuckDuckGo, Weinberg não é exigente.

Tentamos não controlar o ambiente das pessoas, diz ele. As pessoas estão distantes. Damos a cada um seu próprio ambiente de desenvolvimento que é uma pilha completa de DuckDuckGo. É uma máquina completa. Algumas pessoas estão usando o Emacs. Algumas pessoas estão se conectando diretamente à máquina. Algumas pessoas estão se desenvolvendo localmente. As pessoas trabalham de várias maneiras diferentes.