A white robot holding a magnifying glass next to a white box.

Como é que os motores de busca funcionam?

Alguns de vós, leitores mais antigos, devem lembrar-se de uma época em que os motores de pesquisa ainda lutavam para determinar quem seria o rei. Esses tempos já lá vão e, atualmente, o Google é regularmente alvo de acções judiciais devido ao seu estatuto de monopólio. Embora esta discussão seja familiar para muitos, fala-se ainda menos sobre o número total limitado de índices de pesquisa que estão a ser utilizados em todo o mundo.

Os motores de pesquisa funcionam, em primeiro lugar, vasculhando a Internet acessível ao público com web crawlers que seguem e mapeiam as ligações entre as páginas. Estas páginas são depois adicionadas a um índice de pesquisa. Quando introduz a sua pesquisa no seu motor de pesquisa favorito, essa consulta é verificada na base de dados do índice de pesquisa existente. Pode pensar num índice de pesquisa como uma grande biblioteca digital onde pode procurar respostas às suas perguntas. Se o índice não tiver a página que procura, esta não será apresentada nos resultados da pesquisa, nem mesmo na página 2 dos resultados de pesquisa do Google.

How web crawlers work to build search indexes.

Como é que os Web crawlers trabalham para criar índices de pesquisa.

Pode ver agora que o controlo sobre o que é incluído nestes índices pode ter um grande impacto na livre distribuição da informação e pode levar à censura. O Google, por exemplo, segue as diretrizes de censura do governo chinês para continuar a ser um motor de busca disponível na China. Isto leva a que enormes quantidades de informação fiquem indisponíveis para os utilizadores do Google localizados na China.

Quem controla os maiores índices de pesquisa do mundo?

The major providers of web search.

Em julho de 2024, a Google detinha uma quota de 91% na pesquisa global. Gráfico e dados fornecidos pela StatCounter.

Atualmente, existem apenas alguns dos principais índices de pesquisa utilizados pelos principais motores de pesquisa. Estes incluem o Google, o Bing, o Yahoo!, o Baidu e o Yandex. Isto deixa a maioria dos resultados de pesquisa globais nas mãos da jurisdição legal de três países, os EUA, a China e a Rússia.

Embora existam motores de pesquisa para além destas cinco empresas, muitas destas alternativas estão a utilizar os índices de pesquisa das grandes tecnologias em vez de criarem o seu próprio índice independente. Motores de pesquisa como o DuckDuckGo e o Ecosia, por exemplo, utilizam os índices de pesquisa do Yahoo! e do Bing para apresentar os seus resultados de pesquisa.

Que ameaças representam a centralização dos motores de busca?

A centralização da Internet, seja através de intervenção governamental ou de práticas monopolistas por parte das grandes empresas de tecnologia, representa um enorme risco de segurança ao tornar dependentes outras partes da infraestrutura da Internet. Já em 2013, a New Yorker escreveu que “uma percentagem impressionante de comunicações flui através de um pequeno conjunto de empresas - e, portanto, sob a profunda influência dessas empresas e de outras instituições”.

No caso de um incidente de segurança, de uma interrupção ou de uma mudança política radical, a falta de um índice aberto da Web representa uma ameaça à segurança nacional para qualquer nação que não esteja a operar o seu próprio índice. Ao deixarmos esta peça fundamental de tecnologia nas mãos de empresas tecnológicas que darão sempre prioridade aos lucros, estamos a colocar uma perigosa quantidade de confiança nas suas mãos. Estes índices actuam como uma infraestrutura crítica para o status quo da funcionalidade da Internet.

Porque é que a Europa precisa do seu próprio índice independente da Web.

Por precaução, é crucial que a UE desenvolva o seu próprio índice Web para garantir um acesso estável à pesquisa na Internet sem estar dependente de outras nações. Um desses concorrentes é o Open Web Index (OWI). Lançado em 2022, o OWI está a ser desenvolvido por universidades de investigação de toda a Europa, juntamente com organizações sem fins lucrativos que estão a trabalhar arduamente para criar uma alternativa ao controlo das grandes empresas tecnológicas na Internet.

The Open Search Foundation goals.

Os objectivos da Open Search Foundation.

O projeto é financiado publicamente durante três anos e visa tratar “a informação como um bem público, com acesso livre, imparcial e transparente…” Se os resultados da pesquisa forem limitados por um pequeno número de empresas tecnológicas com interesses concorrentes, não podemos confiar que estejam a proporcionar um acesso honesto e justo à informação. Tanto o Google como o Yahoo! foram acusados de favorecer os seus próprios sítios Web e produtos em detrimento dos de outros, o que levou a acções judiciais que alegam que as práticas das grandes empresas tecnológicas são altamente monopolistas.

O motor de busca local alemão MetaGer está a fazer pressão para o desenvolvimento de um Índice da Web Aberta

Um dos parceiros no desenvolvimento do Índice Europeu da Web Aberta é a Suma.ev, uma organização sem fins lucrativos que colabora com a Universidade de Hannover na construção do MetaGer. O projeto MetaGer visa oferecer aos utilizadores uma alternativa de pesquisa privada aos grandes operadores tecnológicos. Os utilizadores podem selecionar os motores de busca e índices que gostariam de consultar e todos os resultados são devolvidos apenas com uma ligação totalmente encriptada. Existe até uma opção para que os resultados sejam abertos anonimamente. Com suporte total ao Tor e um site onion, pode pesquisar todos os principais índices sem ter de se preocupar com o rastreio invasivo dos seus dados.

O MetaGer, tal como o Tuta, está localizado na Alemanha e, por isso, beneficia das rigorosas leis de proteção de dados da União Europeia e do governo alemão

A Tuta oferece uma alternativa à Big Tech, oferecendo privacidade através da encriptação.

Na Tuta, estamos a trabalhar ativamente para criar uma alternativa segura e privada aos serviços de e-mail das grandes tecnologias, como o Gmail e o Outlook. Ao utilizar a primeira encriptação pós-quântica do mundo para proteger os e-mails, podemos oferecer contas gratuitas e pagas a utilizadores de todo o mundo, com o objetivo de permitir que os cidadãos recuperem a sua privacidade.

Abandonar o Google é tão fácil como carregar num interrutor. Active a privacidade hoje mesmo, inscrevendo-se na sua conta Tuta!