A white robot holding a magnifying glass next to a white box.

Как работают поисковые системы?

Некоторые из вас, читатели старшего поколения, возможно, помнят времена, когда поисковые системы еще боролись между собой, чтобы определить, кто будет королем. Те времена давно прошли, и теперь Google регулярно попадает в поле зрения юристов из-за своего монопольного статуса. Хотя эта дискуссия знакома многим, еще меньше говорят о том, что общее количество поисковых индексов, используемых по всему миру, ограничено.

Поисковые системы работают, сначала просматривая общедоступный интернет с помощью веб-краулеров, которые отслеживают и отображают ссылки между страницами. Затем эти страницы добавляются в поисковый индекс. Когда вы вводите свой запрос в любимую поисковую систему, он сверяется с существующей базой данных поискового индекса. Можно представить себе поисковый индекс как большую электронную библиотеку, в которой вы можете искать ответы на свои вопросы. Если в индексе нет нужной вам страницы, то она не будет отображаться в результатах поиска, даже на второй странице результатов поиска Google.

How web crawlers work to build search indexes.

Как работают веб-краулеры для создания поисковых индексов.

Теперь вы понимаете, что контроль над тем, что включается в эти индексы, может существенно повлиять на свободное распространение информации и привести к цензуре. Например, Google придерживается цензурных правил китайского правительства, чтобы оставаться доступной поисковой системой на территории Китая. Это приводит к тому, что огромное количество информации становится недоступным для пользователей Google, находящихся на территории Китая.

Кто контролирует крупнейшие мировые поисковые индексы?

The major providers of web search.

По состоянию на июль 2024 года доля Google в мировом поиске составляет 91 %. График и данные предоставлены StatCounter.

В настоящее время существует лишь несколько основных поисковых индексов, используемых основными поисковыми системами. К ним относятся Google, Bing, Yahoo!, Baidu и Yandex. Таким образом, большинство результатов глобального поиска находится в руках юрисдикции трех стран - США, Китая и России.

Хотя существуют поисковые системы, не входящие в эту пятерку компаний, многие из них используют поисковые индексы Big Tech вместо того, чтобы создавать свой собственный независимый индекс. Например, такие поисковые системы, как DuckDuckGo и Ecosia, используют поисковые индексы Yahoo! и Bing для представления результатов поиска.

Какие угрозы несет централизация поисковых систем?

Централизация интернета, будь то вмешательство государства или монополистическая практика больших технологических компаний, представляет собой огромный риск для безопасности, поскольку делает зависимыми от нее другие части интернет-инфраструктуры. Уже в 2013 году New Yorker писал: “Ошеломляющий процент коммуникаций проходит через небольшой набор корпораций и, таким образом, находится под глубоким влиянием этих компаний и других учреждений”.

В случае инцидента безопасности, сбоя или радикальных политических изменений отсутствие открытого веб-индекса представляет угрозу национальной безопасности для любой страны, не имеющей собственного индекса. Оставляя эту важнейшую технологию в руках технологических компаний, для которых приоритетом всегда будет прибыль, мы оказываем им опасное доверие. Эти индексы выступают в качестве критической инфраструктуры для поддержания статус-кво функциональности интернета.

Почему Европе нужен собственный независимый веб-индекс.

Из соображений осторожности Евросоюзу крайне важно разработать собственный веб-индекс, чтобы гарантировать стабильный доступ к интернет-поиску, не завися от других стран. Одним из таких претендентов является Open Web Index (OWI). Запущенный в 2022 году, OWI разрабатывается исследовательскими университетами по всей Европе вместе с некоммерческими организациями, которые прилагают все усилия, чтобы создать альтернативу “большим технологиям”, контролирующим интернет.

The Open Search Foundation goals.

Цели Open Search Foundation.

Проект финансируется государством в течение трех лет и направлен на то, чтобы рассматривать “информацию как общественное благо, со свободным, беспристрастным и прозрачным доступом…“. Если результаты поиска ограничиваются небольшим количеством технологических компаний с конкурирующими интересами, мы не можем доверять тому, что они предоставляют честный и справедливый доступ к информации. И Google, и Yahoo! обвиняют в том, что они отдают предпочтение своим собственным сайтам и продуктам перед чужими, что приводит к судебным искам, утверждающим, что практика “Больших технологий” является в высшей степени монополистической.

Местная немецкая поисковая система MetaGer выступает за разработку открытого веб-индекса

Одним из партнеров в разработке европейского открытого веб-индекса является Suma.ev, некоммерческая организация, которая сотрудничает с Ганноверским университетом для создания MetaGer. Проект MetaGer призван предложить пользователям частную поисковую систему, альтернативную крупным технологическим игрокам. Пользователи могут выбирать, к каким поисковым системам и индексам они хотели бы обратиться, и все результаты будут возвращены только при полностью зашифрованном соединении. Есть даже возможность открывать результаты анонимно. Благодаря полной поддержке Tor и луковому сайту вы можете искать во всех основных индексах, не беспокоясь о несанкционированном отслеживании ваших данных.

MetaGer, как и Tuta, находится в Германии и поэтому пользуется строгими законами о защите данных Европейского союза и немецкого правительства.

Tuta предлагает альтернативу Big Tech, предлагая конфиденциальность через шифрование.

Мы в Tuta активно работаем над созданием безопасной и приватной альтернативы таким почтовым сервисам, как Gmail и Outlook. Используя первое в мире постквантовое шифрование для защиты электронной почты, мы можем предложить пользователям по всему миру как бесплатные, так и платные аккаунты, чтобы дать возможность гражданам вернуть свою приватность.

Отказаться от Google так же просто, как щелкнуть выключателем. Включите приватность уже сегодня, зарегистрировав свой аккаунт в Tuta!