Как работает поиск?

Система Google – совершенно потрясающая штука. Она повысила мой коэффициент умственного развития пунктов на двадцать, не меньше. Теперь я могу в мгновение ока отыскать нужную мне ссылку или цитату или за секунду выяснить, с каким человеком в данный момент общаешься и чем он известен. Вещь крайне полезная для тех, кому приходится иметь дело со множеством людей, – помогает не путаться в деталях.
Уэс Бойд, президент организации MoveOn.org(11)

Однажды компания Google заявила, что секрет потрясающей эффективности ее поисковика кроется в использовании обычных серых голубей, что на поверку оказалось очередной первоапрельской шуткой.

Подсчитано, что на протяжении 2007 года система Google обрабатывала за месяц 37 миллиардов запросов, тогда как Yahoo! – 8,5 миллиарда запросов, a Microsoft – 2,2 миллиарда. Сегодня абсолютное большинство людей для поиска информации обращается к Интернету, и зачастую по многу раз на дню. Тем не менее мало кто представляет себе, как работает поисковая машина.

В упрощенной форме алгоритм ее работы выглядит примерно так.
Шаг 1. Вводим слово или набор слов в строку поиска, и машина отыскивает их в созданной ею базе данных, устанавливая связь с ними. С самого начала Ларри и Сергей ставили цель сохранить в своей базе данных все странички Всемирной паутины. Компания и по сей день добивается этого, а также охватывает и множество других источников информации.
Шаг 2. Машина приступает к поиску, при этом поисковый движок использует три своих ключевых элемента. Вот они.
1. Так называемый «ползун» (crawl), который на самом деле никуда не ползет. Вместо того он рассылает на тысячи веб страниц поисковый запрос по ключевым словам. Обычно его называют «пауком», потому что он постоянно сидит во Всемирной паутине.(*)
2. Индекс – огромная база данных, где хранятся и отыскиваются все слова.
3. Система обработки запросов, которая выдает пользователю их результаты.

Понятно, что приведенная грубая схема не объясняет, как именно работает уникальная поисковая технология Google. Это – ревностно охраняемая компанией профессиональная тайна. Правда, Ларри Пейдж, автор оригинальной идеи, все же дает нам кое какие ключи для понимания сути.

Вскоре после того, как он обосновался в Стэнфорде, Ларри начал регулярно консультироваться по поводу своей докторской диссертации с научным руководителем Терри Виноградом, обсуждая направление исследований. «Мы остановились на изучении того, как действует система ссылок в Сети, – рассказывает Пейдж. – Задачу мы видели в том, чтобы собрать все ссылки и проанализировать их, а потом уже решать, нельзя ли найти этому какое нибудь применение. В результате мы набрели на способ ранжировать вебстраницы по степени важности, отталкиваясь от количества ссылок на них, присутствующих на других страницах. И тогда поняли, что на основе этого принципа можно создать более эффективную систему поиска. Взяли и сделали это»(12).

На страничке Google можно найти более подробное объяснение:

Вместо того чтобы полагаться на помощь группы редакторов или на то, как часто слово появляется на вебстранице, Google ранжирует каждую веб страниу с помощью PageRank… Революционная технология PageRank оценивает все сайты, связанные с данной веб страницей, и присуждает им важность, частично основанную на сайтах, которые указывают на них. Посредством анализа всего содержания веб страницы система Google способна определить, за какие сайты те, кто более всего интересовался данной информацией, «проголосовали» как за наиболее ценные источники, предлагающие эту информацию(13).

Как уже говорилось, программу, которая делает поисковую систему Google уникальной по сравнению со всеми остальными, Ларри назвал своим именем. Идея, лежащая в ее основе, аналогична той, которая действует в академических исследованиях. Суть в том, что значимость научной публикации определяется тем, сколько раз на нее ссылаются солидные академические издания. Чем чаще коллеги ссылаются в своих работах на данную публикацию, тем больше значимости и релевантности она приобретает.

А на корпоративной странице Google объяснено, каким образом этот процесс усложняется:

PageRank полагается на демократическую природу Сети, используя систему ссылок как индикатор ценности отдельной страницы. Вместо того чтобы подсчитывать прямые ссылки, PageRank рассматривает ссылку со страницы А на страницу Б как голос в пользу страницы Б от страницы А. Затем по количеству полученных голосов PageRank определяет значимость данной страницы. PageRank оценивает также важность каждой страницы, принимающей участие в голосовании. При получении голосов от страниц с большей значимостью ссылка становится более ценной. Поисковая система Google, как и другие системы, также анализирует содержание страницы, на которой расположена та или иная ссылка. Поисковый движок Google анализирует не только все содержание страницы <…> но и содержание соседних веб страниц, чтобы убедиться в том, что полученные результаты наиболее точно соответствуют запросу пользователя(14).

Но и это всего лишь часть протокола. Как ни трудно это себе представить, но PageRank для объективной оценки значимости веб страниц учитывает более 500 миллионов переменных и три миллиарда терминов и тем не менее умудряется выдать результат в доли секунды. И все же поисковый алгоритм в значительной степени упрощен.

Как отмечает профессор Стэнфордского университета и один из первых инвесторов в Google Раджив Мотвани, «как вы, между прочим, могли бы заметить, поисковая машина, в сущности, делает почти то же, что скромный библиотекарь, только более сознательно! В то же время автоматизированные программы поиска помогают нам угнаться за экспоненциально возрастающим объемом информации»(15).

(*)Автор описывает работу «паука» лишь отдаленно. На самом деле поисковый «паук» не занимается рассылкой поисковых запросов по Всемирной паутине, его задача – регулярная индексация всех веб страниц Всемирной сети и сохранение в базе данных поисковика. Работа «паука» не зависит от числа поисковых запросов, ведь странички в сети обновляются постоянно, а значит, базу данных надо регулярно обновлять. Прим. научн. ред.