Марк Малсид - Google. Прорыв в духе времени

При поиске Google учитывала больше факторов, чем любая другая поисковая система. Она не просто подсчитывала слова или ссылки и выдавала результаты. Она сочетала информацию о словах и ссылках с другими переменными таким образом, чтобы предоставляемые результаты были как можно более релевантными. Учитываются, например, такие факторы, как расстояние между отдельными словами или фразами на веб-странице, шрифт, которым они набраны, вид букв (прописные или строчные).

– Мы стараемся использовать всю возможную информацию, – продолжал Брин. – Мы смотрим на весь процесс глазами пользователя. Понятно, что для такого поиска требуются значительные объемы памяти, и мы ими располагаем.

Эффективный поиск обеспечивается не только правильностью математических формул и уравнений, но и, самое главное, наличием гораздо более мощного оборудования, нежели у их конкурентов. Ларри и Сергей, в отличие от разработчиков других поисковых систем, быстро поняли, что единственно возможный путь к обеспечению максимально релевантных результатов – инвестиции в оборудование. В их планы входило не только создание ПО, но и полное сопровождение работы компьютерной сети: программное и аппаратное обеспечение неразрывно связаны друг с другом, и потому очень важно оптимизировать их функционирование. Они знали, что непременно извлекут выгоду из того, что цены на запоминающие устройства и другие компьютерные комплектующие неуклонно снижаются, а их характеристики постоянно улучшаются. Лучше покупать отдельные комплектующие и самим собирать ПК, решили они, поскольку с самого начала проповедовали максимально целостный подход.

Пока Деннис Эллисон слушал пояснения Брина, у него в памяти всплывали различные эпизоды из университетской жизни с участием Брина и Пейджа. Он был о них очень высокого мнения. Им можно было доверять. Ребята действительно хотели создать нечто полезное. К тому же они были молоды и с характером. Эти качества особенно важны: в сфере высоких технологий доверие потребителей к продуктам зиждется на доверии к разработчикам. К тому же Ларри и Сергей компьютерные фанаты с невероятно широким кругом интересов – качество, присущее цельным натурам. Они – приверженцы прогрессивных взглядов. А применительно к Силиконовой долине это означает, что они сторонники открытых систем программного обеспечения, а не закрытых, которым отдавали предпочтение Билл Гейтс и его Microsoft. И еще ребята не стеснялись высказывать свое мнение по тем или иным вопросам. «Им не нравятся кое-какие аспекты жизни деловой Америки, и они не боятся громко заявлять об этом», – отмечает Эллисон.

Тем временем эстафету у Брина перехватил Пейдж. Эллисон его тоже очень уважал. Ларри был прекрасным преподавателем, поскольку обладал способностью ухватить основную идею и преподнести ее простым и понятным языком – способностью, которая отличает людей с ясным умом, досконально знающих свое дело.

– Ссылка в Интернете сродни ссылке в научной литературе, – пояснил Пейдж. – Но если вы просто будете подсчитывать количество ссылок в Сети, что делает большинство поисковых систем, у вас возникнут проблемы. Всемирная паутина – это не научная литература, здесь создать веб-страницы может любой желающий.

Программа PageRank – это, в принципе, модель пользования Интернетом. Скажем, у нас есть пользователь, который просто бродит по Сети. Он немного смахивает на обезьяну: сидит часами перед компьютером и тупо кликает на ссылки. Знакомая картина, не правда ли?

Аудитория дружно хохотнула.

– PageRank говорит: если какой-то значимый сайт указывает на тебя, ты получаешь частицу его значимости, – продолжил Пейдж. – Предположим, что на тебя указывает какой-то действительно стоящий сайт. Он для тебя намного ценнее любой «левой» веб-страницы. К примеру, если на главной странице Yahoo! есть на тебя ссылка, это просто здорово. Наличие на главной странице сайта Yahoo ссылки на твою веб-страницу говорит о том, что либо ты заплатил кому-то кучу денег, либо твоя страница действительно хороша. А вот наличие ссылки на твою веб-страницу на главной странице моего веб-сайта никому ни о чем не говорит. – И Пейдж разъяснил, как он разработал рецепт получения ранжированных результатов поиска. – Мы присвоили всем веб-страницам числа, примерно соответствующие степени их важности. Ранг отдельно взятой страницы – это сумма показателей всех веб-страниц, на которых есть ссылки на нее.

Но существует серьезная проблема. Некоторые, пытаясь обмануть поисковые механизмы, делают так, чтобы адреса их веб-сайтов располагались в списках результатов как можно выше. Поисковая система должна выиграть эту кибервойну: она должна стать «умнее» всех этих «хитрых» веб-сайтов.

– Доводилось ли вам сталкиваться с адресами порносайтов на страницах с результатами поиска? Те, кому доводилось, поднимите руки! – предложил Пейдж. – О, некоторые признались. На самом деле это большая проблема для поисковиков. Дельцов, стремящихся заработать любой ценой, мало волнует, какую информацию вы ищете, их вообще мало что волнует. Они просто хотят, чтобы на их веб-страницы заходило как можно больше пользователей.

Сформулировав проблему, Пейдж заметил, что он уже работает над возможными путями ее решения. Наиболее эффективным из них представляется разработка программы определения степени важности веб-сайтов, которая не позволит их операторам манипулировать поисковой системой. Google, ориентированная исключительно на пользователя, обеспечит наличие только релевантных адресов на страницах с результатами поиска.

Пейдж не преминул пустить пару критических стрел в адрес других поисковых систем:

– Поисковые механизмы функционируют отнюдь не блестяще. Если вы наберете, скажем, слово «AltaVista» в строке запроса другой поисковой системы, получите ли вы адрес главной страницы сайта AltaVista? Скорее всего, нет. А вот на Google вы гарантированно получите его в числе первых результатов. Всю соответствующую работу мы делаем сами. Объемы очень большие.

Ключевым принципом разработчиков Google стало разбиение сложных задач на отдельные подзадачи, которыми можно было бы заниматься параллельно. С помощью соответствующих математических уравнений и множества компьютеров ребята создали что-то вроде производственной линии для сбора, занесения в индекс и представления информации, руководствуясь при этом законом Мура, что позволяло приобретать компьютерное оборудование с меньшими затратами.

– Мы ползаем по Всемирной паутине – то есть заходим туда и загружаем весь Интернет. Мы загружаем приблизительно по сто страниц в секунду, – сообщил Пейдж. – Процесс этот довольно сложен. Все загруженные копии веб-страниц мы сохраняем на жестких дисках компьютеров, они нам нужны для анализа. Веб-страницы хранятся почти на всех компьютерах в нашей комнате.