Компьютерра - Журнал «Компьютерра» № 11 от 21 марта 2006 года

— Вот эта временная шкала совершенно перестраивает мозги, — продолжает Илья, — это не алгоритм PageRank, а совершенно иная мера.

— Неслучайно мы по умолчанию выдаем результаты, отсортированные по времени, — замечает Андрей Себрант. — Трехлетней давности сообщение в форуме представляет скорее исторический интерес, каким бы релевантным оно ни казалось.

Несмотря на всю полезность поиска по блогам он явно не дотягивает до зарубежных аналогов и в первую очередь — до Technorati. Аркадий Волож с такой оценкой не согласен, но даже если и так, отмечает он, сервис не заброшен, работа над ним ведется очень активно. Илья Сегалович идет еще дальше.

— Technorati — лишь первый шаг в нужном направлении. Там есть задел, но нужно двигаться вперед. В блогах часто попадается ценная информация, но как ее оттуда извлечь? Мы уже решили похожую проблему с новостями, создав полностью автоматизированный сервис (руками только добавляются сами ресурсы). Ни один редактор не пострадал. Такой должности, как журналист, в «Яндексе» нет. Вот.

В голосе Ильи слышится такая неподдельная радость, что оба редактора нервно поправляют свои розовые кофточки, ожидая в следующую минуту услышать классическое «А теперь встали и вышли отсюда».

— Что касается блогов, — продолжает суровый директор по технологиям, — то есть чудовищный соблазн сделать что-то интересное. Прошлый год уже показал, что в блогосфере есть настоящие жемчужины, которые нужно доносить до внимания общественности. Они перетекают в новости в полуразмытом виде, и нужно научиться их находить и выделять. Вопрос — как это сделать. Технически это очень нетривиально.

Место действия: большая переговорная в старом офисе «Яндекса».

Действующие лица те же.

Волож:Я против разговоров о том, что Google придет в Россию. Черная рука идет по улице, черная рука стучится в ваш подъезд…

Сегалович:(перебивает) Черный ящик на семи колесиках…

Волож:Ну хорошо. В разных лагерях рассказывали по-разному. Google приходит в Россию? Да он в 2001 году сюда пришел, как только открыл Google.ru! И посмотрите статистику — что-то принципиально изменилось? Они в прошлом году потрясающе выросли, кстати. С пяти до шести процентов. Без шуток — это 20-процентный рост.

Сегалович:Точно так же, как «Яндекс» пугают приходом Google, Google пугали Microsoft. Мол, придет страшный черный ящик на семи колесиках и всех раздавит, как клопов. MSN в прошлом году сделал свой поиск. И что? Пять лет кричали о том, что Microsoft сделает лучший в мире поиск, Microsoft перетащила себе большую команду из Китая, разработала, выпустила — и в результате доля MSN в поиске упала с пятнадцати процентов до семи.

«КТ»:А кстати, как вы «отвоевали» Mail.ru у Google?

Волож:Ничего про это не знаю. Они сами к нам пришли. И это был большой подарок судьбы. А почему? Видимо, им понравилось, сколько денег мы собираем.

«КТ»:Просто немного странно. Они же к движку Google серьезно относились, даже морфологию русскую прикрутили.

Сегалович:О, тут как раз ничего странного нет. Алексей Сокирко, который делал русскую морфологию в Mail.ru для движка Google, теперь работает у нас.

«КТ»:А насколько качество поиска коррелирует с популярностью поискового сервиса?

Себрант:Ни насколько.

Волож:Да нет, если наш поиск долго будет хуже гугловского или рамблеровского, то люди начнут уходить.

Себрант:Но не наоборот. Если предположить, что гугловский поиск будет на два процента лучше, то… Во-первых, что значат эти два процента? Во-вторых, что значит «лучше»?

Волож:Неизвестно, как устроена эта материя. Почему пользователи приходят туда, а не сюда — никто не знает.

Сегалович:Ну нет, я знаю.

Волож:У тебя теории. У всех свои гипотезы. Я вот считаю, что просто не надо вредить. Надо стараться делать хорошо.

Сегалович:В конце 2004 года у нас был небольшой кризис, из которого мы вышли, и в течение всего 2005 года последовательно улучшали робота. Робот у нас очень приличный. По скорости занесения в базу мы опережаем конкурентов от нескольких часов до суток.

«КТ»:А в среднем прямое занесение в базу сколько времени занимает? Сколько времени проходит от момента, когда веб-мастер сообщает вам URL своего ресурса, до начала индексации?

Сегалович:Прямое занесение, то есть механизм «Добавить URL», играет не очень большую роль. А вот если на вас сослались из какого-нибудь интересного места, это дело, скажем, нескольких часов.

«КТ»:А почему при обновлении индекса из «Яндекса» частенько пропадают сайты?

Сегалович:Это стандартная беда всех веб-мастеров и всех роботов…

«КТ»:Но ругаются-то обычно именно на «Яндекс».

Себрант:Потому что когда перестает приходить трафик с «Яндекса» — это заметно, а если, допустим, с Google — то не очень.

Сегалович:Это, конечно, тоже играет роль. Но дело еще и в том, что у нас база обновляется очень часто, трижды в неделю. И если какой-то сайт почему-то не ответил, мы его сразу же убираем. А у того же Google месячный период обхода плюс быстрый робот, который обслуживает далеко не всех. И если уж я попал в Google со своей страничкой, то так в нем и живу. А «Яндекс» может меня выкинуть, потому что сайт в тот момент, когда ткнулся робот, лежал. И всё. На три дня меня в базе нет. То есть сама наша живость — это, безусловно, плюс, но у нее есть и неприятный побочный эффект.

Себрант:Нужно учесть, что когда мы случайно выкинули какой-то сайт, качество ответа практически не изменилось.

Волож:Зато увеличилась живость всей базы.

«КТ»:Веб-мастера жалко.

Себрант:Жалко. Но одним из проявлений кризиса, о котором говорит Илья, были мертвые ссылки в первой десятке выдачи. Люди переходили по ссылке, а ничего не открывалось. И это было страшно раздражающим фактором.

Волож:Не будет пользователей, веб-мастерам еще хуже станет со временем.

— У нас есть скрипт, собирающий и сравнивающий ответы поисковых систем по редким запросам, — поясняет Илья Сегалович, — и мы постоянно себя измеряем. Так вот, моя теория, в которую Аркаша и Андрей не верят, говорит, что рост популярности «Яндекса» коррелирует с состоянием базы. Не 87 процентов стала чистота, а 92 процента. Не 91 процент небитых ссылок, а 94, и так далее.

— Под «не верю» нужно понимать, что я не верю в абсолютизацию базы, — поправляет Себрант.

Перенос фокуса на базу позволяет нам вытащить домашнюю заготовку и спросить, как «Яндекс» относится к метапоисковым машинам, использующим для формирования результатов в том числе и выдачу «Яндекса».