Дмитрий Макарский - Работа в Интернете

На этом работа не заканчивается. За дело принимается программа-индексатор, которая, используя определенные правила, анализирует полученные «пауками» страницы и формирует сложную базу данных поискового сервера. Вот эта самая база данных потом и выдает результаты поиска, которые появляются после обработки введенного запроса. На принципах работы индексатора остановимся поподробнее, так как именно от него зависит то, что войдет в результаты поиска.

В основе работы большинства современных поисковиков лежит индекс цитирования, который вычисляется индексатором в результате анализа ссылок на текущую страницу с других страниц Интернета. Чем их больше, тем выше индекс цитирования анализируемой страницы и тем выше эта страница будет отображена в результатах поиска. Кроме того, учитывается индекс цитирования страниц, которые ссылаются на страницу, изучаемую индексатором.

Кроме индекса цитирования учитываются также следующие параметры:

• наличие искомых слов в заголовке страницы или названии сайта;

• частота повторений искомых слов на странице;

• размер шрифта, которым на странице написаны слова из поискового запроса, а также выделение этих слов шрифтами и стилями;

• тематика ссылающихся сайтов и некоторые другие.

После ввода запроса пользователем за дело берется последнее звено поискового сервера – система выдачи результатов. В итоге анализа и сопоставления упомянутых выше показателей эта система определяет степень соответствия содержимого страницы условиям запроса. Чем эта степень больше, тем выше страница будет представлена в списке найденных ресурсов.

Возвращаясь к вопросу о скорости обработки запроса, отмечу, что такая высокая скорость обеспечивается за счет того, что страницы Интернета проиндексированы заранее, а результаты поиска составляются на основе информации из базы данных поискового сервера.

Такой способ, как несложно догадаться, имеет очевидный недостаток, заключающийся в том, что содержимое веб-страниц может со временем изменяться, а «паук» не будет успевать найти их и обработать, следовательно, результаты поиска будут неточными. Еще раз, упомянув о времени, необходимом поисковому серверу для просмотра и индексации всего Интернета, скажу, что на это у разных поисковиков уходит от нескольких суток до нескольких недель в зависимости от алгоритма обработки информации. Так что сайты, появившиеся в Сети недавно, в результатах поиска представлены не будут.

Разработчики поисковых серверов борются с этим разными способами и с переменным успехом. Например, большинство современных поисковиков предоставляет такой сервис, как поиск по новостным лентам, обновляющимся каждые несколько минут, и поэтому они чаще индексируются поисковиками. Как бы там ни было, лучшего способа, чем предварительная индексация страниц, сегодня не существует.

Как уже отмечалось, в Интернете существует множество поисковых серверов, отечественных и зарубежных.

Российские поисковые серверы:

• «Яндекс» – www.yandex.ru ;

• «Рамблер» – www.rambler.ru ;

• «Апорт» – www.aport.ru ;

• Gogo – www.gogo.ru .

Зарубежные поисковые серверы:

• Google – www.google.com ;

• Altavista – www.altavista.com ;

• Yahoo! – www.yahoo.com .

Для поиска на русском языке лучше подходят российские серверы, на иностранном – зарубежные, хотя, например, Google неплохо справляется с поиском на многих языках. Подробнее о наиболее популярных поисковых системах поговорим позже, рассматривая расширенные возможности поиска, так как у каждой из этих систем есть свои особенности. Сейчас остановимся на некоторых базовых правилах построения поисковых запросов, общих для всех поисковиков.

Несмотря на заявления многих владельцев поисковых серверов, что запросы могут быть написаны практически на языке, который люди используют для общения между собой, это далеко не так. По всей видимости еще не скоро наступит время, когда компьютер и человек смогут общаться на естественном (для человека) языке. Впрочем, нужно отдать должное поисковым серверам: в последнее время они стали гораздо лучше понимать пользователя, и результаты поиска теперь больше соответствуют ожиданиям, чем это было несколько лет назад. Произошло это во многом благодаря внедрению новых языковых технологий.

Из вышесказанного следует, что на практике рядовому пользователю находить нужную информацию стало проще. Поисковики теперь ищут не только запрашиваемое слово, но и его словоформы, что позволяет делать результаты поиска более точными. Например, если в поисковом запросе присутствует слово умный, то его результаты будут содержать не только это слово, но и его производные: умного, умная, а также ум и даже разум. Конечно, страницы со словоформами будут не в числе первых результатов поиска, но элементы искусственного интеллекта налицо. Этот факт полезно учитывать при построении поисковых запросов. Теперь расскажу еще о нескольких таких фактах.

Поисковые серверы при обработке запроса не учитывают регистр символов. Поэтому запросы Отдых в Турции и отдых в турции с точки зрения поисковика идентичны.

Также следует помнить, что применять знаки препинания в поисковых запросах вовсе не обязательно, точнее, даже не нужно, так как они также игнорируются поисковыми серверами. Зато многие традиционные знаки препинания могут быть использованы при построении сложных расширенных запросов, результаты поиска по которым обычно гораздо ближе к ожидаемым.

Большинство поисковых серверов (кроме, пожалуй, Google) также игнорирует короткие слова, не несущие смысловой нагрузки. В русском языке это предлоги, союзы и т. д., в иностранных, например, артикли.

Многие поисковые серверы позволяют бороться с опечатками и неправильной раскладкой клавиатуры. Наверняка многим читателям часто случалось набрать при включенной английской раскладке клавиатуры русское слово, и получалось, например, gfhjdjp вместо паровоз. Тот же «Яндекс» сразу определит, что здесь что-то не так и вверху страницы с результатами поиска выдаст ссылку: Быть может, вы искали: паровоз, перейдя по которой можно получить страницу с правильными результатами. Аналогично можно бороться с опечатками. Если поисковому серверу покажется, что в слове допущена ошибка или опечатка, то он предупредит об этом той же фразой: Быть может, вы искали.

Поговорим о том, какие слова лучше взять для запроса поисковому серверу. Во-первых, из интересующей пользователя темы нужно взять самые важные по смыслу слова, отражающие только суть вопроса. Например, если необходим материал по теме «Ловля пингвинов в Антарктиде в условиях полярной ночи», то вовсе не обязательно писать фразу целиком, результаты поиска в этом случае, скорее всего, не устроят запрашивающего, так как будет много лишнего. Есть выражение «Машина должна работать, человек – думать», и сказано оно как раз о такой ситуации. Задача пользователя при составлении поискового запроса – выделить ключевые слова, задача поискового сервера – наилучшим образом обработать введенный запрос. В рассматриваемом примере ключевыми можно считать слова ловля пингвинов. Ведь известно, что кроме Антарктиды они нигде больше не водятся, ну а «полярную ночь» стоит отбросить хотя бы потому, что в реальности в таких условиях работать достаточно сложно.