Алексей Кутовенко - Профессиональный поиск в Интернете

Если говорить о научном поиске, то в настоящее время, к сожалению, возможности поиска публикаций на русском и иностранных языках нельзя назвать равнозначными. Проект Scholar, ru, а также проект на платформе Flexum «Поиск по научным сайтам» предлагают только базовые инструменты составления запроса и значительно уступают зарубежным аналогам по объемам баз. В то же время это единственные специализированные источники для научного интернет-поиска на русском языке и полученные с их помощью результаты весьма полезны. Если же стоит задача поиска зарубежных научных публикаций, то замечательные результаты можно получить с помощью системы Scirus. Большой объем базы и хороший выбор инструментов составления запроса дают хорошие шансы на успешное завершение поиска. Ресурсы ScienceResearch и BASE также предлагают неплохую подборку источников и оригинальные инструменты составления запроса.

Поиск полнотекстовых электронных книг в настоящее время является достаточно хорошо разработанной областью вертикального поиска. Среди соответствующих разделов универсальных поисковиков безусловно лучшими являются проекты Google и Nigma. Система Google Книги хороша в первую очередь для фактографического поиска в текстах книг, поскольку в большинстве случаев демонстрирует только фрагменты книг. Поиск книг в проекте Nigma ориентирован на полнотекстовые книги, интересен он также параллельным поиском критических публикаций. Однако лучшим инструментом для поиска полных текстов электронных книг следует признать проект eBdb. Он хорошо работает с русскоязычными сетевыми библиотеками. Найденные книги доступны для скачивания без каких-либо ограничений. Максимум, что потребуется от пользователя для получения файла – регистрация в соответствующей сетевой библиотеке. Данный поисковик умеет работать как с прямыми запросами по названию конкретной книги, так и с более широкими запросами, позволяющими отследить публикации определенного автора или же собрать тематическую подборку литературы. Кроме этих базовых функций он обладает удобным набором дополнительных сервисов. Таким образом, данная машина может быть рекомендована всем пользователям, интересующимся электронными книгами.

При поиске программ первую остановку имеет смысл сделать на проекте SoftSearch. Хорошая работа с каталогами и собственная рейтинговая система способствуют повышению качества поиска. Неплохие результаты при поиске зарубежных программ можно получить с помощью системы Exefind. Поисковик Quweas во многом уступает конкурентам, однако отличается уникальной возможностью поиска программ для редких компьютерных платформ.

Сам факт наличия множества индексных баз данных сетевых документов, причем собранных с использованием разных методов и алгоритмов, порождает экологическую нишу для целого класса метапоисковых систем. Такие системы не занимаются самостоятельным сбором информации, а отсылают запрос пользователя на несколько других поисковых серверов, объединяют результаты поиска, производят их дополнительную обработку и выдают обобщенный ответ. Это увеличивает широту охвата поиска за счет обработки данных различных индексных баз. Кроме того, метапоиск экономит время пользователя, которое иначе пришлось бы потратить на личное обращение ко всем нужным серверам. Такова схема работы полноценной метапоисковой системы. В то же время существует ряд сервисов, пренебрегающих собственным анализом полученных результатов. В предельном случае вы можете просто получить пару-тройку отдельных страниц с результатами разных поисковиков. Данный подход, в общем-то, тоже имеет право на существование, однако далее мы остановимся только на нескольких по-настоящему инновационных системах. Дело в том, что проблема обработки результатов метапоиска стоит даже более остро, чем в случае отдельного поисковика. Не удивительно, что на метапоисковиках можно увидеть немало интересных экспериментальных решений.

У всех ведущих современных интернет-поисковиков есть одна общая черта – они выдают результаты единым списком, отсортированным по релевантности ссылок. При всех своих достоинствах данная схема порождает для пользователей проблемы при большом количестве ссылок в списке выдачи Не секрет, что мало кто просматривает на поисковике больше одного-двух экранов результатов, на которых может так и не найтись требуемой информации. В то же время нужные данные в итоге могут оказаться на сайте, занимающем какую-нибудь 108-ю позицию в общем списке. Получается парадоксальная ситуация: информация в Сети есть, она найдена, однако останется навсегда скрытой для пользователя, если он не сможет грамотно уточнить запрос или составить сложное поисковое выражение.

Одним из ответов на данный вызов стала технология кластеризации результатов интернет-поиска. Ее преимущества по сравнению с аналогами – возможность сравнительно простой автоматизации процесса. Кластерные технологии не требуют какой-либо специфической разметки веб-страниц, как это принято в комплексе технологий «семантического веба». Они также не нуждаются в сравнительно трудоемкой предварительной подготовке массива веб-страниц, используемой в веб-каталогах. Цена этого преимущества – некоторый процент информационного шума, неизбежного при автоматической обработке результатов поиска в Сети.

Получив запрос, кластерный поисковик, как и обычная поисковая система, сначала находит в своей базе соответствующие запросу веб-страницы. Различия начинаются на этапе сортировки результатов. Система проводит анализ найденных страниц и находит на них дополнительные ключевые слова, встречающиеся вместе с терминами из поступившего от пользователя запроса. Получившиеся в результате такого анализа подмножества страниц называются кластерами и с большой вероятностью относятся к разным аспектам темы запроса. Далее в недрах поисковика происходит следующее важное событие – определение релевантности ссылок и их позиции в результатах. Кластерная машина проделывает эту операцию отдельно для каждого кластера. При этом ссылки со страниц одного кластера, то есть сайтов аналогичной или схожей тематики, ценятся выше, чем ссылки с посторонних, пусть даже очень популярных ресурсов. В результате позиция сайта в списке выдачи по кластеру является своеобразным отражением ее оценки коллегами по тематическому цеху, что работает на качество поиска. Кроме того, ранжирование ссылок по отдельным кластерам позволяет вывести на первые позиции в кластерах полезные, но не «раскрученные» ресурсы, которым в обычных поисковиках с выдачей результатов единым списком и бесконечными войнами оптимизаторов мало что светит.