Алексей Кутовенко - Профессиональный поиск в Интернете

Автоматический поиск ключевых слов предполагает наличие достаточно серьезных технологий обработки результатов. Для выделения групп и ключевых слов в iMetaSearch используется технология латентного семантического анализа (Latent Semantic Analysis, LSA). В двух словах ее смысл заключается в следующем. Как правило, пользователи составляют короткие запросы, содержащие одно-два ключевых слова, что ведет к размыванию результатов поиска и появлению информационного шума. LSA-система пытается в автоматизированном режиме расширить полученный запрос на основе обратной связи с пользователем. Проще говоря, отработав оригинальный, полученный от пользователя запрос, LSA-система предлагает пользователю указать лучший с его точки зрения результат, проводит его анализ и перестраивает список выдачи с учетом автоматически выделенных дополнительных условий.

Задача сортировки результатов поиска решена в полном соответствии с идеями технологии LSA. Выделив наиболее полезный результат в списке, пользователь тем самым присваивает ему значение релевантности равное ста процентам. Список выдачи немедленно перестраивается с учетом новых данных, полученных в результате такой обратной связи. Программа выводит на первые позиции за выделенной нами ссылкой наиболее похожие на нее по содержанию веб-страницы, указывая степень смыслового подобия как в цифрах, в процентном значении степени совпадения, так и визуально – цветной полоской. Кроме этого семантического стиля доступны и более привычные режимы сортировки – по заголовкам веб-страниц, задействованным поисковикам, и по рейтингу веб-страниц на использованных поисковиках. Результаты поиска можно выгрузить в HTML– или CSV-файл.

Главный недостаток iMetaSearch – очень плохая работа с поисковыми запросами, набранными кириллицей. Это значительно снижает количество пользователей в наших краях, которым данная программа могла бы приносить практическую пользу.

Среди приложений для сохранения и обработки найденного в Сети контента есть решения на любой вкус: онлайновые сервисы, самостоятельные локальные приложения и плагины для браузеров Далее мы рассмотрим лучшие инструменты каждой из названных групп. Среди них есть как коммерческие, так и распространяемые бесплатно приложения, в том числе с предоставлением исходного кода.

Основное преимущество онлайновых решений – доступность. Работать со своим архивом можно в любой точке, с любого устройства: был бы браузер и доступ в интернет. Второе их преимущество – социальные инструменты, позволяющие легко обмениваться данными или вести совместную работу над одним проектом.

Локальные программы также обладают рядом весьма привлекательных свойств. Они не требуют постоянного подключения к. Сети и позволяют вдумчиво работать с крупными архивами сохраненных файлов и веб-страниц. Такие программы не зависят от скорости интернет-соединения или неполадок на линиях связи. Для некоторых пользователей немаловажен тот факт, что все архивы хранятся только на локальном компьютере и их приватность не пострадает в случае сбоя на удаленном сервере. Кроме того, локальные приложения могут похвастаться широким выбором различных дополнительных инструментов, который пока могут себе позволить далеко не все онлайновые сервисы.

Встроенные в браузеры инструменты сохранения веб-страниц являются удобным средством, поскольку не требуют приобретения и запуска каких-либо сторонних приложений.

Больше всего повезло пользователям Firefox, поскольку лучшие на сегодняшний день решения такого плана разработаны именно для этого браузера. Менеджеры ScrapBook и Zotero, речь о которых идет далее, распространяются бесплатно, обладают хорошей функциональностью, просты в освоении. Они вполне подходят на роль ежедневно используемых инструментов.

Распространяется ScrapBook свободно. Устанавливается приложение стандартным для дополнений Firefox образом. Важное для нас обстоятельство – наличие русскоязычной версии программы.

Менеджер ScrapBook весьма прост в освоении и работе. Он интегрируется в интерфейс Firefox в виде боковой панели, которую можно вызвать либо из меню браузера, где появляется новый одноименный пункт, либо, что гораздо удобней, комбинацией клавиш Alt+K. Работа со ScrapBook, как и с другими подобными решениями, четко делится на два этапа: сохранение контента во время серфинга и последующее управление собранным архивом.

Боковая панель ScrapBook содержит список сохраненных страниц и ссылок, которые можно сортировать по различным признакам. В ее верхней части находятся кнопки создания каталогов, поле поиска по архиву и меню с дополнительными опциями. За этой внешней простотой и лаконичностью скрыты достойные возможности.

Доступны два режима просмотра архива. Первый – общим списком сохраненных страниц и каталогов, отсортированных в хронологическом порядке. Во втором режиме панель разделяется на две части, при этом в верхней показываются только каталоги, а в нижней – список страниц активного каталога. В большом архиве такой «разделенный» режим гораздо удобней в использовании. По умолчанию список сортируется по датам сохранения страниц, однако при настройке ScrapBook можно задать режим сортировки по заглавиям страниц или рекурсивной сортировки вложенных каталогов.

ScrapBook умеет сохранять веб-страницы целиком, отдельные фрагменты веб-страниц и отдельные фреймы. Захват отдельных мультимедиаобъектов не поддерживается. Добавление страниц в архив производится либо через стандартное контекстное меню браузера, либо же комбинацией «горячих клавиш» Ctrl+Shift+L. Контекстное меню содержит команды. Захватить веб-страницу, Захватить веб-страницу как и Добавить в закладки. Первый вариант наиболее простой и быстрый – достаточно выбрать необходимый каталог в списке недавно использованных или же создать новый – и страница уже в архиве. Второй вариант предлагает набор дополнительных вариантов настройки: выбор сохраняемых элементов (изображения, JavaScript-код, CSS-стили), а также позволяет автоматически сохранять файлы и страницы, на которые ведут ссылки, найденные на сохраняемой веб-странице. Можно также выделить на странице фрагмент текста и скачать в архив ScrapBook только попавшие в него ссылки. Среди доступных опций настройки – глубина захвата и выбор типа загружаемых файлов, причем, если вы хотите сохранить файлы с какими-либо экзотическими расширениями, достаточно просто перечислить эти расширения через запятую в специальном поле. Если на открытой странице присутствуют фреймы, ScrapBook предлагает возможность сохранения не только целой веб-страницы, но и отдельных фреймов. Соответствующие команды появятся во все том же контекстном меню.