Евгений Ющук - Интернет-разведка. Руководство к действию

На наш взгляд, программа WebSite-Watcher информативнее, чем онлайновые службы, однако последние выигрывают за счет того, что позволяют увидеть изменения из любой точки мира и с любого компьютера.

Через панель управления на ресурсе Fagan Finder можно перейти непосредственно в персональный блог. При этом ссылка на изучаемый сайт появится автоматически как новое сообщение в блоге, которое тут же можно дополнить.

Так же осуществляется переход на интернет-сервисы, которые способны сохранять закладки пользователей и даже архивные копии страниц. Примером такого сервиса служит Furl (аббревиатура от File URL). Данный ресурс во многом похож на блог, но не дает публичного доступа к своему содержимому, это ваше личное хранилище статей, страниц и закладок. При этом Furl хранит как закладку на страницу, так и изображение самой страницы на заданную дату. Пользователь может вести собственный архив страниц (рис. 36).

Рис. 36. Занесение страницы в Furl через панель управления на ресурсе Fagan Finder

Прямого отношения к задачам конкурентной разведки, на наш взгляд, эти сервисы не имеют, но для комплексной оценки «продвинутости» сайта могут пригодиться. Специалисты по оптимизации наверняка найдут здесь немало полезных инструментов, позволяющих понять организацию ресурса с технической точки зрения.

Этот ресурс позволяет определить, какие серверы используются в обслуживании сайта, кому они принадлежат, какие имеют ip-адреса и какие на них установлены операционные системы. Причем, для целей конкурентной разведки может быть полезным то, что здесь отображается вся история изменений как аппаратной и программной части серверов компании, так и провайдеров, которые обеспечивают хостинг. Это помогает, в частности, оценить техническую «подкованность» организации и косвенно – через обновление техники – ее финансовое благополучие. На рис. 37 приведена информация об истории развития серверов компании «Автоленд» – со времени их возникновения до наших дней.

Рис. 37. Информация об истории изменения аппаратной, программной части серверов, обслуживающих сайт по адресу http://www.autoland.ru/ , и о провайдере, полученная на ресурсе NETCRAFT

Для просмотра содержимого этого файла мы рекомендуем воспользоваться скриптом, созданным Сергеем Матвеенко – специалистом по IT из Санкт-Петербурга.

Скрипт доступен по адресу: http://serge.matveenko.ru/robotstxt/.

Вот что пишет о нем сам автор.

Кнопка на панель ссылок браузера для просмотра текста файла robots.txt

Вы можете добавить на панель ссылок вашего браузера кнопку «Посмотреть robots.txt». Чтобы установить кнопку, просто перетащите эту ссылку на панель ссылок вашего браузера: Посмотреть robots.txt.

Теперь, если Вы захотите увидеть файл robots.txt сайта, который в данный момент открыт в браузере, просто щелкните по кнопке «Посмотреть robots.txt» в панели ссылок. Откроется страница, содержащая текст файла.

Кнопка работает во всех браузерах при включенном JavaScript.

При просмотре сайта компании «Автоленд» выяснилось, что файл robots.txt на ресурсе отсутствует. Таким образом, данный способ ограничения индексации поисковыми роботами в указанном случае не применяется. Для получения доказательств того, что скрипт все-таки работает, мы обратились к другому сайту, а именно – форуму на екатеринбургском портале e1 по адресу: www.e1.ru/talk/forum/.

Результат проверки содержимого файла robots.txt на сайте форума приведен ниже.

User-Agent: *

Disallow: /mye1

Disallow: /ad.php

Disallow: /cgi/go

Disallow: /talk/forum/go.php

Disallow: /fun/photo/get_code.php

Disallow: /auto/sale/print/

Disallow: /talk/forum/forum_news.php

В ряде случаев специалиста конкурентной разведки может ждать удача – когда переход по гиперссылке, указанной в окне с результатами проверки содержимого файла robots.txt, открывает доступ в те зоны сайта, которые в принципе предназначены лишь для служебного пользования, но при этом не запрещены к посещению людьми (то есть ограничения на посещение введены исключительно для поисковых пауков). Соответственно, на наш взгляд, ничего противозаконного или неэтичного в попытке представителя конкурентной разведки взглянуть на страницы ресурса, к которым ведут гиперссылки в файле robots.txt, нет.

Этот метод хорош при работе с иностранными партнерами из развитых стран, поскольку в Гугле сделана привязка карт к каталогам с названиями компаний. Отечественные предприятия пока что не очень широко представлены в этом списке, а русский язык сервисом Google Map вообще на момент написания книги не поддерживался. Да и правила пользования подобными сервисами не всегда полностью соответствуют требованиям, предъявляемым к максимально разрешенной в России точности карт. На момент написания книги не были завершены дебаты о том, что ограничения на точность карт в России, возможно, устарели и требуют внесения изменений. Мы рекомендуем изучить законодательство на текущий момент, прежде чем пользоваться ресурсами Google Map по отношению к объектам на территории нашей страны, во избежание конфликтов с Законом.

Рис. 38. Офис компании IBM в Нью-Йорке, показанный с помощью ресурса Google Map.

За рубежом законодательные проблемы точности карт уже решены. При поиске иностранных компаний достаточно ввести название предприятия в поисковую строку Гугла и выбрать масштаб изображения, а также вариант его демонстрации – «карта» (map), как это представлено на рис. 38, «спутниковое изображение» (satellite) или «и то, и другое» (hybrid). При этом пользователю будет показана и контактная информация интересующей его организации.

После того, как завершено знакомство с сайтом с технической точки зрения, советуем приступить к исследованию его конента – текстовой и графической информации.

Во время такого изучения могут быть обнаружены орфографические или пунктуационные ошибки. В случае их выявления, для того, чтобы сделать правильные выводы из такой находки, надо постараться понять, почему эти огрехи присутствуют на сайте.