Сергей Анисимов - Поисковое продвижение сайтов

✍ На заметку

Если в индексе Яндекса и Гугла должны присутствовать все целевые страницы, но отсутствовать «мусор», логично предположить, что число страниц в индексе обеих поисковых систем должно быть примерно одинаковым.

Если это не так, у продвигаемого сайта могут быть проблемы.

Как правило, причин такой ситуации две:

– один или оба поисковика «не видят» целевые страницы или индексируют «мусор» (а иногда и то и другое);

– продвигаемый сайт попал под санкции, и страницы начали выпадать из базы.

Последний случай очень серьезный и требует неотложных мер для исправления ситуации.

3. В индексе поисковых систем не должно быть служебных поддоменов и страниц, дублей и прочего «мусора».

Полноту индексации иногда непросто проверить при работе с большими проектами. Для этого случая можно посоветовать проверять полноту по отдельным подразделам.

Коды ответа сервера

Все существующие страницы должны возвращать код ответа сервера 200 (ОК), а все удаленные или несуществующие документы – 404 (Not found).

Проверить выполнение этого правила можно с помощью специального программного обеспечения или веб-сервисов, информацию о которых легко найти в Сети.

Полезные советы и типичные ошибки

Перечислим некоторые типичные ошибки, которых стоит избегать, чтобы улучшить индексацию и перелинковку сайта:

1. На все ключевые разделы желательно поставить ссылку с главной страницы. Конечно, для масштабных информационных проектов и больших интернет-магазинов это может быть проблематично, но стремиться к этому необходимо.

2. Не следует ставить слишком много внутренних ссылок на одной странице.

Не так давно из-за технических ограничений поисковые системы не рекомендовали ставить больше 100–150 ссылок на странице. Сейчас таких жестких ограничений нет, поисковики лишь рекомендуют использовать «оправданное количество ссылок».

При этом нужно иметь в виду, что внутренний вес распределяется по каждой ссылке. Это значит, что если на странице 100 ссылок, то каждая получит 1/100 части веса, а если тысяча – лишь 1/1000. Кроме того, чрезмерное количество ссылок может восприниматься поисковыми системами как спам или попытка манипуляции выдачей, что автоматически приведет к наложению санкций.

Выводы:

a. Не стоит концентрироваться на точном ограничении количества ссылок.

b. Все ссылки нужно ставить для пользователей, а не поисковых роботов.

c. В пределах одной страницы ссылок не должно быть слишком много.

3. На все страницы сайта должен быть переход хотя бы по одной ссылке. Встречается ситуация, когда страница исчезает из навигационных цепочек, но остается доступной по прямой ссылке (например, при изменении каталога в интернет-магазине). Нужно быть готовым к тому, что такие страницы со временем выпадут из индекса.

4. В главе про улучшение скорости работы сайта мы говорили о важности использования http-кэширования [75] https://developers.google.com/speed/docs/insights/Leverage BrowserCaching . Но использовать кэш важно не только для того, чтобы улучшить скорость загрузки.

Благодаря использованию нужных заголовков (один из пары Expires и Cache-Control max-age, а также один заголовок из пары Last-Modified и ETag) можно уменьшить объем передаваемого трафика за счет использования ресурсов из кэша, а не повторной их загрузки. Таким образом можно сэкономить краулинговый бюджет и улучшить полноту индексации сайта.

5. Не нужно использовать nofollow-ссылки во внутренней перелинковке. Это затруднит индексацию страниц сайта. Исключение составляют случаи приоритизации сканирования, когда для робота закрываются разделы, которые не имеет смысла индексировать (примером могут служить ссылки на вход, регистрацию или корзину на сайте интернет-магазина). Процитируем представителей Гугла: «Использование nofollow в таких случаях позволяет роботу заняться сканированием других страниц, которые вы хотели бы видеть в индексе Google. И все же гораздо важнее правильно организовывать информацию: применять интуитивно понятную навигацию, удобные для пользователей и поисковых систем URL и т. д.» [76] https://support.google.com/webmasters/answei7965697hHru .

6. Есть смысл подумать над использованием абсолютных (Каталог продукции < /a>), а не относительных (Каталог продукции) внутренних ссылок.

Это поможет защитить контент от скраперов (парсеров) – мошеннических программ, которые воруют контент сайта и размещают его на других ресурсах.

При этом нужно помнить, что использование абсолютных адресов имеет ряд сложностей, которые встанут в полный рост при смене домена или протокола. Также сложно использовать абсолютные адреса при наличии нескольких доменов/поддоменов для разных языковых версий и при доработке сайта на тестовом сервере.

7. Следует использовать ключевые слова во внутренних ссылках. Мы уже касались этой темы в разделе про работу со статическими весами, но не лишним будет повторить: текст ссылки служит дополнительным сигналом релевантности. Нужно стремиться к тому, чтобы использовать в ссылке те ключевые слова, под которые оптимизирована страница.

8. Необходимо постоянно улучшать внутреннюю перелинковку:

a. Добавлять контекстные ссылки там, где это уместно.

b. Создавать рекомендательные блоки и виджеты.

c. Разместить в подвале сайты ссылки на важнейшие категории каталога и прочее.

Остается добавить, что приведенные рекомендации являются универсальными и подходят для любых типов проектов.

К сожалению, в практике поискового продвижения нередко приходится сталкиваться с ситуациями злонамеренного взлома сайтов.

Взлом может быть сделан с разными целями, в том числе для понижения сайта-конкурента в результатах выдачи. Для этого случая, кроме простого удаления информации или нарушения программной работы ресурса (что легко исправить с использованием резервной копии сайта), могут использоваться и более тонкие приемы. Например, на взломанном ресурсе могут быть незаметно размещены материалы и ссылки, которые приведут к санкциям со стороны поисковиков. Простейший пример: размещение скрытого текста или ссылки на сомнительные сайты «взрослой» тематики и онлайн-казино.

Проникновение также выполняют безличные роботы, которые автоматически сканируют сайты на наличие типичных уязвимостей. Если такие уязвимости есть, сайт взламывается и на сервер закачивается вредоносный код или, например, страницы со ссылками на другие взломанные ресурсы и целевые сайты. Сети из таких взломанных сайтов могут достигать огромных размеров – до десятков, сотен и даже миллионов сайтов.