Анатолий Косарев - Поисковые алгоритмы ранжирования сайтов

Для этого специалисты интернет гиганта предусмотрели множество алгоритмов, которые разложены в группы, или фильтры, о которых и будем говорить дальше.

Понимание того, как работают поисковые системы, имеет основополагающее значение для профессионалов SEO. Предоставляю последнюю информацию о сканировании, рендеринге, индексировании и ранжировании.

Не все согласились с акцентом на важность понимания различий между сканированием, рендерингом, индексированием и ранжированием.

Я заметил, что некоторые специалисты-практики считают такие опасения простой семантикой или ненужным «контролированием» со стороны элитарных SEO-специалистов.

В какой-то степени некоторые ветераны SEO, возможно, действительно очень слабо объединили значения этих терминов. Это может случиться во всех дисциплинах, когда те, кто обладает знаниями, перебрасываются жаргоном с общим пониманием того, что они имеют в виду. Ничего изначально плохого в этом нет.

Мы также склонны антропоморфизировать поисковые системы и их процессы, потому что интерпретация вещей путем описания их как имеющих знакомые характеристики облегчает понимание. В этом тоже нет ничего плохого.

Но эта неточность, когда речь идет о технических процессах, может сбить с толку и усложнить задачу тем, кто пытается изучить дисциплину SEO.

Можно использовать эти термины небрежно и неточно только до некоторой степени или как стенограмму в разговоре. Тем не менее, всегда лучше знать и понимать точные определения этапов технологии поисковых систем. А это позволит и лучшему пониманию работы фильтров, благодаря которым и происходит ранжирование сайтов при поисковой выдаче.

Включение веб-контента в результаты поиска осуществляется множеством различных процессов. В некотором смысле может быть грубым упрощением сказать, что для этого требуется всего несколько отдельных этапов.

Каждая из четырех стадий, которые я здесь рассматриваю, имеет несколько подпроцессов, которые могут происходить внутри них.

Помимо этого, существуют важные процессы, которые могут быть асинхронными с ними, например:

· Типы защиты от спама.

· Включение элементов в Граф знаний и обновление панелей знаний информацией.

· Обработка оптического распознавания символов в изображениях.

· Преобразование аудио в текст, в аудио и видео файлах.

· Оценка и применение данных PageSpeed.

· И более.

Ниже приведены основные этапы поиска, необходимые для того, чтобы веб-страницы отображались в результатах поиска.

ПОЛЗАНИЕ

Сканирование происходит, когда поисковая система запрашивает веб-страницы с серверов веб-сайтов.

Представьте, что Google, Яндекс и Microsoft Bing сидят за компьютером, вводят или нажимают ссылку на веб-страницу в окне своего браузера.

Таким образом, машины поисковых систем посещают веб-страницы так же, как и каждый из нас. Каждый раз, когда поисковая система посещает веб-страницу, она собирает копию этой страницы и отмечает все ссылки, найденные на этой странице. После того, как поисковая система соберет эту веб-страницу, она перейдет к следующей ссылке в своем списке ссылок, которые еще предстоит посетить.

Это называется «сканированием» или «пауками», что вполне уместно, поскольку сеть метафорически представляет собой гигантскую виртуальную сеть взаимосвязанных ссылок.

Программы сбора данных, используемые поисковыми системами, называются «пауками», «ботами» или «краулерами».

Основной программой сканирования Google является «Googlebot», в Яндекс – YandexBot/3, а у Microsoft Bing – «Bingbot». У каждого есть другие специализированные боты для просмотра рекламы (например, GoogleAdsBot и AdIdxBot), мобильных страниц и многого другого.

Этот этап обработки веб-страниц поисковыми системами кажется простым, но есть много сложностей в том, что происходит, только на этом этапе.

Подумайте о том, сколько может быть систем веб-серверов, работающих под управлением разных операционных систем разных версий, а также различных систем управления контентом (например, WordPress, Wix, Squarespace), а затем уникальных настроек каждого веб-сайта.

Многие проблемы могут помешать роботам поисковых систем, сканировать страницы, что является отличной причиной для изучения деталей, связанных с этим этапом.

Во-первых, поисковая система должна в какой-то момент найти ссылку на страницу, прежде чем она сможет запросить страницу и посетить ее. (Было известно, что при определенных конфигурациях поисковые системы подозревают, что могут быть другие, нераскрытые ссылки, такие как один шаг вверх в иерархии ссылок на уровне подкаталога или через некоторые ограниченные внутренние формы поиска на веб-сайте.)

Поисковые системы могут обнаруживать ссылки веб-страниц следующими способами:

· Когда администратор веб-сайта отправляет ссылку напрямую или раскрывает карту сайта поисковой системе.

· Когда другие сайты ссылаются на страницу.

· Через ссылки на страницу с собственного веб-сайта, при условии, что на веб-сайте уже есть некоторые проиндексированные страницы.

· Посты в социальных сетях.

· Ссылки найдены в документах.

· URL-адреса, найденные в письменном тексте и не связанные гиперссылками.

· Через метаданные различного рода файлов.

· И более.

В некоторых случаях веб-сайт дает указание поисковым системам не сканировать одну или несколько веб-страниц через свой файл robots. txt, который находится на базовом уровне домена и веб-сервера.

Файлы robots. txt могут содержать в себе несколько директив, указывающих поисковым системам, что веб-сайт запрещает сканирование определенных страниц, подкаталогов или всего веб-сайта.

Указание поисковым системам не сканировать страницу или раздел веб-сайта не означает, что эти страницы не могут отображаться в результатах поиска. Предотвращение их сканирования таким образом может серьезно повлиять на их способность хорошо ранжироваться по ключевым словам.

В других случаях поисковые системы могут с трудом сканировать веб-сайт, если сайт автоматически блокирует ботов.

Это может произойти, когда системы веб-сайта обнаружат, что:

· Бот запрашивает больше страниц за определенный период времени, чем человек.

· Бот одновременно запрашивает несколько страниц.

· IP-адрес сервера бота находится в пределах зоны, которую веб-сайт должен исключить.

· Запросы бота и/или запросы других пользователей на страницы перегружают ресурсы сервера, что приводит к замедлению обслуживания страниц или ошибкам.

Однако боты поисковых систем запрограммированы на автоматическое изменение коэффициента задержки между запросами, когда они обнаруживают, что сервер изо всех сил пытается не отставать от спроса.