Эксперт Эксперт - Эксперт № 26 (2014)

В апреле 2014 года журналисты провели мониторинг поисковой выдачи «Яндекса». Были просмотрены только первые 200 ресурсов по количеству переходов на них с анонсов службы, согласно статистике LiveInternet.ru. Оказалось, что у большинства изданий значительную долю посещаемости (часто более 50%, а нередко и 70%) составляют переходы именно из службы «Яндекс.Новостей». В отношении 51 ресурса можно сказать определенно, что в их выходных данных нет информации о регистрации в качестве СМИ. Исследователи делают вывод: «“Яндекс”, обладая монопольным положением на рынке поиска в России, создает иную медийную реальность, формируя новостные сюжеты из сообщений ресурсов, большинство из которых СМИ не являются».

«Яндекс» отвечает: «В выдаче “Яндекс.Новостей” появляются все источники, подключенные к сервису. Надеемся, вы не рекомендуете “давить” маленькие проекты и отдавать предпочтение большим или избранным».

После другого исследования — газеты «Труд» в отношении заголовков «Яндекса» — у сайта этого СМИ, по заявлениям работников, начались проблемы: они исчезли из поисковой выдачи. Их статьи либо совсем не появлялись на релевантные запросы, либо находились в конце списка. Тогда историю удалось замять, но спустя пять лет схожий сценарий изложил владелец медиапортала Pravda.ru Владимир Горшенин: «Проблемы у нашего портала начались давно — мы практически не попадали в поисковую выдачу “Яндекс.Новостей”. Я писал письма в компанию, но ситуация не менялась. Последней каплей стала ситуация с резонансной статьей американского сенатора Джона Маккейна, которую он написал эксклюзивно для нашего сайта в феврале этого года. Оказалось, что поиск “Яндекса” приводил читателя на дубликат этой статьи, перепечатанной какой-то татарской газетой. Мы, как первоисточник, не получили ни одного перехода от поисковика. И после этого прервали всякое сотрудничество с компанией “Яндекс”».

Каким образом популярный сайт не индексируется поисковой машиной? Как уникальное интервью не появляется в первых строках поиска, а дается лишь через ссылку на стороннем ресурсе? Почему многие авторитетные издания никогда не встретишь в списке первых адресатов выдачи?

Некоторые эксперты убеждены, что имеет место вмешательство сотрудников «Яндекса» в работу поисковых роботов. Тем более что для этого есть и техническая возможность, и практическая необходимость.

Любые алгоритмы выдают не более 95% качества работы, говорят специалисты. Остальное просто необходимо корректировать вручную. Это касается и борьбы со спамом, с нецензурными заголовками (вариации «русского матерного» безграничны и роботу неподвластны), с коммерческими манипуляциями, когда одну и ту же новость переписывают, чтобы снова и снова попадать в поисковую выдачу и зарабатывать рекламные деньги. То есть условно в 5% случаев поисковик просто обязан использовать ручной труд для корректировки поисковой выдачи.

Однако в компании уверяют: «Поскольку “Яндекс.Новости” работают полностью автоматически, с нецензурными заголовками, спамом и накрутками борются не редакторы, а алгоритмы ранжирования, которые мы постоянно улучшаем».

Тем не менее ряд специалистов считает, что работники поисковика обладают возможностью не только удалять проштрафившиеся ресурсы, но и определять частоту их ранжирования и место в поисковой выдаче. Этот механизм нам описали несколько не связанных друг с другом людей — бывшие работники «Яндекса», редакторы новостных порталов, айтишники.

После того как роботизированный алгоритм поиска проверяет сайт на соответствие заявленным условиям («принадлежность первоисточнику, оперативность, цитируемость, информативность»), ресурсу автоматически присваивается рейтинговый балл в диапазоне от плюс пяти до минус пяти. Этот показатель и определяет частоту, порядок и место в списке поисковой выдачи «Яндекса». Все абсолютно роботизировано. Однако существует техническая возможность вручную присвоить определенному сайту более высокий или более низкий рейтинг. Таким образом, получив рейтинг «минус пять», Pravda.ru исчезает из новостной выдачи. То есть напрямую попасть на сайт можно, но в «Яндексе» ссылок на него не обнаружишь. Таким же образом определенные издания могут получать преференции и подниматься в топ по новостным запросам. Доказать вмешательство человека очень сложно, кроме того, работники компании этим грешат нечасто. Зачем — поговорим ниже.

Можно лишь предполагать, что в некоторых случаях какие-то интернет-ресурсы или темы ненадолго получают привилегию в поисковой выдаче «Яндекс.Новостей» для актуализации определенной политической повестки. Однако есть мнение, что некоторые ресурсы на продолжительное время занимают «не свое» место в поисковой выдаче.

Монополия над СМИ

Сайты медиакомпаний существуют за счет выручки от продажи баннеров на своих ресурсах. Рекламодатели, в свою очередь, ориентируются на трафик — количество пользователей, посещающих сайт. Серьезными игроками на рынке трафика являются поисковики. Именно через их выдачу новые, да и старые, пользователи попадают на тот или иной информационный ресурс.

Выясняется, что половину новостного трафика (который составляет свыше 5 млн переходов в сутки) «Яндекс» «наливает» девяти ресурсам, 75% трафика — 20 сайтам (см. график 2). Остальные — а это свыше 6 тыс. ресурсов — в новостную выдачу попадают крайне редко. (И это притом что в компании не хотят «“давить” маленькие проекты и отдавать предпочтение большим или избранным»). Это странно: нетрудно назвать минимум полсотни новостных сайтов — ТВ, радио, прессы, — производящих уникальный и оперативный контент. Справедлив ли алгоритм, определяющий им лишь четверть общего трафика поисковика?

Те, кто оказываются в первых строках поисковой выдачи, получают больше переходов, больший трафик и больше рекламы. Такая монополия рынка убивает финансовые возможности более слабых и менее раскрученных ресурсов. Блокировка того или иного издания запросто может привести к его гибели.

Возможно ли, что определенные сайты получают преференции при ранжировании поисковой выдачи? Можно лишь догадываться, анализируя график 3, на котором отображена структура переходов с «Яндекс.Новостей» на новостные сайты в трех временных точках: в январе 2012 года (разгар уличных протестов), в январе 2013-го (период новостного спокойствия) и в мае 2014-го (разгар конфликта на юго-востоке Украины). Как же радикально за три года изменились предпочтения алгоритма! За это время лидирующих позиций лишились сайты РБК, «Ленты» и «Эха Москвы». Сегодня в топе — новостные агентства «ИТАР-ТАСС», «РИА Новости» и «Интерфакс», и это — тенденция лишь последнего полугодия, ранее эти источники имели мизерные показатели в новостной выдаче.