Сергей Щербаков - Таргетированная реклама. Точно в яблочко

Реальные примеры логики тестирований (как это происходит в жизни) настоятельно рекомендую вам изучать по кейсам, которые мелькают на рынке, — у меня самого на сайте вывешено несколько десятков экземпляров.

Есть такой элементарный логический закон: увеличение количества целевых действий обратно пропорционально уменьшению коэффициента отклонения от средней величины. Перевожу на русский язык: если вы подбросите монетку один раз, вероятность того, что выпадет решка, довольно высока — один к двум (50 %). Если вы подбросите монетку два раза, вероятность того, что оба раза выпадет решка, уже будет один к четырем (25 %). Если три раза — один к девяти (11,1 %). Если четыре — один к 16 (6,25 %) и т. д. То есть чем больше раз вы подбрасываете монетку, тем меньше вероятность перекоса в какую угодно сторону. На десяти монетках, подброшенных в воздух, еще можно наткнуться на счастливые десять решек из десяти (такая вероятность равна 1 к 100), но вот на 10 000 такая вероятность практически ничтожна (1 к 100 000 000, или 0,0000001 %), и, скорее всего, с каждым новым броском результат будет приближаться к логичному 50 на 50. (Надеюсь, основную мысль вы уловили [7] На самом деле даже такой подсчет не является до конца справедливым. Прочтите главу «Мысленный (численный) эксперимент, демонстрирующий, откуда происходит кривая нормального распределения» книги «Черный лебедь» Нассима Талеба — там все необходимые детали. .)

К чему я это… В Сети время от времени мелькают принтскрины от «крутых» специалистов, которые хвастаются CTR кликов «ВКонтакте» где-нибудь на уровне 0,120 % или, допустим, вообще 5,300 % (что, безусловно, должно впечатлять), только вот на объемах 1–2 клика или, скажем, 100–500 показов (что, безусловно, должно вызывать недоумение) (рис. 4.3).

Рис. 4.3

Как вам нравится CTR в размере 66,667 %? (Скриншот совершенно реальный, я его не нарисовал, а любезно позаимствовал у коллег.) Лично я впечатлен. Но посмотрите чуть внимательнее — показов три, а переходов два. Бьюсь об заклад — стоит автору принтскрина всего лишь обновить страницу — и через пару минут цифра показов взлетит до 3000 человек (при 400 охвата), а переходов так и останется два. Вуаля — и наш CTR падает до ноль целых фиг десятых.

Опять же перевожу на русский язык… Предположим, вы дали мне 100 рублей на рекламу. Я добросовестно напарсил (собрал) аудиторию 40 000 человек и настроил на нее показ рекламы по цене два рубля за 1000 показов (чего хватит, чтобы показать рекламу даже 50 000 человек). И в 12 часов дня ее запустил (примерно в это время техподдержка «ВКонтакте» начинает модерировать объявления и пропускать их в работу). Через пару минут обновляю страницу и вижу, что на 324 показа (которые только-только начали откручиваться) у меня два клика, что равно CTR 0,617. «Вау!» — думаю я, делаю принтскрин и начинаю всем хвастаться.

Но позвольте… Общий объем аудитории — 40 000 человек; 324 — это менее 1 %. Можно ли это считать рабочим, средним CTR по рекламному объявлению? Конечно, нет! Потому что — что? Потому что чем меньше пользователей от общей величины охвачено, тем выше вероятность погрешности.

Среднюю величину (и реально «чистый» показатель) CTR дает только тот CTR, который учитывает результаты одной полноценной открутки на значимый объем целевой аудитории (то есть когда мы будем знать реакцию на 40 000 показанных объявлений, в нашем примере это утрировано, но от истины недалеко, подробные пояснения — уже через страницу). Больше 40 000 — это уже некорректная информация (потому что по второму кругу CTR прогнозируемо начинает падать — реклама надоедает). Примерно (примерно!) то же самое касается частотности показов в Facebook.

В реальной полевой работе охват никогда не бывает 100 %, потому что какие-то пользователи именно в эти дни не заходили в соцсеть, до каких-то мы величину ставок недотянули, да и банально оптимизационные алгоритмы Facebook не позволят… Поэтому адекватный показатель, на который можно опираться при оценке среднего СTR, — около 70 % охвата.

Дальше… Предположим, вы открываете свою «Яндекс. Метрику» или Google Analytics и видите, что средняя конверсия по всем источникам трафика — 3 % (что очень даже немало). Значит, для получения одной конверсии сколько вам нужно посетителей на сайте? Правильно — 33.

Но если вы работаете в режиме 100 рублей на один тизер в сети «ВКонтакте» и $1 на продвижение поста в Facebook, какое количество трафика фактически приходит на сайт? Скорее всего, 5–10 человек с одного запуска.

Приходит десять, а для получения одной конверсии надо как минимум 33. Мораль: любые выводы, которые вы сделаете, руководствуясь этими данными, будут ложными. Потому что, если первые десять пользователей заявок не оставили, не факт, что следующие десять будут вести себя так же. И наоборот: если на десять зашедших вы получили три конверсии — это прекрасная динамика, но масштабироваться она, скорее всего, будет с другим порядком цифр (чем больше данных вы будете получать, тем больше они будут «расплываться» — вспоминайте пример с монеткой).

Если не углубляться в теорию (с ней прекрасно помогут разобраться книги и учебники, которые я перечислил выше) и просто руководствоваться здравым смыслом, для нас с вами это значит, что принимать решения об эффективности или неэффективности конкретных объявлений можно исключительно на основании объемов трафика в 2–3 раза (а лучше — больше) превышающих количество, минимально необходимое для совершения одной конверсии. Если конверсия на сайт 1 % — минимум 100 человек, в идеале 200–300; если 5 % — 20 человек, в идеале 40–60; если 0,05 % — 200 человек, в идеале 400–600 и т. д.

И вот еще что, раз уж ввязались, давайте дойдем до конца. Генеральная совокупность — это выборка людей (в нашем случае пользователей), с которой вы работаете. Чтобы результаты (целевые действия — например, добавление товара в «Корзину» на сайте) характеризовали всю генеральную совокупность, нам нужно учитывать такой параметр, как предел погрешности. То есть ответ на вопрос, насколько можно быть уверенными, что полученные результаты отображают мнение всей выборки (например, чтобы на 95 % быть уверенными, что результаты удастся повторить при масштабировании, с генеральной совокупности 100 000 человек нужно получить 383 конверсии) (рис. 4.4).

Рис. 4.4

Дальнейшее погружение требует уже обсуждения степени доверительности самой выборки, и, пожалуй, мы не будем это затрагивать в рамках книги о таргетинге.

Подведем промежуточные итоги. Чтобы делать выводы как профессионалы: