Димитри Маекс - Ключевые цифры. Как заработать больше, используя данные, которые у вас уже есть

– Документация тестирования . Каждому тесту должен соответствовать специальный документ – спецификация, в которой перечислены все основные гипотезы, формат теста, сроки проведения, ожидаемые выгоды, расходы, показатель прибыли от капиталовложений и имя сотрудника, ответственного за проведение. Этот детальный документ позволяет стандартизировать все входные параметры, необходимые для создания истории тестирования.

– Воронка тестирования . Воронка тестирования позволяет отслеживать все настоящие и запланированные тесты. В зависимости от количества проводимых вами тестов и сложности вашей организации это может быть и простая электронная таблица с указанием всех запланированных тестов с коротким описанием, указанием сроков и текущего статуса, и сложные платформы, управляющие масштабными рекламными кампаниями.

– Руководства к действию . Недостаточно просто собрать результаты прошлых тестов в едином хранилище идей. Все полученные выводы должны быть сгруппированы в виде руководств к действию, которые затем нужно довести до всей организации. И еще раз отметим, что проведенные и протестированные принципы не требуют повторной или многократной проверки.

– Приоритеты для тестирования . Для каждого нового теста желательно установить приоритет на основании нескольких параметров: 1) истории тестирования; 2) руководств к действию; 3) текущего содержания воронки тестирования; 4) размера потенциального показателя прибыли от капиталовложений. Установление приоритетов позволит вам избежать лишних проверок.

Я знаю всего несколько компаний, в которых проводились бы соответствующие и правильные испытания. Обычно справедливо обратное. Творческие решения большинства компаний не выживают под натиском данных – ведь все эти решения основаны на крайне субъективных мнениях специалистов или, хуже того, на том, что эксперт в области веб-аналитики Авинаш Кошик называет HiPPO (акроним от Highest in Payment Person’s Opinion – «мнение лица с самой высокой зарплатой»).

Это означает, что компании склонны терять миллионы долларов. Они не тестируют новые идеи и не способны четко понять, насколько та или иная идея эффективна. Системы управления тестированием предназначены помогать и таким компаниям. Они способны выявить отсутствие нужных данных и зоны, требующие обязательного тестирования. Помимо этого, они помогают сделать тестирование неотъемлемой частью творческого процесса. Из всех аналитических инструментов, способных питать творческую работу, с тестированием не может сравниться ничто другое.

Тестирование в цифровом мире

Мы вкратце продемонстрировали принципы тестирования на примере компании IBM. Однако подход «от анализа к действию» может применяться повсюду, особенно в цифровых каналах, где возможности для тестирования кажутся почти безграничными. Приведу пример. Мы пытались улучшить домашнюю страницу интернет-магазина Kodak при помощи нескольких тестов. Ниже вы увидите первоначальный вариант страницы, который мы хотели оптимизировать. Однако сотрудники Kodak не видели никакой проблемы, а просто хотели знать, можно ли слегка улучшить внешний вид.

Для оценки мы создали шесть различных страниц. Иными словами, испытания класса A и B превратились в испытания A, B, C, D, E, F. Приведенный ниже вариант оказался лучше остальных и привел к 11,3 % роста дохода – всего лишь за счет изменения расположения элементов.

У этого подхода был весомый недостаток. Мы знали, какой из вариантов страницы показал наилучшие результаты, но никак не могли выделить тот отдельный элемент, который отвечал за различие в результатах. Чуть позже я покажу вам несколько методов, помогающих в точности выявить, что вызывает различия. Однако перед этим позвольте мне сказать одну важную вещь.

Тестирование позволяет исключить субъективизм и мнения отдельных людей в процессе принятия решений. Вам может нравиться один дизайн страницы Kodak, а мне – другой, однако лишь тестирование скажет, кто из нас прав. Вместо того чтобы обсуждать различные версии, основываясь на собственном вкусе, опыте или аналогиях, мы можем просто попробовать их все и позволить аналитике нас рассудить и сказать, что работает лучше. Конец дискуссии.

Надеюсь, к этому моменту вы уже поняли всю силу оптимизации, но если вам нужны дополнительные аргументы, я приведу еще один пример. Победа Барака Обамы на президентских выборах 2008 года отчасти была связана с умным применением наших маленьких цифр. Ниже вы можете увидеть две версии домашней страницы сайта Obama.com, запущенного во время избирательной кампании.

Слева приведен первоначальный вариант домашней страницы. Будущий президент посетил штаб-квартиру компании Google в 2007 году, когда в ней еще работал Дэн Сирокер. Дэн был настолько вдохновлен разговором с Обамой, что оставил Google, уехал в Чикаго и там присоединился к его команде. Поначалу у него не было своего угла, поэтому он ночевал на полу в квартире своего друга. Однако это не помешало ему со временем организовать команду аналитиков, работавших с новыми видами медиа для избирательной кампании. В итоге Обама смог собрать 656 миллионов долларов, из которых около 500 миллионов пришло через интернет-каналы, в основном через сайт Obama.com.

Позвольте мне рассказать, как это происходило. Дэн и его команда использовали некоторые из методов, описанных мной в этой главе, для изменения домашней страницы (слева приведен исходный вариант, справа – итоговый). В сущности, произошло всего два изменения. Дэн поменял фотографию и текст на кнопке (было – sign up «Зарегистрируйтесь», стало – learn more «Узнайте больше»). Как показано в приведенной ниже таблице, эти простые коррективы полностью изменили ситуацию.

Страница справа оказалась лучше изначальной на 40 %. Это привело к привлечению 288 тысяч добровольных помощников и к 57 миллионам долларов дополнительного финансирования (примерно на 25 % выше суммы, собранной противником Обамы Джоном Маккейном).

Дэн Сирокер не ограничился ни тестированием класса A и B, ни даже A, B, C, D, E, F. Он использовал многовариантное тестирование, ставшее куда более мощным инструментом именно в цифровую эпоху, позволяющую автоматизировать массу аналитических процессов. Впервые я познакомился с многовариантным тестированием в 2002 году.