А/В-тестирование заголовков на Новостях Mail.Ru. Чему мы научились

Интернет хорош тем, что всё (или почти всё) можно исправить уже после публикации. Ставишь анонс, а он не работает — не кликают, не переходят, не читают. Переписываешь заголовок и — вжух! Трафик пошел! Однако обидно терять тех, кто уже зашел на твой сайт, пробежал глазами по заголовкам, ничем не заинтересовался и ушел, так и не открыв ни одной страницы.

В Новостях Mail.Ru решили минимизировать потери от такого поведения посетителей и внедрили систему A/B-тестирования заголовков. Выпускающий редактор проекта Яна Соболева рассказывает, как это работает.

К каждому анонсу, который выводится на главную страницу, мы пишем два заголовка. И в течение первых 30 минут размещения половина нашей аудитории видит заголовок-1, а вторая половина — заголовок-2.

По истечении получаса система автоматически перестает показывать «проигравший» заголовок, а «победителя» раскатывает на все 100% аудитории. Критерий эффективности — конечно же, CTR.

Полчаса — это, с одной стороны, достаточно длительный интервал, чтобы избежать статистических погрешностей при подсчете CTR, а с другой — достаточно короткий, чтобы обойтись без ощутимых потерь трафика от проигравшего заголовка.

Почему именно два заголовка, а не три или, например, пять? Сравнивать можно, наверное, и большее количество заголовков, но с учетом существующих у нас ограничений (по количеству знаков, по времени, и т.д.) придумать даже второй адекватный заголовок порой бывает очень непросто.

Наша редакция использует эту систему больше двух лет, и вот некоторые закономерности, которые мы для себя зафиксировали. Продолжение.