[Интернет-маркетинг, Email-маркетинг] Как сделать email-рассылку более эффективной с помощью сплит-тестов?

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 4 месяца
Сообщений: 27286

news_bot ^® написал(а)
03-Дек-2020 16:30

Цитировать

A/B-тестирование – быстрый и надежный способ узнать, что улучшит рассылку. Рассказываем, какие гипотезы стоит проверить, как это сделать с помощью сплит-тестов на DashaMail, как работает калькулятор достоверности и когда он может пригодиться.

Проверять гипотезы очень важно. Если внедрять изменения без тестирования, можно сделать рассылку хуже.На эффективность рассылки влияют разные ее параметры: тема письма, шаблон, цвет кнопки и др. Чтобы не ухудшить показатели, менять их бездумно нельзя. Любая гипотеза, будь то время отправления рассылки, положение кнопки с призывом или обращение к подписчику по имени, нуждается в проверке. Понять, какой из вариантов лучше, помогают сплит-тесты.Как проверять гипотезы?Гипотезы касаются разных параметров рассылки: тема, отправитель, макет, время отправки. Если меняются они, меняются и показатели: Количество открытий (OR). Это процент открытых писем от числа доставленных. Как правило, зависит от того, насколько цепляющей оказалась тема письма и прехедер, пришла ли рассылка вовремя.Количество кликов (CR). Это процент подписчиков, которые совершили переход по ссылке из письма, от числа доставленных писем. На этот показатель влияет все, что находится внутри письма: шаблон, текст, положение и оформление кнопки с призывом к действию.Соотношение кликов к открытиям (CTOR). Это процент переходов из рассылки от числа открытых писем. Он тоже зависит от внутреннего наполнения письма.Количество отписок (UR). На их число влияет полезность предложений и контента в рассылке. Чем она меньше, тем больше отписок.Но зачастую помимо отслеживания базовых метрик в статистике по рассылки, при выборе победителя сплит-теста следует ориентироваться на продажи. Ведь чаще всего именно они являются конечной целью email-маркетинга. Для отслеживания этого показателя, в каждую тестовую версию рассылки можно добавить свою уникальную utm-метку и затем отследить продажи из каждой версии.В зависимости от того, какой показатель хотите улучшить, тестируйте разные гипотезы и следите за изменение показателей. Мы расскажем об основных трех: открытия, клики и продажи.Какие гипотезы проверять, чтобы увеличить открытия?Откроет подписчик рассылку или нет, зависит от темы и прехедера письма, имени отправителя и времени отправки. Чтобы увеличить процент открытий, можно тестировать следующие гипотезы:

Сформулировать тему коротко или расширить?
Добавлять таймер обратного отсчета до окончания акции или обойтись без него?
Указывать ли размер скидки в теме?
Отправлять рассылку от имени компании, бренда или конкретного должностного лица?
Увеличит ли показатель открытий упоминание в теме прошлых покупок или других персональных сведений (количество баллов в аккаунте, например, накопленных миль)?
Не будут ли смайлики раздражать подписчиков: обойтись без них или попробовать добавить к теме письма?
Когда лучше отправлять письма с предложениями, а когда – статьи из блога?
На чем сыграть в теме письма и прехедере: пользе для подписчика, любопытстве или боли и страхах?

Тестирование имени отправителя лучше проводить в начале запуска email-маркетинга в компании или только на новых подписчиках. Так как если резко поменять имя отправителя уже в процессе работы с базой, уровень открытий может вырасти исключительно из-за самого факта изменения имени, но при этом с большой долей вероятности также вырастет и количество отписок.Какие гипотезы использовать, чтобы увеличить количество кликов?На клики влияет внутреннее оформление письма: дизайн макета, расположение, цвет и текст кнопки призыва к действию, стиль обращения к подписчику и многое другое.Можно тестировать следующие гипотезы:

Сделать выбор в пользу текстового письма (plain text) или HTML-шаблона?
В каком месте макета расположить кнопку призыва?
Какого цвета кнопка более привлекательна в конкретном письме?
Какая надпись для кнопки призыва сработает с большей вероятностью?
Какие изображения больше цепляют: нейтральные иллюстрации или, например, мемы?
Использовать ли анимацию?
Фон какого цвета лучше использовать?
Обращаться к подписчику на «ты» или на «вы»?
Размещать товары в рассылке или достаточно одного баннера?

Что проверять, чтобы повысить продажи?На уровень продаж влияют все параметры в комплексе: нужно проверять разные темы, шаблоны, кнопки и время. Если тема зацепит, то письмо откроют. Если оформление и текст будут убедительны, то подписчик перейдет на сайт. Если предложение выгодное, то клиент совершит покупку.Большое значение для продаж имеет время отправки. Например, на выходных в сегменте B2C показатель открытий часто низкий, зато продажи выше: подписчик скорее найдет время на шопинг в субботу или воскресенье, чем в будни.Пользователь сам решает, покупать или нет, но вовремя отправленное письмо с интересной темой и цепляющим текстом может повлиять на его решение, и тогда больше шансов, что он совершит покупку.

Чтобы не оказаться в такой ситуации, достаточно проверять свои гипотезы с помощью сплит-тестов.Дополнительные рекомендации

Тестируйте гипотезы обо всех рассылках, а не только о регулярных. Например, можно проверять, какой шаблон для триггерного письма о брошенной корзине работает лучше.
Проведите тест, насколько часто будут открывать рассылки с отзывами и кейсами о ваших услугах. Если показатели хорошие, проверьте, увеличивают ли такие письма продажи, если разместить в них кнопку, ведущую на сайт. На тест в таком случае можно отправить и разные варианты этой кнопки (место размещения, текст, цвет).
Если у вас есть разный контент (статьи из блога, партнерские материалы, статьи с лайфхаками и топами), то с помощью сплит-тестов можно определить, какие материалы подписчики читают охотнее. Это позволяет лучше понять аудиторию и скорректировать контент-план рассылок.
Тестируйте письма, в которых делается упор на разные достоинства продукта. Так вы узнаете, что в приоритете именно для ваших подписчиков. Например, вы считаете, что преимущества вашего продукта – надежность и инновационность. Чтобы это проверить, подготовьте два шаблона письма: один с акцентом на надежность, второй – на инновации. Результат теста покажет, что в действительности важнее для подписчиков. Советуем не ограничиваться двумя вариантами, а добавить, например, третий – дизайн. Может оказаться, что неочевидное преимущество больше всего цепляет клиентов.

Как проверять гипотезы с помощью сплит-тестов?Сплит-тесты помогают улучшать показатели рассылок без сложных манипуляций. Например, при разработке макета вы задумались, кнопка призыва к действию какого цвета в этой рассылке принесет больше кликов – красная или синяя. Вам кажется, что красная. Сплит-тест поможет подтвердить или опровергнуть эту гипотезу.Для этого двум тестовым сегментам отправляются идентичные рассылки с единственным отличием: одно письмо с красной кнопкой, другое – с синей. После сбора данных по каждому варианту и их сравнения определяется победитель на основании статистических данных, а не интуиции дизайнера или маркетолога. Именно это письмо будет отправлено остальным контактам из базы.Давайте разберем подробнее, как работают сплит-тесты, на примере сервиса DashaMail.

Все гипотезы нужно тестировать самостоятельно: то, что заходит у конкурента или в другом сегменте, не факт, что сработает у вас.Функциональность сплит-тестирования рассылокФишки мультивариантного тестирования email-рассылки от DashaMail:1. Тестирование нескольких параметров одновременно. Сервис позволяет тестировать сразу несколько параметров рассылки (например, 3 темы и 3 макета письма). При этом создаются их всевозможные комбинации, чтобы каждый параметр тестировался отдельно. Максимальное количество тестовых сегментов - 9. Если какие-то комбинации вы тестировать не хотите (например, один макет обязательно должен идти с одной темой, а второй - с другой), то при создании A/B-рассылки вы можете исключать “лишние” комбинации параметров.

В DashaMail можно тестировать сразу несколько параметров рассылки.2. Выбирайте победителя автоматически и вручную. В зависимости от того, что именно вы собираетесь тестировать, определяйте победителя по максимуму открытий, максимуму кликов или минимуму отписок. Рассылка с победившим вариантом автоматически уйдет в назначенное время. Если для вас представляют интерес другие метрики, например, продажи, выбирайте победителя вручную.

Определить победителя можно как автоматически на основании базовых метрик статистики по рассылке, так и вручную на основании данных своей внутренней аналитики, например.3. Ставьте уникальные UTM-метки. Чтобы выбрать победителя вручную, в сервисе DashaMailпредусмотрена автоматическая простановка индивидуальных UTM-меток в каждую тестовую версию рассылки. Они позволят определить лучшую гипотезу на основании действий пользователя на сайте после клика в письме. Например, так можно проанализировать продажи из каждой версии письма в Яндекс.Метрике или Гугл.Аналитике, и на основании этого выбрать победителя сплит-теста.

С помощью индивидуальных UTM-меток в каждой версии рассылки, можно отследить эффективность работы каждого параметра рассылки по данным из своей внутренней аналитики..4. Используйте калькулятор сплит-тестов. Обращайтесь к инструменту, чтобы рассчитать минимальное количество получателей в тестовых рассылках, которое необходимо для корректной интерпретации результатов. Так, объем тестового сегмента влияет получение статистически достоверного результата. Чтобы определить минимальное количество подписчиков в тестовых сегментах, используйте вкладку «Количество получателей».

У калькулятора сплит-тестов email-рассылок две вкладки: «Количество получателей» для определения минимального размера тестового сегмента и «Достоверность результатов» для сравнения полученных данных и исключения статистической погрешности.5. Управляйте размером тестовых групп. С помощью ползунка вы можете определить долю получателей, которые получат тестовую рассылку. Отправка доступна для 100 % подписчиков. Это актуально, когда, например, нужно определить удачное время отправки или провести глобальное тестирование шаблона письма.

Размером тестовых групп можно управлять с помощью ползунка. Никаких ограничений – отправляйте тест хоть всем 100 % базы.6. Тестируйте времени отправки. Тестовые рассылки уходят 100 % базы в разное время. Результат – подробная статистика, которая в дальнейшем поможет вам в выборе лучшего времени отправки писем.

Тест времени помогает сравнить, в какой временной промежуток пользователи открывают рассылку чаще, когда больше кликают и регулярнее отписываются.Рекомендации для проведения сплит-тестированияЕсли вы определяете победителя по кликам, размер тестовых сегментов должен быть больше. Причина: средний процент открытий писем – 15–20, в то время как кликабельность в среднем – 1,5–2 %. Соответственно, для получения достоверных результатов выборка во втором случае должна быть больше. Следуйте рекомендациям сервиса и не ошибетесь.Выделите на сбор статистики минимум 4 часа. Согласнонашему исследованию, на первые 3,5 часа после отправки приходится половина всех открытий. Если поторопиться, то результаты могут быть некорректными.Как пользоваться инструментом?Разберем алгоритм действий на конкретном примере.1. Формулируем гипотезу. Например, нас интересует, какая из тем рассылки, уведомляющей подписчика о замедлении прогресса в сервисе, более эффективна – с эмодзи или без него:

Наша гипотеза: вариант с использованием эмодзи приведет к увеличению открытий на 2,9%.2. Определяем на калькуляторе размер тестовых сегментов. Работаем во вкладке «Количество получателей». Указываем:

Критерий выбора победителя: открытия, клики, покупки или др. В нашем случае – это открытия, так как тестируем тему.
Количество тестируемых вариантов рассылки. Максимум 5. Мы остановились на двух.
Среднюю долю открытий/кликов по истории. Показатели можно взять в статистике по базе в сервисе. Мы указали 12%.
Ожидаемый прирост (абсолютный) – минимальный процент, на который вы рассчитываете улучшить показатель статистики. Чтобы получить корректные результаты, будьте объективны: если указать меньше, понадобится больше подписчиков в каждом тестовом сегменте, если больше – высока вероятность, что цель останется не достигнутой. Наш показатель – 2,9%.
Достоверность – параметр, который отражает, насколько можно быть уверенным в точности полученных результатов, если тест показал различия между гипотезами. По умолчанию он составляет 95 %.
Мощность – параметр, который обозначает уверенность в истинности полученных результатов, если тест не показал различий между гипотезами. По умолчанию он равен 80 %.

В нашей ситуации сервис рекомендует сделать рассылку каждого варианта 1971 контакту.

Когда гипотеза сформулирована, приступаем к определению размера тестовых сегментов. Для этого используем калькулятор сплит-тестирования от DashaMail. Нас интересует вкладка «Количество получателей».3. Запускаем тест. Отправляем рассылку предложенному количеству подписчиков. Это число можно увеличить. Мы решили округлить до 2000 (каждому варианту!). Ждем минимум 4 часа. При желании можно поставить автоматическую отправку версии-победителя оставшейся части базы.4. Проверяем достоверность результатов на калькуляторе. Переходим во вкладку «Достоверность результатов» и вводим следующие значения:

Количество вариантов тестирования. Максимум все тот же – 5 гипотез. Напоминаю, мы тестировали две.
Число событий – то есть количество открытий/кликов/продаж обоих вариантов. В нашем случае рассылку A (с эмодзи) открыли 278 подписчиков, а B (без эмодзи) – 221.
Число получателей – дублируем количество подписчиков, которым была отправлена рассылка. Мы отправляли рассылку с каждым из вариантов 2000 подписчиков (всего 4000 контактов). Все они были успешно доставлены.

5. Определяем победителя. Для этого смотрим на конверсию и доверительный интервал:

Конверсия рассчитывается как процентное соотношение открытий/кликов или пр. к количеству подписчиков, получивших этот вариант тестируемой рассылки.
Доверительный интервал – показатель конверсии с учетом допускаемого при проведении сплит-тестирования элемента случайности. По умолчанию он составляет 95 %. То есть мы на 95 % уверены, что истинный показатель конверсии находится внутри доверительного интервала.

Если результаты значимо различаются, то инструмент автоматически определит победителя, как получилось в нашем случае, – вариант А (с улиткой) оказался лучше варианта В: конверсия 13,9 против 11,1%.

Чтобы определить точность результатов проверки гипотез и исключить статистическую погрешность, вновь прибегаем к калькулятору сплит-тестирования от DashaMail. На этот раз работаем во вкладке «Достоверность результатов». Почему важно проверять достоверность результатов?Все просто: чтобы исключить риск получить некорректные результаты из-за статистической погрешности или случайных отклонений. Не всегда перевес в открытиях/кликах или др. следует расценивать, как однозначную победу одного из вариантов. Например, если бы нашу рассылку с вариантом B открыли не 221, а 237 пользователей, то калькулятор показал бы другой результат: «Варианты A, B не различаются».Хотя 278 (количество открытий варианта A) все равно больше, чем 237, а конверсия 13,9 явно выше 11,8 %, разница между показателями тестируемых вариантов в действительности не столь велика. Возможно, это и есть погрешность, которую обязательно стоит принимать во внимание, чтобы быть уверенным в точности данных.

Небольшую разницу между тестируемыми показателями можно списать на статистическую погрешность или случайные отклонения.Результаты могут оказаться статистически неразличимы, если один из вариантов был отправлен маленькой выборке. Поэтому так важно обращаться к калькулятору для определения размера тестовых сегментов. Как видно из примера, более высокая конверсия не всегда является залогом победы.

Маленькая выборка у одного из вариантов может стать причиной статистически неразличимых гипотез, хотя, на первый взгляд, победитель очевиден.ВыводыПроверка гипотез решает конкретную проблему или задачу, помогает оптимизировать email-кампаний.

Параметры рассылки влияют на ее показатели: тема, имя отправителя, время отправки – на открытия, внутреннее оформление письма – на клики, все в комплексе – на продажи.
Чтобы улучшать показатели и внедрять только удачные варианты, проводите сплит-тесты и используйте калькулятор от DashaMail. Инструмент предлагает два режима:

подсчет минимального количества подписчиков, необходимого для корректного теста (для открытий выборка будет меньше, чем для кликов);
определение победителя на основании статистики с учетом возможной погрешности.

Для точности сплит-теста необходимо выждать определенное время (мы рекомендуем минимум 4 часа), чтобы успела собраться статистика по тестовым сегментам. Бывает, что в первые часы лидирует один вариант, но со временем ситуация меняется. Если данных мало, результат не будет статистически достоверным.
Даже отрицательная динамика много рассказывает о нашей аудитории. Например, после тестирования мы можем прийти к выводу, что определенный формат материалов лучше исключить из контент-плана.
Все гипотезы нужно тестировать самостоятельно: то, что заходит у конкурента или в другом сегменте, не факт, что сработает у вас.

Проверяйте гипотезы, внедряйте удачные варианты и делайте вашу рассылку более эффективной! А DashaMail поможет в этом!
===========
Источник:
habr.com
===========
Похожие новости:

Теги для поиска: #_internetmarketing (Интернет-маркетинг), #_emailmarketing (Email-маркетинг), #_splittestirovanie (сплит-тестирование), #_splittesty (сплит-тесты), #_emailrassylki (email-рассылки), #_emailrassylka (email-рассылка), #_a/btestirovanie (a/b-тестирование), #_a/b_test, #_blog_kompanii_dashamail._pro_emailmarketing_i_ne_tolko (
Блог компании DashaMail. Про email-маркетинг и не только
), #_internetmarketing (
Интернет-маркетинг
), #_emailmarketing (
Email-маркетинг
)

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 07-Июл 07:21
Часовой пояс: UTC + 5