[Data Engineering] Data Science в обувном магазине: предсказали поведение клиентов и увеличили конверсию сайта на 16%
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Российский производитель обуви Mario Berluchi автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется.
Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы.
Азамат Тибилов, директор по маркетингу Mario Berluchi, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга.
Mario Berluchi — российский производитель обуви, сумок и аксессуаров с пятью офлайн-магазинами в Москве и онлайн-магазином.
Масштаб. 200 тысяч посетителей сайта в месяц.
ИТ. Сайт на Bitrix, бэк-офис на «1С», платформа клиентских данных Mindbox.
Задача. Повысить выручку за счет работы с накопленными данными.
Результат. Рост конверсии сайта на 16,5% в рамках AB-теста, рост ARPU на 35,7%, снижение доли брошенных корзин на 17,2%.
Как работает механика персонализации сайта на основе предсказания
Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента.
Условия срабатывания механики:
- если в корзине есть товары,
- если не применен скидочный купон,
- если по предсказанию вероятность покупки меньше 30%,
- если по предсказанию клиент не вернется в течение 7 дней.
Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:
Попап всплывает в корзине, если по предсказанию алгоритма клиент в текущей сессии не оформит заказ и не вернется позже
Результаты механики с предсказанием
АB-тесты с достоверностью 95%
Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%:
↑16,5%
Рост конверсии сайта относительно контрольной группы по методу t-test
↑35,7%
Рост ARPU по методу bootstrap
↓17,2%
Снижение доли брошенных корзин по методу z-test
Сравнение конверсий и ARPU: в мае 2019 и мае 2020 — после внедрения механики с предсказанием
Конверсия до и после внедрения механики с предсказанием
ARPU до и после внедрения механики с предсказанием
Зачем запустили направление Data Science
Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения.
Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили.
При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик.
В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается.
Какие специалисты понадобились для Data Science
Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас:
Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты.
Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте.
Маркетолог. Разрабатывает и запускает механики с применением алгоритмов.
Разработчик. Внедряет механики и алгоритмы на сайте.
Как технически устроена механика с предсказанием
1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу.
2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении.
3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.
Распределения весов признаков алгоритма — на их основе предсказываем поведение клиента
4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0.
5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики.
Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):
Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали.
AUC ROC (площадь под кривой ошибок) используем для оценки качества работы алгоритма на выборке данных
Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1.
6. Прогнозируем действия пользователя.
7. Маркетолог разрабатывает механики для применения прогноза.
8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен.
9. Аналитик измеряет результаты механики.
На основе каких клиентских данных работает предсказание
Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки.
Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов.
Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент.
CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок.
Советы интернет-магазинам
1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег.
2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса.
3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов.
4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат.
Дальнейшие планы по развитию маркетинга
Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит всё просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину.
А следующий шаг— динамическое ценообразование для каждого пользователя.
Как повторить механику с предсказанием в вашем интернет-магазине
Мы развиваем сотрудничество с Mindbox и предлагаем клиентам платформы внедрить нашу механику с предсказанием. Если хотите повторить в вашем интернет-магазине — пишите коллегам.
***
Авторы:
Азамат Тибилов, директор по маркетингу Mario Berluchi
Мария Байкаускас, менеджер Mindbox
Сёма Сёмочкин, редактор Mindbox
===========
Источник:
habr.com
===========
Похожие новости:
- [Конференции, Data Engineering] SmartData 2020: конференция про data engineering
- [Big Data, Data Engineering, Hadoop, Python] Как мы оркестрируем процессы обработки данных с помощью Apache Airflow
- [API, Data Engineering, R, Системы обмена сообщениями] Пишем telegram бота на языке R (часть 4): Построение последовательного, логического диалога с ботом
- [Julia, Высокая производительность, Исследования и прогнозы в IT, Программирование, Промышленное программирование] Julia готова для прода (перевод)
- [Big Data, Искусственный интеллект, Машинное обучение] Временные сверточные сети – революция в мире временных рядов (перевод)
- [Google Cloud Platform, Python, R, Профессиональная литература] Учимся обращаться к данным и запрашивать их при помощи Google BigQuery. С примерами на Python и R (перевод)
- [Машинное обучение, Конференции, Искусственный интеллект] Data Fest 2020 — полностью в Online уже завтра
- [Разработка под Android, Машинное обучение] Как с помощью возможности распознавания текста HUAWEI ML Kit реализовать функцию автоматического ввода номеров
- [Big Data, Data Mining, Open source, Python] Crime, Race and Lethal Force in the USA — Part 2 (перевод)
- [Open source, Python, Data Mining] Crime, Race and Lethal Force in the USA — Part 1 (перевод)
Теги для поиска: #_data_engineering, #_data_science, #_mindbox, #_mario_berluchi, #_cdp, #_machine_learning, #_data_engineering
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:39
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Российский производитель обуви Mario Berluchi автоматизировал маркетинг, внедрил привычные для интернет-магазинов механики, но не остановился на этом и запустил направление Data Science. Теперь магазин с помощью алгоритмов машинного обучения предсказывает действия клиента: что он сделает после добавления товара в корзину — купит или уйдет, а если уйдет, то когда вернется. Предсказание помогает в нужный момент побуждать клиента к покупке или, наоборот, не трогать его, если он купит и так. В рамках AB-теста механика персонализации сайта на основе предсказания помогла увеличить конверсию интернет-магазина на 16,5% и ARPU на 35,7% относительно контрольной группы. Азамат Тибилов, директор по маркетингу Mario Berluchi, рассказывает о механике с предсказанием, измерении результатов, истории запуска направления Data Science и делится советами для интернет-магазинов, которые тоже хотят растить выручку за счет полезного и основанного на данных маркетинга. Mario Berluchi — российский производитель обуви, сумок и аксессуаров с пятью офлайн-магазинами в Москве и онлайн-магазином.
Масштаб. 200 тысяч посетителей сайта в месяц. ИТ. Сайт на Bitrix, бэк-офис на «1С», платформа клиентских данных Mindbox. Задача. Повысить выручку за счет работы с накопленными данными. Результат. Рост конверсии сайта на 16,5% в рамках AB-теста, рост ARPU на 35,7%, снижение доли брошенных корзин на 17,2%. Как работает механика персонализации сайта на основе предсказания Когда клиент заходит на сайт, мы записываем его действия и прогоняем через алгоритм предсказания: «купит в текущей сессии или не купит» и «вернется в течение 7 дней или не вернется». Предсказание пересчитывается раз в 10 секунд для каждого клиента. Условия срабатывания механики:
Если условия выполнены, клиент видит в корзине попап и решает, купить ли товар в текущей сессии или нет:  Попап всплывает в корзине, если по предсказанию алгоритма клиент в текущей сессии не оформит заказ и не вернется позже Результаты механики с предсказанием АB-тесты с достоверностью 95% Часть клиентов в рамках теста находилась в контрольной группе и не видела попап — для неё механика была отключена, а другая часть видела. Мы сравнили в этих группах конверсию, ARPU и долю брошенных корзин — получили статистически значимые результаты с достоверностью 95%: ↑16,5%
Рост конверсии сайта относительно контрольной группы по методу t-test ↑35,7% Рост ARPU по методу bootstrap ↓17,2% Снижение доли брошенных корзин по методу z-test Сравнение конверсий и ARPU: в мае 2019 и мае 2020 — после внедрения механики с предсказанием  Конверсия до и после внедрения механики с предсказанием  ARPU до и после внедрения механики с предсказанием Зачем запустили направление Data Science Изначально мы хотели построить сквозную аналитику, чтобы оценивать качество рекламных каналов в разрезе реальных покупок, потому что 50% заказов «отваливается» на этапе подтверждения. Для сквозной аналитики было необходимо собирать данные о поведении пользователей в базу Google BigQuery. Помимо стандартных действий пользователей — добавления товара в корзину, посещения продуктовой карточки товара, совершения покупки — мы собирали еще много действий с контентом сайта — хитов. Ежедневно накапливалось более 20 тысяч строк хитов, и эти данные у нас хранились в базе, за которую мы, конечно же, платили. При нашем трафике — более 200 тысяч пользователей в месяц — было достаточно данных, и мы проводили стандартную аналитику, например действий пользователей с контентом после каких-либо изменений, покупок после проведения акций. Потом провели брейнсторм с владельцем компании и решили попробовать помимо простой аналитики и AB-тестов построить что-то более интересное: попытаться предсказывать поведение клиентов на сайте с помощью алгоритмов машинного обучения на наших исторических данных. К таким идеям мы относимся как к внутреннему продукту, в который готовы вкладывать деньги и время, чтобы потом получить результат — рост бизнес-метрик. В итоге собрали отдел Data Science и за полгода реализовали механику с предсказанием действий пользователя, которая повысила выручку. Таким образом мы открыли для себя новое направление бизнеса, которое приносит нам более 30% выручки и хорошо окупается. Какие специалисты понадобились для Data Science Каждый этап запуска механик с предсказанием подразумевает работу специалистов разных по функционалу, но из смежных областей. В штате у нас: Аналитик. Анализирует данные, находит аномалии и проводит AB-тесты. Два специалиста Data Science. Пишут алгоритмы, которые возвращают ответы-предсказания в виде вероятности того или иного действия пользователя на сайте. Маркетолог. Разрабатывает и запускает механики с применением алгоритмов. Разработчик. Внедряет механики и алгоритмы на сайте. Как технически устроена механика с предсказанием 1. Размечаем исходные данные Google Analytics с помощью Google Tag Manager и используем стриминг OWOX BI для сбора данных в базе Google BigQuery. Эти шаги занимает мало времени — с первой минуты можно видеть, как данные укладываются в базу. 2. Аналитик смотрит, насколько данные соответствуют поведению пользователей. При необходимости строит графики распределения и смотрит, насколько они качественные, есть ли хвосты. Если находятся ошибки, мы изменяем настройку стриминга или чистим данные, потому что с грязными данными невозможно работать в машинном обучении. 3. Специалисты Data Science создают признаки (feature engineering) из визитов и контента, например количество просмотренных товаров, количество добавлений товаров в избранное, количество добавленных товаров за сессию в корзину.  Распределения весов признаков алгоритма — на их основе предсказываем поведение клиента 4. Обучаем модель на исторических данных. Допустим, мы хотим предсказывать, будет ли у пользователя следующий сеанс или вернется ли он к нам в течение 7 дней. Для этого берем исторические данные, признаки — и реализуем алгоритм. Для предсказания мы используем классификацию — биномиальный ответ в виде 1 или 0. 5. Валидируем модель на исторических данных: точность прогноза, бизнес-метрики. Прежде всего мы смотрим на долю accuracy (долю правильных ответов) и ROC-AUC (площадь под кривой ошибок):  Accuracy (доля правильных предсказаний) 0,88 говорит о том, что в 88% случаях мы точно предсказываем, что пользователь вернется или не вернется. Precision (точность) — о том, какая доля предсказаний, что пользователь вернется, оказалась правильной. Recall (полнота) — о том, какую долю реальных возвращений мы предсказали.  AUC ROC (площадь под кривой ошибок) используем для оценки качества работы алгоритма на выборке данных Помимо ответов алгоритма 1 и 0 есть еще вероятность действия в процентах. И здесь мы задаем порог: если вероятность возврата пользователя более 30% и такие пользователи чаще всего действительно возвращаются, то ответ — 1. 6. Прогнозируем действия пользователя. 7. Маркетолог разрабатывает механики для применения прогноза. 8. Запускаем АB-тест — только на новых пользователях, которые познакомились с нашим сайтом прямо сейчас. Тест длится около трех недель, и в течение этого времени мы смотрим, как меняется накопительный p-value. В какой-то момент разница между группами становится значимой, понимаем, что скоро тест можно завершать и выкатывать механику в продакшен. 9. Аналитик измеряет результаты механики. На основе каких клиентских данных работает предсказание Visit-based. На основе действий на сайте: просмотр карточек товаров, добавление товаров в корзину, покупки. Content-based. На основе действий с контентом сайта. Сначала собираем данные о действиях пользователей: открытие таблицы размеров, добавление товара в избранное, чтение отзывов. Затем смотрим, как эти действия влияют на прокси-метрики (промежуточные конверсии до заказа) — это нужно, потому что данных по этим метрикам больше, чем заказов. Затем смотрим корреляцию прокси-метрик с показателями конверсий в покупку и возвратов. Подходы visit based и content based пересекаются. Но в visit based мы оцениваем поведение пользователя, а в content based — сам контент. CRM-based. Обогащение данных из CRM интернет-магазина, учет истории покупок. Советы интернет-магазинам 1. Анализируйте данные, даже если вы маленький интернет-магазин. В данных скрыты точки роста, которые позволяют вывести бизнес на новый уровень. В современном мире с огромной конкуренцией в digital невозможно решить проблему роста бизнеса банальным вливанием денег. 2. Рост конверсии, ключевой метрики интернет-магазина, — самый сильный фактор развития вашего бизнеса. 3. Не бойтесь строить инфраструктуру и внедрять новые технологии в ваш бизнес. Внедрение машинного обучения позволяет сделать шаг вперед и уйти в отрыв от конкурентов. 4. Научитесь считать ROI от инвестиций в новые технологии. Большинство компаний боятся выделять бюджет на новые инструменты, потому что не совсем понимают, какую выгоду они получат. Дальнейшие планы по развитию маркетинга Сейчас у нас в работе динамическое ценообразование — мы будем оценивать, когда на какой товар дать скидку или, наоборот, не дать. Звучит всё просто: товар часто покупают — не даем скидку, редко покупают — даем. Но мы подходим чуть глубже и шире — смотрим, где этот товар находился в каталоге, в каких маркетинговых механиках участвовал, сколько раз этот товар просматривали, сколько раз добавляли в корзину. А следующий шаг— динамическое ценообразование для каждого пользователя. Как повторить механику с предсказанием в вашем интернет-магазине Мы развиваем сотрудничество с Mindbox и предлагаем клиентам платформы внедрить нашу механику с предсказанием. Если хотите повторить в вашем интернет-магазине — пишите коллегам. *** Авторы: Азамат Тибилов, директор по маркетингу Mario Berluchi Мария Байкаускас, менеджер Mindbox Сёма Сёмочкин, редактор Mindbox =========== Источник: habr.com =========== Похожие новости:
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:39
Часовой пояс: UTC + 5