[Разработка мобильных приложений, Тестирование мобильных приложений, Управление проектами, Управление продуктом] Как распознавание паспортов замедлило пользователей, покупающих билеты: история провала фичи
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Когда-то мы договорились внутри компании, что будем запускать фичи в приложении под A/B-тестами. Но всё равно были вещи из серии «да это же очевидно, что так нужно сделать». Вот история одного из самых долгих и крупных «да это же очевидно», помешавшего в итоге пользователям.
Итак, люди покупают у нас билеты. Мы зарабатываем на том, что делаем покупку на любой вид транспорта удобной и быстрой — быстрее, чем обходить несколько сайтов и возиться со вводом данных там. Но первая покупка самая сложная, потому что нужно повозиться со вводом данных у нас. Мы решили, что можно добавить обработку фотографии паспорта с камеры, чтобы ускорить ввод данных:
Возможность появилась в нашем флагманском приложении в 2019 году. Реализована она была через партнёра Smart Engine, решение Smart IDReader. Вот их публикация про применение этого SDK. Партнёра выбирали после долгих тестов: этот обеспечивает очень хорошее качество распознавания и готов юридически на все необходимые процедуры по передаче и защите данных. Они поставляли такие решения чуть ли не таможне.
Сначала подключили фичу только на авиабилеты и начали смотреть, что получается. Важно то, что это была одна из последних фич, когда не было возможности проводить A/B именно в приложении, мы использовали последовательные тесты на iOS/Android и A/B-тесты на вебе. Пока мы узнали только то, что конверсия не падает, а сканирование паспорта использует 10,1% iOS-юзеров и 8,2% Android-юзеров. Всё выглядело хорошо, и мы начали раскатывать фичу дальше.
Раскатка дальше
Тут важно сказать, что чем больше сканирований, тем дешевле единичное распознавание по условиям партнёра. Соответственно, мы раскатали на весь пул пользователей, получили сладкие цены и через некоторое время сделали ещё один контрольный замер после релиза. Тоже всё было хорошо. Единственное, что несколько удивляло, это то, что доля внесения правок после сканирования на Android была 83,7%, на iOS — 28,9%. Видимо, речь про не самые хорошие камеры или плохое взаимодействие софта и камеры. Но люди пользовались фичей, и вроде всё было отлично.
Через 2 года нужно было продлевать пакет, и мы решили посмотреть, а что же там в A/B-тестах, благо такая возможность в приложении на тот момент уже давно была. Идея была в том, чтобы понять, насколько увеличивает конверсию такой быстрый и удобный ввод документов и сколько это вообще создаёт добавленной стоимости продукту.
Запустили ухудшающие A/B-тесты (скрывающие от пользователя часть функционала).
Получили результаты.
Удивились.
Выключили фичу.
Результаты тестов
Без сканирования: +8,7% продаж на новых железнодорожных билетах. Это лучший прирост конверсии за 3 года: нужно было просто выпилить фичу, в которую мы все верили.
Но при этом есть сегмент, где рост значимый: это авторизованные пользователи, у которых ещё нет данных в списке пассажиров. То есть это те люди, которые прежде чем покупать, решили зарегистрироваться. Надо сказать, что мы не требуем для покупки у нас сначала регистрироваться, а используем «мягкую регистрацию» — заводим личный кабинет автоматически, уже после первой покупки. Это самый популярный сценарий регистрации у нас. То есть тех, кто регался вручную, не очень-то много.
Если выделить только те сегменты, где фича сканирования паспорта давала прирост, то получалось не так уж и много людей, чтобы включать сканирование только для них — напоминаю, цена операции зависит от размера пакета. Поэтому мы глобально отключили фичу вообще везде.
Выводы
Мы узнали, что первые тесты вообще даже близко не показывают, как фича будет работать на большинстве юзеров (спасибо, Капитан Очевидность, но тогда мы тестировали именно так). Мы добавили сквозные метрики ко всем коммерческим фичам, показывающим, что они всё ещё полезные. И научились работать с конкретными сегментами пользователей, чтобы смотреть, что фичи удобны или не удобны именно для них.
Аналитика «период к периоду» на меняющемся рынке ничего не говорит про фичи. Оказалось, это не единственный случай, где тренд поменялся, а мы увидели это в тестах только спустя год.
Итоговый результат парадоксален: чем больше времени человек проводит в приложении, тем выше вероятность покупки. Сканирование, которое экономит ему около 30-40-50 секунд, ухудшает показатели конверсии. Возможных гипотез две:
- Возможно, пользователи, которые приложили больше усилий, больше дорожат этими усилиями и меньше уходят, поэтому ручной ввод работает на цель.
- Либо сканированием пользовались те люди, которые меньше были настроены на покупку. Барьер входа ниже, они пробуют и уходят — тогда мы создали условия искусственного отбора именно таких.
В сканирование по фото с камеры телефона мы всё ещё верим и считаем, что фича удобная. Кажется, надо искать варианты, глубже анализируя аудитории. Плюс камеры улучшаются, и, скорее всего, скоро процент ошибок будет исчезающее низким. В этой истории мы докрутили автоввод, где это можно, сейчас продолжаем эксперименты.
А мораль такая — тестируйте даже очевидное. Ещё раз спасибо, Капитан Очевидность, но нам это стоило довольно много времени разработки и, соответственно, денег.
===========
Источник:
habr.com
===========
Похожие новости:
- [Разработка под iOS, Разработка мобильных приложений, Разработка под Android, Аналитика мобильных приложений] Как мы просто сократили объем входящего в дата-центр трафика на 70%
- [Управление проектами, Учебный процесс в IT, Карьера в IT-индустрии] Яндекс.Практикум запускает курс «Менеджер проектов»
- [Python, Машинное обучение] Оценка важности «фичей» для нелинейных моделей
- [Тестирование IT-систем, JavaScript] Не используйте фикстуры в Cypress и юнит-тесты — используйте фабричные функции (перевод)
- [Управление проектами] PMP 2021. Подготовка
- [Разработка мобильных приложений, Разработка под Android, Софт, Социальные сети и сообщества] Рейтинг приложения Robinhood опять опустили до 1 звезды
- [Разработка мобильных приложений, Разработка под Android, Kotlin, Учебный процесс в IT] Android Academy. Вы все пропустили! Но это не точно…
- [Разработка под iOS, Разработка мобильных приложений, Разработка под Android, C#, Xamarin] Использование сервисов и обработка их результатов в Xamarin
- [Работа с видео, Машинное обучение, Управление проектами] Предельно дешёвая видеоаналитика для детских футбольных школ
- [Управление проектами, Развитие стартапа, Управление персоналом, Карьера в IT-индустрии] Как проводить эффективные личные встречи (перевод)
Теги для поиска: #_razrabotka_mobilnyh_prilozhenij (Разработка мобильных приложений), #_testirovanie_mobilnyh_prilozhenij (Тестирование мобильных приложений), #_upravlenie_proektami (Управление проектами), #_upravlenie_produktom (Управление продуктом), #_raspoznavanie_izobrazhenij (распознавание изображений), #_pasport (паспорт), #_ficha (фича), #_prilozhenie (приложение), #_testy (тесты), #_blog_kompanii_tutu.ru (
Блог компании Туту.ру
), #_razrabotka_mobilnyh_prilozhenij (
Разработка мобильных приложений
), #_testirovanie_mobilnyh_prilozhenij (
Тестирование мобильных приложений
), #_upravlenie_proektami (
Управление проектами
), #_upravlenie_produktom (
Управление продуктом
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 11:49
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Когда-то мы договорились внутри компании, что будем запускать фичи в приложении под A/B-тестами. Но всё равно были вещи из серии «да это же очевидно, что так нужно сделать». Вот история одного из самых долгих и крупных «да это же очевидно», помешавшего в итоге пользователям. Итак, люди покупают у нас билеты. Мы зарабатываем на том, что делаем покупку на любой вид транспорта удобной и быстрой — быстрее, чем обходить несколько сайтов и возиться со вводом данных там. Но первая покупка самая сложная, потому что нужно повозиться со вводом данных у нас. Мы решили, что можно добавить обработку фотографии паспорта с камеры, чтобы ускорить ввод данных:  Возможность появилась в нашем флагманском приложении в 2019 году. Реализована она была через партнёра Smart Engine, решение Smart IDReader. Вот их публикация про применение этого SDK. Партнёра выбирали после долгих тестов: этот обеспечивает очень хорошее качество распознавания и готов юридически на все необходимые процедуры по передаче и защите данных. Они поставляли такие решения чуть ли не таможне. Сначала подключили фичу только на авиабилеты и начали смотреть, что получается. Важно то, что это была одна из последних фич, когда не было возможности проводить A/B именно в приложении, мы использовали последовательные тесты на iOS/Android и A/B-тесты на вебе. Пока мы узнали только то, что конверсия не падает, а сканирование паспорта использует 10,1% iOS-юзеров и 8,2% Android-юзеров. Всё выглядело хорошо, и мы начали раскатывать фичу дальше. Раскатка дальше Тут важно сказать, что чем больше сканирований, тем дешевле единичное распознавание по условиям партнёра. Соответственно, мы раскатали на весь пул пользователей, получили сладкие цены и через некоторое время сделали ещё один контрольный замер после релиза. Тоже всё было хорошо. Единственное, что несколько удивляло, это то, что доля внесения правок после сканирования на Android была 83,7%, на iOS — 28,9%. Видимо, речь про не самые хорошие камеры или плохое взаимодействие софта и камеры. Но люди пользовались фичей, и вроде всё было отлично. Через 2 года нужно было продлевать пакет, и мы решили посмотреть, а что же там в A/B-тестах, благо такая возможность в приложении на тот момент уже давно была. Идея была в том, чтобы понять, насколько увеличивает конверсию такой быстрый и удобный ввод документов и сколько это вообще создаёт добавленной стоимости продукту. Запустили ухудшающие A/B-тесты (скрывающие от пользователя часть функционала). Получили результаты. Удивились. Выключили фичу. Результаты тестов Без сканирования: +8,7% продаж на новых железнодорожных билетах. Это лучший прирост конверсии за 3 года: нужно было просто выпилить фичу, в которую мы все верили. Но при этом есть сегмент, где рост значимый: это авторизованные пользователи, у которых ещё нет данных в списке пассажиров. То есть это те люди, которые прежде чем покупать, решили зарегистрироваться. Надо сказать, что мы не требуем для покупки у нас сначала регистрироваться, а используем «мягкую регистрацию» — заводим личный кабинет автоматически, уже после первой покупки. Это самый популярный сценарий регистрации у нас. То есть тех, кто регался вручную, не очень-то много. Если выделить только те сегменты, где фича сканирования паспорта давала прирост, то получалось не так уж и много людей, чтобы включать сканирование только для них — напоминаю, цена операции зависит от размера пакета. Поэтому мы глобально отключили фичу вообще везде. Выводы Мы узнали, что первые тесты вообще даже близко не показывают, как фича будет работать на большинстве юзеров (спасибо, Капитан Очевидность, но тогда мы тестировали именно так). Мы добавили сквозные метрики ко всем коммерческим фичам, показывающим, что они всё ещё полезные. И научились работать с конкретными сегментами пользователей, чтобы смотреть, что фичи удобны или не удобны именно для них. Аналитика «период к периоду» на меняющемся рынке ничего не говорит про фичи. Оказалось, это не единственный случай, где тренд поменялся, а мы увидели это в тестах только спустя год. Итоговый результат парадоксален: чем больше времени человек проводит в приложении, тем выше вероятность покупки. Сканирование, которое экономит ему около 30-40-50 секунд, ухудшает показатели конверсии. Возможных гипотез две:
В сканирование по фото с камеры телефона мы всё ещё верим и считаем, что фича удобная. Кажется, надо искать варианты, глубже анализируя аудитории. Плюс камеры улучшаются, и, скорее всего, скоро процент ошибок будет исчезающее низким. В этой истории мы докрутили автоввод, где это можно, сейчас продолжаем эксперименты. А мораль такая — тестируйте даже очевидное. Ещё раз спасибо, Капитан Очевидность, но нам это стоило довольно много времени разработки и, соответственно, денег. =========== Источник: habr.com =========== Похожие новости:
Блог компании Туту.ру ), #_razrabotka_mobilnyh_prilozhenij ( Разработка мобильных приложений ), #_testirovanie_mobilnyh_prilozhenij ( Тестирование мобильных приложений ), #_upravlenie_proektami ( Управление проектами ), #_upravlenie_produktom ( Управление продуктом ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 11:49
Часовой пояс: UTC + 5