[Управление разработкой, Развитие стартапа, Аналитика мобильных приложений, Управление продуктом] Кратко о продуктовых метриках (перевод)

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

news_bot ^® написал(а)
18-Фев-2021 12:32

Цитировать

Продуктовые команды часто применяют такие термины, как «инструментарий» и «телеметрия», и не только потому, что это звучит солидно. Представьте, что вы летите на самолете ночью. Как пилот узнает, в каком направлении движется самолет, достаточно ли топлива, нет ли горы прямо по курсу? С помощью телеметрии.А теперь представьте, что вы отвечаете за рост вовлеченности на Ютубе. У вас миллиарды пользователей, сложная экосистема. Как узнать, повышается ли вовлеченность пользователей? Почему кто-то использует ваш продукт больше, а кто-то — меньше? И что вообще такое эта «вовлеченность»?Согласно представлению Эндрю Гроува, изложенному в книге «Высокоэффективный менеджмент», без инструментария, телеметрии и индикаторов (далее будем называть всё это метриками) наш продукт представляет собой «черный ящик», в котором есть вход (код, дизайн, оборудование, время) и выход (доход, пользователи продукта). Метрики помогают количественно оценить выход и прорезать «окна» в черном ящике, чтобы понять, почему мы получаем тот или иной выход. Метрики помогают:

«Измерять» выход (например, успешность продукта): количественно оценивать движение в направлении бизнес-цели.
Анализировать выход: получать ответ на вопрос, почему мы видим тот или иной выход.
Принимать решения: проводить эксперименты и решать, как должен развиваться продукт.
Реагировать и адаптироваться: метрики предупреждают о проблемах с работоспособностью продукта и о тенденциях, которые ставят под угрозу наши цели.
Концентрировать усилия: направлять работу команды в одном направлении.

Типы метрик для продуктовых командИспользование метрик определяется отраслью, компанией и конкретной задачей. Я не буду пытаться охватить всё, а лишь сосредоточусь на основных понятиях, применимых к наборам продуктовых метрик в большинстве случаев.Успех, эмпатия и работоспособность

Успех (измерение выхода). В правильном ли направлении движется продукт? В чем причины?
Эмпатия. Можем ли мы определить смысл метрик? Знаем ли мы, что пользователи думают о продукте?
Работоспособность. Контролируем ли мы состояние продукта? У какого процента пользователей он работает надежно?

Истинный север, указатели и контрольные метрики

Истинный север: должен остаться только один.Истинный север — единственная метрика, используемая для отслеживания успеха продукта (или выхода — в аналогии с черным ящиком). Она должна быть только одна, но ее можно дополнить указателями и контрольными метриками. Метрика «истинный север» обычно представляет собой «воронку поздних этапов», т. е. кульминацию, включающую в себя множество различных шагов, — поэтому повлиять на нее сложно. Вот пару примеров из наверняка известных вам сервисов:

Spotify — общее время прослушивания.
Facebook — количество активных пользователей в месяц (MAU).
Slack — количество активных пользователей в день (DAU).

Указатели — это метрики, которые не определяют успех продукта, однако (вспомним аналогию с черным ящиком) помогают понять, почему истинный север или иные важные части продукта, которые нужно отслеживать, движутся в определенном направлении. Например, если истинный север для Spotify — общее время прослушивания, то указателями могут быть (1) количество уникальных пользователей, (2) количество уникальных композиций, прослушанных одним пользователем, и (3) средняя продолжительность композиции.Контрольные метрики используются при проведении A/B-экспериментов: они позволяют следить за тем, чтобы вносимые в одну часть продукта изменения не повлияли отрицательно на другую часть. Например, можно провести эксперимент по увеличению количества купленных подписок, предложив значительную скидку за первый месяц. Контрольной метрикой в этом случае может быть удержание пользователей на протяжении двух месяцев — этот показатель поможет выяснить, достаточно ли удовлетворены пользователи, чтобы продолжать пользоваться вашим продуктом. Если значение контрольной метрики оказывается удовлетворительным, можно продолжать инвестировать в привлечение пользователей.Факты и смысл

Количественные метрики характеризуются высокими объемами и низкой связью с контекстом; они дают фактические данные и помогают понять поведение пользователей: это количество активных пользователей в день (DAU), отток, вовлеченность, объем продаж и т. д.
Качественные метрики — это низкие объемы и высокая связь с контекстом; они придают смысл количественным данным и ставят их в определенный контекст: это могут быть беседы с клиентами, записи экрана, результаты опроса фокус-групп.

При достаточно большом размере выборки качественные данные могут становиться количественными. Например, из большого количества записей пользовательских взаимодействий можно получить тепловую карту, а из масштабного опроса — тенденции по ключевым словам. При этом, однако, есть риск потерять смысл обратной связи.Помните: какой бы набор метрик вы ни выбрали, у вас должна быть возможность получить факты и выяснить их смысл.Практические советы по работе с метрикамиОпределение, внедрение и использование метрик — несовершенный процесс, который приходится регулярно повторять. Однако есть три принципа (может, и больше — мне просто нравится это число), которые я постоянно использую.Слепо используемые в качестве целей метрики утрачивают смыслИзменение метрики не должно быть целью. Цель — это достижение бизнес-результата или определенного «выхода» для продукта, а метрика — это способ количественно оценить, достигнута ли обозначенная цель. Представьте, что вы запускаете новый интерфейс входа в систему, чтобы привлечь больше пользователей. Вам нужно определить метрику истинного севера, которая покажет, лучше или хуже новый интерфейс. У вас два варианта:

Коэффициент «показ — сеанс»: процент вошедших в систему пользователей относительно количества открывших экран входа.
Коэффициент «попытка входа — сеанс»: процент вошедших в систему пользователей относительно количества воспользовавшихся интерфейсом экрана входа.

Как и на любую общедоступную веб-страницу, сюда могут заходить боты. Количество просмотров страницы ботами (показы) большое, при этом их трудно отделить от пользователей, но боты редко взаимодействуют с интерфейсом (попытки входа) и никогда не выполняют вход. Учитывая это, можно предположить, что более точной метрикой успеха будет показатель «попытка входа — сеанс», верно?Давайте разберемся. Представьте, что ваши пользователи делятся на две категории — взрослые и пожилые:

взрослые технически грамотны, показатель «попытка входа — сеанс» для них составляет 71%,
пожилые ориентируются хуже, поэтому в их случае это будет 50%.

Вы запускаете эксперимент, который увеличивает количество попыток входа в систему пожилыми. Их доля увеличится, но только 50% таких попыток будут успешными, поэтому используемая в качестве истинного севера метрика «попытка входа — сеанс» снизится с 65% до 63%:

Метрика истинного севера снизилась, а значит, внедрять новый интерфейс не стоит, правильно? Неправильно. Ваша цель — не увеличение количества успешных попыток входа, а привлечение большего числа людей в продукт, и в эксперименте этот показатель поднялся на 12%:

Значит ли это, что метрика «показ — сеанс» лучше? Необязательно: на нее по-прежнему влияет трафик от ботов. Редко можно найти идеальную метрику, и структурный сдвиг, проиллюстрированный выше, — один из примеров сложностей, с которыми можно столкнуться. Здесь важно понимать, где метрики могут вводить в заблуждение, и устанавливать соответствующие контрольные показатели. Повторюсь: цель — не изменение метрики, а достижение бизнес-результата или определенного «выхода».Метрики должны быть понятнымиМетрики не только оценивают прогресс в достижении цели — они помогают сплотить команду и позволяют сотрудникам действовать с большей автономностью. Для этого метрика должна быть понятна большой группе самых разных людей — иначе это плохая метрика. Для высокотехнологичных команд (например, работающих над поиском) есть исключения, но, как правило, чем проще, тем лучше. Подумайте, сможете ли вы быстро объяснить суть метрики генеральному директору?В основе самых важных решений почти никогда не бывает идеальных данныхДанные и метрики не существуют сами по себе — они встроены в более широкую экосистему принятия решений. В сфере разработки продуктов у метрик есть два «родственника»: «чутье» и «эмпатия». Обычно про них вспоминают реже, но от этого они не становятся менее важными. Иногда их называют «продуктовой интуицией» — это интуитивное ощущение относительно того, как должен выглядеть идеальный продукт.

Чутье сложно выразить количественно, но это — важный элемент в принятии решений: оно представляет собой кульминацию предыдущих решений и петель обратной связи. И, к счастью, чутье со временем обостряется.
Эмпатия представляет собой интуитивное понимание пользователя или клиента — их проблем, ценностей и мировосприятия.
Каждое наше решение — это результат взаимодействия метрик, чутья и эмпатии. Если хороших метрик нет, приходится полагаться на эмпатию — и наоборот.

Продуктовые команды часто хотят получить как можно более точные данные, и я понимаю это желание: они боятся принять неправильное решение. Но бездействие в ожидании данных тоже стоит денег, поэтому, принимая сложные решения в отношении продукта, всегда помните о двух факторах:

Обратимость. Насколько обратимо это решение? Превышает ли цена принятия неправильного решения издержки от ожидания точных данных?
Эмпатия. Можно ли заменить нужные данные эмпатией? Без одного из этих ориентиров обойтись можно — но без обоих обойтись нельзя.

Резюме. Десять важных вопросовИнструкции по выбору метрик давать бесполезно, поскольку они в значительной степени определяются конкретными условиями, но я могу предложить несколько вопросов открытого типа, которые можно задавать при определении набора метрик для продукта:

Какой цели вы пытаетесь достичь? Какие у вас миссия и видение?
Как узнать, что цель достигнута?
Как оценивать прогресс в достижении этой цели?
Какие действия вам нужны от пользователей и как оценить, выполняются ли они?
Как измерить совокупное поведение пользователей, определить контекст и выработать эмпатию?
Метрики абсолютные или относительные? Цель — привлечь определенное количество пользователей или определенный процент?
Как понять, что продукт надежно работает у 99,9% пользователей?
Можете ли вы объяснить выбранный «истинный север» максимум двумя предложениями?
Какие контрольные метрики вы отслеживаете в экспериментах?
Как пользователи относятся к продукту?

Здесь есть над чем подумать. Тема продуктовых метрик — очень широкая, и в ней множество нюансов. Однако одно из самых эффективных действий, которые может предпринять продуктовая команда, — вложить ресурсы и время в определение и построение правильных метрик.Если статья оказалась полезной — можете ознакомиться с остальными в блоге reeve.blog, которые появляются там регулярно (более-менее).О переводчикеПеревод статьи выполнен в Alconost.Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.Мы также делаем рекламные и обучающие видеоролики — для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.
===========
Источник:
habr.com
===========
===========
Автор оригинала: Alex Reeve
===========Похожие новости:

Теги для поиска: #_upravlenie_razrabotkoj (Управление разработкой), #_razvitie_startapa (Развитие стартапа), #_analitika_mobilnyh_prilozhenij (Аналитика мобильных приложений), #_upravlenie_produktom (Управление продуктом), #_alconost, #_produktovye_metriki (продуктовые метрики), #_produkt_menedzhment (продукт менеджмент), #_produkt (продукт), #_metriki (метрики), #_metriki_produkta (метрики продукта), #_uspeshnost_produkta (успешность продукта), #_kontrolnye_pokazateli (контрольные показатели), #_blog_kompanii_alconost (
Блог компании Alconost
), #_upravlenie_razrabotkoj (
Управление разработкой
), #_razvitie_startapa (
Развитие стартапа
), #_analitika_mobilnyh_prilozhenij (
Аналитика мобильных приложений
), #_upravlenie_produktom (
Управление продуктом
)

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 25-Ноя 22:37
Часовой пояс: UTC + 5