[Аналитика мобильных приложений, Дизайн, Дизайн мобильных приложений, Управление продуктом] Как продуктовому дизайнеру оценить свою работу
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Photo by Brooke Cagle on Unsplash
Вы читаете третью статью из серии «Дизайнер и метрики». В первой мы поразмышляли, нужны ли продуктовому дизайнеру метрики, а во второй посмотрели, какие вообще бывают метрики. Если вы ещё не читали эти статьи, то советую начать с них.
В этой статье речь пойдет о том, как ответить на вопрос, улучшили мы продукт или нет.
Дни после релиза
После раскатки нового функционала каждый дизайнер спрашивает себя: что изменилось? Удалось ли нам улучшить продукт?
Чтобы ответить на эти вопросы, нужно посмотреть, как изменились метрики после релиза функционала. Ведь зачастую результат работы дизайнера — это разница между метриками до релиза нового функционала и после него.
На первый взгляд кажется, что сравнить эти метрики очень просто: посмотрел на цифры до релиза и после, сравнил одно с другим, и если стало лучше — значит, все было не зря, а если хуже, то все надо переделывать.
Но такой подход часто ведет к ошибкам — поэтому прежде чем прыгать к выводам, нужно обратиться к математике и немного посчитать.
Как сравнить метрики «до» и «после»
Реальное значение метрики против замеренной
У каждой метрики есть её реальное значение — назовем его R (реальное), — а есть значение, которое мы получили через замеры — Z (замеренное).
И первое, с чем нам надо справиться это понять, что R ≠ Z.
Разберемся на примере
Допустим, перед нами стоит вопрос, сколько в России людей, которые работают в силовых структурах. Вариант загуглить и узнать — не наш выбор в этой статье.
Допустим, теоретически мы могли бы опросить каждого человека в России, силовик он или нет, и получить реальное значение, то есть R.
Но поскольку практически это невозможно, мы опрашиваем столько людей, сколько смогли найти — допустим, 300 человек (выборку формируем по науке), и потом просто экстраполируем эти данные на всю Россию.
Так мы получаем Z, то есть замеренную метрику. Думаю, теперь стало понятно, что почти всегда Z ≠ R.
Как из замеренной метрики получить реальную?
На этот вопрос как раз и отвечает математика. С помощью математической формулы мы можем получить промежуток значений, в котором находится R.
Вернемся к примеру с силовиками. Предположим, что после опроса 300 человек, 5 из них ответили, что являются сотрудниками силовых структур, то есть приблизительно 1,7%.
Этих данных достаточно, чтобы получить промежуток значений в котором находится R. Для этого нам необходимо:
- Замеренное значение метрики — в случаем с силовиками это 1.7%
- Количество выборки, на которой сделан замер — 300 человек
- Количество потенциальной выборки (не обязательно) — в нашем случае наслеление России — 146 млн человек.
- Выбрать точность, с которой мы хотим получить результат. Обычно используют 90, 95 и 99%
Эти данные нужно ввести в специальный калькулятор для расчета доверительного интервала и нажать «вычислить».
На выходе мы получим промежуток, в котором содержится R с вероятность 90, 95 и 99% (в зависимости от того, какой процент мы выбрали при расчёте).
Если вернуться к примеру с силовиками, то после этих расчётов можно сказать, что R находится в промежутке (или доверительном интервале) от 0% до 3,59% от всего населения России.
А значит, если умножить этот процент на население России, то получим интервал от 0 человек до 5 268 274 человек. (В этом интервале действительно содержится верный ответ — в реальности это 2,6 миллиона).
Чтобы получить более точный промежуток, нам нужно опросить больше людей.
А как же все-таки сравнить метрики «до» и «после»
Теперь нам уже достаточно знаний, чтобы ответить на этот вопрос. Осталось дело за малым: надо просто посчитать доверительный интервал для метрики «до» и для метрики «после» и посмотреть, есть ли между ними пересечение.
Если пересечения нет, то мы получили статистически значимые результаты и можно утверждать, что мы что-то изменили в продукте.
А если пересечение есть, то значит данных недостаточно, чтобы утверждать, что что-то изменилось в продукте. А полученную разницу в данных надо воспринимать как погрешность измерения.
Разберемся на примере маркетинговой компании
Допустим, мы подготовили 2 креатива, и их посмотрели по 5 000 пользователей. Первый показал значение CTR 2% (это процент нажавших на креатив и перешедших на лендинг), а другой 3%. Можно ли сказать, что второй лучше первого?
Чтобы ответить на этот вопрос, нам надо собрать все данные для измерения доверительного интервала:
По первому банеру:
- Значение метрики — 2%
- Сколько людей увидело этот банер — 5 000
- Опускаем потенциальную выборку
- Выбираем точность 95%
Получаем, что R по первому креативу с 95% вероятностью находится между [ 1,61% – 2,39% ]
Тоже самое проделываем по второму банеру (его посмотрело тоже 5 000 человек) и получаем интервал [ 2,53% – 3,47% ]
Видим, что интервалы не пересекаются друг с другом, а значит, второй банер успешнее первого.
Подытожим
- Чтобы оценить работу дизайнера, недостаточно просто посмотреть метрики до и после, нужно сравнить их доверительные интервалы.
- Посчитать доверительный интервал можно с помощью специального калькулятора.
- Если доверительные интервалы «до» и «после» не пересекаются — значит, работа дизайнера точно дала положительный результат.
Что дальше
Это была 3 и последняя статья из серии «Дизайнер и метрики».
В следующей статье я планирую рассказать, почему у пользователя нельзя спрашивать, что ему нравится, а что нет. Подписывайтесь, чтобы не пропустить!
===========
Источник:
habr.com
===========
Похожие новости:
- [Интерфейсы, Дизайн] Тупые и умные компоненты
- [Разработка игр, Дизайн игр] Анимация в KAPIA. «Лучше один день потерять, чтобы потом за пять минут долететь»
- [Развитие стартапа, Управление продуктом, Финансы в IT] Кайф трекерства в экспансии. Интервью с трекером Дмитрием Безнасюком
- [Графический дизайн, Дизайн, Управление продуктом, Управление проектами] Организация работы в креативной команде: опыт Wrike, Miro, Revolut
- [Usability, Дизайн, Веб-дизайн, Дизайн мобильных приложений] UXD — Реальность и будущее в дизайне или человек во главе всего
- [IT-компании, Управление продуктом, Управление проектами] Discovery бэклог: как не упустить важное
- [Управление продуктом, Управление проектами] Об устаревании кода и жизненном цикле ПО
- [Управление продуктом, Управление разработкой] 22 сентября, Онлайн-митап Product Engineering Meetup #2: Культура разработки
- [Информационная безопасность, Совершенный код, Управление продуктом, Софт] Строим безопасную разработку в ритейлере. Опыт одного большого проекта
- [Презентации, Дизайн, Контент-маркетинг, Управление продажами] Как оценить эффективность презентации?
Теги для поиска: #_analitika_mobilnyh_prilozhenij (Аналитика мобильных приложений), #_dizajn (Дизайн), #_dizajn_mobilnyh_prilozhenij (Дизайн мобильных приложений), #_upravlenie_produktom (Управление продуктом), #_ux_design, #_ux/ui, #_product_development, #_dizajn (дизайн), #_produktovyj_dizajn (продуктовый дизайн), #_metriki_produkta (метрики продукта), #_metriki (метрики), #_analitika_mobilnyh_prilozhenij (аналитика мобильных приложений), #_analitika_mobilnyh_prilozhenij (
Аналитика мобильных приложений
), #_dizajn (
Дизайн
), #_dizajn_mobilnyh_prilozhenij (
Дизайн мобильных приложений
), #_upravlenie_produktom (
Управление продуктом
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 23-Ноя 00:16
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Photo by Brooke Cagle on Unsplash Вы читаете третью статью из серии «Дизайнер и метрики». В первой мы поразмышляли, нужны ли продуктовому дизайнеру метрики, а во второй посмотрели, какие вообще бывают метрики. Если вы ещё не читали эти статьи, то советую начать с них. В этой статье речь пойдет о том, как ответить на вопрос, улучшили мы продукт или нет. Дни после релиза После раскатки нового функционала каждый дизайнер спрашивает себя: что изменилось? Удалось ли нам улучшить продукт? Чтобы ответить на эти вопросы, нужно посмотреть, как изменились метрики после релиза функционала. Ведь зачастую результат работы дизайнера — это разница между метриками до релиза нового функционала и после него. На первый взгляд кажется, что сравнить эти метрики очень просто: посмотрел на цифры до релиза и после, сравнил одно с другим, и если стало лучше — значит, все было не зря, а если хуже, то все надо переделывать. Но такой подход часто ведет к ошибкам — поэтому прежде чем прыгать к выводам, нужно обратиться к математике и немного посчитать. Как сравнить метрики «до» и «после» Реальное значение метрики против замеренной У каждой метрики есть её реальное значение — назовем его R (реальное), — а есть значение, которое мы получили через замеры — Z (замеренное). И первое, с чем нам надо справиться это понять, что R ≠ Z. Разберемся на примере Допустим, перед нами стоит вопрос, сколько в России людей, которые работают в силовых структурах. Вариант загуглить и узнать — не наш выбор в этой статье. Допустим, теоретически мы могли бы опросить каждого человека в России, силовик он или нет, и получить реальное значение, то есть R. Но поскольку практически это невозможно, мы опрашиваем столько людей, сколько смогли найти — допустим, 300 человек (выборку формируем по науке), и потом просто экстраполируем эти данные на всю Россию. Так мы получаем Z, то есть замеренную метрику. Думаю, теперь стало понятно, что почти всегда Z ≠ R. Как из замеренной метрики получить реальную? На этот вопрос как раз и отвечает математика. С помощью математической формулы мы можем получить промежуток значений, в котором находится R. Вернемся к примеру с силовиками. Предположим, что после опроса 300 человек, 5 из них ответили, что являются сотрудниками силовых структур, то есть приблизительно 1,7%. Этих данных достаточно, чтобы получить промежуток значений в котором находится R. Для этого нам необходимо:
Эти данные нужно ввести в специальный калькулятор для расчета доверительного интервала и нажать «вычислить». На выходе мы получим промежуток, в котором содержится R с вероятность 90, 95 и 99% (в зависимости от того, какой процент мы выбрали при расчёте). Если вернуться к примеру с силовиками, то после этих расчётов можно сказать, что R находится в промежутке (или доверительном интервале) от 0% до 3,59% от всего населения России. А значит, если умножить этот процент на население России, то получим интервал от 0 человек до 5 268 274 человек. (В этом интервале действительно содержится верный ответ — в реальности это 2,6 миллиона). Чтобы получить более точный промежуток, нам нужно опросить больше людей. А как же все-таки сравнить метрики «до» и «после» Теперь нам уже достаточно знаний, чтобы ответить на этот вопрос. Осталось дело за малым: надо просто посчитать доверительный интервал для метрики «до» и для метрики «после» и посмотреть, есть ли между ними пересечение. Если пересечения нет, то мы получили статистически значимые результаты и можно утверждать, что мы что-то изменили в продукте. А если пересечение есть, то значит данных недостаточно, чтобы утверждать, что что-то изменилось в продукте. А полученную разницу в данных надо воспринимать как погрешность измерения. Разберемся на примере маркетинговой компании Допустим, мы подготовили 2 креатива, и их посмотрели по 5 000 пользователей. Первый показал значение CTR 2% (это процент нажавших на креатив и перешедших на лендинг), а другой 3%. Можно ли сказать, что второй лучше первого? Чтобы ответить на этот вопрос, нам надо собрать все данные для измерения доверительного интервала: По первому банеру:
Получаем, что R по первому креативу с 95% вероятностью находится между [ 1,61% – 2,39% ] Тоже самое проделываем по второму банеру (его посмотрело тоже 5 000 человек) и получаем интервал [ 2,53% – 3,47% ]  Видим, что интервалы не пересекаются друг с другом, а значит, второй банер успешнее первого. Подытожим
Что дальше Это была 3 и последняя статья из серии «Дизайнер и метрики». В следующей статье я планирую рассказать, почему у пользователя нельзя спрашивать, что ему нравится, а что нет. Подписывайтесь, чтобы не пропустить! =========== Источник: habr.com =========== Похожие новости:
Аналитика мобильных приложений ), #_dizajn ( Дизайн ), #_dizajn_mobilnyh_prilozhenij ( Дизайн мобильных приложений ), #_upravlenie_produktom ( Управление продуктом ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 23-Ноя 00:16
Часовой пояс: UTC + 5