[Интерфейсы, Usability, Управление продуктом] Зачем Авито «облачные» UX-исследователи и как с ними работать
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Всем привет, меня зовут Михаил Правдин, я руковожу направлением качественных UX-исследований в Авито. Возможно, вы видели мой доклад на ProductSense о том, как в Авито проводят исследования, или слушали подкаст о методах и инструментах CustDev, которые помогают создавать и развивать продукты.
Важность UX-исследований для бизнеса в 2020 году осознают практически все, и по этой теме вышло много отличных материалов: например, Ксения Стерлина из Arrival и UXSSR писала о том, что даже если в компании нет выделенной роли исследователя, совсем без исследований компания жить не может. О том же говорит и Sinead Cochrane из Intercom в статье "Any research is better than no research". Максимальный риск, по мнению команды Intercom, — создавать продукты без изучения опыта, поведения и потребностей реальных пользователей.
Но когда компания начинает регулярно заниматься исследованиями, возникает другой вопрос — как проводить ещё больше исследований, чтобы проверять больше гипотез и находить больше инсайтов?
Почему нам нужно больше исследований?
Попробую ответить на этот вопрос на примере нашей компании. В Авито все команды делятся на два типа — Discovery и Delivery.
Состав Discovery-команды:
- менеджер продуктов;
- дизайнер;
- аналитик;
- UXR (UX-researcher, исследователь);
- техлид — частично, чтобы бесшовно передавать задачи и обеспечивать обратную связь от команды разработки.
В каждой команде — свои спринты. Discovery-спринты идут параллельно со спринтами разработки, их результат — проработанные и обоснованные предложения для продуктового бэклога. Эти предложения обычно опережают спринты разработки на несколько недель и потому не тормозят выпуск инкрементов. Но на ранних стадиях проработки гипотез Discovery-команда всегда вовлекает в процесс разработчиков.
В основе рабочего процесса Discovery-команды — классическая методология double diamond: от симптома мы переходим к проблемам, а от них — к набору решений. Проблемы и решения мы рассматриваем комплексно, системно, а не хватаемся за первые попавшиеся гипотезы. Поэтому в одном спринте у Discovery-команды обычно около пяти гипотез о конкретной проблеме и её решении. Все эти гипотезы мы пытаемся проверить в течение одного спринта. В этом подходе мы отталкиваемся от идеи, что успех решения зависит от чёткого понимания проблемы и её приоритета.
Метрика успеха Discovery-команды — количество проверенных за спринт гипотез. При этом задача моего подразделения, UXlab, и каждого исследователя — помочь команде продукта проверять больше гипотез (чтобы в разработку шло больше валидированных задач) и делать это качественнее (чтобы вероятность ошибочных выводов была меньше).
В Skyeng используют аналогичный подход (см. доклад Владимира Баяндина): «У каждой продуктовой команды есть план по росту ключевых метрик. Чтобы его успешно выполнять, команде роста нужны сильные гипотезы по улучшению продукта и высокая скорость их верификации. Самый надежный способ проверить гипотезу — провести A/B-тест. Учитывая, что 90% экспериментов не приносят результата, в лучшем случае мы могли получить всего два успешных теста за год. Желая ускорить работу команды, мы стали чаще прибегать к качественным исследованиям».
Как проводить больше исследований?
Искать и проверять гипотезы можно разными способами:
- Количественно. Аналитика, A/B-тесты, опросы, обзвоны.
- Качественно. Интервью, модерируемые usability-тесты.
- Микс. Анализ обращений из техподдержки, общение с продавцами и клиентскими менеджерами, фокус-группы, форумы, изучение данных вебвизора и рыночных исследований.
Я буду говорить про расширение воронки с помощью качественных исследований, потому что компании, чтобы лучше понять своих клиентов, найти или проверить гипотезы, чаще всего проводят именно интервью и usability-тесты (если не брать в расчёт аналитику, согласно опросу userinterviews.com "The State of User Research Report 2020".)
Увеличить количество качественных исследований можно тремя способами:
- Вовлечь в исследование всю Discovery-команду: менеджера продуктов, дизайнера и аналитика.
- Взять в команду отдельного исследователя.
- Привлекать исследовательские агентства.
Расскажу о плюсах и минусах каждого варианта — мои выводы основаны на практике, мы в UXlab используем все три способа.
Проводить исследования силами всей Discovery-команды
На мой взгляд, это — один из лучших вариантов. Вот его плюсы:
- Отпадает необходимость передавать информацию от исследователя к команде, а каждый член Discovery-команды сам является исследователем.
- Каждый участник команды погружается в исследование и развивает эмпатию к клиенту — ни одно, даже самое лучшее исследование, выполненное отдельным исследователем, не заменит непосредственного общения с клиентом.
- Возможность проверять значительно больше гипотез — количество исследователей равно размеру Discovery-команды. Обычно в начале Discovery-спринта команда договаривается, кто и какие гипотезы будет проверять, а на Discovery-demo все обмениваются результатами.
- Один из лучших способов прокачать портфолио — опыт UX-исследований прибавляет +30% к карме кандидата на продуктовые вакансии (основано на личном опыте).
Как мы реализуем этот подход к организации исследований:
- Проводим обучение CustDev для Discovery-команд, учим проверять гипотезы максимально эффективно и правильно.
- Запустили 1DayResearch — приглашаем несколько клиентов и участников Discovery-команд, чтобы они могли за один раз проверить сразу несколько разных гипотез или найти новые, без необходимости проводить 4−6 исследований (подробнее о формате читайте в статье Ольги Ржановой из Яндекса).
- Упрощаем, ускоряем поиск клиентов и внедряем систему упрощённой выплаты вознаграждений за участие в исследовании. Сейчас у нас респондентов ищут 5 человек из саппорта.
Типичные проблемы такого подхода к организации исследований
У Discovery-команды ограничен ресурс. Менеджер продуктов должен управлять бэклогом и командой, считать юнит-экономику, формировать карту продукта, а дизайнер проектировать новые решения и переводить их в «чистовой» UI. Поэтому даже если научить всех проводить исследования, времени и сил всё равно будет не хватать.
Хорошая практика — проводить каст-дев самому продакт-менеджеру. Но бюджет сам себя не сверстает, требования для новых фичей не напишутся, а проектные планы не сделаются. На общение с клиентами у менеджера остается минимум времени.
Владимир Баяндин из Skyeng (орфография и пунктуация сохранены)
Нельзя сразу качественно провести исследования и полностью исключить предвзятость. Даже после обучения — я говорю это не просто так, мы проводим много исследований вместе с менеджерами продуктов и дизайнерами. И они допускают «детские ошибки» во время интервью или UX-тестов, часто неосознанно оказывают влияние на результат исследований.
Отсутствие опыта и глубокого понимания методологии социологических исследований ведет к тому, что обычно начинающие исследователи наступают на одни и те же грабли, а их ошибки приводят к стандартным искажениям результатов исследований. Идентифицировать же и исправить эти ошибки в этом случае некому. Исследования пользователей — сложная область, с большим количеством нюансов и подводных камней».
Анна Кон из Joom (орфография и пунктуация сохранены)
Проблема селективного восприятия. Возникает, когда исследователь старается не замечать и быстрее забыть стимулы, которые вызывают у него эмоциональный дискомфорт и противоречат прежним убеждениям. Хлоя Мартинот из ManoMano в своей статье "Should product managers do user research?" приходит к выводу, что можно пытаться научить всех быть непредвзятыми и проводить исследование качественно, но быстрее и надежнее — нанять внутреннего или внешнего исследователя.
Исследования занимают много времени. Особенно если в компании нет готовой инфраструктуры и методологий проведения исследований. Подготовка методологии, поиск респондентов, проверка настроек Zoom перед звонком, система начисления вознаграждений, анализ результатов, подготовка отчета и пр. — очень затратные по времени операции, если всем этим заниматься самостоятельно. Как пишет Хлоя "If a PM is truly valuable for making sense of user problems and building a vision towards them, he is absolutely not the person who should orchestrate user research". Когда это делает исследователь, вы можете просто подключиться ко встрече или даже посмотреть её потом в записи.
Нанимать новых исследователей в штат (лучше всего — один исследователь на команду)
Если у компании есть на это деньги и руководство поддерживает расширение UXR-функции — это прекрасно. Основной плюс исследователя внутри команды — мощная экспертность и ресурс для всех Discovery-задач. Исследователь поможет подобрать лучший способ для проверки (а не подтверждения) гипотез, составить портреты ЦА, провести сложные стратегические исследования, внедрит правильные инструменты, наладит поиск респондентов, научит команду самостоятельно проводить исследования.
Такой сотрудник глубоко погружен в ваш продукт, разделяет ваши цели, вместе с вами формирует карту продукта, знает клиентов, не останавливается после проведения исследования, а идёт дальше — чтобы сгенерировать решения и организовать их проверку.
В Авито в команде исследователей шесть человек, в ближайшее время к ней присоединится ещё четыре сотрудника. Но продуктовых команд — больше 35, поэтому мы очень далеки от формата «1 UXR — 1 команда». Та же проблема есть и в Яндексе:
Мы осознали, что даже если в три раза увеличим команду исследователей, есть шанс, что наших ресурсов не будет хватать на всех.
Ольга Ржанова, Яндекс
Основная проблема такого подхода в том, что компании склонны отдавать открывшиеся ставки под разработчиков, а не исследователей. Причины простые: напрямую посчитать выгоду от работы исследователя очень сложно, его результаты не так наглядны, как труд программиста, а задачи исследователя в принципе могут взять на себя менеджеры продуктов и дизайнеры. Новых же вакансий всё время не хватает, и лучше нанять разработчиков.
Вторая проблема вытекает из первой: чтобы доказать руководству необходимость найма исследователя, команда должна понять, действительно ли исследователь сможет ощутимо поднять качество внедряемых решений и увеличить ключевые метрики продукта. А понять это теоретически невозможно — надо пробовать. А чтобы пробовать, надо нанять исследователя и посмотреть на результат его работы. Замкнутый круг. Плюс многие команды не уверены, что смогут загрузить исследователя на фуллтайм.
Обращаться за помощью в исследовательские агентства
На рынке есть десятки исследовательских агентств, которые специализируются на качественных продуктовых исследованиях. Мы в Авито работали с агентствами на десятках UXR-проектов, и могу сказать, что есть очень классные команды, работа с которыми (например, Дмитрий Капаев и Анна Бородай из «Глубины») всегда приносит хороший результат и приводит к генерации новых идей. Агентство — отличный вариант для проведения разового большого исследования или если вы только начинаете осваивать исследования и вам нужна помощь экспертов, чтобы быстро показать руководству «результат от кастдева».
Плюсы работы с агентствами
- Нет личной заинтересованности — непредвзятый, свежий взгляд на ваш продукт.
- Большая экспертность — обычно за плечами исследователей из агентств десятки проектов из разных сфер.
- Гарантия результата и оплата по безналу — на счёт ИП и ООО (для многих компаний это важно).
- При необходимости агентству можно отдать и следующие за исследованием этапы.
Минусы работы с агентствами
Цена. Часто цена вводит в ступор даже большие компании с бюджетами на исследования. Например, на один и тот же проект 5 разных агентств выставили нам цену от 300 тыс. до 1 млн 300 тыс. рублей. Это была задача на 30 дней для одного исследователя. Думаю, такие цены возникают из-за того, что спрос на их услуги значительно превышает предложение. Ну и конечно, есть расходы на офис, операционку, рекламу, персонал, риски.
Низкая квалификация исполнителей. Очень частая проблема — на встречу с вами придут эксперты, они же будут вести ваш проект. Но они вряд ли самостоятельно будут проводить все исследования. Нередко «в поля» выходят студенты, junior-исследователи, фрилансеры — им просто дают готовую методологию. Поэтому возникают вопросы к качеству — руководитель-эксперт при всём желании не может полностью контролировать процесс. Эта проблема больше свойственна крупным агентствам.
Агентствам тяжело и неинтересно работать над небольшими задачами. Они хотят продать как можно больше своих услуг. Сделать с ними небольшое исследование в рамках спринта как правило невозможно — у них просто отсутствует необходимая гибкость и адекватная цена для таких задач.
Низкая скорость. Договоры, согласования, погружения, коммуникации — на это всегда уходит куча времени.
Работа в отрыве от заказчика и без его вовлечения в исследование. Это проблема не только исполнителей, но и заказчиков. Часто заказчик думает, что он поставил задачу и на этом его работа закончилась — теперь можно просто ждать итоговый отчёт. В этом случае проблема агентства в том, что оно соглашается с таким положением дел и не стремится вовлечь заказчика.
Итог печальный:
Подрядчик проводит исследования в лаборатории за пределами офиса, а потом является с отчётом на сто страниц. Команда благодарит и откладывает отчёт в долгий ящик — потому что у сотрудников нет доверия к людям со стороны и «лишнего» времени на чтение… важно, чтобы члены вашей команды вовлекались в исследование: предлагали гипотезы, наблюдали за беседами с респондентами, общались с аудиторией. Тогда они гораздо внимательнее отнесутся к результатам ресёрча и с большей вероятностью используют их в разработке.
Ксения Стернина из Arrival и UXSSR
А что, если исследователь будет «облачным»?
Такой вопрос мы задали себе, когда проанализировали плюсы и минусы первых трёх подходов и попробовали расширить объём проводимых исследований за счёт внешних экспертов-фрилансеров, готовых поработать над нашими задачами. В тот момент нам попалось интервью с Игорем Задориным, в котором он рассуждал о перспективах исследовательского рынка. Вот несколько интересных выводов:
- Мы видим рост числа профессионалов-исследователей, которые уже жёстко не связаны ни с одной конкретной компанией — всё больше специалистов работают более чем в одной компании, всё больше специалистов работают вне организационной структуры компаний, уходят на фриланс и могут брать разные проекты. Это серьёзно меняет рынок, в том числе — цены.
- Компаниям, которые продают только исследовательские процедуры, становится сложнее — эти работы уже могут выполнять профессиональные частные исполнители, не привязанные ни к каким компаниям.
- Появляются временные онлайн-команды, которые выполняют исследовательские проекты. Теперь платформы типа Miro и Zoom могут объединять специалистов, находящихся в разных локациях и временных зонах.
- Увеличиваются технические возможности отдельных исследователей. Это даёт возможность создания «исследовательского убера». Мы можем представить себе компании, которые на специальном сервисе размещают заказ на интервью в конкретном регионе страны, а свободные исполнители берутся за этот заказ.
И мы поняли, что надо пробовать этот вариант, потому что «лучше делать каст-дев чужими руками и получать стабильный поток обратной связи ежедневно, чем не делать его вообще».
Для начала мы написали в группы на Facebook и телеграм-каналы, в которых общаются исследователи, что у нас есть проекты и нужна их помощь. Отклик был слабый, да и откликнулись в основном специалисты, которые в нашей теме экспертами не были. Тогда мы пошли на freelance.ru — но там практически не оказалось исследователей и найти исполнителя было невозможно.
После этого мы решили провести исследование про исследователей (мы же исследователи, и не можем иначе) — пообщались с шестью компаниями, узнали, как они привлекают фрилансеров и агентства на свои проекты, где их находят и с какими проблемами сталкиваются. Выяснилось, что это общая проблема. И мы придумали решение, которое поможет быстро и эффективно находить внешних исследователей на проекты.
Кам мы создавали базу «облачных исследователей»
У нас было несколько гипотез для проверки в рамках первого подхода:
- На рынке есть исследователи, готовые поработать над внешними проектами.
- Это специалисты разных уровней — от junior до senior.
- Исследователи могут уделять время внешним проектам.
- Работать с ними дешевле, быстрее и качественнее, чем с агентствами.
После этого мы набросали гипотезы и ценности, которые даёт исследователям временная проектная работа в UXR:
- Пробовать и развивать себя на разных проектах в разных компаниях, нарабатывать портфолио.
- Зарабатывать на проектах больше, чем in-house.
- Работать по удобному графику и удалённо.
- Выбирать задачи и вознаграждение под себя.
Мы поняли, что если хотим привлекать внешних специалистов, нам нужно не меньше десяти человек в запасе — это позволит не зависеть от их загрузки и в любой момент времени иметь хотя бы одного свободного исполнителя. Вот что мы сделали:
- Изучили зарплаты и сформировали своё видение адекватной цены по нашим проектам. Нам нельзя было ориентироваться на цены агентств, так как они часто сильно завышены, и мы исходили из той предпосылки, что на наших проектах исследователь должен в среднем получать в два раза больше, чем на своей основной работе.
- Сделали лендинг «на коленке» и разместили ссылку на него во всех группах и сообществах, где общаются исследователи. На лендинге прописали ключевые, с нашей точки зрения, ценностные посылы для исследователей. Забегая вперёд скажу, что после общения с откликнувшимися исследователями мы их переписали.
- Сделали анкету для предварительного отсева — нам писало много исследователей без опыта (просто после курсов и университета), а также много ребят из смежных профессий, которые хотели зайти в исследования. Так как мы на старте искали именно экспертов, мы таких ребят переносили во вторую волну.
- Провели интервью со всеми кандидатами — по анкете тяжело понять опыт, hard и soft skills, плюс важно пообщаться лично и понять, что за человек попадаёт к нам в базу. У нас уже был большой опыт — мы неоднократно нанимали исследователей в штат и понимали, на что нужно обратить внимание. По результатам каждого интервью мы составляли краткое резюме по кандидату, где указывали тип проектов, для которых он подходил, и предварительные баллы. После первых выполненных проектов мы дополняли профили фрилансеров и пересматривали рейтинг.
- Сделали закрытую группу в телеграме и добавили всех, кто прошел интервью. Туда стали выкладывать все брифы по своим задачам. При этом участие в группе ни к чему не обязывает: участники могут откликаться на любые задачи, которые кажутся им интересными. Свободный рынок сделок — как у нас на Авито.
Сейчас группа развивается, в неделю проводим по 3−5 новых интервью. Благодаря этому растёт и количество откликов на брифы — так что можно выбрать кандидата с более релевантным опытом в той или иной сфере.
Оценка средней зарплаты по опросу среди исследователей — на её основе мы формировали средние цены на проекты
Что важно учесть при работе с фрилансерами
Мало просто найти хорошего внешнего исследователя — это ещё не гарантирует безупречного результата. Расскажу, что нужно учесть при работе с исследователями-фрилансерами.
Составить хороший бриф. Что на входе, то и на выходе — это понимает каждый исследователь, дизайнер и аналитик, который получает задачи. Поэтому мы сразу исходили из того, что брифы на внешние задачи должны быть хорошо проработаны. Когда к нам приходит команда или менеджер продуктов с новой задачей, мы первым делом смотрим, насколько качественно проработан бриф, задаём вопросы, вместе дорабатываем его, формируем ключевые пункты и детализируем их для того, чтобы погрузить исполнителя в контекст. Внешние исследователи должны хорошо представлять суть задачи, объём и примерный план работ. Что включает в себя бриф:
- Контекст.
- Задача бизнеса.
- Задача исследования.
- Гипотезы и вопросы.
- Выборка (описание ЦА).
- Формат рекрута и вознаграждения (кто и как ищет).
- Формат результата (как мы видим визуализацию результатов).
- Метод и формат проведения (наше видение, может меняться после обсуждения с исполнителем).
- Результат (прям по пунктам прописываем, чего ожидаем от исполнителя на каждом этапе и потом переносим эти пункты в договор).
- Сроки, стоимость.
Согласовать работы, сроки и ответственных. В задаче участвуют три стороны: команда (чаще менеджер продуктов), UX-исследователь от Авито и внешний UX-исследователь, поэтому мы детально прописываем, кто за что отвечает и когда должен быть результат по каждому этапу: методология, рекрут, проведение исследований, анализ, обсуждение итогов. Это позволяет в случае задержек ссылаться на договоренности и повышает прозрачность ожиданий от всех участников. Например, менеджеры продуктов нередко удивляются, что от них требуется частичное участие в момент подготовки методологии — по их мнению, это полностью работа исследователя.
У нас в Авито есть отдел UXR, и для начала мы решили не сводить исполнителя напрямую с продуктовой командой — не было уверенности в качестве работы фрилансеров. Поэтому в каждом новом проекте участвовал и штатный исследователь. Но сейчас у нас уже есть проекты, где участие внутреннего исследователя сведено к минимуму — он присутствует только на этапе постановки задачи и первом интервью.
Показать исполнителю примеры ожидаемого результата. Опять же для прозрачности и прояснения ожиданий заказчика и исполнителя. На старте проекта мы показываем исполнителю примеры релевантных прошлых проектов, а он может предлагать свои идеи — на выходе, как правило, мы получаем с точностью 80% именно то, что хотим видеть в итоге. Для качественных исследований это очень важно, потому что оформить и визуализировать их результаты можно совершенно по-разному.
Вовлечь команду в проект. Проект делает внешний исполнитель, но это не означает, что команда участвует только в постановке задачи. Необходимо создать условия, при которых команда подключается на каждом этапе: обсуждает и корректирует методологию, присутствует на интервью и тестах, после общения с каждым респондентом обсуждает самые важные инсайты.
Плюсы и минусы работы с исследователями-фрилансерами
Мы провели более двадцати проектов с внешними исследователями и проверили свои гипотезы о таком формате работы.
Когда лучше привлекать внешних UXR:
- Когда вы не уверены, нужен ли вам исследователь в команду и какую ценность он приносит.
- Когда проект находится на начальном этапе, а значит, не требует глубокого погружения в предысторию.
- Когда нет ресурса самостоятельно проводить исследования.
- Когда хотите получить непредвзятый взгляд со стороны, проверить решение комплексно.
- Когда вы не уверены, что делаете кастдев правильно, и нужна внешняя экспертиза.
Плюсы работы с внешними UXR:
- Гораздо дешевле агентств. Мы, например, сократили расходы более чем в три раза.
- Качество работы обычно выше, чем в агентстве. Потому что исследователь сам выполняет проект, в отличии от агентств, которые нередко нанимают других исполнителей. Ему неинтересно и невыгодно передавать работу начинающим исследователям — а вы на всех этапах получаете высокую экспертность и качество.
- Большая база позволяет быстро найти исполнителя. На первом этапе у нас в сообществе было порядка 20 участников, сейчас их около 50. У нас всегда есть несколько человек, которые готовы взяться за задачу «вчера».
- Исследователь плотно общается с командой и фактически на время становится её членом. В отличии от агентств, которые часто работают как чёрный ящик, фрилансеры более гибкие — мы просим их максимально вовлекать нашу команду во все этапы проекта, и они идут нам навстречу. Тем более, им это интересно — ведь всегда полезно подсмотреть, как работают команды из разных сфер бизнеса.
- В процессе мы сами учимся и осваиваем новые подходы и методологии, потому что каждый новый специалист привносит свой взгляд на задачи и способы их решения.
Сложности работы с внешними UXR:
- Нужно очень подробно и чётко обсудить цели и задачи, чтобы специалисты точно поняли, что от них требуется.
- Долго погружаются в задачу, хуже разбираются в продуктах компании по сравнению с исследователями in-house. Но даже тут они чуть быстрее агентств.
- У внешних исследователей нет доступа ко всей информации по проекту, пока не подписано NDA — а значит, скорость работы зависит от скорости подписания NDA в компании.
- Всё равно приходится тратить своё время на старте проекта и в той или иной мере принимать участие на других этапах. Но это даже не минус, а просто факт. Очень опасно думать, что можно работать с агентством или исследователем in-house, не вовлекаясь в проект.
- Часто внешние исследователи работают только удалённо и совмещают ваши проекты с основной работой. Но сегодня это уже не проблема — у всех теперь гибкие графики, а удалёнка перестала быть диковинкой.
Перспективы «облачных» UX-исследований
Начиная работу с фрилансерами, мы и подумать не могли, что сможем так сильно расширить воронку исследований. Думаю, нам отчасти помогла случайность — когда началась пандемия и все перешли на удалёнку, «онлайн-исследователь» перестал быть чем-то необычным и стал очень похож на «облачную UX-лабораторию».
Еще удивил интерес со стороны исследовательского сообщества: сейчас у нас уже более 50 исследователей в группе и каждый месяц приходит по 5−10 новых исполнителей. А ведь мы не делали никакую рекламу: большая часть откликов — сарафанное радио и публикации в исследовательских сообществах.
Мы точно будем и дальше обучать продуктовые команды проводить самостоятельные исследования, нанимать людей в свой отдел UXLab — внутренних экспертов невозможно заменить «облачным исследователем». Но всё же простой факт — за последние полгода мы ни разу не обратились в агентства и полностью перешли на работу с фрилансерами. В этом формате мы нашли много плюсов и будем его развивать, чтобы сделать его ещё эффективнее.
Мы верим, что исследователь может помогать десяткам компаний и быть при этом эффективным. Как хорошо сказал Михаил Руденко в одном из подкастов, если вы ставите перед собой цель «устранять барьеры, которые мешают любить компанию», вам необязательно фокусироваться на создании внутреннего UX-отдела — можно достигать этой цели несколькими способами, пробовать разные форматы, методы и инструменты.
Развитие нового формата как платформы
В октябре мы планируем добавить в своё сообщество ещё 10 компаний, которые тоже хотят попробовать работу с внешними исследователями. Нам кажется, это сделает проект ещё интереснее для фрилансеров: им будет приходить больше брифов из разных сфер бизнеса — не только от Авито. Поэтому если вам интересно попробовать такой формат и стать одним из 10 заказчиков на тестовый период — пишите мне в телеграм mpravdin.
И конечно, мы постоянно ищем новых исследователей — задач много, и кажется, с каждым днем будет всё больше. Если видите для себя ценность в таком сотрудничестве, заполните заявку на сайте.
Эта статья первоначально была написана для блога ProductSense. Спасибо их редакции за работу.
===========
Источник:
habr.com
===========
Похожие новости:
- [Локализация продуктов, Управление продуктом, Управление проектами] 15 советов: Локализация сервисов под разные страны
- [PHP, Анализ и проектирование систем, Высокая производительность, Интерфейсы, Управление e-commerce] Как я за вечер написал быструю CMS для статических сайтов по правилам бизнес-логики в одном файлике
- [Управление разработкой, Управление проектами, Agile, Управление продуктом] Как гибкие методы разработки помогают создавать стратегию для бизнеса
- [Машинное обучение, Управление продуктом, Искусственный интеллект] Через 10 лет ИИ будет решать большинство задач лучше человека: интервью с организатором конференции OpenTalks.AI
- [Управление продуктом] Дополнение к теме code escrow – депонированию исходного кода
- [CSS, Usability] Темный режим: Hello darkness, my old friend (перевод)
- [IT-компании, IT-стандарты, Управление продуктом, Управление проектами] Методологический скачок: от таблиц-портянок к понятному каталогу услуг в ITSM-системе
- [Help Desk Software, Service Desk, Управление продуктом, SaaS / S+S, Облачные сервисы] Ликбез по типам поддержки, задачам саппорта и вариантам автоматизации
- [Управление продуктом] Escrow (эскроу) исходного кода
- [Growth Hacking, Дизайн игр, Управление продуктом] Fatal Fight: How we've got 5 million organic installs?
Теги для поиска: #_interfejsy (Интерфейсы), #_usability, #_upravlenie_produktom (Управление продуктом), #_usability, #_tests, #_ui/ux, #_uxlaboratorija (ux-лаборатория), #_product_development, #_frilansery (фрилансеры), #_agentstva (агентства), #_blog_kompanii_avito (
Блог компании Авито
), #_interfejsy (
Интерфейсы
), #_usability, #_upravlenie_produktom (
Управление продуктом
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 22:52
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Всем привет, меня зовут Михаил Правдин, я руковожу направлением качественных UX-исследований в Авито. Возможно, вы видели мой доклад на ProductSense о том, как в Авито проводят исследования, или слушали подкаст о методах и инструментах CustDev, которые помогают создавать и развивать продукты. Важность UX-исследований для бизнеса в 2020 году осознают практически все, и по этой теме вышло много отличных материалов: например, Ксения Стерлина из Arrival и UXSSR писала о том, что даже если в компании нет выделенной роли исследователя, совсем без исследований компания жить не может. О том же говорит и Sinead Cochrane из Intercom в статье "Any research is better than no research". Максимальный риск, по мнению команды Intercom, — создавать продукты без изучения опыта, поведения и потребностей реальных пользователей. Но когда компания начинает регулярно заниматься исследованиями, возникает другой вопрос — как проводить ещё больше исследований, чтобы проверять больше гипотез и находить больше инсайтов?  Почему нам нужно больше исследований? Попробую ответить на этот вопрос на примере нашей компании. В Авито все команды делятся на два типа — Discovery и Delivery. Состав Discovery-команды:
 В каждой команде — свои спринты. Discovery-спринты идут параллельно со спринтами разработки, их результат — проработанные и обоснованные предложения для продуктового бэклога. Эти предложения обычно опережают спринты разработки на несколько недель и потому не тормозят выпуск инкрементов. Но на ранних стадиях проработки гипотез Discovery-команда всегда вовлекает в процесс разработчиков. В основе рабочего процесса Discovery-команды — классическая методология double diamond: от симптома мы переходим к проблемам, а от них — к набору решений. Проблемы и решения мы рассматриваем комплексно, системно, а не хватаемся за первые попавшиеся гипотезы. Поэтому в одном спринте у Discovery-команды обычно около пяти гипотез о конкретной проблеме и её решении. Все эти гипотезы мы пытаемся проверить в течение одного спринта. В этом подходе мы отталкиваемся от идеи, что успех решения зависит от чёткого понимания проблемы и её приоритета.  Метрика успеха Discovery-команды — количество проверенных за спринт гипотез. При этом задача моего подразделения, UXlab, и каждого исследователя — помочь команде продукта проверять больше гипотез (чтобы в разработку шло больше валидированных задач) и делать это качественнее (чтобы вероятность ошибочных выводов была меньше). В Skyeng используют аналогичный подход (см. доклад Владимира Баяндина): «У каждой продуктовой команды есть план по росту ключевых метрик. Чтобы его успешно выполнять, команде роста нужны сильные гипотезы по улучшению продукта и высокая скорость их верификации. Самый надежный способ проверить гипотезу — провести A/B-тест. Учитывая, что 90% экспериментов не приносят результата, в лучшем случае мы могли получить всего два успешных теста за год. Желая ускорить работу команды, мы стали чаще прибегать к качественным исследованиям».  Как проводить больше исследований? Искать и проверять гипотезы можно разными способами:
Я буду говорить про расширение воронки с помощью качественных исследований, потому что компании, чтобы лучше понять своих клиентов, найти или проверить гипотезы, чаще всего проводят именно интервью и usability-тесты (если не брать в расчёт аналитику, согласно опросу userinterviews.com "The State of User Research Report 2020".)  Увеличить количество качественных исследований можно тремя способами:
Расскажу о плюсах и минусах каждого варианта — мои выводы основаны на практике, мы в UXlab используем все три способа. Проводить исследования силами всей Discovery-команды На мой взгляд, это — один из лучших вариантов. Вот его плюсы:
 Как мы реализуем этот подход к организации исследований:
Типичные проблемы такого подхода к организации исследований У Discovery-команды ограничен ресурс. Менеджер продуктов должен управлять бэклогом и командой, считать юнит-экономику, формировать карту продукта, а дизайнер проектировать новые решения и переводить их в «чистовой» UI. Поэтому даже если научить всех проводить исследования, времени и сил всё равно будет не хватать. Хорошая практика — проводить каст-дев самому продакт-менеджеру. Но бюджет сам себя не сверстает, требования для новых фичей не напишутся, а проектные планы не сделаются. На общение с клиентами у менеджера остается минимум времени.
Владимир Баяндин из Skyeng (орфография и пунктуация сохранены) Отсутствие опыта и глубокого понимания методологии социологических исследований ведет к тому, что обычно начинающие исследователи наступают на одни и те же грабли, а их ошибки приводят к стандартным искажениям результатов исследований. Идентифицировать же и исправить эти ошибки в этом случае некому. Исследования пользователей — сложная область, с большим количеством нюансов и подводных камней».
Анна Кон из Joom (орфография и пунктуация сохранены) Исследования занимают много времени. Особенно если в компании нет готовой инфраструктуры и методологий проведения исследований. Подготовка методологии, поиск респондентов, проверка настроек Zoom перед звонком, система начисления вознаграждений, анализ результатов, подготовка отчета и пр. — очень затратные по времени операции, если всем этим заниматься самостоятельно. Как пишет Хлоя "If a PM is truly valuable for making sense of user problems and building a vision towards them, he is absolutely not the person who should orchestrate user research". Когда это делает исследователь, вы можете просто подключиться ко встрече или даже посмотреть её потом в записи. Нанимать новых исследователей в штат (лучше всего — один исследователь на команду) Если у компании есть на это деньги и руководство поддерживает расширение UXR-функции — это прекрасно. Основной плюс исследователя внутри команды — мощная экспертность и ресурс для всех Discovery-задач. Исследователь поможет подобрать лучший способ для проверки (а не подтверждения) гипотез, составить портреты ЦА, провести сложные стратегические исследования, внедрит правильные инструменты, наладит поиск респондентов, научит команду самостоятельно проводить исследования. Такой сотрудник глубоко погружен в ваш продукт, разделяет ваши цели, вместе с вами формирует карту продукта, знает клиентов, не останавливается после проведения исследования, а идёт дальше — чтобы сгенерировать решения и организовать их проверку. В Авито в команде исследователей шесть человек, в ближайшее время к ней присоединится ещё четыре сотрудника. Но продуктовых команд — больше 35, поэтому мы очень далеки от формата «1 UXR — 1 команда». Та же проблема есть и в Яндексе: Мы осознали, что даже если в три раза увеличим команду исследователей, есть шанс, что наших ресурсов не будет хватать на всех.
Ольга Ржанова, Яндекс Вторая проблема вытекает из первой: чтобы доказать руководству необходимость найма исследователя, команда должна понять, действительно ли исследователь сможет ощутимо поднять качество внедряемых решений и увеличить ключевые метрики продукта. А понять это теоретически невозможно — надо пробовать. А чтобы пробовать, надо нанять исследователя и посмотреть на результат его работы. Замкнутый круг. Плюс многие команды не уверены, что смогут загрузить исследователя на фуллтайм. Обращаться за помощью в исследовательские агентства На рынке есть десятки исследовательских агентств, которые специализируются на качественных продуктовых исследованиях. Мы в Авито работали с агентствами на десятках UXR-проектов, и могу сказать, что есть очень классные команды, работа с которыми (например, Дмитрий Капаев и Анна Бородай из «Глубины») всегда приносит хороший результат и приводит к генерации новых идей. Агентство — отличный вариант для проведения разового большого исследования или если вы только начинаете осваивать исследования и вам нужна помощь экспертов, чтобы быстро показать руководству «результат от кастдева». Плюсы работы с агентствами
Минусы работы с агентствами Цена. Часто цена вводит в ступор даже большие компании с бюджетами на исследования. Например, на один и тот же проект 5 разных агентств выставили нам цену от 300 тыс. до 1 млн 300 тыс. рублей. Это была задача на 30 дней для одного исследователя. Думаю, такие цены возникают из-за того, что спрос на их услуги значительно превышает предложение. Ну и конечно, есть расходы на офис, операционку, рекламу, персонал, риски. Низкая квалификация исполнителей. Очень частая проблема — на встречу с вами придут эксперты, они же будут вести ваш проект. Но они вряд ли самостоятельно будут проводить все исследования. Нередко «в поля» выходят студенты, junior-исследователи, фрилансеры — им просто дают готовую методологию. Поэтому возникают вопросы к качеству — руководитель-эксперт при всём желании не может полностью контролировать процесс. Эта проблема больше свойственна крупным агентствам. Агентствам тяжело и неинтересно работать над небольшими задачами. Они хотят продать как можно больше своих услуг. Сделать с ними небольшое исследование в рамках спринта как правило невозможно — у них просто отсутствует необходимая гибкость и адекватная цена для таких задач. Низкая скорость. Договоры, согласования, погружения, коммуникации — на это всегда уходит куча времени. Работа в отрыве от заказчика и без его вовлечения в исследование. Это проблема не только исполнителей, но и заказчиков. Часто заказчик думает, что он поставил задачу и на этом его работа закончилась — теперь можно просто ждать итоговый отчёт. В этом случае проблема агентства в том, что оно соглашается с таким положением дел и не стремится вовлечь заказчика. Итог печальный: Подрядчик проводит исследования в лаборатории за пределами офиса, а потом является с отчётом на сто страниц. Команда благодарит и откладывает отчёт в долгий ящик — потому что у сотрудников нет доверия к людям со стороны и «лишнего» времени на чтение… важно, чтобы члены вашей команды вовлекались в исследование: предлагали гипотезы, наблюдали за беседами с респондентами, общались с аудиторией. Тогда они гораздо внимательнее отнесутся к результатам ресёрча и с большей вероятностью используют их в разработке.
Ксения Стернина из Arrival и UXSSR А что, если исследователь будет «облачным»? Такой вопрос мы задали себе, когда проанализировали плюсы и минусы первых трёх подходов и попробовали расширить объём проводимых исследований за счёт внешних экспертов-фрилансеров, готовых поработать над нашими задачами. В тот момент нам попалось интервью с Игорем Задориным, в котором он рассуждал о перспективах исследовательского рынка. Вот несколько интересных выводов:
И мы поняли, что надо пробовать этот вариант, потому что «лучше делать каст-дев чужими руками и получать стабильный поток обратной связи ежедневно, чем не делать его вообще». Для начала мы написали в группы на Facebook и телеграм-каналы, в которых общаются исследователи, что у нас есть проекты и нужна их помощь. Отклик был слабый, да и откликнулись в основном специалисты, которые в нашей теме экспертами не были. Тогда мы пошли на freelance.ru — но там практически не оказалось исследователей и найти исполнителя было невозможно. После этого мы решили провести исследование про исследователей (мы же исследователи, и не можем иначе) — пообщались с шестью компаниями, узнали, как они привлекают фрилансеров и агентства на свои проекты, где их находят и с какими проблемами сталкиваются. Выяснилось, что это общая проблема. И мы придумали решение, которое поможет быстро и эффективно находить внешних исследователей на проекты. Кам мы создавали базу «облачных исследователей» У нас было несколько гипотез для проверки в рамках первого подхода:
После этого мы набросали гипотезы и ценности, которые даёт исследователям временная проектная работа в UXR:
Мы поняли, что если хотим привлекать внешних специалистов, нам нужно не меньше десяти человек в запасе — это позволит не зависеть от их загрузки и в любой момент времени иметь хотя бы одного свободного исполнителя. Вот что мы сделали:
Сейчас группа развивается, в неделю проводим по 3−5 новых интервью. Благодаря этому растёт и количество откликов на брифы — так что можно выбрать кандидата с более релевантным опытом в той или иной сфере.  Оценка средней зарплаты по опросу среди исследователей — на её основе мы формировали средние цены на проекты Что важно учесть при работе с фрилансерами Мало просто найти хорошего внешнего исследователя — это ещё не гарантирует безупречного результата. Расскажу, что нужно учесть при работе с исследователями-фрилансерами. Составить хороший бриф. Что на входе, то и на выходе — это понимает каждый исследователь, дизайнер и аналитик, который получает задачи. Поэтому мы сразу исходили из того, что брифы на внешние задачи должны быть хорошо проработаны. Когда к нам приходит команда или менеджер продуктов с новой задачей, мы первым делом смотрим, насколько качественно проработан бриф, задаём вопросы, вместе дорабатываем его, формируем ключевые пункты и детализируем их для того, чтобы погрузить исполнителя в контекст. Внешние исследователи должны хорошо представлять суть задачи, объём и примерный план работ. Что включает в себя бриф:
Согласовать работы, сроки и ответственных. В задаче участвуют три стороны: команда (чаще менеджер продуктов), UX-исследователь от Авито и внешний UX-исследователь, поэтому мы детально прописываем, кто за что отвечает и когда должен быть результат по каждому этапу: методология, рекрут, проведение исследований, анализ, обсуждение итогов. Это позволяет в случае задержек ссылаться на договоренности и повышает прозрачность ожиданий от всех участников. Например, менеджеры продуктов нередко удивляются, что от них требуется частичное участие в момент подготовки методологии — по их мнению, это полностью работа исследователя. У нас в Авито есть отдел UXR, и для начала мы решили не сводить исполнителя напрямую с продуктовой командой — не было уверенности в качестве работы фрилансеров. Поэтому в каждом новом проекте участвовал и штатный исследователь. Но сейчас у нас уже есть проекты, где участие внутреннего исследователя сведено к минимуму — он присутствует только на этапе постановки задачи и первом интервью. Показать исполнителю примеры ожидаемого результата. Опять же для прозрачности и прояснения ожиданий заказчика и исполнителя. На старте проекта мы показываем исполнителю примеры релевантных прошлых проектов, а он может предлагать свои идеи — на выходе, как правило, мы получаем с точностью 80% именно то, что хотим видеть в итоге. Для качественных исследований это очень важно, потому что оформить и визуализировать их результаты можно совершенно по-разному. Вовлечь команду в проект. Проект делает внешний исполнитель, но это не означает, что команда участвует только в постановке задачи. Необходимо создать условия, при которых команда подключается на каждом этапе: обсуждает и корректирует методологию, присутствует на интервью и тестах, после общения с каждым респондентом обсуждает самые важные инсайты. Плюсы и минусы работы с исследователями-фрилансерами Мы провели более двадцати проектов с внешними исследователями и проверили свои гипотезы о таком формате работы. Когда лучше привлекать внешних UXR:
Плюсы работы с внешними UXR:
Сложности работы с внешними UXR:
Перспективы «облачных» UX-исследований Начиная работу с фрилансерами, мы и подумать не могли, что сможем так сильно расширить воронку исследований. Думаю, нам отчасти помогла случайность — когда началась пандемия и все перешли на удалёнку, «онлайн-исследователь» перестал быть чем-то необычным и стал очень похож на «облачную UX-лабораторию». Еще удивил интерес со стороны исследовательского сообщества: сейчас у нас уже более 50 исследователей в группе и каждый месяц приходит по 5−10 новых исполнителей. А ведь мы не делали никакую рекламу: большая часть откликов — сарафанное радио и публикации в исследовательских сообществах. Мы точно будем и дальше обучать продуктовые команды проводить самостоятельные исследования, нанимать людей в свой отдел UXLab — внутренних экспертов невозможно заменить «облачным исследователем». Но всё же простой факт — за последние полгода мы ни разу не обратились в агентства и полностью перешли на работу с фрилансерами. В этом формате мы нашли много плюсов и будем его развивать, чтобы сделать его ещё эффективнее. Мы верим, что исследователь может помогать десяткам компаний и быть при этом эффективным. Как хорошо сказал Михаил Руденко в одном из подкастов, если вы ставите перед собой цель «устранять барьеры, которые мешают любить компанию», вам необязательно фокусироваться на создании внутреннего UX-отдела — можно достигать этой цели несколькими способами, пробовать разные форматы, методы и инструменты. Развитие нового формата как платформы В октябре мы планируем добавить в своё сообщество ещё 10 компаний, которые тоже хотят попробовать работу с внешними исследователями. Нам кажется, это сделает проект ещё интереснее для фрилансеров: им будет приходить больше брифов из разных сфер бизнеса — не только от Авито. Поэтому если вам интересно попробовать такой формат и стать одним из 10 заказчиков на тестовый период — пишите мне в телеграм mpravdin. И конечно, мы постоянно ищем новых исследователей — задач много, и кажется, с каждым днем будет всё больше. Если видите для себя ценность в таком сотрудничестве, заполните заявку на сайте. Эта статья первоначально была написана для блога ProductSense. Спасибо их редакции за работу. =========== Источник: habr.com =========== Похожие новости:
Блог компании Авито ), #_interfejsy ( Интерфейсы ), #_usability, #_upravlenie_produktom ( Управление продуктом ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 22:52
Часовой пояс: UTC + 5