[Интерфейсы, Usability, Тестирование мобильных приложений, IT-компании] Юзабилити-тестирование на удаленке. Выводы и лайфхаки по итогам года работы
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Год назад пандемия вынудила работодателей отправить сотрудников по домам. Офисы опустели, и многим пришлось корректировать схемы взаимодействия внутри команд, искать новые инструменты для выполнения задач. В том числе и софтверным компаниям — так, наш коллектив столкнулся с невозможностью провести привычное «коридорное» юзабилити-тестирование. В новых условиях нельзя было просто постучаться к коллегам с просьбой пройти пользовательский сценарий новой версии интерфейса. Нужно было искать иное решение.
Читайте под катом о том, как за прошедший год изменились наши подходы к работе, чему нас научила удаленка, с какими проблемами мы столкнулись и что у нас в итоге получилось.
Привет, Хабр! Меня зовут Кристина Мартыновская, я UX-архитектор в компании МойОфис. Мы часто проводим различные исследования, чтобы протестировать новые гипотезы. Для этого опрашиваем пользователей в анкетах и личных интервью, а также даем покликать прототип. В прошлом году мы впервые удаленно провели юзабилити-тестирование. Поскольку на старте спрогнозировать успех задумки было сложно, мы решили проверить саму возможность проведения дистанционных тестирований и привлекли к этому коллег. Процесс складывался из нескольких этапов.
Отбор респондентов
Для моего исследования не подходили специалисты технического профиля — выбор пал на сотрудников HR, PR, бухгалтерии и коммерческого отдела. Даже если в повседневной жизни программисты, QA и инженеры используют текстовые редакторы, на результат тестирования может повлиять их профессиональный опыт.
Чтобы найти релевантных кандидатов и пригласить их на тестирование, мы провели опрос среди сотрудников компании. Требовались пользователи мобильного приложения «МойОфис Документы» на Android, которые регулярно работали с редактором в течение минимум последних двух недель. По результатам опроса отобрали шесть респондентов, наиболее подходивших по критериям. Каждому из них я написала письмо с согласованием времени проведения тестирования.
Не самая лучшая практика — часто задействовать силы коллег из других отделов в своих исследованиях. Коллеги хорошо знают продукт, и даже в новом интерфейсе они легко пройдут пользовательский сценарий, ориентируясь на иконки, знакомые слова, расположение управляющих элементов. Поэтому мне требовалось разбавить аудиторию внешними респондентами. Главным критерием отбора стало условие: человек должен быть активным пользователем редакторов MS Office и Google на Android-смартфонах. Мой коллега, UX-архитектор Кирилл Улитин (ulitin), посоветовал не привлекать к процессу друзей, чтобы не допускать искажений, вызванных личной лояльностью. А вот пригласить знакомых моих коллег показалось разумной идеей: в рабочих чатах я попросила поделиться контактами подходящих людей. Немногие редактируют документы со смартфона, но мне все же удалось найти пятерых независимых респондентов.
Подготовка к тестированию
Пожалуй, самый объемный этап работы. Сперва я собрала данные участников в таблицу. Зафиксировала их контакты, должности, удобное для проведения тестирования время. Также добавила рандомизацию для демонстрации нескольких версий прототипа, чтобы исключить ситуацию, когда респондент предпочитает первый или последний вариант — не как наиболее понравившийся, а как самый запомнившийся.
Моей задачей было протестировать две версии прототипа нового интерфейса для табличного редактора и одну версию — для текстового. Следуя получившейся рандомизации, я предлагала первую версию табличного редактора, затем текстовый редактор, вторую версию табличного… И наоборот. Нужно было сравнить, какой из вариантов окажется удобнее для пользователя.
Важно было, чтобы пользователь проходил сценарий на своем телефоне, а я могла давать задания и наблюдать за его действиями. В идеале хотелось оценивать еще и движения респондента, но для этого человек должен был наклонить экран ноутбука и обеспечить видимость своих рук перед веб-камерой. Я решила этим пожертвовать после пилотного тестирования — экран телефона рябил, и интерфейс был плохо различим на моем мониторе.
Для тестирования нужно было включить на телефоне режим разработчика с отображением касаний и установить Zoom. Я составила инструкцию и отправила респондентам, чтобы они могли заранее все настроить. Последним этапом моей подготовки стало составление сценария и контрольных вопросов.
Проведение тестирования
Условившись с коллегами о проведении тестирования, я отправляла им приглашения на встречу в корпоративном календаре. С внешними респондентами договаривалась в мессенджерах. За час до встречи высылала напоминание и уточняла, получилось ли настроить устройство. С каждым респондентом созванивалась в Zoom в выбранное время. Респондент принимал звонок с телефона. Я коротко описывала суть тестирования и просила включить демонстрацию экрана. Далее скидывала прототип нового интерфейса и давала задания по сценарию. Каждое действие респондент проговаривал вслух. Я не помогала подсказками и наблюдала за действиями на экране своего ноутбука, вовремя предоставляя респонденту новое задание. В конце тестирования были заключительные вопросы общего характера: что понравилось, что показалось сложным.
Фиксация и анализ результатов
Во время тестирования с разрешения респондента велась запись экрана. Позже я собрала все записи в рабочем облаке и пересмотрела. Проверялось девять гипотез. По каждой гипотезе создала таблицу, в которой фиксировала результаты по каждому респонденту. Плюс сделала таблицу с общими итогами, в которой указывала (с комментариями), подтвердилась ли та или иная гипотеза. Решение о подтверждении гипотезы принимала по арифметическому среднему показателю. Поскольку респондентов было немного, этого инструмента оказалось достаточно. Критериев для оценки было всего три: 1) выполнил ли респондент задание; 2) потребовалась ли подсказка; 3) качественный фидбек респондента.
Все данные исследования фиксировались в корпоративном рабочем пространстве и состояли из двух больших статей: плана исследования и его итогов. Далее мы обсудили с командой полученные результаты, внесли изменения в прототипы и подготовили новые гипотезы для следующих тестирований.
Чему нас научила работа на удаленке
Нам удалось вывести обычное коридорное тестирование в онлайн-формат. У меня ушло примерно пять дней на подготовку, проведение, расшифровку, анализ и презентацию результатов. Для нашего департамента это был новый опыт — со своими преимуществами и недостатками. Основные тезисы по результатам проделанной работы следующие:
Минусы удалённого тестирования:
- Долгий процесс согласования встреч с коллегами: нужно выбирать время, чтобы события в календаре не накладывались друг на друга.
- Необходимость предварительной настройки устройства. Пара респондентов не смогли самостоятельно настроить телефон, и мы потратили несколько минут во время созвона для решения этого вопроса.
- Периодические проблемы соединения: тихий звук микрофона, отставание картинки, обрывы связи.
- Невозможность видеть респондента, его действия и эмоции.
Плюсы удаленного тестирования:
- Общение. Коллеги с радостью согласились принять участие в таком формате. За время весенней самоизоляции все соскучились по живой беседе.
- Отсутствие временных затрат на дорогу, подготовку лабораторного оборудования.
Как видите, минусов оказалось больше, чем плюсов. Но в текущих условиях такой формат тестирования — очевидно лучше, чем отсутствие тестирования вовсе. Исследование стало первой попыткой протестировать интерфейс на мобильном устройстве в условиях работы из дома. Я выяснила, что такой подход позволяет получить вполне релевантные результаты. Мне интересен и ваш опыт — расскажите, пожалуйста, в комментариях, как вы справлялись с подобными задачами в своей практике? Может быть, вы знаете и другие, более гибкие инструменты для их решения?
===========
Источник:
habr.com
===========
Похожие новости:
- [Информационная безопасность, Исследования и прогнозы в IT, IT-компании] Охота на «Мамонта»: подробное исследование мошеннической схемы с фейковыми курьерскими сервисами
- [Облачные вычисления, Конференции, Искусственный интеллект, Здоровье, IT-компании] Открылась регистрация на участие в онлайн-конференции NVIDIA GTC
- [IT-эмиграция, Карьера в IT-индустрии, Удалённая работа] Системный подход к стартап-визам и личный опыт получения в Италии и Франции
- [Социальные сети и сообщества, IT-компании] Источники новостей на «Яндекс.Новостях» теперь можно настраивать
- [Законодательство в IT, Патентование, IT-компании] Суд оштрафовал Apple на 300 миллионов долларов за нарушение патента
- [Системное администрирование, Софт, Периферия, IT-компании] Microsoft приостановила выкатку патча патча патча проблем с печатью Windows 10
- [Законодательство в IT, Социальные сети и сообщества, IT-компании] Twitter согласился выполнить требования властей Турции
- [Программирование, Анализ и проектирование систем, Интерфейсы, Облачные сервисы] Как мы делали поддержку виджетов для приложений в МоемСкладе
- [Информационная безопасность, История IT, IT-компании] Acer пострадала от атаки криптовымогателя, хакеры требуют от компании выкуп $50 млн
- [Интерфейсы, Usability, Исследования и прогнозы в IT, Дизайн, Копирайт] Сколько стоит UX писатель
Теги для поиска: #_interfejsy (Интерфейсы), #_usability, #_testirovanie_mobilnyh_prilozhenij (Тестирование мобильных приложений), #_itkompanii (IT-компании), #_interfejsy (интерфейсы), #_juzabiliti (юзабилити), #_testirovanie_mobilnyh_prilozhenij (тестирование мобильных приложений), #_udalennaja_rabota (удаленная работа), #_blog_kompanii_mojofis (
Блог компании МойОфис
), #_interfejsy (
Интерфейсы
), #_usability, #_testirovanie_mobilnyh_prilozhenij (
Тестирование мобильных приложений
), #_itkompanii (
IT-компании
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:44
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Год назад пандемия вынудила работодателей отправить сотрудников по домам. Офисы опустели, и многим пришлось корректировать схемы взаимодействия внутри команд, искать новые инструменты для выполнения задач. В том числе и софтверным компаниям — так, наш коллектив столкнулся с невозможностью провести привычное «коридорное» юзабилити-тестирование. В новых условиях нельзя было просто постучаться к коллегам с просьбой пройти пользовательский сценарий новой версии интерфейса. Нужно было искать иное решение. Читайте под катом о том, как за прошедший год изменились наши подходы к работе, чему нас научила удаленка, с какими проблемами мы столкнулись и что у нас в итоге получилось. Привет, Хабр! Меня зовут Кристина Мартыновская, я UX-архитектор в компании МойОфис. Мы часто проводим различные исследования, чтобы протестировать новые гипотезы. Для этого опрашиваем пользователей в анкетах и личных интервью, а также даем покликать прототип. В прошлом году мы впервые удаленно провели юзабилити-тестирование. Поскольку на старте спрогнозировать успех задумки было сложно, мы решили проверить саму возможность проведения дистанционных тестирований и привлекли к этому коллег. Процесс складывался из нескольких этапов. Отбор респондентов Для моего исследования не подходили специалисты технического профиля — выбор пал на сотрудников HR, PR, бухгалтерии и коммерческого отдела. Даже если в повседневной жизни программисты, QA и инженеры используют текстовые редакторы, на результат тестирования может повлиять их профессиональный опыт. Чтобы найти релевантных кандидатов и пригласить их на тестирование, мы провели опрос среди сотрудников компании. Требовались пользователи мобильного приложения «МойОфис Документы» на Android, которые регулярно работали с редактором в течение минимум последних двух недель. По результатам опроса отобрали шесть респондентов, наиболее подходивших по критериям. Каждому из них я написала письмо с согласованием времени проведения тестирования. Не самая лучшая практика — часто задействовать силы коллег из других отделов в своих исследованиях. Коллеги хорошо знают продукт, и даже в новом интерфейсе они легко пройдут пользовательский сценарий, ориентируясь на иконки, знакомые слова, расположение управляющих элементов. Поэтому мне требовалось разбавить аудиторию внешними респондентами. Главным критерием отбора стало условие: человек должен быть активным пользователем редакторов MS Office и Google на Android-смартфонах. Мой коллега, UX-архитектор Кирилл Улитин (ulitin), посоветовал не привлекать к процессу друзей, чтобы не допускать искажений, вызванных личной лояльностью. А вот пригласить знакомых моих коллег показалось разумной идеей: в рабочих чатах я попросила поделиться контактами подходящих людей. Немногие редактируют документы со смартфона, но мне все же удалось найти пятерых независимых респондентов. Подготовка к тестированию Пожалуй, самый объемный этап работы. Сперва я собрала данные участников в таблицу. Зафиксировала их контакты, должности, удобное для проведения тестирования время. Также добавила рандомизацию для демонстрации нескольких версий прототипа, чтобы исключить ситуацию, когда респондент предпочитает первый или последний вариант — не как наиболее понравившийся, а как самый запомнившийся.  Моей задачей было протестировать две версии прототипа нового интерфейса для табличного редактора и одну версию — для текстового. Следуя получившейся рандомизации, я предлагала первую версию табличного редактора, затем текстовый редактор, вторую версию табличного… И наоборот. Нужно было сравнить, какой из вариантов окажется удобнее для пользователя. Важно было, чтобы пользователь проходил сценарий на своем телефоне, а я могла давать задания и наблюдать за его действиями. В идеале хотелось оценивать еще и движения респондента, но для этого человек должен был наклонить экран ноутбука и обеспечить видимость своих рук перед веб-камерой. Я решила этим пожертвовать после пилотного тестирования — экран телефона рябил, и интерфейс был плохо различим на моем мониторе. Для тестирования нужно было включить на телефоне режим разработчика с отображением касаний и установить Zoom. Я составила инструкцию и отправила респондентам, чтобы они могли заранее все настроить. Последним этапом моей подготовки стало составление сценария и контрольных вопросов.  Проведение тестирования Условившись с коллегами о проведении тестирования, я отправляла им приглашения на встречу в корпоративном календаре. С внешними респондентами договаривалась в мессенджерах. За час до встречи высылала напоминание и уточняла, получилось ли настроить устройство. С каждым респондентом созванивалась в Zoom в выбранное время. Респондент принимал звонок с телефона. Я коротко описывала суть тестирования и просила включить демонстрацию экрана. Далее скидывала прототип нового интерфейса и давала задания по сценарию. Каждое действие респондент проговаривал вслух. Я не помогала подсказками и наблюдала за действиями на экране своего ноутбука, вовремя предоставляя респонденту новое задание. В конце тестирования были заключительные вопросы общего характера: что понравилось, что показалось сложным. Фиксация и анализ результатов Во время тестирования с разрешения респондента велась запись экрана. Позже я собрала все записи в рабочем облаке и пересмотрела. Проверялось девять гипотез. По каждой гипотезе создала таблицу, в которой фиксировала результаты по каждому респонденту. Плюс сделала таблицу с общими итогами, в которой указывала (с комментариями), подтвердилась ли та или иная гипотеза. Решение о подтверждении гипотезы принимала по арифметическому среднему показателю. Поскольку респондентов было немного, этого инструмента оказалось достаточно. Критериев для оценки было всего три: 1) выполнил ли респондент задание; 2) потребовалась ли подсказка; 3) качественный фидбек респондента.   Все данные исследования фиксировались в корпоративном рабочем пространстве и состояли из двух больших статей: плана исследования и его итогов. Далее мы обсудили с командой полученные результаты, внесли изменения в прототипы и подготовили новые гипотезы для следующих тестирований. Чему нас научила работа на удаленке Нам удалось вывести обычное коридорное тестирование в онлайн-формат. У меня ушло примерно пять дней на подготовку, проведение, расшифровку, анализ и презентацию результатов. Для нашего департамента это был новый опыт — со своими преимуществами и недостатками. Основные тезисы по результатам проделанной работы следующие: Минусы удалённого тестирования:
Плюсы удаленного тестирования:
Как видите, минусов оказалось больше, чем плюсов. Но в текущих условиях такой формат тестирования — очевидно лучше, чем отсутствие тестирования вовсе. Исследование стало первой попыткой протестировать интерфейс на мобильном устройстве в условиях работы из дома. Я выяснила, что такой подход позволяет получить вполне релевантные результаты. Мне интересен и ваш опыт — расскажите, пожалуйста, в комментариях, как вы справлялись с подобными задачами в своей практике? Может быть, вы знаете и другие, более гибкие инструменты для их решения? =========== Источник: habr.com =========== Похожие новости:
Блог компании МойОфис ), #_interfejsy ( Интерфейсы ), #_usability, #_testirovanie_mobilnyh_prilozhenij ( Тестирование мобильных приложений ), #_itkompanii ( IT-компании ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:44
Часовой пояс: UTC + 5