[Тестирование IT-систем, Тестирование веб-сервисов, Тестирование игр, Тестирование мобильных приложений] Как выбрать мобильные девайсы для тестирования и не налажать

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

news_bot ^® написал(а)
05-Июл-2020 04:30

Цитировать

Данная статья написана специально для OTUS преподавателем курса «QA Lead» — Анастасией Шариковой.

Всем привет! Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду телеграм канал Yet another QA.
Уверена, что многие, когда приходили на позицию QA Lead’a, ожидали сложных и интересных задач по выстраиванию процессов, настройке системы автотестов, налаживанию функционального и нефункционального тестирования, в конце-концов — задач по управлению сотрудниками. Но в итоге оказалось, что все это есть, но сочетается с такими бытовыми штуками, как расчет зарплат, определение бюджета на отдел и прочих проблем, связанных с финансами — и зачастую от этого никуда не деться, особенно в маленьких и средних компаниях. Тем не менее, внимательность к таким темам — отличный способ дополнительно повысить качество вашего продукта и найти и предотвратить проблем уже на самых ранних этапах.
Большинство руководителей отделов контроля качества/тестирования, сотрудники которых работают с мобильными приложениями, в какой-то момент сталкиваются с задачей обновления парка мобильных устройств и решения о том, на чем в целом тестировать сотрудникам. И если для матерых спецов это вообще не вопрос, то новичку часто сложно сориентироваться в этом вопросе, и сегодня я постараюсь рассказать о том, на что можно опираться в своем выборе и какие есть сложности и подводные камни у закупок устройств для тестирования.
В этой статье будет сделан акцент именно на подбор девайсов для ручного тестирования, так как у подбора ферм для автотестов есть свои особенности, и на эту тему лучше поговорить отдельно.
Конечно, на первый взгляд тема может показаться не такой уж существенной — мол, зачем париться, можно взять самые популярные, да подороже, а остальное протестировать на симуляторах и эмуляторах. Но в реальности огромное количество багов всех типов можно отловить только на реальном устройстве, к тому же мануальным тестировщикам тоже надо обычно на чем-то работать для проверки ежедневных задач.
Почему лучше не скидывать целиком эти задачи на другие отделы, например закупки, если они есть? Потому что они обычно не разбираются в особенностях и метриках конкретно вашего продукта, и есть шанс упустить что-то важное.
В большинстве случаев наша задача — создать универсальный набор устройств, который покроет максимальную выборку из комбинаций осей, производителей, моделей, экранов и типов смартфонов и планшетов, и сделать все это на имеющийся у нас бюджет.
Основные параметры, влияющие на подбор:

Внешняя аналитика: тут нам на помощь могут прийти как международные подборки по самым популярным устройствам (такие, как, например deviceatlas.com), так и банальные варианты типа сортировки в яндекс.маркете по самым популярным устройствам. Тут важно не купиться на удочку “самых лучших” телефонов, т.к мнение экспертов зачастую очень расходится с мнением обычных потребителей. Главное — помнить про то, на какую страну и ЦА ориентирован ваш продукт, и основываться на этом условии.
Внутренняя аналитика: в этом случае у нас огромное количество вариантов, на что можно опираться, к тому же это самые четкие данные — и именно по нашему продукту. Что же мы тут можем использовать? Данные систем аналитики, таких как Firebase или информацию по устройствам из Google Play. И важно не забывать брать в расчет не только устройства и оси, которыми пользуются ваши сотрудники, но и те, на которых система чаще всего ловит ошибки и креши.
Тенденции на рынке: каждый месяц на рынок выходят новые игроки и устройства, появляются обновления осей и новые лидеры рынка, и все это важно учитывать. Примеры — то, насколько стало больше за последний год устройств со “шторкой/бровкой” или санкции США против Huawei.

Не забываем про особенности нашей аудитории:
Всегда важно помнить об особенностях конкретно вашего продукта и его ЦА и стараться избегать субъективности — даже если вам кажется, что iPhone 11 Pro — венец творения компании Apple, это не принесет вам особой пользы в работе, если аудитория вашего приложения для обработки фотографий — школьники, которым родители подарили шестой или седьмой айфон. Это же работает и в обратную сторону — если вы знаете, что вашим сервисом пользуются обеспеченные люди и оно будет установлено в основном на iPad Pro новейшей модели — то придется раскошелиться на него, иначе жди беды.
Особенно важно заметить про страны пользования — почти у всех стран есть свои “фишки”, так что аудитория приложения для условной Индии в среднем будет отличаться от пользователей из Скандинавии.
Важные особенности и фишки на примере iOS и Android:
Конечно, в рамках статьи не охватить все-все сложности и особенности, но я постараюсь упомянуть основные:
iOS

В сравнении с андроидом, мало устройств, и они не так уж и часто выходят, аналогично и с осями, которые надо учитывать.
Проще держать адекватный усредненный набор типов экранов — и не забывать что у некоторых есть retina, это может быть важно для некоторых типов тестов. Но, конечно, не всегда. Тем не менее, основные баги по верстке можно словить на комбинации четырех-пяти айфонов от пятого до одиннадцатого. И не забывайте про шторку!
Учитывайте, какие вы поддерживаете версии iOS и старайтесь сделать так, чтобы они равномерно распределялись по устройствам.
Не забывайте про магию Split View режима и старайтесь держать хотя бы одно устройство, которое его поддерживает
Проблемой при закупке может всегда возникнуть цена, особенно, если вы стараетесь выпускать адаптированные версии в первую же неделю продаж — но, с другой стороны айфоны и долго не “протухают”, так что это можно считать долгосрочным вложением. Конечно, кто-то тут может со мной поспорить, но на моей практике именно техника Apple жила дольше при постоянном использовании для нужд тестирования.

Android

Очень много устройств и это боль. И тут точно никуда без аналитики — потому что именно на ней и должна в случае андроида оцениваться ваша аудтория, иначе придется покупать что попало, а это не приводит к продуктивным результатам. Опять же, есть соблазн тестировать на том, что модно, современно и быстро работает, но если ваши юзеры сидят на китайских Oppo — то вы можете и не узнать, что там, оказывается, ничего и не запускается.
Учитывайте особенности оболочек андроида и сторов — особенно внимательно надо работать с теми, которые отключают по умолчанию сервисы Google Play, в том числе и стор. Старайтесь держать в парке разные варианты, в том числе и “голый” андроид.
Если с планшетами в Apple все довольно просто, то в андроиде — это чистое безумие, потому что большинство из них имеют старые оси, плохого качества экраны и очень медленное железо. Конечно, этого и стоило ожидать от планшетов за 1999 рублей, но если ваша аудитория ими пользуется, а вы делаете тяжелую игрушку, то ее может вырубать прямо на старте. Пример из жизни: компания, в которой я работала, заключила контракт с одним из производителей телефонов о том, что они предустанавливают наше приложение к ним, но когда телефоны пришли в офис оказалось, что в них настолько мало памяти, что не запускаются даже предустановленные приложения из коробки. Пришлось, конечно, упрощать наш сервис.
Помните, что несмотря на традиционное отношение к андроиду, как дешевым телефонам, в последние годы их флагманы стоят сравнимо с флагманами Apple, а то и больше, к тому же у них часто появляются такие экспериментальные особенности, как скошенные экраны, раскладушки и прочее.

Где покупать?
Надеюсь, что читателю этой статьи повезло или повезет, и этот вопрос его не коснется — он лишь поставит таск в Jira на закупку и через пару дней получит свеженький телефон. Но что делать, если вы работаете в компании, где вам надо принимать это решение самим? Вариантов несколько:

Официальные представители: да, часто это может быть дороже, но зато скорее всего это более надежно и лучше гарантия. И лайфхак для тех, кто дочитал до этой части статьи: не всегда, но часто, если написать письмо в представительство определенного производителя о том, насколько вам нужно определенное устройство, объяснив, как вы будете его использовать, вам могут выслать его или бесплатно и навсегда, или во временное пользование. А это часто очень актуально.
Розничные магазины: тут я объединяю все магазины, которые продают не левак, с чеками и гарантией, например, своей. Серый — не всегда плохой, особенно это может касаться айфонов, например. Главное — покупать в проверенных местах, а не в палатке на рынке.
Avito и прочие: конечно, тут я объединяю все варианты покупки б/у у частников. Конечно, этого стоит избегать, но если вы осознаете, что вам кровь из носа нужен телефон, который не выпускают уже 3 года, а ваши юзеры упорно им пользуются — то иногда стоит пойти на риск.
Сотрудники: и еще один лайфхак — если спросить у ваших коллег, то наверняка выяснится, что у пары-тройки сотрудников в тумбочке валяется ненужный телефон, который они благородно могут отдать во временное или бессрочное пользование вашему отделу!

Важный финансовый момент — зачастую лучше взять устройство с расчетом на долгий срок использования и простую починку, подороже, но чтобы хватило надолго, а не подешевле, но зато придется менять их раз в три месяца. Но иногда — наоборот имеет смысл купить что-то плохое, потому что, опять же, на моем опыте самые бешеные баги ловятся на самых кошмарных телефонах и планшетах.
Узнать подробнее о курсе «QA Lead» от OTUS.
===========
Источник:
habr.com
===========
Похожие новости:

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 22-Ноя 03:53
Часовой пояс: UTC + 5