Привет! Я Катя Ильиных — UX-исследователь в Контур.EDI. От наших читателей поступил вопрос:
Можно ли делать выводы на основе ответов 8 клиентов?
Короткий ответ: можно, но не всегда. В статье разберемся, в каких случаях 8 ответов будет достаточно, а в каких случаях придется увеличить выборку.
Важная ремарка: 8 клиентов ≠ 8 участников исследования
В вопросе используется слово «клиенты», а не участники исследования. Однако, понятия «клиент» и «участник исследования» не всегда синонимичны.
Клиент — это физическое или юридическое лицо, которое приобретает продукт (услугу) и пользуется им.
Если клиент – компания, одним продуктом может пользоваться несколько сотрудников (пользователей). У них могут быть разные роли и задачи, сервисом они будут пользоваться тоже по-разному.
Например, в организации ООО Фруктовая Долина в сервисе для электронного документооборота работают три бухгалтера, ИТ-специалист, руководитель. Задачи и особенности работы в системе бухгалтера заметно отличаются от ИТ-специалиста. Задача бухгалтера — корректно оформить и отправить документы контрагенту, а задача ИТ-специалиста — настроить интеграцию с учетной системой и решить возникающие сложности. Особенность работы бухгалтера — фокусироваться на проверке корректности информации в документе, в случае возникновения ошибки в системе — сразу обращаться к ИТ-специалисту, так как решая техническую проблему самостоятельно есть страх совершить ошибку. Особенность работы ИТ-специалиста — в случае возникновения ошибки искать решение проблемы самостоятельно.
Если не учесть факт, что в продукте работают разные роли, и приглашать на исследование любого представителя компании-клиента, можно получить искажение: в выборке окажутся разные типы пользователей, с разными задачами, сценариями и потребностями, но формально это будут «8 ответов клиентов». Опираясь на разрозненные данные, сложно будет сделать выводы и достичь цели исследования.
Например, на юзабилити-тестирование нового способа отправки документов пригласили трех бухгалтеров и двух ИТ-специалистов. Каждый из участников прошел тестирование, результаты бухгалтеров отличаются от ИТ-специалистов. Команда приняла это различие за разные паттерны поведения и доработала интерфейс. После релиза выяснилось, что доработка решения для ИТ-специалистов оказалась бессмысленной тратой ресурсов, т.к. в их рабочие задачи не входила отправка документов и, как следствие, функциональностью они пользоваться не стали.
Вывод: важно разграничивать понятие «клиент» и «участник исследования», т.к. они не всегда синонимичны. Важно заранее определить аудиторию исследования и набирать участников соответствующего сегмента или роли.
Далее речь пойдет о 8 участниках исследования.
Вводная про качественные исследования
8 участников исследования — это малая выборка и атрибут качественных исследований. Качественные исследования мы проводим для того, чтобы «заглянуть» в пользовательскую реальность: выявить мотивы, паттерны и причины поведения людей, прояснить потребности и текущие способы их закрытия, выяснить сценарии работы, возникающие сложности и проблемы.
Качественные исследования НЕ покажут:
Какая доля пользователей выполняет определенную задачу;
Какой процент столкнется с проблемой.
Они помогают сформировать глубинное понимание пользователя, которое влияет на точность создаваемых решений.
Например, команда видит по метрикам, что пользователи НЕ используют платную функцию тегов в сервисе электронного документооборота. Это плохо, так как бизнес упускает прибыль. Данные о количестве использований НЕ помогают команде выбрать направление для развития функциональности. Для того, чтобы принять решение о доработках функции, ее рекламе или пересмотре тарифов, команда сначала решает провести серию глубинных интервью (качественный метод исследования) с целью понять причины и барьеры, которые влияют на неиспользование тегов, чтобы влиять на найденные барьеры и не тратить ресурсы на решения, которые не принесут результата.
Малая выборка в качественном исследовании обусловлена:
Целью исследования. Важна глубина данных, а не статистика;
Высокой трудоемкостью сбора и анализа данных. Одна встреча с пользователем длится около часа и дольше, т.е. чем больше встреч, тем больше времени займёт исследование;
Целесообразностью ограниченного количества участников исследования вследствие эффекта насыщения — момента, когда новые встречи с участниками исследования (пользователями) перестают приносить существенно новую информацию. Этот эффект ощущается как «я уже слышал об этом на предыдущих интервью и не узнал ничего принципиально нового для себя».
На примере двух наиболее используемых методов (юзабилити-тестирования и глубинного интервью) рассмотрим подробнее, когда 8 наблюдений достаточно.
Когда 8 юзабилити-тестирований достаточно
Цель качественных юзабилити-тестирований – проверить дизайн на понятность и удобство, выявить сложности с которыми сталкивается пользователь при работе в решении (юзабилити-проблемы).
Юзабилити-проблема — это такая особенность дизайна продукта, которая в определенном контексте не дает пользователю эффективно выполнить его задачу, затрудняет его деятельность или вызывает негативные эмоции.
Например, команда решила улучшить пользовательский опыт поиска документов в продукте. Команда хочет выявить проблемы с которыми столкнется пользователь и решить их на этапе проектирования, поэтому решает провести юзабилити-тестирование нового способа поиска. По итогам исследования команда поняла, что основной сложностью является расположение и заметность поиска, т.к. при выполнении задания пользователи без подсказок НЕ могли найти и воспользоваться поиском, и доработала решение.
Качественные юзабилити-тестирования НЕ покажут, какая доля пользователей столкнётся с проблемой удобства использования. Их задача – найти эти юзабилити-проблемы. Подробнее о методе и его видах можно прочитать в Контур Гайдах.
По данным Nielsen Norman Group, 5 юзабилити-тестирований достаточно для того, чтобы выявить 85% проблем в интерфейсе у одной группы пользователей. Это означает, что с каждым последующим юзабилити-тестированием новой информации будет все меньше и меньше, и целесообразнее остановиться на 5-ти, доработать макеты и выйти на новую итерацию исследования.
Бывают ситуации, когда на 4-5 тестированиях мы находим новые, неизвестные ранее проблемы интерфейса. В таких случаях стоит:
Проверить, корректно ли сформирована выборка. Возможно, она не однородна (т.е. есть значимые различия у участников исследования, они относятся к разным группам пользователей);
Добрать наблюдения. Если причина в том, что один и тот же сценарий выполняют разные группы пользователей, то в случае двух групп на один сценарий пригласить по 4 представителя группы, в случае трех — по 3 представителя. Если группа однородна, но сомнение остаётся — можно увеличить количество наблюдений (обычно до 7-8).
Важно отметить, что описанный подход актуален для кейсов, когда мы тестируем один макет и НЕ меняем его по ходу исследования.
Есть другой подход — метод RITE. В случае итеративного подхода RITE мы вносим изменения в макет по ходу тестирования. На первой итерации проводят 2-3 тестирования, зафиксированные проблемы решаются, далее проводят следующую итерацию из 2-3 тестирований, чтобы проверить, решены ли проблемы и не появились ли новые. Итерации продолжаются до момента, пока значимых проблем, блокирующих разработку, не останется.
Вывод: даже 5 встреч с пользователями достаточно для того, чтобы выявить основные юзабилити-проблемы в интерфейсе для одного макета у одной группы пользователей.
Когда 8 глубинных интервью достаточно
Цель глубинных интервью — понять опыт, потребности и мотивы пользователей, а не протестировать интерфейс.
Например, команда ищет новую ценность зрелого продукта и решает понять какие задачи, связанные с предметной областью, но не связанные с работой в продукте, есть у текущих пользователей. Для этого проводит серию глубинных интервью, чтобы лучше узнать пользователя и расширить свое представление о его рабочих задачах.
Эффект насыщения, который достигается при 5 юзабилити-тестированиях одного макета, в случае с глубинными интервью может быть достигнут позже.
Nielsen Norman Group пишут о том, что на момент, когда произойдет насыщение, влияют два фактора:
Однородность или разнообразие исследуемой аудитории;
Масштаб исследовательских целей.
Если аудитория однородная (одна группа пользователей):
5-8 интервью может быть достаточно;
Можно начинать с 5-6 встреч до того момента, пока с каждым новым интервью вы будете открывать для себя все меньше нового.
Если аудитория разнообразная (несколько групп/ролей/сегментов):
8 интервью будет недостаточно;
Можно начинать с 5-6 интервью в каждом сегменте;
Если непонятно можно ли сегментировать аудиторию, то разумно начать с 10-20 интервью, и если после 10 интервью нет повторяемости, нельзя выделить четких паттернов — стоит продолжать.
В ситуации, если задача масштабная, не стоит укладывать все темы в одно интервью. Можно разделить вопросы и провести 2 и более итерации.
Вывод: 5-8 интервью может быть достаточно для одной группы пользователей и конкретной задачи. При проведении глубинных интервью в первую очередь ориентируйтесь на принцип насыщения.
Резюме
Маленькая выборка — это особенность качественного подхода. Делать выводы по 5–8 встречам с пользователями можно, если аудитория однородна, задача исследования конкретна, а исследователь ориентируется на повторяемость и насыщение данных.
Ссылки на источники информации
Норман Нильсен Групп, Почему 5 юзабилити-тестирований достаточно
Норман Нильсен Групп, О необходимом количестве UX-интервью
Контур Гайды, Принципы пользовательских исследований
Больше интересного про UX-исследования в телеграм-канале «Сдоба»🥨