Кейс о том, как хорошая гипотеза ломает базовый UX, обещание продукта и бьёт по выручке
Как родилась гипотеза
Гипотеза лежала на поверхности: пользователь, который раз за разом покупает веганские товары, не должен видеть категорию мяса на первом экране. Релевантное - вперёд, нерелевантное - вниз. Звучит как очевидное улучшение UX, которое должно конвертироваться в деньги.
Команда #Рекомендаций в ТехВилле решила проверить эту гипотезу в AB-тесте. Я, Диана Кагермазова, продакт этого проекта, расскажу, что пошло не так и чему мы научились из этого опыта.
Что мы изменили
Механика теста была простой: в группе порядок плиток категорий на главном экране каталога не был постоянным и закреплённым, он формировался на основе трёх сигналов:
частота покупок в категории - как часто пользователь покупает в данной категории
давность последней покупки в категории - когда последний раз пользователь покупал в данной категории
глобальная популярность категории - сколько в целом пользователи покупают в данной категории
Сортировка поднимала категории с высоким рейтингом для пользователя наверх и опускала нерелевантные вниз.
Команда решила начать с MVP без разработки и проверить гипотезу вручную на основе сортировки плиток каталога по сегментам. В группе B порядок плиток категорий формировался динамически на основе сегментной персонализации. Пользователь относился к одному из 35 - 40 сегментов в зависимости от своей наиболее популярной категории, после чего каталог ранжировался для каждого сегмента.
Метрики отслеживали по двум уровням: основная - AMPU каталога, защитная - AMPU мобильного приложения в целом, чтобы отслеживать каннибализацию.
Также информационно смотрели следующие метрики: конверсия в клик по плитке, конверсия в добавления из каталога, конверсия в поиск, средняя позиция клика.
Что говорят данные: результаты исследования
Пока алгоритм работал, мы параллельно опрашивали пользователей тестовой группы. Результаты оказались сложнее, чем мы ожидали.
Большинство довольны, но дьявол в деталях
На первый взгляд всё хорошо: 75% пользователей оценили текущий порядок категорий как удобный. Можно было бы остановиться на этом числе и объявить победу. Но стоило копнуть глубже, и картина менялась.
Только треть пользователей (34%) вообще заметила, что что-то изменилось. И среди тех, кто заметил, недовольных было уже 21% - против 15% в общей выборке. То есть люди, которые осознали изменения, реагировали на них хуже. Это само по себе сигнал.
Ещё важнее – как они интерпретировали происходящее: 60% из заметивших изменения решили, что порядок категорий просто случайный. Только четверть догадалась, что каталог адаптируется под их предпочтения. Персонализация, которую мы делали как фичу, воспринималась как баг.
Что бесило людей
Исследование собрало сотни открытых комментариев. Они распались на несколько устойчивых кластеров, и все они говорили об одном.
Нестабильность убивает. Самая частая жалоба - категории постоянно меняются местами:
«Каждый раз расположение пунктов каталога в хаотичном порядке, приходится искать нужный пункт»
Потеря логики порядка. Когда категории стоят на привычном месте — их не замечаешь, они просто работают. Когда сдвигаются — начинаешь думать о том, почему так, и не находишь ответа:
«Не вижу логики в порядке категорий»
Показательно, что пользователи хорошо знают, каким должен быть «правильный» порядок. В топ-10 категорий, которые люди хотят видеть первыми: Новинки (62%), Овощи/фрукты (46%), Молочные продукты (40%), Готовая еда (30%), Мясо (30%). Это категории повседневного спроса - они должны быть сверху всегда, независимо от истории конкретного пользователя.
Персонализация как навязывание. Когда мы объяснили пользователям, что именно делает алгоритм, реакция части из них оказалась неожиданной:
«Получается, какое-то навязывание»
«Вы просто меняете порядок, чтобы покупатель чаще прокручивал всё меню»
«Это всё равно, что если в телефоне приложения будут постоянно меняться местами. Это раздражает»
Парадокс: люди хотят персонализацию, но без её главного свойства
Большинство пользователей (58%) в целом не против индивидуального порядка категорий. Но половина из них тут же добавляет: «при условии, что он не будет часто меняться». Если сложить всех, кто выбирает стабильность в том или ином виде, — это 63% выборки.
Получается парадокс: пользователи хотят персонализацию, но без динамики. Персонализацию как начальную настройку — один раз зафиксировать и не трогать.
Что пошло не так: три уровня проблемы
1. Когнитивный диссонанс как фича, ставшая багом
Данные опроса подтвердили то, что мы начали подозревать по косвенным метрикам. Пользователи не осознанно ищут категорию «Хиты» – они помнят, что она вторая справа. Когда интерфейс персонализирован, эта мышечная память ломается при каждом визите.
Исследование дало этому явлению конкретные слова:
«Когда элементы располагаются всегда в одном и том же месте, то палец автоматически тапает, а мозг радуется, что ему не пришлось работать-думать»
Вот что мы сломали. Не «удобство» в абстрактном смысле. Мы сломали автопилот — режим, в котором покупка происходит без когнитивной нагрузки. Персонализация включала сознательное внимание там, где его быть не должно.
Алгоритм создавал разные позиции для разных сегментов, и это было задумано. Но с точки зрения пользователя, который переходит из одного поведенческого паттерна в другой, это выглядело как беспричинная нестабильность.
2. Странное соседство: когда алгоритм не знает, как устроен магазин
В ходе эксперимента к нам посыпались обращения в поддержку. У части пользователей алгоритм размещал плитку «Бытовая химия» прямо рядом с «Готовой едой». С точки зрения модели это могло быть логично.
С точки зрения человека, который открывает приложение, чтобы заказать обед, выглядело как баг.
Что конкретно происходило
Алгоритм ранжировал плитки по вероятности покупки для конкретного сегмента, не зная ничего о том, какие категории семантически совместимы как соседи. Результатом были сочетания, которые в любом физическом магазине или нормально спроектированном каталоге никогда не стоят рядом:
«Бытовая химия» и «Готовая еда» — вместе
«Товары для животных» рядом с «Молочными продуктами»
«Средства гигиены» в окружении продуктов питания
Люди несут в голове схему «нормального каталога» - она формировалась годами: из походов в супермаркет, из других приложений, из базового понимания того, что съедобное и несъедобное — разные зоны. Когда каталог нарушает эту схему, пользователь не думает «интересная персонализация». Он думает «что-то сломалось»
Исследование поймало это в цитатах, хотя пользователи не всегда могли точно указать на причину дискомфорта:
Они не говорили «бытовая химия рядом с едой». Они говорили «нет логики». Это и есть проявление нарушенной ментальной карты — пользователь чувствует несоответствие, но не может его сформулировать предметно.
3. Падение AMPU: цифры
Метрики подтвердили то, что качественные данные уже предсказывали. AMPU каталога в тестовой группе ушёл вниз. AMPU мобильного приложения в целом тоже просел, хотя тест касался только каталога.
Механика понятна: нарушенная навигация в каталоге увеличивала когнитивную нагрузку на старте сессии. Пользователи тратили больше времени на ориентацию и часть из них просто уходила, не добравшись до покупки. Каталог — точка входа для значительной доли сессий, и когда он начинал «тормозить» на уровне восприятия, это тянуло за собой всё приложение.
Самое болезненное: мы сломали обещания каталога
Клиентократия и обещания клиенту
Во ВкусВилле есть понятие клиентократии — это когда все решения в компании принимаются исходя из интересов клиента, а не внутренних метрик или гипотез. Ключевой инструмент клиентократии – явные обещания клиенту: конкретные, проверяемые утверждения о том, чего покупатель вправе ожидать от продукта.
Исследование показало: мы нарушили как минимум два. Пользователи прямо говорили, что не находят товары там, где ожидают: «фрукты внизу были», «основные категории сместили в самый низ». Это не просто неудобство – это нарушение явного обещания продукта.
Навигационная функция: что это вообще такое
Каталог выполняет прежде всего навигационную функцию. Это не лента рекомендаций, не витрина, это карта. Как любая карта, она ценна стабильностью: ты знаешь, что север всегда наверху.
Когда мы начали двигать плитки, мы не переупорядочили элементы интерфейса. Мы сломали карту. Каждый раз, когда пользователь открывал каталог, «север» был в другом месте. Пользователи сформулировали это сами:
«Это всё равно как если бы на телефоне, из-за того, что набранные недавно номера содержали много 7, цифра 7 на клавиатуре встала на другое место»
AMPU мобильного приложения: просадка, которую не ждали
Мы запускали тест как изменение в каталоге, а получили негативный эффект на уровне всего приложения. Защитная метрика (AMPU мобильного приложения) это поймала, но масштаб просадки оказался выше ожидаемого диапазона.
Продуктовый контракт нельзя ломать молча
Персонализация плиток попала в самую опасную категорию изменений: пользователь замечал, что что-то не так, но не мог сформулировать что. Это создавало диффузное недовольство без конкретного предмета:
«Всё хорошо, просто когда привыкаешь, а потом что-то передвигается…»
«Трачу свои силы и концентрацию там, где не надо»
Что мы вынесли
Персонализация – это не всегда «больше релевантности = лучше». В ленте рекомендаций она работает: пользователь ожидает контент под себя. В каталоге с навигационной функцией она нарушает ментальную модель.
Стабильность интерфейса — измеримая ценность. 63% пользователей явно выбрали стабильность как приоритет. Это не мягкий UX-принцип, это конкретный запрос аудитории с числовым подтверждением.
Семантика соседства имеет значение. Сортировка по релевантности не знает о совместимости категорий в голове пользователя. Любая персонализация плиток должна учитывать «семантическую дистанцию» между категориями, а не только поведенческие сигналы.
Каталог – инфраструктура, а не рекомендательная поверхность. Рекомендации персонализировать можно и нужно. Инфраструктуру – только с полным пониманием, какие неявные обещания она несёт.
Что дальше
Тест с отрицательным результатом – это не провал команды, это опыт и данные. Мы потратили несколько недель на то, чтобы точно узнать: в нашем продукте, с нашими пользователями, в этой конфигурации алгоритма персонализация порядка плиток не работает. Хорошо, что мы проверили это на MVP, не идя в полноценную разработку.
Параллельно проверили другую гипотезу: не менять порядок плиток, а персонализировать контент внутри плитки: показывать релевантные товары в превью категории. Карта остаётся картой, но каждый видит на ней то, что ему важно. Тест оказался успешным и принес стат. значимый аплифт по ключевой метрике.