Большинство ИИ помогают работать быстрее. По-настоящему хорошие - делают пользователей компетентнее. Начинаешь с малого: просишь исправить письмо. Потом пробуешь сложнее - функцию на незнакомом языке. Затем поручаешь целую фичу. В какой-то момент ИИ уже кажется не стажёром, а экспертом. Сначала это впечатляет, что месяц работы укладывается в несколько дней. Но потом наступает момент, когда ИИ возвращает задачу с ошибкой. Ты не знаешь, как её исправить, и просто пишешь "попробуй другой подход", надеясь на удачу.
Вопрос не в том, как сделать ИИ безошибочным, а в том, как сохранить компетентность пользователя. Потому что скорость может означать непроверенные решения и нерассмотренные альтернативы. А если ИИ делает всю работу, пользователь теряет навыки. Каждый ИИ-инструмент, хочет он того или нет, обучает пользователей, формирует их внимание, доверие и навыки. Средние инструменты просто выполняют задачи. Хорошие заставляют думать и развиваться. Эта проблема не нова - похожие вопросы изучались в авиации и атомной энергетике. На их основе можно строить системы, которые не только ускоряют работу, но и повышают компетентность пользователей.
| Если вам интересна тема AI-агентов и внедрения нейросетей, заглядывайте в мой Telegram-канал ДругОпенсурса. Там я публикую свежие новости и разборы инструментов в числе первых. |
Фреймворк состоит из четырёх частей:
1. Определить задачу
Прежде чем решать, сколько работы отдать ИИ, нужно разложить задачу на составляющие. Согласно модели Парасурамана, большинство пользовательских задач проходят через четыре стадии:
Это важно, потому что уровень автоматизации зависит от типа задачи.
Чек-лист:
Какие из четырёх стадий задействованы в этом процессе?
Может ли пользователь понять, на какой стадии сейчас находится ИИ?
Есть ли контрольные точки между стадиями? Может ли пользователь вмешаться или остановить процесс на любом этапе?
2. Выбрать уровень контроля
Как отметил Джон Маэда в отчёте "Design in Tech Report 2026", раньше мы думали о том, как пользователь выполняет задачу, а теперь о том, как он оценивает результат. В контексте коллаборации человека и ИИ речь идёт о том, какие части задачи делегировать ИИ и какой уровень контроля оставить за пользователем.
Это похоже на автономное вождение: ручное управление, помощь в удержании полосы, автопилот. Я выделяю четыре уровня контроля:
Руное управление - пользователь выполняет задачу самостоятельно.
ИИ предлагает - ИИ генерирует варианты, пользователь выбирает и дорабатывает.
ИИ рекомендует - ИИ предлагает готовое решение, пользователь может принять или отклонить.
Полная автоматизация - ИИ выполняет задачу без участия пользователя.
Как выбрать уровень
Выбор уровня зависит не от возможностей ИИ, а от того, насколько пользователь должен оставаться вовлечённым, учитывая потенциальные риски. Вот несколько критериев:
Цена ошибки. Насколько плохо, если что-то пойдёт не так? Отмена действия и подтверждённый платёж - это разные классы риска. Если ошибку легко исправить, можно позволить ИИ пробовать. Средний риск - когда ошибку можно исправить, но это требует усилий. Если задача необратима или критична, в процесс должен быть включён человек, и именно он должен нажимать на кнопку.
Срочность. В медицине или авиации нет времени на длительное участие человека. Парадоксально, но при высокой срочности часто автоматизируют выполнение, но оставляют за человеком принятие решений до критического момента. Это связано с тем, что при чрезвычайной ситуации у пользователя нет времени сформировать полную картину, и он может принять худшее решение.
Чек-лист:
Система предлагает разные уровни автоматизации в зависимости от типа задачи и компетентности пользователя.
Хотя бы на одной из стадий в процессе участвует человек, чтобы ошибки замечались раньше.
Действия с высокой ценой ошибки или необратимые требуют явного подтверждения.
3. Настроить доверие
По мере совместной работы пользователя и ИИ правильный уровень контроля постоянно меняется. Один из ключевых факторов, на который пользователи ориентируются при выборе уровня - доверие. Доверие динамично. Оно растёт, когда ИИ хорошо справляется с задачей, и падает, когда он ошибается. Если его не контролировать, оно склонно смещаться к одной из двух крайностей, и обе ведут к проблемам. Хороший дизайн удерживает доверие в безопасном диапазоне: подталкивает пользователя замедлиться, когда он начинает слишком полагаться на ИИ, и восстанавливает уверенность, когда он перестаёт пользоваться инструментом.
Избыточное доверие: когда пользователи слишком доверяют ИИ
Пользователи принимают результат ИИ без проверки, даже если он ошибочен. Они перестают вчитываться. Клик по кнопке "Принять" превращается в формальность.
Как предотвратить избыточное доверие:
Показывать неопределённость ИИ. Различать состояния "ИИ уверен" и "ИИ предполагает". В работе Хоффа и Башира о калибровке доверия это называется прозрачностью. Пользователь может адекватно оценивать доверие, только если система показывает, что она на самом деле знает.
Не делать ИИ одинаково уверенным во всём. Если тон не меняется, когда модель уверена или галлюцинирует, у пользователя нет сигналов для оценки.
Добавлять трение в ключевых точках принятия решений. Заставлять пользователя действительно посмотреть на результат, прежде чем продолжить. Это не трение ради трения, а осознанная пауза в том месте, где пропущенная ошибка обойдётся дороже всего.
Иногда требовать от пользователя суждения. Если каждый шаг — это "один клик и принять", пользователь перестаёт думать. Если добавить шаги, которые действительно требуют его участия, он остаётся в процессе.
Недостаточное доверие: когда пользователи слишком мало доверяют ИИ
Другая крайность - когда ИИ слишком часто ошибается, предлагает неподходящие изменения или допускает заметную ошибку на раннем этапе. Пользователи учатся его игнорировать. В итоге они перестают пользоваться функцией, даже если она полезна.
Как предотвратить недостаточное доверие:
Защитить первое впечатление. Ранние ошибки наносят доверию непропорциональный ущерб. Пользователь, который увидел ошибку ИИ в первом сеансе, будет обесценивать следующие десять правильных ответов.
Следить за частотой ложных срабатываний. Исследование Ли о системах предупреждения столкновений показало, что соотношение ложных тревог к реальным 35:1 заставляло водителей просто отключать предупреждения. То же относится и к ИИ-ассистентам. Если ИИ слишком часто прерывает, предлагает или помечает то, что пользователю не нужно, пользователь научится его игнорировать.
Объяснять, почему ИИ ошибся. Когда ИИ ошибается, объяснение помогает восстановить доверие быстрее, чем молчание. "Я пропустил это, потому что входные данные были неоднозначны" - гораздо лучше, чем стандартная ошибка или отсутствие реакции.
Как измерять доверие
Показатели принятия, отказа и времени до подтверждения - полезные индикаторы того, насколько пользователи вовлечены в работу с ИИ. Но эти метрики не универсальны. Важна интерпретация: высокий уровень принятия при росте качества результата означает, что ИИ действительно помогает. Тот же уровень принятия при стагнации или снижении качества означает, что пользователи перестали проверять результаты.
Чек-лист:
Я продумал сценарии избыточного доверия и добавил трение в дизайн, чтобы их предотвратить.
Я учел риск недостаточного доверия и спроектировал первый опыт так, чтобы целенаправленно формировать доверие.
Есть механизм перекалибровки доверия, когда пользователи начинают слишком полагаться на ИИ, что возвращает их к вовлечённости до того, как произойдёт дорогостоящая ошибка.
4. Спроектировать коэволюцию
Нужно проектировать системы, которые делают лучше и ИИ, и пользователей: ИИ становится более точным в контексте и предпочтениях пользователя, а компетентность, навыки и критическое мышление пользователя развиваются со временем.
Это гарантирует защиту долгосрочного развития навыков пользователя. Для опытных пользователей нужно следить, чтобы их ключевые навыки не деградировали от неиспользования. Для пользователей без глубокой экспертизы коллаборация с ИИ может стать хорошей возможностью для обучения: показать ход рассуждений ИИ, выявить закономерности, которые пользователь не заметил бы сам, и помочь ему развивать суждение наравне с получением результата. Иногда для долгосрочного эффекта нужно намеренно добавлять трение в краткосрочный опыт.
В исследовательских условиях стандартный подход - тестировать выполнение одной и той же задачи с ИИ и без него и сравнивать результаты. В реальных продуктах это сложнее реализовать чисто. Но это не обязательно должен быть формальный тест. Даже лёгкие механизмы, которые помогают пользователям видеть границу между их собственными возможностями и возможностями ИИ (например, иногда спрашивать их мнение до того, как ИИ предложит ответ), могут дать пользователям более чёткое представление о своих границах компетентности.
Навыки, которые мы проектируем для сохранения сегодня, могут не быть самыми важными через год, и фреймворк должен оставлять место для этого.