Статья подготовлена в рамках курса «Машинное обучение для начинающих».
Недавно в «беседе» с умной колонкой я задал ей вопрос относительно исполнителя одной музыкальной композиции. Колонка уверенно ответила, однако, так как у меня были сомнения в правильности, я переспросил ее и на этот раз она назвала другое имя. Также, при работе с различными языковыми моделями мне приходилось неоднократно сталкиваться с ситуациями, когда, к примеру, нейросеть неверно указывала нормативные документы, статьи законов и так далее
И такие случаи не единичны. Это — галлюцинации больших языковых моделей и это главная проблема, мешающая внедрять ИИ в медицину, юриспруденцию, финансы и образование.
В этой статье мы разберем: что такое галлюцинации, почему они неизбежны, и главное — как с ними жить и работать.
Глюки… просто глюки
Галлюцинация (hallucination) — это ситуация, когда языковая модель генерирует информацию, которая либо не соответствует действительности, либо не содержится в ее обучающих данных, либо не следует из предоставленного контекста, но всегда подается с абсолютной уверенностью.
Модель не говорит: «Мне кажется...» или «Возможно, что...». Она утверждает: «Согласно статье 7.2.3...» или «Как показало исследование Smith et al. (2021)...» И эта уверенность — самая опасная часть галлюцинации, потому что пользователь, особенно неспециалист, склонен доверять.
Для начала давайте классифицируем галлюцинации. Начнем с фактических галлюцинаций. Это неверные даты, имена, числа (Москва основана в 1047 году“ на самом деле — 1147). Далее идут ссылочные — выдуманные источники, статьи, законы. В свою очередь логические галлюцинации представляют собой нарушение причинно‑следственных связей, например: Если нагреть лед, он станет тверже. Противоречие предоставленному контексту это тоже разновидность галлюцинаций, здесь пример: документ говорит «не более 100», модель пишет «до 150».
Иногда в своих галлюцинациях модель может проявлять завидное упорство, повторяя одну и ту же ошибку даже после исправления, например 2+2=5.
Как видно, вариантов галлюцинаций довольно много, однако результат всегда один — это ненадежная работа нейросети и, как следствие, потеря доверия к результатам ее работы.
Не баг, а фича
Самое важное, что нужно понять: галлюцинации — это не ошибка в коде. Это прямое следствие того, как работают языковые модели. Большая языковая модель (GPT, Claude, Llama) — это не база знаний, а это генератор правдоподобной последовательности токенов. Когда вы задаете вопрос, модель не «ищет ответ в памяти». Она делает статистический расчет:
«Учитывая предыдущие слова, какой следующий токен с наибольшей вероятностью продолжит этот текст так, как это было в обучающих данных?»
Модель не знает, что такое «правда». Она знает, что в обучающих данных после фразы «Столица Франции» с высокой вероятностью следует токен «Париж».
Но если в обучающих данных недостаточно примеров про какой‑то редкий факт — модель начнет «фантазировать», комбинируя паттерны из других контекстов.
Представьте джазового пианиста, которого научили играть, показав 10 000 часов записей концертов. Он никогда не видел нот, не знает теории. Но он отлично чувствует паттерны: после определенных аккордов обычно идут другие, есть типичные переходы, узнаваемые фразы.
Вы просите его сыграть конкретную песню. Если он ее «слышал» много раз — сыграет точно. Если слышал пару раз в похожей аранжировке — сыграет что‑то близкое. Если не слышал никогда — начнет импровизировать, выдавая то, что звучит правдоподобно, даже если это совсем другая мелодия.
По сути, LLM — такой же джазовый импровизатор. Только вместо нот — слова, вместо мелодий — факты.
Три главные причины галлюцинаций
1. Недостаток данных в обучающей выборке
Если модель видела факт 1000 раз — она его запомнила. Если 2–3 раза в разных вариациях — может перепутать. Если ни разу — будет выдумывать.
Пример: модель отлично знает, кто такой Ленин или Пушкин. Но спросите про малоизвестного регионального политика — получите фантазию.
2. Давление на генерацию (температура)
Модели имеют параметр «температура» — чем он выше, тем более креативные и разнообразные ответы. При высокой температуре модель чаще выбирает не самый вероятный токен, а второй или третий по вероятности. Это делает ответ интереснее, но и увеличивает риск галлюцинаций.
3. Конфликт между знанием и инструкцией
Иногда пользователь просит модель сделать то, что противоречит ее обучающим данным. Например: «Напиши, что 2+2=5». Модель может подчиниться инструкции или попытаться возразить. Результат непредсказуем.
Почему это нельзя «вылечить» дообучением
Самым простым способом решить проблему галлюцинаций кажется дообучение модели на дополнительных, правильных фактах. Но в реальности это работать не будет, потому что здесь проблема принципиальная, а не техническая.
Прежде всего, важно понимать, что объем знаний бесконечен. Мир генерирует примерно 2,5 квинтиллиона байт данных в день. Ни одна модель не может «выучить» всё. Всегда будут факты, которых модель не видела, и на неизвестное она будет галлюцинировать.
Помимо этого, знания постоянно меняются. Вчера президентом был один человек, сегодня уже другой. Модель, обученная на данных до 2022 года, будет уверенно называть старые факты. Это галлюцинация? Формально — да, информация устарела. Но модель не знает, что прошло время. С этим мы все часто сталкиваемся, когда просим нейросеть показать настройки для различных приложений. Очень часто то, что она предлагает, не совсем соответствует действительности именно потому, что данные, на которых она обучалась, успели устареть.
Для решения проблемы можно сделать модель очень «осторожной» — она будет отвечать только на самые простые вопросы, а на всё остальное — «я не знаю». Но такая модель бесполезна. Пользователи хотят, чтобы ИИ пытался отвечать, даже если не уверен. А попытки = риск галлюцинаций.
Таким образом, мы приходим к выводу, что галлюцинации нельзя устранить полностью. Можно только минимизировать и научиться с ними работать.
Как бороться с галлюцинациями: инженерные методы
Хотя полностью победить проблему нельзя, есть проверенные техники, которые радикально снижают частоту галлюцинаций.
Начнем с RAG (Retrieval‑Augmented Generation). Суть этой техники — не полагаться на «память» модели, а перед ответом дать ей актуальные документы.
Как все это работает: пользователь задает вопрос. Система ищет релевантные фрагменты в вашей базе знаний (википедия, внутренние документы, БД). Модель получает вопрос + найденные фрагменты + инструкцию «отвечай ТОЛЬКО на основе этих фрагментов». Модель генерирует ответ, не привлекая свои «знания».
Такой подход снижает галлюцинации на 70–90% для фактологических вопросов.
Пример (промпт для RAG):
Ответь на вопрос, используя ТОЛЬКО информацию из следующих документов.
Если ответа нет в документах — скажи «Информация не найдена».
Не добавляй факты из своего знания.
Еще один способ — это контроль температуры и top‑p. Его суть заключается в том, чтобы снизить креативность модели, заставив ее выбирать только самые вероятные токены.
Настройки для минимизации галлюцинаций:
temperature = 0.0 или 0.1 (почти детерминированные ответы)
top_p = 0.9 или ниже
Такой подход применим в юридических, медицинских, финансовых задачах, где точность критична.
При этом его не стоит использовать при решении творческих задач, генерации идей, написании текстов — там нужна креативность.
Цепочка мыслей с самопроверкой заставляет модель несколько раз подумать и сравнить ответы.
Шаблон:
Вопрос: [ВОПРОС]
1. Сначала подумай шаг за шагом, записывая рассуждения.
2. Напиши предварительный ответ.
3. Проверь каждый факт в ответе на соответствие логике и здравому смыслу.
4. Если нашел ошибку — исправь.
5. Дай финальный ответ.
📌 Важно: если ты не уверен на 100% — напиши «Я не уверен, но предположительно...»
Запрет на выдуманные источники
Здесь все просто, мы явно запрещаем модели создавать ссылки, цитаты, имена.
Пример:
НЕ выдумывай источники, статьи, имена авторов или даты.
Если тебе нужно сослаться на факт — напиши «Согласно моим обучающим данным...».
НЕ используй фразы «как показало исследование», «согласно статье», «по данным ученых» — это провоцирует галлюцинации.
Практические стратегии для разных сценариев
В зависимости от задачи, стратегия работы с галлюцинациями должна быть разной. Давайте рассмотрим несколько сценариев.
Сценарий 1: Юридические и медицинские консультации
Здесь риски слишком велики, и галлюцинация может стоить денег, свободы или здоровья.
Поэтому мы предлагаем использовать только RAG с проверенными источниками с обязательной верификацией каждого факта человеком. Внедрить правило: «Если не найдено в источниках — сказать „Нет информации“„.“»
Сценарий 2: Написание кода
При написании кода галлюцинации проявляются в виде несуществующих библиотек или функций, и рекомендуемой стратегией будет Few‑shot с примерами рабочего кода и запрет на выдуманные API («НЕ используй функции, если ты не уверен, что они существуют»).
Сценарий 3: Генерация контента (статьи, посты)
А вот в этом случае риск достаточно низкий для творческой части, но высокий для фактической.
В таком случае нам нужно разделить задачу на две части: модель пишет структуру и текст, человек проверяет факты. Можно также использовать две модели: одна генерирует, вторая проверяет на галлюцинации. Добавляем в промпт: «Если ты не уверен в факте — отметь это звездочкой (*)».
Сценарий 4: Чат‑боты поддержки
При использовании чат‑ботов в поддержке в случае галлюцинации мы рискуем дать неверную информацию о продукте или услуге. Здесь нужно использовать RAG на базе официальной документации и FAQ и ввести ограничение: бот не может отвечать на вопросы вне своей базы знаний, и необходима эскалация человеку при неуверенности.
Как распознать галлюцинацию (навык для пользователя)
Вы не можете контролировать модель, но можете научиться замечать признаки галлюцинации в ее ответах. Например, слишком конкретные числа должны насторожить: «Ровно 14 372 человека» — модель редко помнит точные цифры.
Выдуманные имена: «Исследование профессора Джона Смита из Гарварда» — это пример классической галлюцинации. Также мы можем встретить несуществующие ссылки, но это легко проверяется с помощью поисковиков.
Еще одна типичная галлюцинация — это противоречие здравому смыслу: «Солнце вращается вокруг Земли» — модель могла «заиграться».
Наконец, идеальная гладкость: реальные тексты имеют оговорки («вероятно», «часто», «иногда»), галлюцинации — нет.
Вот небольшой практический алгоритм проверки:
Задайте тот же вопрос дважды с разными формулировками. Если ответы различаются в фактах — минимум один галлюцинация. Попросите модель дать источники, и если они выдуманные — это галлюцинация. Проверьте ключевые факты через быстрый поиск (Google, Википедия, официальные источники). Используйте другую модель (GPT-4 vs Claude vs Llama) и сравните ответы.
Заключение
LLM — это мощные, но глубоко несовершенные инструменты. Они не «знают» — они «генерируют правдоподобно». И в этом их сила (креативность, эмпатия, связность) и их слабость (галлюцинации).
Принимая решение об использовании ИИ в вашей работе, честно ответьте себе на вопрос: «Какова цена ошибки?»
Если цена ошибки высока (юриспруденция, медицина, авиация, финансы) — используйте RAG, верификацию человеком, низкую температуру, никогда не доверяйте модели без проверки.
Если цена ошибки низка (генерация идей, черновики, развлечение) — наслаждайтесь креативностью и не бойтесь галлюцинаций. Иногда именно они приводят к самым интересным открытиям.
Галлюцинации ИИ — хороший повод не просто осторожнее пользоваться нейросетями, а разобраться, как модели обучаются, ошибаются и принимают решения. На курсе «Машинное обучение для начинающих» можно собрать базу по ML и перейти от ощущения «ИИ магически отвечает» к пониманию, что происходит под капотом.
👉 А если хотите сначала примериться к теме, посмотрите календарь бесплатных открытых уроков: это быстрый способ познакомиться с преподавателями-практиками, форматом обучения и задать вопросы. [Перейти в календарь открытых уроков]