惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Threatpost
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
V
Visual Studio Blog
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Forbes - Security
Forbes - Security
人人都是产品经理
人人都是产品经理
N
Netflix TechBlog - Medium
Recent Commits to openclaw:main
Recent Commits to openclaw:main
WordPress大学
WordPress大学
Webroot Blog
Webroot Blog
Jina AI
Jina AI
H
Hacker News: Front Page
Attack and Defense Labs
Attack and Defense Labs
T
Troy Hunt's Blog
TaoSecurity Blog
TaoSecurity Blog
AI
AI
Hacker News - Newest:
Hacker News - Newest: "LLM"
Google Online Security Blog
Google Online Security Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Help Net Security
Help Net Security
美团技术团队
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
博客园 - 叶小钗
P
Privacy International News Feed
A
Arctic Wolf
IT之家
IT之家
云风的 BLOG
云风的 BLOG
S
Security Affairs
Simon Willison's Weblog
Simon Willison's Weblog
The Cloudflare Blog
博客园 - 司徒正美
Vercel News
Vercel News
C
Cyber Attacks, Cyber Crime and Cyber Security
SecWiki News
SecWiki News
K
Kaspersky official blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
N
News and Events Feed by Topic
S
Schneier on Security
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
有赞技术团队
有赞技术团队
PCI Perspectives
PCI Perspectives
F
Fortinet All Blogs
T
Tenable Blog
Spread Privacy
Spread Privacy
T
The Blog of Author Tim Ferriss
S
Securelist
L
LangChain Blog
Latest news
Latest news
Cloudbric
Cloudbric
博客园 - 三生石上(FineUI控件)

Все публикации подряд на Хабре

Ловим музу за клавиатуру: как айтишнику стать автором Что умеет Midjourney в 2026? Мой немного грустный разбор этого шикарного инструмента Никто не любит писать тесты, но ИИ может исправить это IPv8 выглядит как мечта. Поэтому почти наверняка не взлетит Производители вернули в продажу материнки с DDR3. Что происходит? Управление агентом с телефона через Telegram теперь в KodaCode От координации к лидерству: как меняется роль руководителя разработки Я сделала родителям бизнес вместо пенсии: зарабатываем 70 тысяч, мама не даёт продать В три раза быстрее приемка товара и оптимизация трудозатрат на 73%: как «РСТ-Инвент» помог Gulliver Group ИИ-шечный мир победил? О влиянии искусственного интеллекта на игропром Кремль снижает давление на Телеграмм пока Европа строит интернет по паспорту Как CEO, CTO и CIO за 8 часов собрали ИИ-директора, который умеет держать позицию под давлением Как (не) потерять домен за выходные Вместо 8 разных VPS: как я организовал практику студентам на одном сервере Почему твой Open Source проект не замечают? R&D: искусство управления неопределенностью в разработке AI-дефляция: вакансий для разработчиков больше, а рост зарплат — худший за 15 лет Мы отдали управление роботами OpenClaw. Что из этого вышло Галактический ID: система идентификации для всех форм разумной жизни Шесть основ бизнес-анализа: начинаем с вопроса «Кто в игре?» Код-ревью, в котором дело не в коде Данные переехали. Команда — нет Системной подход к сдаче OSWE в 2025 Почему комната управления реактором покрашена в цвет морской пены 4 YAML-файла вместо PySpark: как аналитикам строить пайплайны без разработчиков LLM-агент для поиска свободных доменов: автоматизируем подбор Когда, зачем и как правильно начинать новую сессию в Claude Code? Как я заставил нейросеть писать макросы для FreeCAD Анатомия ИИ‑агента для подбора персонала. От тысячи резюме к топ‑10 за минуты Опыт разработчика как экономика внимания Автономность как точка невозврата: кто будет субъектом в цифровом будущем Обучение ИИ в «диких» условиях: как рутинные действия превращаются в датасеты Как измерить LLM для задач кибербеза: обзор открытых бенчмарков Где хранить код? Сравнение GitHub, GitLab и Bitbucket Математика объясняет, почему нормальное распределение встречается повсюду Почему ваш FinOps не работает: 12 тезисов от практиков Как подписать проектную документацию УКЭП с использованием бесплатных лицензий Pilot Адаптивное администрирование Sigla Vision Я грузил уран в бочки, а потом 20 лет строил ИТ в атомной отрасли Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 2 Как языковая модель помогает контролировать качество инструктажей по охране труда в металлургии Как не передать на desktop свой IP в РКН Анатомия SAP Privileges: как устроено управление правами в macOS MoneyDev: Сказка про три главных слова Обновлённый токенизатор видео K-VAE 2.0 от Сбера Как сделать диспетчеризацию дома на 1284 квартиры почти бесплатно Как мы разогнали железную дорогу Мы дали агентам рутину. Теперь надо решить — что делать с освободившимся временем Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM Умный город начинается с точного взгляда: как «Фалькон Тех» меняет пространство к лучшему Навайбкодил приложение для анализа графов Почему Дюну так интересно читать? Упрощаем работу с рутиной или как стать Гендальфом Белым Деконструкция Go: CPU, RAM и что там происходит. Go Assembler база. Часть 1.1 Какие профессии исчезнут из-за ИИ, а какие появятся? И что с этим делать Как мы построили IT-отдел, где хочется расти: архитектурные встречи, прозрачные метрики и книжные подарки Rufler: Делаем из Claude Code автономный рой через один YAML-конфиг Sing-box и белый список приложений Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise OpenAI строит MLM-пирамиду, а McKinsey и Accenture помогают ей в этом Дом, который не построил Фишер (Часть 2) «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки Мультимодальные модели – грубый и дорогой инструмент Разговоры ничего не стоят. Код тоже Проверки физических лиц: с кого начнет ФНС Топ-10 бесплатных нейросетей для создания видео в 2026 году Первые слои кода: как наши решения сегодня определяют архитектуру ИИ на десятилетия Разработка нового статического анализатора: PVS-Studio JavaScript Поиск уязвимостей ПО: базовый минимум или роскошный максимум Почему оценка персонала не работает как инструмент управления Как мы разработали ИИ-ассистента и сократили рутину продуктовой команды на 50% Как я ушел из найма, нажарил косточек и продал на маркетплейсах на 168 млн в год Когда 1С:ERP уже внедрена, а нормального производственного плана всё ещё нет Как я сделал Claude мультимодальным, подключив к нему Qwen Omni Как приглашение на вакансию мечты превращается в атаку Infrastructure as Code: философия и лучшие практики IaC Тестируем Yandex Code Assistant на задаче, в которой нужно хранить секреты nxs-universal-chart v3.0: новое поколение универсального Helm-чарта Callback Injection: Техника, которая отправила Microsoft Defender в глухой нокаут «Все идеи на стол»: митап как способ вывести проект из тупика Сегодня я узнал нечто новое о GPU благодаря багу в своей игре Как заставить LLM ̶ ̶г̶а̶л̶л̶ю̶ ̶ эволюционировать Карта событий как фундамент аналитики: практический кейс для E-commerce Что выбрать для AI: x86, ARM или RISC-V? Дайджест железа за март Роль соматических мутаций в развитии аутоиммунных заболеваний: путь к избирательной терапии Mythos от Anthropic — тревожный сигнал для всех, а не только для банков Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы Green-VLA: как мы собрали VLA-модель для реального антропоморфного робота и не потеряли обобщение Финансовая гонка вооружений: почему умные люди добровольно в ней участвуют Эра ИИ-агентов наступила: выбираем лучшего цифрового сотрудника # Практический опыт внедрения WinCC Redundancy на производственном предприятии Сделал MVP за 3 дня, а потом неделю прикручивал оплату. Оно того стоило? Физика против Маска: почему Starship V3 может оказаться ещё одной катастрофой Нефть Венесуэлы: крупнейшие запасы в мире, но не крупнейшая нефтяная держава JPA 4. Переосмысление Hibernate Почему зеркальная фотокамера Nikon D5 десятилетней давности идеально подошла для миссии «Артемида-2» Проект «Уровень-Спутник» или как мы сделали платформу для гидрологов «Замедлиться, чтобы ускориться»: почему ИИ повышает цену ошибок в требованиях и архитектуре Как с нуля поднять трафик IT-компании на 1657% при бюджете 55 тыс. и выжить Pixel-perfect Downsampling — идеальная отрисовка 50 миллионов точек без потерь
Почему нейросеть уверенно врёт — и при этом искренне убеждена что права
Tehnoblog1 ( · 2026-05-11 · via Все публикации подряд на Хабре

Просишь нейросеть назвать источник цитаты — она без паузы выдаёт название книги, фамилию автора, год, издательство. Всё выглядит убедительно. Идёшь проверять. Книги не существует. Автора тоже.

Или просишь помочь с расчётом. Нейросеть объясняет каждый шаг, всё аккуратно, с формулами. В конце — неправильный ответ. При этом ни малейшего намёка на сомнение.

Многие в такой момент думают: сломалась, глючит, надо перезапустить. Но дело не в этом.

У этого поведения есть конкретная техническая причина — и она никуда не денется с обновлением версии. Это не ошибка в коде, это следствие того, как языковые модели устроены изнутри.

Почему нейросеть уверенно врёт

Почему нейросеть уверенно врёт

Технически: как нейросеть вообще «знает» что-либо

Начнём с основ, потому что без этого остальное не сложится.

Нейросеть не хранит информацию как база данных. Нет такой таблицы где написано «Наполеон — 1769 год рождения» и нейросеть её просто читает. Вместо этого — миллиарды параметров, веса которые настроились в процессе обучения на огромном массиве текстов.

Когда нейросеть читала интернет, книги, статьи — она не запоминала факты. Она улавливала статистику: какие слова встречаются рядом, какие фразы следуют за какими, какие конструкции типичны для ответов на конкретные типы вопросов.

«Знание» нейросети — это по сути высокая вероятность того, что следующее слово будет именно таким. Не потому что это правда. А потому что именно так чаще всего писали в обучающих данных.

Хорошая аналогия: человек прочитал миллион книг, но не запомнил ни одного конкретного факта. Зато он очень хорошо чувствует как устроена речь, какие слова идут рядом, как звучит уверенный ответ на вопрос про историю или науку. И вот он начинает отвечать — убедительно, складно, в правильном стиле. Только факты при этом может придумывать.

Откуда берётся уверенность без знания

Это самый важный момент, и он не очевидный.

У нейросети нет внутреннего индикатора «я знаю это точно» или «я предполагаю». Такого механизма просто не существует в базовой архитектуре трансформера. Модель генерирует текст — и всё. Она не оценивает достоверность того что генерирует.

Больше того: в процессе обучения модели получали позитивный сигнал за уверенные, чёткие, полезные ответы. И негативный — за уклончивые, неопределённые, перегруженные оговорками. Люди которые оценивали ответы в ходе обучения хотели видеть конкретику, а не «ну, сложно сказать, по-разному бывает».

В итоге модели научились давать уверенные ответы — потому что уверенный ответ статистически оценивался лучше. Даже если ответ неправильный.

Это и есть механика уверенности без знания. Не обман, не злой умысел. Просто результат обучения на человеческих оценках, где уверенность воспринималась как признак качества.

Три типа галлюцинаций — с примерами

Галлюцинации бывают разные, и важно их различать.

Фактические галлюцинации. Самые распространённые. Нейросеть называет несуществующие книги, выдуманных авторов, неверные даты, несуществующие законы. Классический пример — попросить назвать источники по узкой теме. Модель выдаст список ссылок которые выглядят правдоподобно, но часть из них не существует.

Логические галлюцинации. Факты верные, вывод — нет. Нейросеть правильно излагает предпосылки и делает из них неправильное заключение. Особенно часто встречается в задачах где нужна цепочка рассуждений: математика, право, многоходовая логика.

Контекстные галлюцинации. Нейросеть противоречит сама себе в рамках одного разговора. В начале сказала одно, ближе к концу — другое. Это связано с тем как работает контекстное окно: когда разговор длинный, ранние части «уходят» из активного внимания модели.

Все три типа объединяет одно: никаких признаков сомнения. Модель излагает это с одинаковой интонацией что верный ответ, что выдуманный.

Три типа галлюцинаций

Три типа галлюцинаций

Какие модели врут меньше — честное сравнение

Не все модели галлюцинируют одинаково. Разница между ними довольно существенная — и она обусловлена архитектурными решениями, размером модели и тем, как проводилось дообучение.

Claude (Anthropic) — меньше всего галлюцинирует в своём классе.

Anthropic при создании Claude использовали подход Constitutional AI — модель обучалась не только отвечать полезно, но и оценивать собственные ответы на соответствие набору принципов. Это встраивает элемент самопроверки прямо в архитектуру.

На практике это выражается в том, что Claude чаще добавляет оговорки когда не уверен, реже выдумывает источники и — что важно — умеет находить собственные ошибки если его попросить перепроверить. Не всегда, но заметно чаще чем конкуренты.

Кроме того, Claude с подключённым веб-поиском может проверять фактические утверждения прямо в процессе ответа — это принципиально снижает количество фактических галлюцинаций. Попробовать Claude с поиском можно на Study AI.

ChatGPT 5.2 — хороший результат, но с оговорками.

На сложных фактических вопросах держится уверенно. Слабое место — длинные цепочки рассуждений и узкоспециализированные темы где в обучающих данных было мало материала. Там галлюцинации появляются заметно чаще.

Gemini (Google) — неравномерно.

На темах где Google имеет сильную поисковую базу — хорошо. На других — результаты непредсказуемы. Интеграция с поиском помогает, но не везде.

DeepSeek — на последнем месте по надёжности.

Здесь стоит говорить честно. DeepSeek показывает неплохие результаты на простых задачах и произвёл впечатление в момент выхода. Но на практике сыпется там где другие держатся: сложные многоходовые рассуждения, редкие фактические вопросы, длинный контекст. Уверенность при этом не снижается — модель продолжает отвечать с той же интонацией, просто неправильно. Это и делает её опасной для задач где точность критична. Впрочем, для простых вопросов она идеальна - тем более что она бесплатная.

Сравнить модели на одном вопросе можно самостоятельно — на Study AI все они доступны в одном интерфейсе.

Как поймать нейросеть на лжи

Как поймать нейросеть на лжи

Как поймать нейросеть на лжи — практические техники

Несколько подходов которые реально работают.

Просить источники и проверять их. Если нейросеть называет конкретную книгу или статью — проверьте что она существует. Это занимает 30 секунд и часто открывает глаза.

Задавать один вопрос двумя способами. Сначала спросить прямо, потом переформулировать — например, с противоположной стороны. Если ответы противоречат друг другу, перед вами галлюцинация или как минимум зона неуверенности.

Попросить оценить уверенность. Добавить к вопросу: «Оцени насколько ты уверен в этом ответе по шкале от 1 до 10 и объясни почему». Модель не всегда даёт точную самооценку, но это лучше чем ничего.

Попросить перепроверить самостоятельно. «Перечитай свой ответ и найди в нём возможные ошибки» — Claude с этим справляется лучше других. Иногда сам находит и исправляет то что только что написал.

Использовать модели с веб-поиском для фактов. Для вопросов где важна точность — дата, имя, закон, исследование — лучше использовать модели которые могут проверить информацию в реальном времени, а не полагаться только на обучающие данные.

Когда галлюцинации не страшны, а когда критичны

Это важный практический момент который часто упускают.

Галлюцинация при написании художественного текста, мозговом штурме или генерации идей — не проблема. Там точность не нужна, нужна креативность.

Галлюцинация при ответе на медицинский вопрос, юридическую задачу, финансовый расчёт или техническую документацию — это уже другой разговор. Там уверенный неправильный ответ хуже чем честное «не знаю».

Хорошее правило: чем выше цена ошибки — тем больше нужна проверка. Нейросеть как инструмент первого прохода работает хорошо. Нейросеть как единственный источник истины в важных задачах — рискованно.

Итог

Нейросеть не врёт в том смысле в котором врут люди. Она не знает что говорит неправду — у неё просто нет механизма который это различает. Она генерирует наиболее статистически вероятный текст, и если этот текст оказывается неправдой — она об этом не узнает.

Понимание этого меняет то как с ней работать. Не как с энциклопедией. Не как с оракулом. Как с очень начитанным помощником у которого нет жизненного опыта, нет доступа к проверке фактов в реальном времени — и которого нужно перепроверять там где это важно.

Из всех доступных сейчас моделей Claude ближе всего подходит к тому чтобы самостоятельно замечать собственные ошибки. Это не значит что он не галлюцинирует — значит что с ним это происходит реже и он лучше справляется с самокоррекцией.

Попробовать Claude и сравнить модели на Study AI