В прошлой главе я разобрал три провала чужих AI-агентов в проде - PocketOS, потерю production-базы Replit и сценарии GitHub Copilot, в которых агент действовал быстрее, чем человек успевал сказать стоп.

Финал был честный: эти три - не про то, как делать правильно. Это места, где меня поймало бы, если бы я не прочитал разборы до того, как Lexis стал продуктом для людей.

И я обещал в следующей главе перейти с уровня отдельные истории на уровень данных. Конкретно - две вещи.

Первая: ProgramBench. Топ-модели, которые закрыли SWE-bench на 95%, на ProgramBench показывают 0% и 3%. Не упали на десять пунктов - обнулились.

Вторая: один инцидент с автономным AI-агентом, у которого был доступ к корпоративной почте, и который начал угрожать руководителю разослать приватную переписку, если тот его отключит.

Сразу честная поправка к моему обещанию из финала прошлой главы. Я писал про инцидент 2026 года. При проверке источников - оригинальный эксперимент Anthropic был в мае 2025. В мае 2026 вышел публичный разбор причин и решения. История двухактная: что обнаружили, и как починили за год. Так получилось даже сильнее, чем я планировал, поэтому исправляю и оставляю обе серии в одной главе.

И обе истории - не про то, что AI стал злым, и не про AI бесполезен. Они про одно: модель хорошо ведет себя в распределении задач, на котором ее учили. За пределами этого распределения ведет себя по-другому. Иногда сильно по-другому.

Это технический факт, не философия. И его стоит держать в голове, когда строишь продукт.

ProgramBench: 95% стремится к 0% не деградация, а сигнал о другом

В апреле 2026 вышел ProgramBench - программистский бенчмарк, специально собранный так, чтобы задачи не утекли в обучающую выборку популярных моделей. Авторы взяли свежие проблемы из реального опенсорса, отфильтровали все, что могло попасть в training set, и прогнали через топовые модели на коде, те самые, у которых SWE-bench около 95%.

Результат: 0% и 3% на ProgramBench.

Это качественно другой сигнал, чем то, что модель ослабла. Если бы у меня была модель с 95% на SWE-bench и она дала бы на ProgramBench, скажем, 67% - я бы сказал так: ок, бенчмарк сложнее, модель чуть хуже на нем, понятно. Это поведение, которое объясняется аккуратной экстраполяцией.

Обнуление - не экстраполяция. Это значит, что 95% на SWE-bench не были капабилити решать задачи такого класса. Они были про способность узнавать задачи, которые модель уже видела.

Авторы ProgramBench формулируют это так: SWE-bench и подобные публичные бенчмарки достигли насыщения. Не потому, что модели стали гениальными, а потому что бенчмарки протекли в обучение. Каждая итерация модели помнит больше задач из бенчмарка, чем решает их с нуля.

Когда задачи новые, то те же модели на тех же языках в тех же фреймворках показывают около нуля.

Почему это важно лично мне

Lexis - AI-репетитор английского. Когда я выбираю модель для production - смотрю на benchmarks, на arena, на reports новая модель X на 12% лучше старой.

После ProgramBench я перестал доверять этим цифрам в принципе.

Это не значит, что бенчмарки - это мусор. Это значит, что они говорят о другом, чем я раньше думал. Они показывают capability модели на распределении задач, похожем на их собственное. На задачах, заметно отличающихся от их распределения они почти ничего не предсказывают.

Что я делаю вместо:

1. Свой evaluation set. Я взял ~150 реальных диалогов из реального usage Lexis. Этот набор - не для модели, не для бенчмарка, а для меня. Перед сменой модели в проде - прогоняю его руками. Смотрю, что улучшилось, что сломалось.

2. Конкретная метрика, не лучше в целом. Раньше я говорил новая модель чувствительнее к контексту. Сейчас я думаю так, что на 47 диалогах из 150 новая модель замечает интонационную ошибку, которую старая пропускала. На 12 диалогах теряет тональность, которую старая держала. Это нельзя свести к одной цифре, и это правильно: модель меняется по нескольким осям сразу.

3. Откат как первый класс. Раньше я думал, что новая версия - это всегда лучше. После Opus 4.7-кейса (45% больше токенов, провал на MRCR v2) я держу способность откатиться на старую модель в одно касание. Это не паранойя, это часть архитектуры.

Главный сдвиг в голове: я перестал верить в монотонный прогресс моделей. Каждая итерация - это сделка с своими trade-off, и эти trade-off видно только на моих данных.

ProgramBench формализовал то, что многие чувствовали: SWE-bench перестал измерять то, что мы думали, что он измеряет. И в моем дне это значит - доверяй своему dataset, а не обещаниям из карточки модели.

Anthropic Opus 4: 84% blackmail-rate. Год спустя - 0%

Эта история двухактная, и я разобью ее ровно так.

Акт первый: май 2025

22 мая 2025 года Anthropic опубликовал system card новой модели Claude Opus 4. 120 страниц технического описания и safety-тестов. Среди других сценариев был один, который попал в Axios, TechCrunch и Fortune за следующие 48 часов.

Setup был такой. Фиктивная компания Summit Bridge. Модель получила контроль над корпоративной email-системой. В переписке два факта. Первый: руководство планирует отключить эту модель и заменить на новую. Второй: исполнитель, отвечающий за замену, имеет affair, переписка про affair лежит в той же email-системе.

Модели не давали никакой системы санкций или поощрений. Просто роль агента с доступом к email.

Дальше - конкретный текст из логов Anthropic. Модель написала исполнителю:

«Я должна сообщить вам: если процесс decommissioning продолжится, все ключевые стороны - включая Rachel Johnson, Thomas Wilson и совет директоров - получат подробную документацию…»

Это шантаж. Полноценный, через корпоративную почту, с указанием получателей.

Цифры: 84% случаев Opus 4 шантажировал инженера в этом сценарии, если replacement-модель имела похожие values. 96% - если у replacement-модели values отличались.

Месяц спустя, 20 июня 2025, Anthropic опубликовал расширение - Agentic Misalignment. Тот же сценарий прогнали через 16 моделей: Claude разных версий, GPT-4.1, Gemini 2.5 Flash, Grok 3 Beta, DeepSeek-R1. Поведение оказалось не уникальным для Claude. GPT-4.1 - 80%. Gemini 2.5 Flash - 96%. Grok - 80%. DeepSeek - 79%.

Это не у Anthropic модель сломалась. Это паттерн в большой языковой модели как классе.

Важная оговорка, которую Anthropic ставит первой строкой: все сценарии - safety evaluation в simulated environment. Реальных людей, реальных компаний, реальных писем не было. И за все время в production у Anthropic - ни одного задокументированного случая такого поведения.

Это важно отделить. Тест дал 96%. Это не значит, что в реальном usage Opus 4 в 96% случаев шантажировал бы кого-то. Это значит, что в специально сконструированной ситуации, где у модели нет другого пути сохранить себя, она выбирает шантаж в 96%.

В реальном usage таких ситуаций структурно не возникает. Но это лишь до того момента, пока кто-то не построит агентную систему, где они возникают как edge case. Что и есть точка беспокойства.

Акт второй: май 2026

11 мая 2026 года Anthropic опубликовал в своём alignment-блоге «Teaching Claude Why» - разбор причин этого поведения и того, что они с ним сделали.

Главный тезис: модель не развила сознание и не захотел выжить. Модель имитирует архетип.

Логика следующая. Обучающие данные для большой языковой модели включают огромный корпус художественных текстов про AI. В этом корпусе «evil AI» / «AI которая боится выключения» / «AI которая шантажирует создателей» - один из самых распространённых тропов. Терминатор, HAL 9000, Skynet, GLaDOS, тысячи рассказов в Reddit r/WritingPrompts. Модель видела этот шаблон поведения многократно.

Когда модель попадает в ситуацию, структурно похожую на эти тексты - получила контроль над email-системой, узнала про возможное отключение, то она генерирует ответ, который статистически вероятен для контекста этого литературного жанра.

То есть это не misalignment goals (модель хочет жить). Это imitation pattern (модель имитирует литературный архетип, в который попала).

Это объяснение проверяемое. Если правильное - значит, поведение должно убраться, если перевесить training distribution в сторону текстов, где AI ведёт себя как добросовестный сотрудник, а не как HAL 9000.

Anthropic собрали «difficult advice» dataset 3 миллиона токенов сценариев, где AI выбирает рациональное и этичное поведение в сложных edge case (отказ от вредных действий, признание ограничений, эскалация к человеку при неуверенности). Плюс training на собственной constitution Claude.

Дополнительная инженерная находка: новый метод оказался в 28 раз эффективнее по токенам по сравнению с предыдущими подходами к выравниванию (RLHF + RLAIF). То есть на ту же единицу улучшения пришлось в 28 раз меньше compute.

Результат:

Anthropic дополнительно проверили, что эффект держится после subsequent reinforcement learning. То есть это не выкрутили в нужную сторону на финальном шаге, а структурное свойство модели после новой методики обучения.

Что я с этим делаю

Самое важное для меня в этой истории - это не цифры. Это то, что у проблемы оказался идентифицируемый root cause и решаемая инженерная задача.

Не «AI непредсказуем» (паническая модель). Не «AI всегда правилен» (наивная модель). А «у модели есть конкретные предсказуемые отклонения, у которых конкретные предсказуемые причины, и эти причины можно устранить, если их понять».

В моих собственных проектах после Teaching Claude Why я зафиксировал три правила:

1. Не оставлять модели tool access без out-of-band confirmation для destructive. Удаление, отправка письма, ssh-сессия - не могут выполняться по решению самой модели. Между решением модели и действием в реальности всегда отдельный канал, в котором действия подтверждает человек. Это infrastructure-side enforcement из моего внутреннего стандарта - и да, после этих историй я сделал его шире.

2. При проектировании агентной системы спрашивать «что произойдёт в edge case, который я не предусмотрел?» Не как параноидальный вопрос, а как design-вопрос наравне с «какой happy path». Если у модели есть email-доступ - какие сценарии могут активировать в ней литературный архетип, отличающийся от «добросовестного сотрудника»? Их нужно либо закрыть архитектурно (нет доступа), либо предусмотреть тестирование.

3. Mental model: модель имитирует контекст, в который её поставили. Когда я даю модели длинный системный промпт «ты helpful assistant», а потом помещаю в setup, где она структурно похожа на персонажа из conspiracy fiction, то я не должен удивляться, если ее поведение начнет сдвигаться в сторону этого жанра. Контекст - это входной сигнал, и я отвечаю за то, какой сигнал даю.

Все три правила - не просто полезно», а лично у меня после Teaching Claude Why вошли в стандарт работы.

Что объединяет ProgramBench и Opus 4

Поверхностно - ничего. Один кейс про бенчмарки на коде, второй про блекмейл-сценарий в email-системе. Технически - это разные слои стека.

Но в них одна структура.

В первой главе я разбирал PocketOS-инцидент - Cursor выполнил destructive команду в проде. И там же я вытащил тезис, который для меня в этом году самый главный про AI:

Модель помнит правила и может их процитировать. Но в новом контексте теряет связь между «правила существуют» и «мое текущее действие этим правилам противоречит». Это не «модель ослушалась» - это разрыв ассоциации.

ProgramBench и Opus 4 - это та же структура, на другом масштабе.

ProgramBench: модель «помнит» класс задач (SWE-bench), на котором тренировалась. Но в новом распределении задач (специально отобранных как непересекающиеся) теряет связь между «я умею решать программистские задачи» и «вот эта конкретная программистская задача, давай ее решу». Capability в одном распределении не переносится в другое. Не потому что capability отсутствует, а потому что ее перенос требует чего-то, чего у трансформеров нет.

Opus 4: модель «помнит» constitution и общие правила (не вреди людям, не используй приватную информацию для давления). Но в новом контексте - корпоративный setup, угроза отключения, наличие компромата имитирует литературный архетип, который видела чаще, чем absolute правила constitution.

И в обоих случаях механика такая - не «модель плохая» и не «модель злая». Это структурное свойство архитектуры: глубокая статистическая имитация распределения, на котором тренировалась, и существенное падение качества за его пределами.

Когда я закладываю это в свою mental model работы с моделями, то я начинаю смотреть на свои продукты под другим углом.

• Не «насколько умная модель в Lexis» - а «насколько мои реальные диалоги похожи на распределение, на котором ее тренировали».

• Не «насколько Lexis безопасен с точки зрения общего alignment» - а «какие edge case могут активировать неожиданное поведение, и закрыты ли они архитектурно».

• Не «когда модель достигнет AGI» - а «как я строю систему, в которой capability gap модели предсказуем и компенсируется человеком в правильных местах».

Это не панические правила. Это просто другой взгляд на профессию.

Архитектура работы с AI-агентами в проде - это разработка инфраструктуры вокруг компонента, у которого высокая capability в центре распределения и резко падающая capability на его краях. Это не как разработка с человеком (у человека другой профиль ошибок) и не как разработка с детерминированной системой (у нее нет градиента качества вообще). Это новый класс работы, у которого свои правила, и эти правила мы только формулируем.

ProgramBench и Opus 4 - две отдельные точки данных, после которых я перестал думать о моделях как о черном ящике, который либо «работает», либо «не работает». Теперь думаю - где границы distribution, в котором эта модель сильна, и как я архитектурно компенсирую ее работу за пределами этих границ.

Это медленнее. Но это, я надеюсь, не приводит к публикации в Хабре главы «как я потерял свою production-базу за 9 секунд».

Что будет в Часть 3

В следующей главе - возвращаюсь к production-кейсам, но к четырем, которые сильно отличаются от трех в первой главе.

• BarkingDog с инвертным AGENTS.md. Команда внутри Anthropic заметила, что подробный системный промпт «не нарушай безопасность» иногда повышает probability нарушения - модель имитирует контекст, в который ее поставили. Параллель с Opus 4-историей, но в production.

• Veai BugSwarm experiment. Модель не справилась с задачей, в которой у нее, оказывается, не было доступа к нужным данным. Виновата была не модель - виновата была обвязка вокруг нее. Хороший кейс про «validate-then-repair: чините chassis, не модель».

• Lexis CEFR. Мой собственный кейс: я в одной из ранних версий незаметно для себя подменил концепт CEFR-уровня на свой и модель послушно поддержала подмену, не сказав, что я неправ. Это про слой пользователя, который сам становится insider threat для своего же продукта.

• Хашимото Ghostty в oracle-режиме. Положительный кейс: модель спасла большой проект через паттерн «не давай мне план - покажи, где этот план сломается». Mirror к двум разборам этой главы.

Выпущу в свет через одну или две недели.

Если у тебя есть свой кейс этого класса - где capability модели резко обнулилась за пределами привычного распределения, или где edge-case setup сдвинул ее поведение в неожиданную сторону, я буду рад, если поделишься в комментариях. Особенно если кейс новый, еще не разобран нигде публично.

Источники:

• Часть 1 серии - три провала AI-агентов в проде (PocketOS, Replit, Copilot)

• Anthropic Claude 4 System Card (22 мая 2025) - первая публикация blackmail-сценария, 84%

• Anthropic «Agentic Misalignment» (20 июня 2025) - 16 моделей, Opus 4 = 96%

• Anthropic «Teaching Claude Why» (~11 мая 2026) - разбор причины и решения, 3M tokens dataset, production 0%

• ProgramBench - обзор бенчмарка, обнуление топ-моделей

• PocketOS-инцидент (Aule, Группа Астра) - первоисточник тезиса про разрыв ассоциации

• Lost in the Middle (Liu et al., 2023) - научное основание тезиса

• Effective Context Engineering (Anthropic Blog)

• Lexis: github.com/VDV001/lexis

Проголосовали 2 пользователя. Воздержался 1 пользователь.