Автор: Кэл Ньюпорт - профессор компьютерных наук Джорджтаунского университета и автор книги "В работу с головой" (Deep Work).
Оригинальная статья на английском:
https://www.nytimes.com/2026/06/17/opinion/ai-dangerous-openai-anthropic.html
Технологические революции в цифровую эпоху обычно сопровождаются оптимизмом и воодушевлением - вспомните Стива Джобса, купающегося в громовых аплодисментах во время презентации iPhone в 2007 году. Крупнейшие же компании в сфере ИИ, похоже, придерживаются более мрачной и странной стратегии: им нравится с серьезным видом описывать вред, который нанесут их модели, и при этом притворяться, что они бессильны что-либо с этим поделать.
Недавно компания Anthropic выпустила классический пример такого жанра: пугающе звучащий отчет под названием "Когда ИИ создает сам себя", в котором утверждается, что ИИ может приблизиться к способности "автономно проектировать и разрабатывать своего собственного преемника". Компания надеется, что это рекурсивное самосовершенствование принесет миру "огромную пользу", но при этом открыто выражает опасения, что оно может привести к тому, что люди "потеряют контроль" над этими системами.
Реакция общественности на этот отчет сосредоточилась на разделе, который, казалось, призывал к всемирной паузе в разработке ИИ. Но если читать внимательнее, становится ясно, что пауза - это совсем не то, что предлагает Anthropic. В отчете говорится, что "если бы было возможно" замедлить развитие технологий, мы должны были бы это сделать, но пока "наименее осторожные" игроки продвигаются вперед на полной скорости, у Anthropic не останется иного выбора, кроме как делать то же самое.
Словно кот, оставляющий мертвую птицу у вашего порога, Anthropic составляет каталог мрачного будущего, к которому могут привести ее продукты, пожимает плечами, а затем возвращается к своим неистовым попыткам воплотить эти предупреждения в реальность.
Anthropic не одинока в этом нигилизме. Сэм Альтман, генеральный директор OpenAI, часто делает мрачные заявления. Он сравнивал работу своей компании над большими языковыми моделями с созданием атомной бомбы, а в преддверии выхода GPT-5 опубликовал в соцсетях изображение "Звезды смерти" из "Звездных войн". Он также много раз утверждал, что единственным ответом на экономический ущерб, который неизбежно нанесут инструменты ИИ, должно стать внедрение широкомасштабной финансовой поддержки со стороны государства, такой как безусловный базовый доход или государственный фонд национального благосостояния.
Давайте назовем эту стратегию "дум-троллингом" (от англ. doom - гибель, обреченность). Это одно из определяющих и наиболее поразительных свойств нашего текущего этапа развития ИИ, и я пришел к убеждению, что оно морально неприемлемо.
На самом деле существует лишь два варианта того, каковы истинные намерения ИИ-компаний, когда они занимаются дум-троллингом.
Первый вариант: они действительно верят, что создаваемые ими системы имеют ненулевой шанс спровоцировать колоссальные разрушительные события - от уничтожения экономики в лучшем случае до стирания нашего вида с лица Земли в худшем. Если бы это было правдой, любая разумная этическая система утверждала бы, что существует лишь один приемлемый ответ: немедленно прекратить работу над любым продуктом, который может приблизить такое будущее, и бросить все свои ресурсы на лоббирование, чтобы заставить другие ИИ-компании сделать то же самое. С моральной точки зрения любая другая реакция была бы чудовищной.
Второй вариант: эти ИИ-компании на самом деле не беспокоятся о подобных рисках и впрыскивают эти дозы безысходной обреченности по другим причинам. Возможно, они хотят преувеличить в глазах общественности мощь своих технологий в тот момент, когда они готовятся к первичному размещению акций (IPO). Или они надеются, что их показательные отчеты и мрачные интервью помогут им в конкурентной борьбе за лучшие инженерные таланты из Кремниевой долины, чья культура насквозь пропитана подобными апокалиптическими настроениями ("думеризмом"). Венчурный инвестор и советник по ИИ Дэвид Сакс недавно предположил, что Anthropic использует тактику запугивания как метод "захвата регулирования" (установления контроля над регуляторами), который помогает создавать препятствия для новых конкурентов на рынке. Любая из этих причин означала бы, что компании "наживаются" на тревоге миллионов людей, чтобы улучшить финансовое положение ничтожно малого числа крупных акционеров. Подобный цинизм был бы не менее чудовищным.
Когда дело доходит до ИИ, мы настолько привыкли к этому тону беспомощных, вызывающих стресс прогнозов, что перестали замечать, насколько это странно. Представьте себе, если бы компания Ford выпустила отчет, в котором заявила бы о своих опасениях, что их популярные пикапы F-150 могут вскоре начать самовозгораться, но компания ничего не может с этим поделать, потому что автомобильные технологии слишком неизбежны и важны, чтобы их тормозить. Вы, вероятно, с трудом можете себе представить такой сценарий, потому что ни одна здравомыслящая компания, производящая потребительские товары, никогда бы так не поступила.
ИИ-компании могли бы начать вести себя так же адекватно. Для этого им пришлось бы перестать относиться к ИИ как к какой-то непреодолимой силе, которой они из последних сил пытаются управлять. Это не так. ИИ - это набор конкретных инструментов, которые эти компании по собственному выбору разрабатывают и продают в соответствии с конкретными бизнес-планами. Соответственно, они должны говорить о своих предложениях как о любом другом потребительском продукте. Это значит четко объяснять, для кого они предназначены, обосновывать их преимущества и, что критически важно, брать на себя полную ответственность за любой вред, который они могут причинить. Тот факт, что ИИ в настоящее время обладает высокотехнологичным лоском, не делает его исключением из общепринятых стандартов безопасности.
Если эти ИИ-компании настаивают на том, чтобы продолжать притворяться всего лишь стоическими наблюдателями неизбежного антиутопического будущего, то, возможно, пришло время поставить вопрос ребром. Как потребители, мы можем отказаться играть в игру с дум-троллингом. В следующий раз, когда Anthropic выпустит очередной пугающий отчет или голос Сэма Альтмана дрогнет, когда он будет воображать разрушения, которые несет OpenAI, мы сможем вернуться к прагматике: "Окей, но какие преимущества я получу, тратя 1000 долларов в месяц на токены?" Если они продолжат нагнетать обреченность, то, возможно, пришло время превратить страх в насмешку: серьезная псевдонаучность "белых книг" (white papers) Anthropic уже граничит с сатирой. Аура, окружающая ИИ, поощряет тревожное подчинение этим технологическим лидерам, но это может быстро измениться.
(Газета The New York Times подала в суд на OpenAI и их партнера Microsoft, обвинив их в нарушении авторских прав на новостной контент, связанный с системами ИИ. OpenAI и Microsoft отвергли эти обвинения).
Правительство также может сыграть здесь свою роль. Президент Трамп недавно подписал указ, который позволил ИИ-компаниям на добровольной основе представлять свои модели для оценки рисков перед их выпуском. Эту программу следует сделать обязательной, и правительство должно быть готово раскрыть блеф (бросить вызов) любой компании, хвастающейся разрушительным потенциалом своих продуктов. Пора положить конец эпохе, когда эти ИИ-лаборатории могут одновременно запугивать общественность своими технологиями и продолжать беспрепятственно их разрабатывать и продавать.
Примечательно, что нынешняя администрация в своей непредсказуемой и непостижимой манере, возможно, склоняется именно в этом направлении. В апреле Anthropic объявила, что не будет публично выпускать свою новую языковую модель Claude Mythos Preview, поскольку ее способность находить и использовать программные ошибки может привести к "серьезным" последствиям для нашей экономики и безопасности. Компания решила поделиться ею лишь с несколькими организациями, чтобы те могли устранить уязвимости в безопасности - это была кампания, которая вызвала сильный страх и беспокойство, но в то же время укрепила бренд Anthropic как лидера в сфере ИИ, заботящегося о безопасности.
На прошлой неделе компания выпустила для широкого пользования версию модели, защищенную "ограждениями" (фильтрами безопасности), а небольшому числу пользователей предоставила другую версию, в которой в некоторых областях эти ограничения были сняты. Администрация Трампа, сославшись на соображения национальной безопасности, удивила индустрию, оказав противодействие. Она внесла эти модели в список экспортного контроля, что вынудило Anthropic временно закрыть к ним доступ. Скептическая интерпретация действий Anthropic заключается в том, что ее предыдущее заламывание рук по поводу модели Mythos было пиар-ходом (неясно, почему фильтры, которые они добавили на прошлой неделе, нельзя было добавить еще в апреле, когда модель только анонсировали). В таком свете действия администрации отчасти выглядят как обвинение Anthropic в нечестной игре.
Передовые ИИ-лаборатории любят ссылаться на Китай, чтобы оправдать максимально быстрое продвижение своих продуктов без какого-либо серьезного давления со стороны регуляторов (хотя некоторые, как, например, гендиректор Anthropic Дарио Амодеи, и призывали к введению регулирования). Однако управление геополитическими рисками - это задача правительства, а не Кремниевой долины. Когда в 1990-х годах американская биотехнологическая индустрия обеспокоилась негативным потенциалом генной инженерии, она не бросилась сломя голову клонировать людей, пока до этого не добрался Китай; вместо этого она лоббировала в Конгрессе и международных структурах ограничения наиболее одиозных вариантов использования этих инноваций. Вероятность того, что кто-то другой может сделать что-то плохое, не дает вам морального права делать то же самое.
Суды также могут стать источником давления, которое заставит ИИ-компании изменить риторику о своих продуктах. Десятилетие назад гиганты социальных сетей оказались в положении, похожем на то, в котором сейчас находятся лидеры ИИ. Они пытались снять с себя ответственность за очевидные негативные последствия своих приложений, преподнося их как нечто слишком фундаментальное, чтобы подвергать это ограничениям - как цифровую "городскую площадь", представляющую собой естественную эволюцию коммуникации и демократии.
Но в марте был вынесен исторический вердикт: суд присяжных признал Meta* и Google виновными и обязал их выплатить миллионы долларов за ущерб, причиненный их платформами. В настоящее время через судебную систему проходят многие сотни подобных исков, что представляет серьезную угрозу для этих компаний, которые годами безнаказанно наживались на своих алгоритмах, вызывающих зависимость и деформирующих психику. Может ли ИИ столкнуться с подобными судебными разбирательствами? На прошлой неделе мы получили первый намек на это, когда суд в Германии постановил, что операторы больших языковых моделей несут ответственность за текст, генерируемый их алгоритмами. Привычка компаний вроде Anthropic выпускать отчеты, подчеркивающие опасность их продуктов, может стать решением, которое еще аукнется им в будущих судебных процессах.
Как специалист в области компьютерных наук и цифровой этики, я с оптимизмом смотрю на возможности ИИ, но при этом сбит с толку тем пугающим и мрачным тоном, в котором нынешние технологические лидеры упорно говорят о нем. Это мог бы быть период обнадеживающих инноваций, но вместо этого нашими эмоциями манипулируют из-за корыстной и морально несостоятельной зависимости Кремниевой долины от дум-троллинга. Эта коммуникационная стратегия должна быть прекращена. Вред, который она наносит психическому здоровью общества, пожалуй, уже перевесил те выгоды, которые ИИ принес на данный момент.
Появились некоторые признаки того, что это поведение начинает меняться. Возможно, в ответ на отчет Anthropic о рекурсивном самосовершенствовании, OpenAI выпустила свой собственный документ под названием "Создано ради блага каждого: Наш план". В нем утверждается, что "полная автоматизация всего подряд - это не то будущее, которого мы хотим", и что цель компании - создать технологию, которая сделает жизнь людей безусловно лучше, подобно появлению электрического освещения в начале XX века.
Документ читается как стандартный чересчур оптимистичный, бравурный маркетинговый текст, который мы привыкли ожидать от крупных технологических компаний. Ничто в нем не задело моих эмоций и никак особо не отложилось в памяти. Какое облегчение.
Прим. пер.:
Спасибо, что дочитали. Это мой первый опыт перевода таких статей. Мне очень понравилась и зацепила эта статья, когда я её увидел и прочитал. Мне очень откликается мысль, которую пытается донести автор: одной рукой главы ИИ-компаний вливают огромные деньги в исследования и развитие ИИ, а другой - рассказывают, что нам всем скоро конец, ИИ будет править миром и это надо срочно остановить.
Также, если хотите больше интересного, то добро пожаловать в мой телеграм-канал Econet, где я пишу и размышляю о всяком разном из мира технологий: цифровая экология, проблемы работы с большими данными, личная и цифровая безопасность, про ИИ обязательно (куда сейчас без него) и про всякое разное.
* Компания Meta признана экстремистской организацией и запрещена в РФ.