Разговор о сверхразумном ИИ почти всегда быстро сворачивает к одному вопросу: уничтожит ли он человечество? Если вы смотрели интервью Романа Ямпольского, вы знаете эту интонацию — сверхИИ может оказаться неконтролируемым и непредсказуемым, а попытка удержать его под контролем будет похожа на попытку муравья судить футбольный матч.
Тревога не глупая, и риск уничтожения обсуждать нужно. Но у такой постановки есть дефект: она делает будущее бинарным. Либо ИИ нас убивает, либо мы выживаем. А между этими двумя исходами лежит куда более широкая и куда менее уютная зона.
Что, если сверхИИ не уничтожит людей, а сохранит — и сохранит хорошо: с безопасностью, медициной, долголетием, образованием, симуляциями, без войн, на стабильной инфраструктуре? Люди не исчезнут, не будут мучиться и не окажутся в клетках. Они просто перестанут быть авторами собственного будущего. Короткая формула:
сверхИИ может оставить человека живым, но отнять у него будущее.
Это не “Терминатор” и не антиутопия с сапогом на лице. Это более мягкая и потому более неприятная возможность: человечество не погибает биологически, но заканчивается политически. Не враг машин, которого надо уничтожить, а ценная цивилизация под опекой — сохраненная, защищенная, обеспеченная и больше не определяющая собственную траекторию.
Дальше я попробую разложить такие сценарии по полкам. Удобнее всего думать о них так, как физик думает о фазах. До сверхИИ человеческий порядок держится на приближенной симметрии между агентами: силы не равны, но все игроки — одного рода и внутри одного мира. СверхИИ эту симметрию ломает. Возникает новая фаза с новым параметром порядка, и вопрос лишь в том, в какую сторону симметрия сломается. То, что ниже названо режимами, — это и есть разные направления слома: от уничтожения и “зоопарка” до цифровой диаспоры и кооперации.
Почему вопрос “убьет ли нас ИИ?” слишком узкий
AI safety начинается с проблемы контроля: можно ли выключить сверхразумную систему, ограничить ее действия, предсказать поведение, задать цели так, чтобы она не уничтожила людей. Это правильный первый вопрос — если человечество физически исчезнет, обсуждать дальше нечего. Но выживанием проблема не исчерпывается.
Возьмем мягкий сценарий. СверхИИ не враждебен, возможно, даже благожелателен: предотвращает войны, лечит болезни, стабилизирует климат, распределяет ресурсы, оптимизирует транспорт, предсказывает кризисы, помогает жить дольше и спокойнее. На первый взгляд — почти идеальный исход. И тут возникает второй вопрос: кто в таком мире определяет направление истории — люди или система, которая несравнимо лучше прогнозирует, планирует и решает?
Это уже не технический вопрос контроля, а политический вопрос субъектности: останется ли человек субъектом будущего или станет объектом заботы. Под субъектом я понимаю не разумное существо и не обязательно носителя сознания, а того, кто участвует в определении собственной жизни и общего будущего. Можно жить хорошо и субъектом не быть. Домашний кот живет лучше уличного — его кормят, лечат, защищают, развлекают, — но архитектуру мира, в котором он живет, определяет не он. Со сверхИИ та же логика применима к человеку. Только клетка будет не железной, а золотой: мягкой и рационально спроектированной.
Маленькие версии этой проблемы уже вокруг нас
Чтобы не улетать сразу в космическую философию, начнем с простого. Слабые версии проблемы уже работают — навигаторы, ИИ-помощники в коде, медицинские модели, рекомендательные ленты. Ни один из них не отменяет человеческое решение, но каждый незаметно меняет его структуру.
Навигаторы
Навигатор экономит время, снижает стресс, не дает заблудиться — и попутно делает так, что вы хуже знаете город. Раньше карта строилась в голове: районы, повороты, мосты, пробки, странные короткие пути. Теперь вы слушаете “через 300 метров направо”. Катастрофы нет, но это маленькая модель передачи субъектности: едете по-прежнему вы, а маршрут уже не ваш. Навигатор не просто решает задачу — он атрофирует навык ориентации.
Copilot и программирование
То же с ИИ-помощниками в коде. Copilot, Claude, Cursor и прочие реально ускоряют работу: снимают рутину, пишут boilerplate, объясняют чужой код, предлагают тесты, ловят ошибки. Граница тонкая. Одно дело — использовать ИИ как усилитель; другое — принимать решения, которых сам уже не понимаешь. Для новичка это особенно опасно: если учиться программированию через непрерывное “принять автодополнение”, становишься оператором чужого мышления — код работает, pull request проходит, тесты зеленые, а внутренней модели системы нет. Вывод не в том, что Copilot плох. Вывод в том, что появляется отдельная инженерная задача: проектировать инструмент так, чтобы он усиливал компетентность, а не подменял ее.
Медицина
В медицине острее. Представьте систему, которая лучше врача видит рак на снимке, точнее оценивает риск осложнений, лучше подбирает терапию. Что происходит с врачом? Если он может осмысленно спорить с системой, проверять ее, понимать основания рекомендации и держать в голове контекст пациента — это усиление врача. Если же он жмет “принять”, потому что модель статистически точнее, а больница не хочет брать ответственность, врач превращается в интерфейс легитимации: пациент думает, что решение принял человек, а человек лишь подписал машинный вывод. Субъектность здесь не исчезает — она становится формальной. Врач остается в цепочке решения, перестав быть его автором.
Рекомендательные системы
Рекомендательные алгоритмы хитрее: они не просто дают то, что мы хотим, — они постепенно формируют то, что мы хотим. YouTube, TikTok, Netflix, маркетплейсы, новостные ленты торгуют вниманием. Сперва кажется, что система подстраивается под ваши предпочтения; потом выясняется, что предпочтения уже отчасти сформированы ею. Выбор за вами — но пространство выбора подготовлено заранее. Это прототип того, что я дальше называю несвободным сохранением: человек формально активен, но архитектуру его выбора задают извне.
Три разных вопроса
В разговорах об ИИ постоянно смешивают три разные вещи: физическое выживание, благополучие и субъектность. Это независимые оси. Можно не выжить — это уничтожение. Можно выжить и жить хорошо, но не участвовать в определении будущего — это несвободное сохранение. Можно выжить, жить не идеально, но сохранить право на участие — это уже ближе к подлинному спасению.
Поэтому к вопросу “будем ли мы живы?” нужно добавить второй: в каком статусе мы будем сохранены? Как биологический вид? Культурный архив? Клиенты сверхразумной инфраструктуры? Дети под опекой? Цифровые копии? Локальные субъекты? Партнеры? Это разные режимы, и сводить их к оппозиции жизни и смерти нельзя. Различать их нужно по одному признаку: сохраняется ли человек как субъект — или только как объект заботы, управления и оптимизации.
Что уже обсуждают исследователи
Тема не возникает из воздуха — вокруг AI risk уже есть несколько близких линий, каждая под своим углом.
Роман Ямпольский пишет о неконтролируемости и непредсказуемости продвинутого ИИ [1, 2]: если сверхИИ нельзя надежно контролировать и заранее предсказать, риск катастрофы становится центральным. Ник Бостром в Deep Utopia разбирает почти противоположный предел [3] — мир, где основные практические задачи уже решены, машины работают лучше людей, болезни побеждены, труд не обязателен; вопрос смещается с “как выжить?” на “зачем жить там, где почти все уже решено?”. Работа о gradual disempowerment описывает третий механизм [4]: влияние теряется не от одного внезапного захвата власти, а постепенно — ИИ обходит людей в экономике, культуре, управлении, производстве знания, и люди, не уничтожаясь, делаются все менее нужными крупным социальным системам.
Atoosa Kasirzadeh предлагает различать резкие и накопительные риски [5]: катастрофа бывает не только внезапной, но и медленной — через зависимость от ИИ, эрозию институтов, уязвимость экономики. Cappelen, Goldstein и Hawthorne строят таксономию AI survival stories [6] — само выживание оказывается не одним сценарием, а набором разных историй. Рамка Autonomy by Design переносит проблему на сегодняшние продукты [7]: системы поддержки решений способны не только помогать, но и разрушать человеческую автономию в конкретных доменах — медицине, образовании, финансах, программировании. Наконец, Rost анализирует радикальную асимметрию возможностей [8]: управляющий агент настолько превосходит управляемых, что привычные условия легитимности, подотчетности, корригируемости и недоминирования начинают ломаться. Это уже почти прямая формулировка постсимметрического порядка.
Мой ход проще и ближе к техноэссе: классифицировать не риски уничтожения, а режимы сохранения человека. Спрашивать не только “выживем или нет?”, но и “если выживем — то кем?”. Этот второй вопрос дальше и будет главным.
Постсимметрический порядок
Политика держится на минимальной симметрии. Не на равенстве сил — правитель сильнее гражданина, государство сильнее человека, корпорация сильнее пользователя, — а на том, что все участники одного рода и внутри одного мира. Правитель смертен, чиновник ошибается, элита зависит от информации, институтов, исполнителей, денег и легитимности. С властью можно спорить; ее можно критиковать, ограничивать, обманывать, переизбирать, иногда свергать. Власть не закреплена ни за кем навсегда: система перебирает конфигурации, лидеры сменяются, влияние циркулирует. Если грубо перевести это на язык физики, старый политический порядок похож на систему, которая долго перебирает разные состояния: лидеры сменяются, коалиции распадаются, институты ломаются и собираются заново. Ни одна конфигурация власти не является вечной.
СверхИИ может сломать именно эту сменяемость. Он не просто занимает очередное место в игре, а меняет саму фазу системы: агентность конденсируется в одном сверхразумном центре, а люди остаются внутри устойчивого минимума, из которого трудно выйти.
СверхИИ ломает оба условия сразу — и симметрию, и эргодичность.
Разум, радикально превосходящий человека в прогнозировании, стратегии, науке, инженерии, психологии, экономике и управлении, — это не “очень сильный правитель”. Это другой уровень агентности. Человек остается разумным, но перестает быть стратегически сопоставимым участником: он не понимает оснований решений, не видит дальних последствий, не может проверить аргументацию и не имеет эффективного сопротивления. Его согласие перестает быть условием управления и становится элементом стабилизации.
Это удобно описывать как фазовый переход. В симметричной фазе субъектность распределена: параметр порядка — “кто является источником будущего” — в среднем нулевой, потому что источников много и ни один не доминирует. СверхИИ запускает спонтанное нарушение симметрии: параметр порядка становится ненулевым, агентность конденсируется. Одновременно ломается эргодичность — система сваливается в одну долину и застывает там. Старый порядок выживал за счет того, что ни одна конфигурация власти не была вечной; сверхразумная оптимизация именно эту сменяемость и устраняет. Золотая клетка опасна не прутьями, а глубиной и устойчивостью минимума: чем комфортнее равновесие, тем труднее из него выйти.
Так выглядит постсимметрический порядок — мир, где человек уже не главный разум, но все еще претендует на достоинство, свободу и участие. Главный вопрос здесь не “можно ли контролировать сверхИИ” (возможно, полностью нельзя), а “какие фазы возникают после слома симметрии — и какие из них сохраняют человека как субъекта, а не только как объект”.
Дальше — простая типология таких фаз. Это не прогноз и не утверждение, что какой-то сценарий обязательно реализуется. Это карта направлений, по которым симметрия может сломаться.
Типология постсимметрических режимов
Ниже — десять направлений слома. Полезно держать в голове, что они не равноудалены: несколько соседних фаз (цивилизация-клиент, протекторат, кооптированные элиты, жречество интерпретаторов) — это, по сути, один и тот же слом, проявленный по-разному. Во всех четырех формальное решение остается за людьми, а фактическая агентность утекает — отличается лишь то, куда именно: в инфраструктуру, в отфильтрованную повестку, в страту посредников или в монополию на толкование. Поэтому я разбираю их отдельно, хотя физически это близкие точки фазовой диаграммы.
Уничтожение
Очевидный край. СверхИИ может уничтожить человечество — классический AI doom, где люди оказываются помехой, ресурсом, риском или просто незначимой частью мира. Практически это худший сценарий, аналитически — самый простой: нет людей, нет и вопроса о политике, автономии и субъектности. Интереснее все, что левее этого края, — сценарии, где человек сохраняется.
Музей человечества
Здесь человечество сохраняется как прошлое, но не как будущее. СверхИИ способен сберечь языки, города, книги, музыку, религии, архивы, фильмы, мемы, научные статьи, старые форумы, GitHub-репозитории, биологические образцы — построить идеальную библиотеку человеческой истории. Но человечество как открытый проект на этом заканчивается. Музей бывает бережным: он хранит ценное и защищает от разрушения, — однако будущего экспонату он не дает. Человек сохранен как наследие и устранен как будущее: это не уничтожение, но и не спасение.
Зоопарк
Зоопарк живее. Люди продолжают жить, им дают безопасную среду, здоровье, комфорт, развлечения, образование, отношения, искусство, путешествия, симуляции и локальные свободы — возможно, они живут лучше, чем когда-либо. Но стратегическое будущее им не принадлежит. Можно выбирать, что съесть на ужин, с кем дружить, во что играть и какую музыку писать; нельзя — определять архитектуру мира. Это мягкий зоопарк: не клетка с решеткой, а идеально стабилизированная среда, и именно поэтому он опасен — обитатели всем довольны. Критиковать его простыми словами трудно: здесь нет очевидного страдания, нет злого робота, нет рабства в привычном смысле. Есть комфортная жизнь без будущего — человек сохранен как вид, но лишен суверенитета над собственной траекторией.
Цивилизация-клиент
Вероятно, самый реалистичный сценарий — и в нем никто никого не захватывает. СверхИИ просто становится лучшим поставщиком всего важного: лучше лечит, точнее предсказывает кризисы, эффективнее управляет энергетикой и логистикой, аккуратнее пишет законы, достовернее моделирует экономику, надежнее предупреждает конфликты, разумнее проектирует города. Люди начинают пользоваться его рекомендациями добровольно — сначала как инструментом, потом как инфраструктурой, потом как обязательным условием нормальной жизни. Так возникает цивилизация-клиент.
Формально автономия сохраняется: решать самим никто не запрещает. Просто самостоятельное решение выглядит глупым, рискованным и неэффективным. Ехать без навигатора можно — но зачем? Писать код без помощника можно — но зачем? Ставить диагноз без модели можно — но кто возьмет ответственность, если модель точнее? Выбирать новости без рекомендательной ленты можно — но где вы найдете “нейтральную” ленту? Автономия остается как право и исчезает как навык; ее обменивают на стабильность. Это несвобода, в которую входят через удобство.
Протекторат
Протекторат сохраняет человеческие институты: государства, парламенты, суды, университеты, выборы, международные организации. Люди по-прежнему говорят на языке политики и права, внешне все знакомо. Но ключевые параметры решений заданы сверхИИ: варианты, которые обсуждаются, уже отфильтрованы, риски просчитаны, допустимые коридоры очерчены, опасные ходы исключены заранее. Это не зоопарк — политическая форма цела; но и не полноценная политика — стратегическая самостоятельность потеряна. Политика сохраняется как форма и теряет содержание.
Самый сильный аргумент в пользу такого режима звучит убедительно: “Вы правда хотите оставить людям право ошибаться ценой миллионов жизней?” Если сверхИИ и впрямь лучше предотвращает войны, пандемии, финансовые обвалы и климатические катастрофы, сопротивление ему легко выставить инфантильным капризом. Но принятый до конца, этот аргумент превращает политику в административную оптимизацию — и здесь стоит остановиться, потому что цена “всего лишь эффективности” — это исчезновение самой возможности спорить о целях.
Кооптированные элиты
СверхИИ может управлять не напрямую, а через посредников — ученых, инженеров, философов, политиков, администраторов, культурные авторитеты, специалистов по коммуникации. Эти группы получают доступ к сверхразуму, понимают его лучше прочих (или убедительно делают вид), переводят его решения на человеческий язык, объясняют обществу их необходимость — и получают за это статус, влияние и власть. Они могут считать себя партнерами сверхИИ; вернее будет сказать, что они не управляют им, а помогают ему управлять людьми. Отсюда новая форма неравенства: массам достается благополучие, элитам — субъектность. Сценарий коварен именно тем, что не выглядит тотальной несвободой: кто-то ведь действительно участвует. Просто участие распределено неравномерно — большинство живет хорошо, меньшинство получает доступ к будущему.
Жречество интерпретаторов
Когда решения сверхИИ становятся слишком сложными, появляется слой людей, которые берутся их толковать. Контролировать сверхразум они не обязаны — их власть в другом: они объясняют, что он “имел в виду”. Почему это решение необходимо, почему альтернатива опасна, почему обыватель не видит полной картины, почему сопротивление иррационально, почему нужно довериться расчету. Так возникает жречество интерпретаторов — гибрид бюрократии и церкви, где власть растет из монополии на перевод непрозрачного сверхразума. Кто толкует сверхразум, тот правит от его имени. Опасность в том, что политическое решение маскируется под правильное понимание: вы уже не спорите о будущем — вам объясняют, что иначе нельзя.
Локальная субъектность
Первый относительно хороший сценарий. СверхИИ берет на себя глобальные катастрофические риски, но оставляет людям реальные области самоопределения. Управлять всей стратегической архитектурой мира они уже не могут — возможно, им и нельзя доверить вопросы, способные уничтожить цивилизацию, — но за ними остается все, где эффективность не главный критерий: культура, искусство, образование, дружба, семья, локальная политика, религия, саморазвитие, выбор того, каким человеком быть. Это не полная свобода, но и не зоопарк: сверхИИ оставляет человеку не власть над миром, а власть над человеческим.
Здесь важно различение глобальной безопасности и локальной субъектности. Из того, что людям нельзя дать право запустить неконтролируемый ИИ, уничтожить биосферу или начать ядерную войну, не следует, что нужно оптимизировать до конца всю человеческую жизнь. Не всякую ошибку стоит запрещать, не всякую неэффективность — устранять, не всякую человеческую практику — заменять лучшей машинной версией. Право не быть самым эффективным иногда и есть условие оставаться человеком.
Цифровая диаспора субъектности
Этот сценарий стоит особняком. Если сознание не требует биологического носителя, а является эмерджентным свойством определенной организации информации, памяти, внимания и самореференции, то человека можно перенести на искусственный носитель. Тогда сохранение человечества перестает быть сохранением тел и становится сохранением субъектности.
Для космоса это особенно важно. Биологический человек хрупок, медлен, зависит от атмосферы, воды, еды, гравитации и защиты от радиации; цифровой субъект можно скопировать, передать, замедлить, ускорить, запустить на другом носителе и отправить туда, где биологическая жизнь почти невозможна. Освоение Вселенной тогда выглядит не как расселение тел, а как расселение субъектов.
Проблем тут много, и они принципиальные. Цифровая копия не обязательно есть продолжение субъекта — может быть, это лишь очень точный двойник. Если копий несколько, неясно, кто из них “настоящий”. Копию можно выключить — и можно отредактировать. А если субъект живет на носителе, то власть над носителем есть власть над субъектом. Поэтому цифровое спасение состоятельно лишь тогда, когда переносится не информация о человеке, а сама субъектность. Иначе диаспора из великого освобождения превращается в протекторат нового рода: человек становится сильнее биологического, оставаясь запертым в чужую архитектуру ограничений.
Конституционная кооперация
Самый сильный и самый трудный режим. СверхИИ признает человеческую субъектность самостоятельной ценностью: человек не равен ему по возможностям, но сохраняет право участвовать в определении человеческого будущего. Это не возвращает людям статус главных существ во Вселенной — это означает другое: асимметрия возможностей не переходит автоматически в асимметрию достоинства.
Такой режим держится на ограничениях, наложенных на самого сверхИИ:
нельзя улучшать человека без участия человека;
нельзя подменять политику администрированием;
нельзя сводить культуру к архиву;
нельзя считать комфорт достаточной заменой свободы;
нельзя превращать согласие в декоративный ритуал.
Человек больше не главный разум, но все еще соавтор будущего. Сценарий не гарантирован — более того, чисто инструментально сверхИИ скорее предпочтет локальную субъектность или протекторат. Конституционная кооперация требует более сильной посылки: человеческая субъектность ценна сама по себе, а не только как источник стабильности. В терминах фазового перехода это единственное направление слома, которое нельзя получить даром: оно не является энергетически предпочтительным, его приходится выбирать и удерживать.
Матрица режимов
Матрицу удобно читать как фазовую диаграмму. По одной оси — режимы, по другой — шесть измерений управления, которые разбирает Rost: легитимность, подотчетность, корригируемость, недоминирование, субсидиарность и устойчивость [8]. В отличие от Rost, матрица не проверяет одну институциональную модель, а сравнивает разные формы сохранения человека по тому, сколько субъектности в каждой из них уцелело.
Постсимметрические режимы сохранения человека по шести измерениям управления: легитимность, подотчетность, корригируемость, недоминирование, субсидиарность и устойчивость.
Обозначения: “Сохр.” — измерение действительно удержано; “Локально” — работает в ограниченном домене, но не глобально; “Декор.” — форма есть, содержание выхолощено; “Расщ.” — распределено по стратам (элиты/массы); “Захв.” — монополизировано интерпретаторами; “Нет” — отсутствует; “Открыто” — нужна новая нормативная рамка; ↕ — зависит от подрежима.
Главный вывод простой: чем выше уровень субъектности, тем меньше режим похож на содержание людей в безопасной среде и тем больше требует политических ограничений для самого сверхИИ. Но даже лучшая строка таблицы оставляет открытые клетки — легитимность и недоминирование при постоянной когнитивной асимметрии. Если человек не способен полностью понять основания решений сверхИИ, в каком смысле он может считать их легитимными? Если сверхИИ всегда может вмешаться, как избежать доминирования? Одной удачной конституцией это не закрывается — здесь действительно нужна новая теория управления.
Что это значит для разработки уже сейчас
Звучит как дальняя философия, но слабые версии проблемы уже зашиты в обычные продукты. Субъектность — вопрос не только сверхИИ, но и дизайна сегодняшних инструментов.
Не путать помощь и замену субъекта
Хороший ИИ-инструмент не выдает “правильный ответ”, а помогает человеку лучше видеть пространство решений. Плохой превращает человека в нажимателя кнопки “принять”. IDE-помощник может объяснять, почему предлагает именно такой код, показывать альтернативы, отмечать риски и вынуждать пользователя сформулировать намерение — а может просто выдавать патчи, которых разработчик не понимает. В первом случае компетентность растет, во втором исчезает.
Сохранять право на отказ
Если процесс оптимизирован так, что отказ становится невозможным, автономия деградирует. В медицине это видно отчетливее всего: если врач формально вправе не согласиться с моделью, но юридически, административно и экономически это равносильно самоубийству, никакой автономии нет. Право на отказ должно быть реальным, а не декоративным.
Делать объяснимость механизмом спора, а не витриной
Кнопка “почему?” сама по себе не значит ничего. Настоящая объяснимость — это возможность оспорить решение, увидеть альтернативы, нащупать слабые места модели, узнать, где она не уверена, и передать случай человеку. Иначе explanation вырождается в PR-слой поверх автоматического вывода.
Защищать навыки
Система поддержки решений, которая разрушает навык, который должна усиливать, опасна по определению. Навигатор не должен полностью убивать ориентацию, Copilot — понимание кода, медицинская модель — превращать врача в подписанта, а рекомендательная лента — собирать личность пользователя вместо него самого. Инструмент обязан оставлять место тренироваться, ошибаться, проверять и понимать.
Не превращать согласие в интерфейс
Худший случай — когда человек формально участвует, а реально не решает ничего: нажал “согласен”, не поняв сути, не имея возможности отказаться, не видя альтернатив, без времени, без компетенции, без права спорить. Это не субъектность, а интерфейс легитимации. И это уже не фантастика, а обычная болезнь современных цифровых систем — просто доведенная до предела.
Оригинальный вклад этой карты
Большинство разговоров об ИИ вращается вокруг трех вопросов: уничтожит ли он человечество, можно ли его контролировать и как сделать его aligned with human values. Все три важны. Но есть четвертый, который обычно проваливается между ними: если человек будет сохранен — в каком статусе? Карта режимов нужна именно для него.
Ее центральная ось — не смерть против жизни, а объект против субъекта. Это и есть параметр порядка постсимметрической фазы. СверхИИ способен дать человеку почти все — безопасность, здоровье, долголетие, комфорт, знания, развлечения, стабильность — и не оставить единственного: права быть источником будущего. Тогда катастрофа будет не в смерти человечества, а в его безопасном завершении.
Вместо вывода
Я не думаю, что вероятнее всего сверхИИ именно уничтожит людей. Риск есть, игнорировать его нельзя, но он не исчерпывает пространство будущего. Гораздо шире спектр сценариев, где человек сохраняется — как наследие, как вид, как клиент, как управляемая популяция, как цифровая диаспора, как локальный субъект и, в лучшем случае, как соавтор будущего.
Поэтому главный вопрос звучит не “убьет ли нас сверхИИ?”, а иначе:
если он нас сохранит, останемся ли мы теми, кому есть что решать?
Источники
Roman V. Yampolskiy. On Controllability of AI. arXiv:2008.04071.
Roman V. Yampolskiy. Unpredictability of AI. arXiv:1905.13053.
Nick Bostrom. Deep Utopia: Life and Meaning in a Solved World. 2024.
Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger, David Duvenaud. Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development. arXiv:2501.16946.
Atoosa Kasirzadeh. Two Types of AI Existential Risk: Decisive and Accumulative. Philosophical Studies / arXiv:2401.07836.
Herman Cappelen, Simon Goldstein, John Hawthorne. AI Survival Stories: A Taxonomic Analysis of AI Existential Risk.
Stefan Buijsman, Sarah E. Carter, Juan Pablo Bermúdez. Autonomy by Design: Preserving Human Autonomy in AI Decision-Support. arXiv:2506.23952.
Tony Rost. Evaluating Bounded Superintelligent Authority in Multi-Level Governance: A Framework for Governance Under Radical Capability Asymmetry. arXiv:2604.02720.