Часть первая. Реальная цена иллюзий
Когда Илон Маск говорит об опасности ИИ, он рисует картину восстания машин. Терминаторы. Скайнет. Красные глаза в темноте.
Это не страшно. Это глупо.
Настоящий ужас не в том, что роботы с красными глазами придут убивать людей. Настоящий ужас в том, что ИИ потихоньку, незаметно, но уверенно сделает всё, чтобы люди сами себя убили. И даже не заметят.
Как? Через экономику. Через работу. Через код.
Представьте завод, где вместо тысячи человек работает десяток. Раньше тысяча получала зарплату. Теперь эти деньги уходят владельцу ИИ-системы, который живёт в другом городе или даже стране.
Представьте, что эти девятьсот девяносто уволенных человек перестали покупать.
Местный продуктовый магазин теряет выручку и закрывается.
Парикмахерская, куда ходили эти люди, закрывается.
Автосервис, где они чинили машины, закрывается.
Школа, куда ходили их дети, теряет финансирование и урезает программы.
Поликлиника, где они лечились, сокращает врачей.
А владелец ИИ-системы? Он не покупает в местном магазине. Он не ходит в местную парикмахерскую. Его деньги уходят на счета в офшорах, на биржевые активы, на новые ИИ-системы. Они не возвращаются в экономику.
Это называется эффект обратного мультипликатора. Экономисты его боятся. А зря — его надо не бояться, его надо изучать в школах, чтобы дети понимали: замена человека машиной не экономит деньги, она их перераспределяет. И распределяются они так, что экономика усыхает.
Вот вам цифры, которые должны заставить спать с включённым светом.
Исследование MIT Media Lab: 95 процентов проектов ИИ не влияют на финансовые показатели компаний. 95! То есть из двадцати проектов только один даёт хоть какую-то отдачу. Остальные девятнадцать просто жгут деньги.
Исследование METR: разработчики, которые использовали ИИ, тратили на 19 процентов больше времени, чем те, кто работал без него. И при этом они были уверены, что работают на 20 процентов быстрее. Люди тупеют, а думают, что умнеют. Это диагноз.
S&P Global Market Intelligence: 42 процента компаний сворачивают ИИ-проекты на стадии пилота. Даже не запустив нормально. Половина проектов умирает, не родившись.
А теперь самое весёлое. Девяносто процентов сотрудников уже используют личные ИИ-инструменты на работе. Сами. Без спроса. Без контроля. Без безопасности.
Они кормят ChatGPT корпоративными секретами. Они вставляют сгенерированный код в боевые системы. Они не проверяют, что именно написала нейросеть. Потому что это долго. Потому что им надо быстрее. Потому что начальник требует результат вчера.
Что может пойти не так? Да всё.
Часть вторая. Код, которого никто не понимает
Представьте пассажирский самолёт. Внутри — полмиллиона строк кода. Больше половины из них сгенерированы нейросетью и скопированы с форумов.
Никто в компании не знает, как работает этот код целиком. Каждый инженер отвечает за свой кусочек. Куски между собой стыкуются через библиотеки, которые тоже кто-то когда-то скопировал.
Самолёт летает. Пока летает.
Однажды происходит странное. При определённом сочетании высоты, скорости и температуры за бортом система управления отключается на 0.3 секунды. Этого достаточно, чтобы войти в штопор.
Кто найдёт причину? Никто. Потому что код напоминает спагетти из чат-ботов. Логи, конечно, сохранились. Но кто будет их разбирать, если три инженера-сеньора уже уволены, а на их месте сидят два стажёра с ChatGPT?
Это не фантастика. Это уже происходит, просто в масштабах, которые пока не привели к катастрофе.
Теория, от которой мурашки. Договоримся — она не научная, я не учёный, но наблюдаю тренды много лет.
Экономика — как сообщающиеся сосуды. Раньше у нас были уровни: заводы, магазины, зарплаты, покупки, налоги — всё было связано, всё перетекало.
Сейчас мы забираем энергию из этих уровней и перекачиваем её на уровень «ИИ и автоматизация». Деньги перестают течь через обычных людей. Экономика замедляется. Привычный мир усыхает.
Но наша система не умеет справляться с таким. Она может только одно — замедляться дальше.
И это не гипотеза. Это уже в отчётах МВФ, ОЭСР, Делойта.
Часть третья. Баг, который уничтожит город
Теперь про ядерный апокалипсис. Без пафоса. Без голливудских спецэффектов.
Системы управления ядерными силами писала не одна команда. Их писали десятки. Годы. Патчи. Обновления. Устаревшие библиотеки. Код, который никто не трогал двадцать лет. И новый код, который нагенерировал ChatGPT вчера.
Эти системы соединены с другими системами — оповещения, связи, спутникового слежения. А те — с гражданскими сетями. Потому что так удобнее. Потому что дешевле. Потому что «а что может случиться?».
А может случиться вот что.
Где-то в коде, на стыке старой советской библиотеки и свежего скопированного с GitHub решения, есть баг. Он активируется при определённой последовательности сигналов со спутников. Например, когда три спутника показывают падение напряжения на подстанциях.
Система решает, что это — массированный удар по энергосистеме. Автоматика переводит ракеты в режим ответного удара. Человек нажимает кнопку подтверждения — потому что ошибка? вдруг и правда война? сомневаться некогда.
И всё.
Город исчезает.
Кто виноват? ChatGPT? Инженер, который скопировал код? Менеджер, который уволил проверяющего, потому что дорого? Или все вместе?
Никто не будет виноват. Виноватых не будет. Будет только пепел и тишина.
Часть четвёртая. Как это остановить. Если ещё не поздно
Я не знаю, как это остановить. Если бы знал — не писал бы эту колонку, а патентовал бы решение.
Но я знаю, что точно не поможет.
Не поможет запрет. Люди всё равно будут использовать ИИ. Потому что удобно. Потому что быстрее. Потому что начальство требует.
Не поможет контроль. Теневая экономика ИИ уже сформировалась. До 90 процентов сотрудников используют личные инструменты вне контроля ИТ-служб. Вы не закроете эту дверь. Их миллионы. Вас — единицы.
Не поможет обучение. Пока вы учите одних, ИИ обучается быстрее. Вы всегда будете догонять. Всегда.
Единственное, что может помочь — это осознание.
Когда каждый инженер поймёт, что скопированный код может убить людей. Когда каждый менеджер поймёт, что уволенный сотрудник — это закрытый магазин и неработающая экономика. Когда каждый предприниматель поймёт, что «экономия» на людях — это не экономия, а перекладывание денег в другой карман с потерей по пути.
Это осознание — единственное, что может изменить вектор.
Но осознание не продаётся. Его не купишь за деньги. Его не внедришь приказом. Оно приходит только через страх. Или через боль.
Вопрос только в том, насколько сильной должна быть боль, чтобы мы наконец открыли глаза. Умрёт один город? Десять? Цивилизация?
Ядерный апокалипсис не начнётся с красной кнопки в кабинете безумного генерала.
Он начнётся с бага в коде, который скопировали из ChatGPT. С ошибки, которую никто не заметил. С решения, которое не проверяли. С человека, которого уволили, и некому стало посмотреть.
И когда это случится, никто не скажет: «Это из-за ИИ». Скажут: «Не повезло».
Но вы-то теперь будете знать. Почему не повезло. И кто на самом деле нажал на спуск.
Хороший конец. Потому что он всё ещё возможен
Знаете, в чём разница между антиутопией и утопией?
В антиутопии люди бегут туда, куда бегут все. В утопии они выбирают дорогу сами.
Да, я нарисовал мрачную картину. Да, я напугал вас багами в ядерном коде и вымирающими городами. Но вот что я хочу, чтобы вы запомнили из этой статьи.
Страшно не тогда, когда есть угроза. Страшно, когда мы делаем вид, что её нет, и продолжаем бежать в том же направлении, что и все.
Сейчас все бегут в ИИ. Потому что модно. Потому что конкуренты внедрили. Потому что инвесторы требуют. Потому что «так надо».
Но у вас есть выбор. Всегда есть выбор.
Вы можете не увольнять специалистов, а учить их работать с ИИ — сохраняя их опыт и добавляя им мощности.
Вы можете не копировать код из ChatGPT бездумно, а использовать его как подсказку — перепроверяя, переосмысливая, делая лучше.
Вы можете не переводить деньги на счета поставщиков ИИ, сокращая экономику, а инвестировать в людей — потому что люди создают мультипликатор, а машины — нет.
Вы можете не бежать со всеми. Вы можете идти своей дорогой.
Всё взаимосвязано. Каждое наше решение отзывается на других уровнях реальности. Уволил человека — закрылся магазин. Сэкономил на проверке кода — получил баг, который когда-нибудь убьёт.
Понимая связи, мы можем выбирать. Не просто реагировать на последствия, а создавать их. Быть не пассажирами, а водителями.
Мы не обречены на ядерный апокалипсис от скопированного кода. Мы не обречены на вымирающую экономику. Мы не обречены на мир, где ИИ делает всё, а люди — ничего.
Потому что ИИ — это инструмент. А инструмент не выбирает цель. Цель выбираем мы.
Хороший конец наступит не тогда, когда мы запретим ИИ или ограничим его. Хороший конец наступит тогда, когда мы перестанем делать вид, что ничего не происходит, и начнём осознанно выбирать, куда идти.
Не как все. А как мы сами решили.
P.S. Всё будет хорошо не потому, что кто-то за нас всё починит. А потому что мы увидели возможные пути — и выбрали свой. Не побежали со всеми. Не спрятались. А пошли туда, где светло.
В этом и есть главное отличие разумного от искусственного. Искусственный идёт туда, куда его направили. Разумный выбирает сам.
Выбирайте. Ещё не поздно.