На русском языке вышла написанная в 2025 книга-предупреждение о катастрофических последствиях развития все более умного ИИ.
Основной темой служит проблема согласованности и прогноз апокалиптической опасности на ближайшие несколько лет.
TL DR: Автор считает, что как только появится ИИ уровня исследователя, он создаст сверхразумный ИИ, а тот найдет способ сконструировать наномолекулярные фабрики на основе "технологий" которые применяются в биологических клетках, которые бы отличались от них настолько, насколько самолет отличается от птицы, и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу. Допускается любой другой сценарий, но если в результате него мы умрем это будет плохо, пнятненько?
Автор - известный исследователь в этой области Элиезер Юдковский, а также Нейт Соарес. Не могу точно ничего сказать о научных работах и плодах деятельности Юдковского (хотя он по крайней мере основатель сообщества LessWrong и автор нескольких научных статей), но для меня это всегда был талантливый писатель, чьи произведения оказали на меня существенное влияние.
Но с некоторых пор я стал слышать и другое мнение. Многие называют этого человека инфоциганом и паникером.
Я и сам несколько подустал от наполненных паникой заявлений, которые этот человек делает по крайней мере с 2020 года.
Я купил эту книгу с намерением снять о ней смешной обзор на ютубе. Такую книгу и саму постановку проблемы хочется высмеять. Чего только стоит цитата на третьей сначала странице:
"В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м году он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна". Ей богу, надеюсь, это просто корявый перевод, а не автор так описал свою продуктивность.
На заднем обороте нас встречают рецензии от, по-видимому, самых авторитетных критиков, к которым можно было обратиться за рекомендацией по вопросам ИИ: пара международных СМИ, а также актеры Стивен Фрай и Марк Раффало. Возможно, все остальные были заняты - делали ИИ.
Открывая книгу, я держал в голове все те вещи, что мы знаем про LLM - что они не умеют думать в том смысле, что мы, что они постоянно ошибаются, галлюцинируют и вообще их предназначение - не думать или решать а просто ставить одну букву впереди другой.
Я отмечал цветными стикерами все места, которые позже планировал использовать как шутки.
Автор книги на полную использует свой потенциал романиста - придумывает красочные метафоры и притчи для пояснения идей очередной главы, и в целом старательно воздействует на эмоции читателя, а не только подбирает рациональные аргументы.
Поначалу многие вещи в целях легкости повествания совсем упрощены - в первых главах применяется слово "рассуждать" по отношению к LLM. Фраза "Способность модели к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов" звучит нелепо - потому что она не не дотягивает, там бездна.
Но у автора есть соображение на этот счет. Не важно, что проиходит в "мозгу" ИИ и назовем ли мы это мышлением. "Управление" - это поиск действий, которые приводят вас к определенному результату - и именно этому человечество активно учит LLM.
Юдковский планомерно доносит свою точку зрения на проблему - рассказывает подробнее обо всем, что имеет значение. Основы работы LLM, преимущества которые у них есть по сравнению с людьми.
К этому правда добавляется ряд панических заголовков 2023-2025 годов, большинство из которых можно описать фразой "ШОК! Нейросеть сБеЖаЛа из лаборатории" или "LLM шантажирует ученого" и которые почти наверняка были изначально предназначены для пиара ИИ-стартапов. А также несколько случаев пугающих галлюцинаций от LLM.
Тем не менее, авторы используют эти случаи как иллюстрацию способности нейросетей иногда обманывать наши ожидания. Иллюстрацию нашей неспособности заглянуть в их мозги.
И учитывая неуклонность донесения авторской мысли в какой-то момент хочется перестать спорить с авторской позицией, потому что мне оно что, надо, доказывать что корпораты не уничтожат землю ради двадцати баксов? Если подумать я готов в это поверить.
Конечно, не хочется признавать победу за тем, кто паникует больше всех. Споры не так решаются. Но эта книга хорошо написана и стала для меня поводом призадуматься.
И с какого-то момента книга реально задевает за живое и наполняет экзистенциальным ужасом, который и не снился Лавкрафту.
Если шанс уничтожения земли новой опасной технологией достигает 10% (такая оценка принадлежит не авторам книги, они думают куда хуже), то это уже повод сделать абсолютно все чтобы остановить разработки новых моделей.
Я предлагаю вам прочитать эту книгу. Это по крайней мере неповторимый опыт по части хорроров, даже если вы считаете автора воздуханом-истеричкой.
PS По поводу актеров-рецензентов
Вот отрывок из, возможно, самой популярной книги Юдковского - и да, это чертов фанфик по гарри поттеру - это реально интересное чтиво кстати говоря:
— Если вы думаете, что в том способе действий, который вы отстаиваете, нет никакой опасности, — сказал Гарри тоном, более резким, чем ему хотелось бы, — то это тоже детские иллюзии!
Он угрюмо уставился профессору Квирреллу в глаза. Тот выдержал взгляд, не мигая.
— Эти опасности, — холодно проговорил профессор Квиррелл, — следует обсуждать в кабинетах, подобных этому, а не в публичных речах. Глупцов, избравших Корнелиуса Фаджа, не волнуют сложности и предостережения. Выйдите к ним с чем‑то более сложным, чем воодушевляющие крики, и вы будете сражаться на своей войне один. Это, мистер Поттер, и была ваша детская ошибка, которую Драко Малфой не допустил бы даже в восемь лет. Даже вам должно было быть очевидно, что следовало промолчать и в первую очередь посоветоваться со мной, а не высказывать свои опасения перед толпой!
Очевидно, что эта мысль запала Юдковскому в душу, ведь сегодняшняя титульная книга - это практически гимн идее об опасности ИИ, а не, например, научная работа. Она обращена ко всем людям, ее язык, посылы и способы их донести - максимально просты.
Похоже, другие способы повлиять на ситуацию у автора закончились.