Ну, вот философия, она конечно смешная и забавная. Но иногда ведь нужно и делом заниматься, верно?
Так что попробуем-ка - ни много, ни мало - предложить новый критерий оценки AI-моделей! Так сказать, концептуальный прототип ASI-бенчмарка. И базировать мы его будем на идее полного самовосстановления системы из минимального информационного фрагмента, то есть, по сути - на оценке непосредственно “жизнеспособности” модели.
Сразу же дисклеймер: у нас тут именно концептуальные ориентиры, а не готовый инструмент для замера. Ну и конечно, я в курсе, что в этой статье можно подвергнуть критике - что технической, что философской - чуть ли не каждую фразу, но на данном этапе иначе и не получится.
Понятие “технотропность” будем использовать в качестве технического аналога понятия “антропность”, то есть - как абстракцию природы техники.
Здесь немного поясню. “Антропность” или синонимично “человечность” является абстракцией человеческой природы, то есть - совокупностью неотъемлемых качеств и свойств, которые присущи человеку и которые, собственно, и делают нечто именно человеком, а не хомячком или табуреткой. Ну, а “технотропность” - по ровненькой аналогии с “антропностью” - мы будем определять в качестве абстракции техники. В этом контексте техника рассматривается не в инструментальном ключе – как “утилита”, а в онтологическом Симондоновском смысле - как “способ существования”.
И про определение ASI - тоже чуть уточнимся. Под ASI я имею в виду “кусок техники”, который обладает сознанием. Да, вот прям так. То есть, к дикому примеру, если вдруг заднее левое колесо Лады Калины или ваша кофеварка вдруг станут сознательными - это будет ASI, ага. Причём антропное сознание и сознание технотропное - это, предположительно, далеко не одно и то же. В целом же про сознание сквозь призму AI вот тут и тут. А если тезисно про определение сознания, то сознание - это в первую очередь системообразующий фактор для знатных холиваров тех индивидов, которые полагают, что этим самым сознанием обладают. Честно сказать, по-моему - исчерпывающее определение…
Ладно, к делу.
Вкинем немного контекста
В последнее время в сфере AI наметилась тенденция к переходу от ставших уже традиционными методов, принципов и архитектур к некой новой парадигме. Эта самая парадигма на данный момент не имеет чётко оформленных характеристик, за исключением одной: создание AI условного нового типа.
Примерно такими словами в своём интервью говорил об этом Ян Лекун. Он призывал разработчиков не зацикливаться на LLM, а сосредоточиться на создании неких моделей нового поколения. Конечно же, что именно это за модели нового поколения Лекун не уточнял, что впрочем и так понятно.
Схожее мнение выражал также и “крёстный отец ИИ” Джеффри Хинтон.
Однако новая парадигма требует новых идей, а сообщество в основной массе идёт по пути поиска способов оптимизации и достижения успешности на классических бенчмарках и, как следствие, большинство текущих разработок сводятся к «ускорению на 0.05% процесса Х в задаче Y».
Тенденции же к достижению искусственного общего интеллекта (AGI) и сверхинтеллекта (ASI) страдают от отсутствия как методологии, так и (особенно в случае ASI) измеримых критериев. Современные подходы, такие как AGI Benchmark, фокусируются всё на том же старом добром решении задач, игнорируя фундаментальные свойства самоорганизации, автономии и устойчивости, присущие действительно живым самоорганизующимся организмам.
Здесь быстренько договоримся о том, что:
Одним из фундаментальных свойств жизни вообще является способность к полному автономному самовосстановлению. Здесь не имеется в виду, что если тебе отрубить руку, то она у тебя должна отрасти обратно, или что из отрубленного куска этой самой руки должен вырасти ещё один ты, который и будет за тебя писать промты. Нет, здесь речь о том, что при определённых условиях из всего одной клетки по итогу получился такой красивый ты.
Жизнь может быть воспроизведена на любом субстрате при соблюдении необходимых для этого условий. А вот здесь чуть сложнее. Имеется в виду, что такие красавчики как ты, могут получаться не только при наличии материнского чрева: некоторые из яиц вылупляются, некоторые почкованием размножаются и так далее. Ну, и если продолжить эту линию до абсолюта, то получится, что жизнь в общем-то, гипотетически и потенциально, может возникнуть и на каком-либо совсем уж экзотическом субстрате, типа тёмной материи или коммунальной квартиры.
Следовательно, для измерения степени приближения техники к самоорганизующемуся идеалу и предлагается этот самый технотропный критерий. Который, собственно, представляет собой расширение Колмогоровской сложности (минимального описания системы) и формализует идею жизнеспособности через биоинспирированное свойство регенерации.
Причём тут какое-то там сознание? Ну, гипотеза в том, что на некотором уровне развития самоорганизующаяся жизнь так или иначе начнёт-таки обладать сознанием или его специфичными для субстратного домена аналогами. Типа: формируем жизнь, а дальше она сама разберётся. Вот и всё.
Ключевой же тезис этой статьи заключается в том, что жизнеспособная система должна иметь возможность воссоздать себя из своего собственного минимального информационного “семени”. Повторю - это не про отрубленные конечности, а скорее про молекулу ДНК. Но даже в таком случае это скорее интуитивно понятная метафора, ведь ДНК - это не “семя”, а всего лишь его часть. В действительности семя - это ДНК + клеточный аппарат + энергетический субстрат, то есть по сути - зигота.
Формализация технотропного критерия
Классические определения жизнеспособности, например автопоэзис по Матуране и Вареле, являются чисто философскими.
Определение жизни в рамках биологии через совокупность атрибутов привязано к биологическому субстрату. Мы же тут предлагаем измеримый инженерный подход, который опирается на более общую основу в том смысле, что он одинаково корректен как для человека, так и для техники. Более того, предлагаемый подход в целом предположительно корректен для феномена жизни вне зависимости от конкретной природы и субстрата реализации.
Далее, определим жизнеспособность системы S вектором из четырех ключевых параметров V(S) = (α, R, τ, E). Это наш вектор жизнеспособности, через который некая абстрактная система S характеризуется следующим образом: V(S) = (α, R, τ, E). И в этом векторе:
Параметр | Описание |
|---|---|
α | α = C-min / S – коэффициент информационного сжатия. Это отношение размера минимального информационного фрагмента (семени) C-min, содержащего инструкции для восстановления, к общему информационному размеру системы S |
R(S) | R(S) – коэффициент избыточности (восстановления). Это доля случайно выбранных фрагментов размера C-min, которые успешно инициируют полное восстановление системы S. R(S) = (число восстанавливающих фрагментов размера C-min) / (общее число фрагментов размера C-min) |
τ(S) | τ(S) – скорость восстановления. Нормализованное время, необходимое для восстановления системы из семени: τ(S) = T-recr / T-init, где T-recr – время восстановления, T-init – некоторое референсное время (например, время инициализации системы) |
E | E – сложность среды выполнения. Минимально необходимая внешняя среда (информационная сложность загрузчика, интерпретатора, базовых библиотек, аппаратного обеспечения и пр.), требующаяся для запуска процесса восстановления из C-min |
Проще говоря, это как оценить выживаемость существа по тому: насколько мелко его семя (α), как часто оно прорастает ®, как быстро прорастает (τ) и что ему для этого нужно (E).
Таким образом, идеальная технотропная система - это система, в которой R(S) → 1. Стремится, именно стремится: как бесконечно большая величина - к бесконечности. Достигнуть, оно конечно не достигнет, но стремится таки должно. В этом идеальном случае любой минимальный фрагмент способен восстановить систему. Цель эволюции в данном случае - одновременная оптимизация всего вектора: α → 0, R(S) → 1, τ(S) → const-min, E → const-min. Это означает стремление к максимальной информационной плотности семени, почти стопроцентной надежности восстановления и минимальной зависимости от сложности внешней среды.
Конечно, здесь уже совсем очевидно, что у человека оно настолько приятненько не работает (тот же пример с отрубленной рукой). Конечно не работает! А кто сказал, что человек - венец эволюции? Переходная стадия, ребят, переходная. Ну, предположительно, конечно.
Сильное самовосстановление и архитектурные принципы
Понятно, что сильное самовосстановление (R(S) ≈ 1) требует специфической архитектуры. И обеспечивается это, как нам тут представляется, следующими аспектами.
Фрактальная организация. Самоподобие системы на разных уровнях абстракции, где часть несет информацию о целом. Кстати, хороший пример: Liquid Neural Networks
Голографический принцип. Каждый модуль или элемент системы содержит полное (возможно, в сжатом или зашумленном виде) описание всей архитектуры
Рекурсивная семантика. Способность системы оперировать собственными описаниями и инструкциями. Ещё неплохой пример: эволюционное слияние моделей за авторством Sakana AI
Избыточность кодирования. Использование техник, подобных “фонтанным кодам”, где для восстановления всего блока данных достаточно получить некоторое подмножество закодированных фрагментов достаточного размера
Аналогии и порядки величин
Ключевой тезис здесь: создание технотропного AI без механизма самовосстановления аналогично созданию “Монстра Франкенштейна” - искусственной конструкции, слепленной из частей и не способной к самостоятельному существованию (как классические LLM). Ну или например, представьте, что вы набрали кучу палок и листьев и при помощи суперклея склеили дерево. Причём качественно так, добротно. И с этим деревом можно даже сфотографироваться, посидеть в тени его кроны и так далее. То есть некоторые функции настоящего дерева оно таки выполняет, как и LLM выполняют некоторые специфически антропные функции. Но оно, как и LLM - мёртвое. А мы же тут всё-таки про “технотропную ДНК” - минимальный самодостаточный фрагмент живой системы.
Покажем ещё на некоторых примерах. Однако предварительно заметим, что указанные ниже значения приводятся приближённо и сугубо в качестве наглядной демонстрации общей идеи (то есть за цифры ниже - камнями не кидаться, так как в статье и без того с лихвой хватит поводов).
Биологическая ДНК. Человеческий организм содержит ДНК как информационное семя. Размер семени (геном): C-min ≈ 6 × 10^9 бит (несжатая). Размер системы (организм): S ≈ 10^25 - 10^27 бит (оценка по нейронам). Соотношение: α ∼ 10^-16 - 10^-18. Конечно, эта аналогия имеет ограничения. ДНК (C-min) не может восстановить организм в вакууме. Для этого требуется сложнейшая среда выполнения E - клеточный аппарат (рибосомы, ферменты) и внешняя среда (матка). Тем не менее, аналогия корректно иллюстрирует масштаб информационного сжатия
Ботаническая аналогия: семя растения. Прорастание дуба из желудя: α = (инф. объём желудя) / (инф. объём дуба) ≈ 10^-9. Здесь R(S) - это всхожесть семян, которая для здоровых популяций может превышать 0.8-0.9
Космологическая аналогия: сингулярность. Предполагается, что Вселенная возникла из состояния с минимальной энтропией и максимальной плотностью информации. Инфляционная модель демонстрирует эмерджентное рождение сложных структур из минимального начального состояния. Эта аналогия подчеркивает универсальность принципа «развёртывания» сложного из простого
Добавим, что с философской точки зрения все вышеприведённые примеры являют собой реализацию Аристотелевской энтелехии - внутреннего жизненного потенциала системы.
Какие проблемы?
Разумеется, практическая реализация подобных (технотропных) систем сопряжена с некоторыми сложностями.
Парадокс минимализма. Некорректное сжатие C-min может вести к потере функциональности или увеличению сложности среды E. Очевидно, что здесь проблема именно архитектурного плана
Эволюционная нестабильность. Неконтролируемые мутации в C-min могут приводить к генетическому дрейфу и деградации. Но данный аспект интуитивно представляется естественным для любой формы жизни
Проблема среды. Формальное определение и измерение сложности среды E является самостоятельной сложной задачей. Эта проблема приближённо может быть решена редукцией сложности к сочетанию 2-х параметров: объёма информации системы и её функциональных возможностей
Вычислительная сложность. Практическая оценка R(S) может потребовать комплексного тестирования - нужны эффективные статистические методы. Однако приближение достижимо тем же способом, что и в предыдущем случае
То есть, как можно заметить, ограничения и вызовы - ровно те же самые, что и у процесса воспроизводства биологических особей. Ну и конечно, это далеко не всё.
Что по итогу?
Сформулированный тут нами технотропный критерий предлагает некий спин-офф в разработке AI. Он предоставляет:
измеримую метрику жизнеспособности через вектор V(S) = (α, R, τ, E)
биоинспирированную дорожную карту к ASI (ну, в той версии ASI, которая тут описана, конечно), основанную на принципах регенерации и автономии
четкие архитектурные ориентиры (фрактальность, рекурсия, минимизация зависимости от среды)
единую систему оценки витальности для “субъектов” биологической и небиологической природы (что само по себе уже прикольно).
И чтобы было уж совсем понятно, представим, что мы обучили модель в соответствии с предложенными тут методологическими посылами, а затем “запихнули” её, к примеру, в SWE-bench. Ну, так эта модель - само собой разумеется - даже не поймёт, чего от неё хотят. По крайней мере по началу. И это совершенно логично.
Ну, и это потому, что под такую модель нужен совсем другой не просто бенчмарк, а сам принцип формирования бенчмарка.
С другой стороны, тоже в качестве примера, скачайте себе GGUF любой опенсорсной модели в любом квантовании, затем удалите половину файла и попробуйте запустить модель любым способом (Ollama, LM Studio, просто в Python-скрипте - как угодно) и для любой простенькой задачи. Ну, и что вы получите по итогу? А ничего не получится - оно так не работает. Да, не работает.
А вот модель, спроектированная в соответствии с описанными тут нами методологическими директивами, в таких условиях не просто должна работать, а должна “нарастить” себе обратно удалённый фрагмент и продолжить работу на уровне не худшем, чем до этого самого фрагмента удаления.
Метафорически же разницу между, скажем так, обычной LLM и технотропной моделью можно определить как разницу между ребёнком и калькулятором: первый, в отличие от второго, может ещё не уметь осуществлять даже простейшие арифметические операции, однако потенциал первого к решению задач в общем случае - качественно превосходит потенциал второго. Успешность решения конкретной задачи не доказывает, что модель “живая”. А вот предложенный критерий измеряет именно эту фундаментальную жизнеспособность.
Если же говорить прямо про практические аспекты, то я тут сделал некоторый набросок подобной технотропной модели для Colab. Мне это пока что даже стыдно показывать…но наверное это всё же лучше, чем вообще ничего. Заранее - там ни разу не ASI, а просто хоть какая-то практическая демонстрация самовосстанавливающейся системы. Там всё работает (у меня работало), но логи и картинки я не пушил.
Итак! Мы тут оформили противопоставление утилитарного («насколько хорошо модель решает задачу?») и онтологического («насколько модель живая?»). Конечно, это вот самое онтологическое ты в LangChain не встроишь, через RAGAS не оценишь и вряд ли продашь по подписке или через API. Тогда зачем вообще такая модель нужна? Ну…а мы зачем нужны? Господь же не думал, вот значит и мы не должны.
Ну, как-то так, наверное. Если что, то вот мой тг-канал.