Средний

4 мин

0

Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор. Всё на CPU, ни одного GPU.

Вступление: как VSA меня разочаровал

VSA (Vector-Symbolic Architecture) существует с 1988 года. Идея красивая: кодируем факты векторами, связываем (bind) и складываем (bundle). Потом распаковываем. Никакого обучения, никакого backprop. Просто линейная алгебра.

Я долго на это смотрел и думал: вот же идеальный движок для reasoning на микроконтроллере. Ни LLM, ни GPU. 1024 числа - и у тебя база знаний.

Но когда собрал бенчмарк, меня ждал холодный душ.

При 96 фактах VSA отвечает правильно на 30% многошаговых вопросов. Одношаговые - 90%, норм. Двухшаговые - 0%. Трёхшаговые - 0%. Вообще ноль. Причина - шум суперпозиции: каждый новый факт зашумляет все предыдущие.

Я перепроверил на размерностях 1024, 2048, 4096, 8192. Результат одинаковый. Потому что шум не зависит от D - он растёт с количеством фактов, а не с размерностью.

И знаете что? Все существующие решения - алгоритмические. Kanerva 1988, Plate 2003, Frady 2021. Никто не пробовал просто взять и научить VSA убирать шум.

Ну я и решил попробовать.

Проблема: шум, который не лечится размерностью

Математика простая. Когда делаем bundle из N фактов, unbind возвращает сумму целевого сигнала и шума от остальных N-1 фактов. При N > 12 шум перебивает сигнал. Увеличить D вдвое - шум снизится на sqrt(2). Бесполезно.

Фундаментальное ограничение. Либо храним <12 фактов на вектор (и тогда надо много векторов), либо нужен cleanup - процедура, которая из зашумлённого вектора восстанавливает ближайший чистый.

В литературе cleanup делается через resonator networks (Frady 2021). Но resonator тоже алгоритмический, не обучаемый. Он не отличает реальную корреляцию от случайной.

Так родилась идея: взять resonator, сделать его нейросетью и обучить на контрастивных примерах.

TernaT: три компонента

PredicateShardedStore. Вместо 96 фактов в один вектор - группировка по предикатам. Факты про “где живёт” в один шард, про “что ест” - в другой. На каждом шарде ~12 фактов - ровно столько, сколько VSA переваривает без потери качества. Шум суперпозиции упал в 8 раз. Просто за счёт группировки.

GraphKANResonator (16 КБ). Тернарный {-1, 0, +1} cleanup, обученный убирать шум VSA. 65 536 параметров. Пять циклов итеративного уточнения. 1.1 мс на CPU. Ключевой трюк - negative training: подаю resonator-у не только правильные факты, но и шумные варианты. False positive rate упал с 1.3% до 0%.

FastController + ChainScorer. Это уже не VSA, а маленькие MLP/Transformer. FastController получает (entity, goal) и предсказывает следующий предикат. ChainScorer оценивает цепочки в beam search. В сумме ~20 КБ в int8.

Float32 controller в 400 раз быстрее ternary

Когда делал controller на GraphKAN (тернарный, графовый), обучение 200 эпох занимало 130 секунд. Почему? Потому что cyclic graph execution не batch-ится на GPU. Каждый edge - отдельный проход. Нет параллелизма.

Переписал controller на float32 MLP - 18 тысяч параметров, тривиальный прямой проход. 200 эпох за 0.3 секунды. Точность та же: 100% на train, 90% на inference.

Мораль: ternary - не панацея. Там, где данные плотные и батчатся, float32 побеждает. А ternary нужен там, где каждый байт на вес золота: на MCU, в резонаторах, в edge-сенсорах.

NL parser v2: гибрид regex + нейросеть

Первая версия имела 12 regex-паттернов и пропускала половину вопросов. Пользователь спрашивает “сколько ног у кота?” - а парсер не понимает.

Вторая версия: 50+ паттернов, word-level эвристики (фаза 4) и NeuralParser fallback (фаза 5). NeuralParser - крошечная сетка: Embedding(127) -> Linear -> ReLU -> два heads. Обучена на 190 сэмплах, сгенерированных через NVIDIA NIM (DiffusionGemma). На тесте 10/10.

Гибридная схема: regex берёт 80% простых запросов, эвристики - ещё 10%, нейросеть - оставшиеся 10% сложных случаев. Всё <1 мс на CPU.

Результаты

96 фактов, 53 сущности, 30 тестовых запросов.

Чистый VSA - 30%. Контроллер + резонатор - 73%. TernaT целиком - 90%. Трёхшаговые - сложнее всего. 70% вместо 100%. Но это best-in-class среди VSA-решений: до нас multi-hop VSA вообще не существовало.

Размеры

Весь пайплайн влезает в Cortex-M4 или ESP32-S3 за $2-3. Резонатор 16 КБ - в любой Cortex-M0+ за $0.50.

Ограничения (честно)

70% на 3-hop - это не 100%. Chain-of-thought накапливает ошибку на каждом шаге. Beam search шириной 3 помогает, но не идеально.

NL парсер знает 53 сущности. Если пользователь спросит про незнакомую сущность, NeuralParser выдаст ближайшую. Может быть мимо.

190 сэмплов для нейросети - капля в море. 10/10 на тесте - хорошо, на реальных данных accuracy упадёт. Нужно 1000+.

Это research, не продакшен. TernaT отвечает на вопросы из фиксированной базы знаний. Это не замена LLM. Это альтернатива для задач, где LLM не помещается или не нужна.

Итог

VSA, который 38 лет был красивой теорией, наконец-то получил обучаемый cleanup. 90% multi-hop QA на <100 КБ. Работает на CPU. Ни LLM, ни GPU.

Резонатор - 16 КБ. Микроконтроллер - $0.50. Результат - 100% на простые вопросы и 70% на сложные.

Дело не в абсолютных цифрах. SOTA по QA будет меняться каждый месяц. А 16 КБ - это размер, который не зависит от прогресса GPU. Это инференс без электричества от розетки. Это модель, которая работает там, куда LLM не залезет - внутри браслета, в датчике трубы, на чипе за 36 рублей.

И главное: обучаемый. В отличие от всех VSA-решений до нас.

Ссылки:

• Сайт TernaT: https://fakeonomics.github.io/TernaT-overview/

• TernML (multi-architecture framework): https://fakeonomics.github.io/TernML-overview/

• Zenodo TernaT paper: https://doi.org/10.5281/zenodo.20752580

• Zenodo TernML paper: https://doi.org/10.5281/zenodo.20752769

• Предыдущий пост про GraphKAN: https://habr.com/ru/articles/1049822/

• Предыдущий пост про TernML: https://habr.com/ru/articles/1049940/