
























前提:Subquadratic推出全球首个全亚线性大模型SubQ,1200万上下文长度 长久以来,企业级AI面临一个共同难题:难以对完整的庞大资产(如整个代码库、大型文档集或财务报表)进行直接推理。传统模型由于其底层密集注意力机制的计算量随上下文长度呈二次方(O(n^2))增长,导致处理超长文本成本高昂,只能依赖信息检索或分块等权宜之计。为了打破这一计算瓶颈,SubQ 正式发布了采用次二次稀疏注意力(SSA)架构的 SubQ 1.1 Small 模型。 在大海捞针测试中,该模型在 1M、2M、6M 甚至高达 12M Token 的长度下均实现了近乎完美的精准检索,并且将注意力计算量减少了近 1000倍。SSA 机制用呈线性扩展的稀疏形式取代了 O(n^2) 的密集注意力。在处理 1M Token 时,SubQ 的计算需求比传统密集注意力低 64.5倍,运行速度比 FlashAttention-2 快 56倍。在优化长上下文的同时,模型保留了强大的通用推理能力。在 GPQA Diamond(85.4%)和 LiveCodeBench(89.7%)等基准测试中,其得分紧逼顶级...
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。