UltraMem 是字节跳动豆包大模型团队提出的全新超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算效率，显著降低推理成本，推理速度较 MoE 提升了2-6倍，成本最高可降低83%。UltraMem 的核心技术包括：多层结构改进，将大型内存层拆分为多个小内存层，分布在 Transformer 层中，增加 skip-layer 操作，实现并行计算；优化 value 检索方式，采用 Tucker 分解查询键检索（TDQKR），提高检索精度；以及隐式扩展稀疏参数（IVE），通过虚拟内存和物理内存的概念，减少显存和部署成本。实验表明，UltraMem 在不同规模的激活参数下均展现出显著的性能优势，随着稀疏参数增加，扩展能力优于 MoE。

UltraMem的主要功能

• 降低推理成本：UltraMem 通过优化内存访问机制，显著降低了推理时的访存需求，使推理成本最高可降低83%。
• 提升推理速度：相比传统的 MoE 架构，UltraMem 的推理速度提升了2-6倍，在常见 batch size 规模下，访存成本几乎与同计算量的 Dense 模型相当。
• 优化内存管理：UltraMem 通过稀疏计算和选择性参数激活策略，减少了推理过程中对内存的依赖，有效避免了内存瓶颈。
• 支持大规模模型：该架构为构建数十亿规模的 value 或 expert 模型开辟了新路径，具备优异的扩展特性。
• 保持模型性能：在参数和激活条件相同的情况下，UltraMem 显著降低了推理成本，在模型效果上超越了 MoE。

UltraMem的技术原理

• 稀疏计算与参数解耦：UltraMem 通过稀疏计算的方式，将计算和参数解耦。仅激活与当前任务最相关的部分参数，不是像传统 MoE 那样在推理时激活所有专家，显著降低了内存访问需求。
• 优化的内存访问机制：UltraMem 引入了大规模超稀疏内存层，通过选择性激活少量参数，避免了推理时的内存瓶颈。这种机制使在常见 batch size 下，UltraMem 的访存成本几乎与同计算量的 Dense 模型相当。
• 并行计算机制：UltraMem 通过优化计算图和采用先进的算法，使多个推理任务可以同时进行。并行计算机制提高了资源利用率，进一步加快了推理速度。
• Tucker 分解查询键检索（TDQKR）：UltraMem 采用更复杂的乘法方法——Tucker 分解查询键检索（TDQKR），用于优化 value 的检索过程。方法通过分解查询和键的交互，提高了检索精度和效率。
• 隐式扩展稀疏参数（IVE）：UltraMem 提出了隐式扩展稀疏参数（IVE）技术，通过虚拟内存和物理内存的概念，隐式地扩展稀疏参数。在不增加显存负担的情况下，提升了模型的性能和扩展能力。
• 多层结构设计：UltraMem 将大型内存层拆分为多个小内存层，以固定间隔分布在 Transformer 层中。使模型可以并行执行内存层的访存操作和 Transformer 层的计算，提高了整体效率。

UltraMem的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2411.12364

UltraMem的应用场景

• 实时推理场景：UltraMem 适用于对延迟要求较高的推理场景，例如代码补全和智能客服。在这些场景中，模型需要快速响应用户请求，UltraMem 的低延迟特性能够显著提升用户体验。
• 大规模模型部署：UltraMem 的高效推理能力和低访存成本成为部署大规模语言模型（LLM）的理想选择。在构建数十亿规模的 value 或 expert 模型时，UltraMem 能在有限的计算资源下实现高性能。
• 金融领域：在金融领域，UltraMem 可以用于信贷资产管理和风险预测。通过更精准地识别客户意图和风险特征，UltraMem 能帮助金融机构实现业务降本增效。
• 能源行业：在能源领域，UltraMem 可以应用于设备运检、电力营销客服和新能源功率预测。通过高效的数据处理和推理能力，UltraMem 能优化资源配置，提升能源效率。
• 工业自动化：在工业自动化中，UltraMem 可用于设备故障预测和生产流程优化。其高效的推理能力能快速分析大量工业数据，实现智能化的生产管理。