当前，以 Agent 为核心的新一轮技术浪潮正在席卷产业。那么，世界模型的下一个突破在哪？Agent 从 Demo 到工程化还差什么？研发体系不重构，还能撑多久？

6 月 26 日-6 月 27 日，AICon全球人工智能开发与应用大会将在上海举办。本次大会将围绕以上问题，邀请来自腾讯、阿里、快手、华为、飞猪等 50+头部企业的技术负责人、高校与科研机构的一线专家，分享 Agent 在真实生产环境中的落地经验与前瞻思考。深入探讨 Agent 从原型到量产的工程挑战、数据与记忆的基础设施底座、安全可信的落地保障，以及大模型推理优化、智算架构升级等关键命题。

京东算法工程师梁志伟已确认出席 “大模型推理优化” 专题，并发表题为《京东 xLLM 的投机推理架构设计》的主题分享。本次演讲将聚焦于 xLLM 的投机推理架构设计，从一个核心问题出发：如何让大模型推理在保证生成质量的前提下，实现数量级的效率提升？传统的自回归推理如同“逐字思考”，速度存在瓶颈。投机式推理则引入了一个“快速草稿机”（小模型）和一个“权威审核员”（大模型）的协作范式，从根本上改变了推理流程。xLLM 不仅实现了这一范式，更通过一系列创新的系统架构设计，解决了将其投入实际生产时面临的计算、通信、调度等核心挑战。

梁志伟，拥有清华大学硕士学位，目前任职于京东零售 AI Infra 方向，专注于 LLM 推理优化、投机推理、生成式推荐及端智能等方向的研究与应用。作为 xLLM 项目的 Core Maintainer，参与了项目从 0 到 1 的开发，负责多个核心组件的研发，为京东零售全场景 LLM 在线服务提供底层支持。同时深度参与端智能项目，主导关键算法与架构设计，相关成果已在京东 APP 内稳定运行，覆盖海量用户场景。致力于通过技术创新，推动大模型与智能系统在超大规模业务中的落地与实践。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 大模型推理的挑战与投机式推理原理

• 当前大模型推理的延迟与计算资源矛盾

• 投机式推理的基本思想：用小模型“草案”引导大模型“验证”的加速范式

2. xLLM 架构总览

• 设计目标：面向国产芯片的高性能、高稳定的企业级 LLM 部署引擎

• 核心功能介绍：

• 深度解耦的分布式推理：计算（专家）、调度、KV Cache、数据（输入/输出）的分离，为动态调度提供基础

• 全局多级 KV Cache 池：统一的内存抽象，支持跨请求、跨节点的快速缓存访问与复用，是投机候选序列生成与验证的关键

• 全局智能调度器：具备全局视图，能够协调草稿模型与主模型的执行，并实施严格的 SLO 保证

3. 核心创新与工程挑战破解

• 挑战一：通信与主机开销

• 问题：中心式验证成为性能瓶颈，数据往返延迟抵消加速收益

• 解决方案：

• 逻辑下沉与本地缓存：将验证逻辑从 master 节点移至分布式子 worker 节点，减少数据往返

• 异步流水线调度：让输入准备与模型执行重叠进行，隐藏延迟

• 挑战二：大规模分布式部署支持

• 问题：投机推理在大规模集群上的高效运行问题

• 解决方案：适配 DP 并行与 PD 分离，保证每个节点的行为一致

• 挑战三：不同注意力结构的适配

• 问题：不同模型的 KV cache 缓存机制不同

• 解决方案：动态适配多种注意力变体，保证投机过程的正确性与内存效率

4. 总结展望

听众收益：

1. 深入理解投机式推理的工业级实现方案

2. 掌握构建高性能、可扩展大模型推理系统的关键架构设计思想

3. 了解工业界在降低大模型服务成本、提升集群效率方面的前沿工程实践与优化技巧

除此之外，本次大会还策划了端侧 AI、物理与数字空间智能化、世界模型与多模态智能突破、Agent 架构与工程化实践、Agent 安全与可信治理、企业级研发体系重构、AI 原生数据工程、AI 时代的个人提效与组织变革等 14 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。

更多详情可扫码或联系票务经理 13269078023 进行咨询。