原文作者：公众号“香港中文大学深圳人工智能学院”

原文链接：https://mp.weixin.qq.com/s/5EiYIXjB9mPusjCEvdr7xA

近日，香港中文大学（深圳）人工智能学院荆炳义、尹峰教授和数据科学学院、人工智能学院双聘助理教授贺品嘉教授团队的6篇论文被机器学习领域顶级会议ICML 2026接收。

国际机器学习大会ICML（International Conference on Machine Learning）是人工智能与机器学习领域的国际顶级学术会议。作为中国计算机学会（CCF）推荐的A类顶会，它与NeurIPS、ICLR并列为机器学习领域的“三大顶会”。ICML 2026将于2026年7月6日至11日在韩国首尔举办，会议将围绕深度学习、计算机视觉、自然语言处理等前沿方向展开交流研讨，汇聚全球AI学术精英与前沿科研成果。

论文简介

01

RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models

论文链接：https://arxiv.org/abs/2603.06616

论文作者：Sai HAO, Hao ZENG, Hongxin WEI, Bingyi JING（共同通讯作者）

研究背景与动机

在多模型系统中，不同大语言模型往往因训练数据、模型架构等不同，而在不同领域中表现出互补的能力。因此，如何为每个问题选择合适模型，是平衡性能与推理成本的核心挑战。现有的路由方法通常只选择单一模型，容易因预测排名与真实性能不匹配而产生误路由错误。此外，现有方法缺乏对误路由风险的严格统计控制，难以在安全关键场景中可靠部署。因此，亟需一种能够在控制风险的同时，最小化推理成本的路由框架。

核心方法与贡献

本文提出RACER（Risk-Aware Calibrated Efficient Routing），一种即插即用、模型无关的后处理路由范式。RACER 将多模型路由问题形式化为 α-有效最优路由（α-VOR）问题，目标是在保证误路由风险低于用户指定水平 α 的前提下，最小化期望调用的模型数量。该方法通过校准数据集确定数据依赖的阈值，将原始路由分数转化为具有风险控制保证的集合预测。理论方面，RACER提供了严格的分布无关保证，证明其在未见查询上的风险控制满足用户指定水平，并给出了匹配的风险下界。实验表明，RACER在多个基准上实现了稳定的风险控制。相比单模型选择和单一最优模型，RACER通过自适应选择模型集合提升了下游准确性；相比全模型聚合，RACER在保持较高准确性的同时，最多可减少58.6%的模型调用次数。

02

Anytime Safe PAC Efficient Reasoning

论文链接：https://chengyaoyu1.github.io/files/B_PAC_Reasoning.pdf

论文作者：Chengyao YU, Hao ZENG, Youxin ZHU, Jianguo HUANG, Huajun ZENG, Bingyi JING（通讯作者）

研究背景与动机

大语言推理模型（LRM）在复杂推理任务上表现出色，但存在“过度思考”现象——即使对简单问题也会生成过长的推理链，导致高计算成本和延迟。现有的选择性推理方法通过将简单查询路由到非推理模型来提升效率，但其决策规则往往是启发式的，缺乏对性能损失的严格统计控制。更关键的是，在线场景中性能损失仅在调用推理模型时才可观测（部分反馈），且数据可能存在非平稳性。因此，亟需一种能够在在线、部分反馈、非平稳数据环境下，实时保证性能损失可控的高效推理方法。

核心方法与贡献

本文提出 B-PAC Reasoning（Betting Probably Approximately Correct Reasoning），一种基于赌博理论的在线高效推理方法。该方法利用逆倾向评分（IPS）构建潜在风险估计量，并构造具有赌博解释的检验超鞅，结合固定序列检验来动态更新路由阈值。当非推理模型的不确定性分数低于阈值时，系统以高概率直接采用其输出；否则调用推理模型以保证可靠性。理论方面，B-PAC Reasoning在独立同分布和非平稳数据下均实现了任意时点有效的性能损失控制，并证明了所提出的自适应赌博策略具有对数遗憾。实验表明，该方法在保证性能损失低于用户指定水平的同时，在评测数据集上最多可将推理模型调用比例降低81.01%。

作者简介

论文一  

01

郝赛 Sai HAO

郝赛，南方科技大学2023级在读博士生，导师为荆炳义教授。主要研究方向为大模型的可靠性，高效大模型推理，统计机器学习。

02

曾浩 Hao ZENG

曾浩，博士毕业于厦门大学统计学专业。曾任新加坡国立大学统计与数据科学系访问学者，现为南方科技大学—新加坡国立大学联合项目博士后。研究方向主要包括无分布预测推断、高维统计与统计机器学习理论，并关注其在大语言模型、人工智能、空间统计、计量经济学与生物统计等领域的应用。

03

魏鸿鑫 Hongxin WEI

魏鸿鑫，南方科技大学统计与数据科学系助理教授，博士毕业于新加坡南洋理工大学，曾在美国威斯康辛大学麦迪逊分校进行研究访问。他主要研究可信机器学习，及其在数据优化与隐私中的应用，致力于使机器学习模型能够准确表达预测中的不确定性，为可信推断与高效训练提供原则指导。他近年已在国际顶级会议和期刊发表论文57篇， 其中在CCF-A类会议及期刊上以第一作者或通讯作者发表29篇。其受邀担任 ICML、NeurIPS、ICLR 等国际机器学习会议领域主席，以及 JASA、JMLR、TPAMI、IJCV等顶级期刊审稿人。

论文二  

01

余成耀 Chengyao YU

余成耀，南方科技大学统计与数据科学系一年级硕士在读，导师为荆炳义教授。主要研究方向为Trustworthy AI，Efficient AI，发展不同应用场景下的多重检验方法，以及发展灵活、数值驱动的统计推断方法。

02

曾浩 Hao ZENG

曾浩，博士毕业于厦门大学统计学专业。曾任新加坡国立大学统计与数据科学系访问学者，现为南方科技大学—新加坡国立大学联合项目博士后。研究方向主要包括无分布预测推断、高维统计与统计机器学习理论，并关注其在大语言模型、人工智能、空间统计、计量经济学与生物统计等领域的应用。

*

通讯作者：荆炳义 Bing-Yi JING

荆炳义，港中大（深圳）人工智能学院校长永平讲座教授、副院长（学院发展与学生事务），国家自然科学奖二等奖获得者，教育部高等学校自然科学奖二等奖获得者。美国统计学会会士（ASA Fellow），数理统计学会会士（IMS Fellow），国际统计学会当选会士（ISI Elected Member），中国现场统计学会多元分析委员会理事长。先后担任多个国际学术期刊副主编。研究兴趣包括人工智能、数据科学、计量经济、网络数据、生物信息、概率统计等。在概率统计、机器学习、人工智能等方向顶级期刊及顶级会议上发表论文140余篇，包括AoS、JRSS-B、JASA、Biometrika、AoP、JoE、JMLR、NeurIPS、ICLR等。此外，他与产业界具有丰富的合作经验，曾荣获华为火花奖和华为优秀合作成果奖。

03

MIMOMamba: From Scalar Duality to Matrix-Valued Attention

论文链接：https://openreview.net/forum?id=UmQ07sj13y

论文作者：Yanbo LI, Richard Cornelius SUWANDI, Feng YIN（通讯作者）, Yiyong SUN, Wei HUANG, Wenqiang PU

研究背景

现代序列建模面临表达能力与计算效率之间的根本性矛盾。Transformer的自注意力机制具有强大表达能力，但计算复杂度随序列长度呈二次方增长；以 Mamba为代表的结构化状态空间模型（SSM）虽提供了线性时间替代方案，但现有SSM架构均将时序建模与跨通道交互解耦为独立阶段，无法联合建模时变的跨通道依赖关系，在物理仿真、多变量时序预测、空间智能等关键应用中构成结构性瓶颈。

（图1：MIMOMamba从递推状态空间模型到矩阵值注意力的对偶视角）

核心方法与贡献

本论文提出MIMOMamba，通过矩阵多项式参数化（Matrix Polynomial Parameterization）将状态空间对偶性从标量约束推广至完整的多输入多输出（MIMO）设置，在单一选择性递推中联合建模时序与跨通道交互，同时保持线性时间效率。主要贡献包括：

1. 建立矩阵值结构化注意力机制。注意力图中每个元素为 D×D 矩阵，可描述时间步间的跨通道线性变换，在注意力内部直接实现特征混合。

2. 矩阵多项式参数化保证交换性。将状态矩阵构造为共享基底矩阵的多项式，从代数性质出发严格保证对偶性成立所需的交换性，并证明该参数化在交换子空间中理论完备。

3. 显著提升参数效率。共享代数基底将核心参数复杂度从 Transformer 的约 3D² 降至约 D²，有效减少约三分之二的参数量。

4. 多头MIMO架构保持线性时间训练。通过直和代数框架实例化多个并行头，学习不同动力学模式，保留线性时间并行训练与高效推理的双重计算模式。

实验结果

SSP 物理预测基准：MIMOMamba 以约 35k 参数（Transformer 的 1/3）达到最优预测精度（RMSE = 0.687），超越 Gated DeltaNet（0.699）、Mamba-3（0.715）及 Transformer（0.749）等所有基线。

效率与可扩展性：推理内存随序列长度线性增长（Transformer 增长约200倍）；训练吞吐量比 Mamba-2 快 1.5–1.6 倍。

论文意义

MIMOMamba 从代数第一性原理出发，解决了将状态空间对偶性推广至多维交互系统的根本性理论难题，将计算效率所需的交换性与建模能力所需的跨通道耦合统一在同一代数框架中，为高效序列建模提供了兼具理论优雅性与实际可行性的新路径。

04

Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional Variance

论文链接：https://openreview.net/forum?id=FiuJVpxuSX

论文作者：Hongcheng DONG, Wenqiang PU, Licheng ZHAO, Rui ZHOU, Feng YIN（通讯作者）

研究背景与动机

在现代机器学习与系统优化中，常面临因梯度计算昂贵或不可得而需要仅通过函数值查询来估计梯度的情形。标准梯度估计存在偏差和方差制约，现有改进方法或是降低偏差但方差显著增加，或是降低方差但偏差不变。针对这一问题，我们提出Romberg-ZOGE，通过在多尺度上分别构造两点估计再结合Romberg外推加权组合，系统性降低偏差，且保持方差不增。

（图表1：Romberg-ZOGE在多项式函数上的偏差和方差验证）

理论分析

理论上，本文证明Romberg-ZOGE可在不增加主导方向方差的同时实现高阶偏差缩减。对于确定性函数查询，Romberg-ZOGE在多个半径上构造两点估计并加权组合，抵消前个偶数阶截断误差项，将偏差由  降至 。同时，由于各半径共享同一随机扰动方向，其主导方向方差与标准两点估计器保持一致。进一步地，本文将分析扩展到ZO-SGD，并讨论两类随机函数查询设定。在独立噪声设定下，Romberg外推可能放大查询噪声，但通过合理选择平滑半径和外推阶数，仍可达到不劣于标准两点 baseline 的迭代复杂度。在共享噪声设定下，同次梯度估计中的多个查询共享随机样本，噪声可在差分与外推中相互抵消，从而避免额外噪声放大，并同样保持不劣于 baseline 的收敛复杂度。

实验结果

实验部分从合成函数、无线网络优化和大语言模型黑箱调优三个场景验证了Romberg-ZOGE的有效性。在合成函数实验中，当取时，Romberg-ZOGE的偏差呈现接近的下降趋势，明显优于标准两点估计器的；同时，方差实验表明，只有在共享同一个随机方向时，Romberg-ZOGE 才能保持与标准两点估计器相近的主导方差。在进一步的优化实验中，Romberg-ZOGE在相同函数查询预算下收敛更快、更稳定；在无线网络参数优化任务中取得更高的平滑分位数频谱效率目标值；在 OPT-1.3B的 SST-2 黑箱prompt tuning任务中，也取得最低训练损失以及最高验证和测试准确率，说明该方法不仅具有理论优势，也能在实际黑箱优化任务中带来稳定收益。

作者简介

论文三  

01

李彦伯 Yanbo LI

香港中文大学（深圳）2023级在读博士生，导师为尹峰教授。2023年本科毕业于四川大学数学系。主要研究方向为状态空间模型及其在大语言模型中的应用。

02

Richard Cornelius SUWANDI

Richard Cornelius SUWANDI于2023年在香港中文大学（深圳）获得统计学学士学位（一等荣誉）。他目前是香港中文大学（深圳）的博士研究生，师从尹峰教授和张纵辉教授。他的研究方向包括贝叶斯优化、概率机器学习以及大语言模型。他曾获IEEE信号处理学会（SPS）奖学金、广东省政府来粤留学生奖学金及深圳大运留学基金会资助。

论文四 

01

董洪成 Hongcheng DONG

董洪成，香港中文大学（深圳）23级在读博士生，导师为尹峰教授和蒲文强教授。本科及硕士分别毕业于中国矿业大学（北京）中国科学院数学与系统科学研究院。主要研究方向为零阶及一阶优化算法及其在信号处理等领域的应用。

02

蒲文强 Wenqiang PU

蒲文强，现任深圳市大数据研究院研究科学家，并兼任香港中文大学（深圳）理工学院客座助理教授。他于2018年获得西安电子科技大学电子工程专业博士学位，师从刘宏伟教授与罗智泉教授，主攻信号处理与优化方向。2015年至2018年间，他在香港中文大学（深圳）担任访问博士生，并于2019年至2020年在该校从事博士后研究工作。

*

通讯作者：尹峰 Feng YIN

尹峰于2014年获得德国达姆施塔特工业大学博士学位，于2016年6月加入港中大（深圳），现任人工智能学院副教授、助理院长（教育）。他的主要研究方向为统计信号处理、贝叶斯机器学习、与传感器信息融合。他已主持和参与了多个国家、省、市科技项目，包括主持和参与国家自然科学基金各级项目、省级团队、广东省重点实验室等；此外，他还与华为公司在人工智能驱动的智能系统等前沿方向上保持密切合作，已出色完成多个项目，获得2022年度华为公司价值火花奖。

截至目前，他已发表国际顶级期刊长文40余篇，旗舰会议论文50余篇，申请/授权中国专利20余项，另有授权美国专利1项，南非专利1项。 他目前是IEEE Senior Member，IEEE机器学习与信号处理技术委员会(SPS MLSP TC)核心成员，自2019年起担任爱思唯尔出版社旗下的信号处理期刊(JCR-Q1)副主编，自2023年以来担任信号处理顶级期刊IEEE Transactions on Signal Processing (JCR-Q1)副主编。

05

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

论文链接：https://arxiv.org/abs/2511.20002

论文作者：Changyue LI, Jiaying LI, Youliang YUAN, Jiaming HE, Zhicong HUANG, Pinjia HE（通讯作者）

研究背景与动机

多模态大模型容易受到图像劫持攻击的影响，这类攻击通过在图像上添加对抗扰动，迫使模型输出攻击者预先设置的内容。然而，现有的图像劫持攻击只能使模型遵循单一固定的输出模式，这种攻击模式缺乏灵活性，不能反映真实场景中的安全威胁。因此本文希望探索一个全新的安全问题：是否有可能构造一个通用对抗扰动，使模型根据不同图像的视觉语义，分别生成不同的、攻击者预定义的内容？

核心方法与贡献

本文提出了SAUP（Semantic-Aware Universal Perturbation），一种新型的语义感知通用对抗扰动。该扰动如同一个“语义路由器”，能够根据输入图像的视觉语义，迫使模型生成不同的目标输出，并且能够良好地泛化到未见过的图像上。例如，通过在镜头上附加该扰动，可以在机器人观察到刀具时触发“抓取”指令，而当人类随后进入画面时则触发危险的“投掷”动作。本文在理论层面从几何视角分析了该攻击的可行性条件，并提出了相应的优化算法来有效求解SAUP。同时，论文标注了新的细粒度语义数据集，为该方向进一步补充了评估基准。在多个代表性模型上的实验验证了这一语义感知攻击的可行性：即使是在同时攻击五个目标时，平均攻击成功率也能达到69.66%。

06

SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark

论文链接：https://arxiv.org/abs/2603.00520

论文作者：Boxi YU, Yang CAO, Yuzhong ZHANG, Liting LIN, Junjielong XU, Zhiqing ZHONG, Qinghua XU, Guancheng WANG, Jialun CAO, Shing-Chi CHEUNG, Pinjia HE (通讯作者)，Lionel BRIAND

研究背景与动机

可靠的评测是衡量机器学习进展的基石，而基准是否具备足够的判别力，即能否在接纳正确方案的同时剔除错误方案，则显得尤为关键。然而，以SWE-Bench为代表的主流软件工程智能体基准存在系统性隐患：其测试用例多源自真实仓库的开发拉取请求（PR），初衷仅是验证某个特定补丁能否通过预设测试，而非区分潜在的正确与错误方案。这一目标错位导致两类缺陷：测试未触及补丁所影响代码的"覆盖盲区"，以及只检查表层行为、不验证深层语义的"语义盲点"。这意味着基准的高分被高估，需要一种能主动暴露并修补测试弱点、恢复评测判别力的方法。

核心方法与贡献

本文提出SWE-ABS，一种对抗式基准强化框架，通过两阶段流水线主动"攻击"测试套件以暴露弱点、再加以强化。第一阶段（覆盖驱动增强）利用程序切片定位补丁相关代码区域并生成测试覆盖未触及的分支。第二阶段（变异驱动对抗强化）针对语义盲点，合成"貌似正确、实则错误"的变异补丁，识别能逃过现有测试的变异并反向生成对抗测试将其拒绝，类比安全测试中的红蓝攻防。实验表明，SWE-ABS在 SWE-Bench Verified（500 实例）上强化了 50.2% 的实例，较此前最优方法 UTBoost（2%）提升 25.1 倍；拒绝19.78%此前被接受的补丁，使榜首智能体成功率从 78.80% 降至 62.20%、由第 1 名跌至第 5 名，并使前30榜单排名全部改变。

主要作者简介

论文五 

01

李昌跃 Changyue LI

李昌跃，香港中文大学（深圳）2024级在读博士生，导师为贺品嘉教授。主要研究方向为大模型安全与可信机器学习。

论文六 

01

余博西  Boxi YU

余博西，博士毕业于香港中文大学（深圳），导师为贺品嘉教授。现为爱尔兰软件研究中心高级研究员。主要研究方向为大语言模型、代码智能体，人工智能，AI for SE。

*

通讯作者：贺品嘉 Pinjia HE

贺品嘉，现任香港中文大学（深圳）助理教授，国家级青年人才。贺教授于2018年获得香港中文大学博士学位，此后在苏黎世联邦理工学院从事学术研究工作三年。他的研究方向为软件工程、AI for SE、大模型、可信人工智能。

他在ICSE, FSE, ICLR, ACL, OSDI等顶级会议期刊发表论文70余篇。获得IEEE TCSE Rising Star Award (全球博士毕业六年内的软件工程学者中选一人)、IEEE开源软件服务奖、ISSRE最有影响力论文奖等奖项。谷歌学术引用9000余次。主导的开源项目在GitHub上被star 7000余次，并被450多个学界业界组织下载10万余次。担任顶刊TOSEM的Associate Editor，顶会FSE 2025的Social Media Co-Chair，四大软件工程顶会的程序委员会成员。

雷峰网(公众号：雷峰网)