多模态人工智能正从单一感知能力迈向视觉、音频与文本的统一融合，即全模态大模型（Omni-models）时代。然而，相应的评测体系却相对滞后。现有的评测工具不仅稀缺、各自为战，且几乎完全以英文为中心，缺乏对中文场景的有效支持。此外，一些现存的数据集在设计上存在局限性，例如部分问题的解答路径并非严格依赖于多模态信息的融合，这为科学评估模型真实的跨模态能力带来了一定的复杂性。
针对这些痛点，美团 LongCat 团队提出了一套高质量、多样化的一站式全模态大模型评测基准——UNO-Bench。该基准通过一个统一的框架，不仅能同时精准衡量模型的单模态与全模态理解能力，更首次验证了全模态大模型的“组合定律”——该定律在能力较弱的模型上呈现为短板效应，而在能力较强的模型上则涌现出协同增益，为行业提供了一种全新的、跨越模型规模的分析范式。这一发现的背后，是其系统性的数据构建流程：通过完全人工标注确保高质量与丰富度，有效防止数据污染。此外，该团队还引入了创新的“多步开放式问题”，旨在突破传统选择题的局限，更具区分度地刻画模型在复杂链路上的推理能力。
接下来，我们将详细介绍 UNO-Bench 是如何构建的，以及它如何为推动下一代 AI 的智慧演进奠定基础。
当前，面向单模态的评测基准已发展成熟且生态繁荣。无论是针对通用视觉理解的 MMBench、检验复杂数理逻辑的 MathVision，还是覆盖动态视频场景的 MVBench，以及在音频领域进行探索的 MMAU，这些高质量的评测资源极大地推动了 AI 在细分维度下的认知能力发展。然而，这些资源彼此独立，难以适应向全模态大模型演进的趋势。
当我们将目光投向新兴的全模态大模型评测领域，现状则面临挑战。尽管如 Gemini、Qwen-3-Omni 等兼容视听双模态的顶尖全模态大模型已崭露头角，但能够有效评估其综合能力的基准却稀缺且存在明显不足。例如，OmniBench 的部分数据存在错误答案，而 WorldSense 中由于使用音视频同步数据，大部分题目无需跨模态信息即可解答，导致难以有效衡量全模态的整合能力。
正是在这样的背景下，UNO-Bench 应运而生。LongCat 团队通过 1250 条人工标注的全模态样本和 2480 个增强的单模态样本，构建了一个适用于中文场景、横跨 44 类任务的综合性评测体系。其中，高达 98%的问题被严格设计为必须在跨模态条件下才能正确解答，这弥补了现有评测无法有效检验模型真实跨模态能力的痛点，为科学评估与推动全模态大模型的发展提供了坚实可靠的基石（详见表格 1）。
说明：表格中，I、A、V、T 分别代表图像、音频、视频和文本模态。Acc.代表问答对的准确率，Solvable 代表需要全模态才能解决的问题比例。Source 代表素材来源，分为可防止数据污染的私有数据集和公开数据集。QA Type 代表问答类型，MC、MO 分别代表选择题和多步开放式问答。EN 和 ZH 分别代表英文和中文。
一个卓越的评测基准始于一个科学的顶层设计。我们从定义模型核心能力体系出发，通过标准化的数据生产线确保高质量与多样性，并最终引入创新的评测方法与优化算法，共同构建了 UNO-Bench 的基石。
该团队首先将模型的综合智能系统性地解构为两大核心层面：感知层与推理层。
这一双维能力框架不仅为后续的数据构建提供了清晰的蓝图，也使得对模型能力的细粒度剖析成为可能。
为确保数据的顶尖品质，LongCat 团队建立了一套包含精选数据素材、专家级问答标注、严苛的多轮质检三个关键环节的标准化生产流程。所有关键对话均由超过 20 位真人录制，以高度还原真实世界的声学特征（如普通话、四川话等）。其中最关键的质检环节是模态消融实验：通过移除任一模态的信息来检验问题是否依然可解，以此严格确保 98%以上数据的“跨模态可解性”。
说明：图(a)展示了必须结合视听信息才能解答的问题，而图(b)和图©则分别展示了仅凭音频或视频即可解答的问题。
通过三个小案例（a, b, c）对比，清晰地展示了什么是必须由多个模态结合才能解答的问题，以及什么是仅凭单模态就能解答的问题。
数据生产流程的核心在于：
为构建全面的评测体系，我们不仅自建数据，还针对性地从 AV-Odyssey、WorldSense 等公开数据集中筛选了高质量样本进行补全（在整体全模态数据中占比 11%）。此外，为降低大规模评测带来的算力消耗，我们独创了聚类引导的分层抽样法。实验证明，该方法在保持模型排名高度一致性的前提下，成功将评测成本降低了超过 90%。
为了打破传统选择题无法有效评估复杂推理的局限，引入了创新的多步开放式问题（MO，Multi-step Open-ended question）。这种题型将一个复杂的长链条推理任务，拆解为多个相互依赖、层层递进的子问题，并要求模型对每一步都给出开放式的文本答案。
评分则由专家根据每一步的难度与重要性进行加权赋分（满分 10 分）。这种设计能够直观地揭示模型在多步推理中的能力衰减现象，从而精准地区分出模型的“浅层猜测”与“深度思考”，是衡量顶尖模型推理能力的关键指标，具体示例如图 5 所示。
为实现自动化评估，LongCat 团队还提出了一个通用评分模型，通过对问题类型进行细分（如图 7 所示），并结合人工和自动标注多轮质量迭代的数据集（如图 6 所示），使其能够支持 6 种通用问题类型的自动评分，在分布外的模型和基准测试中达到了 95%的准确率。
LongCat 团队在 UNO-Bench 上对包括 Qwen、Baichuan、MiniCPM 以及 Gemini 系列在内的多款主流全模态大模型进行了全面评测。实验设计旨在回答三个核心问题：
总体格局：闭源模型优势显著，开源模型仍在追赶
如表格 2 所示，在本次评测的开源模型中，LongCat-Flash-Omni 表现出开源 SOTA（State-of-the-Art）的成绩。该模型在音频（80.20）、视觉（67.06）、全模态选择题（49.90）以及全模态开放题（42.68）四大核心维度上，全面超越了本次评测中的其他开源模型。
与此同时，以 Gemini 系列为代表的闭源模型在所有评测维度上，特别是在顶尖性能层面，依然保持着领先优势，其中 Gemini-2.5-Pro 稳居行业标杆。当面对难度更高的“多步开放式问题”（Omni-MO）时，所有模型的性能普遍下滑，这清晰地反映出，长链条、跨模态的深度推理依然是整个 AI 领域亟待攻克的难题。
能力拆解：推理是区隔强弱的核心维度
通过对感知与推理能力的细化分析（见表格 3），我们发现：
综合来看，模型的感知能力相对较强，而真正的性能差距主要体现在推理能力上。以 Qwen-3-Omni-30B 与 Gemini-2.5-Pro 为例，两者在感知能力上相差 23 分，但在推理能力上的差距则拉大到 33 分，这表明：推理能力是划分模型强弱的关键分水岭。
顶尖梯队与人机对比剖析
LongCat 团队进一步对 Gemini-2.5-Pro 的卓越表现进行了剖析。一方面，这得益于其强大的单模态基础能力；另一方面，其内置的语音转写并自然融入推理链路的能力，是多数开源模型尚不具备的。
说明: Gemini-2.5-Pro 在感知能力上与人类相当，但在推理能力上仍有差距。
如图 9 所示，观察到一个有趣的现象：
得益于 UNO-Bench 统一的能力体系与高质量数据，通过回归与消融实验，揭示了单、全模态能力间的深刻关系。
“组合定律”成立，且遵循幂律协同
我们对各模型的单、全模态得分进行了回归分析，发现了一个强关联性，并将其形式化为一个科学定律。
如图 10 所示，全模态的性能并非单模态能力的简单线性叠加，而是遵循一种乘积规律。通过严谨的数学推导和非线性拟合，得到了一个拟合度高达 97.59% 的幂律公式：
POmni ≈ 1.0332 · (PA × PV)^2.1918 + 0.2422
该幂律公式的指数大于 1，使得函数曲线呈现为一条加速上升的凸形。这完美地解释了两种现象的涌现：
更重要的是，这个“组合定律”提供了一种全新的、跨越模型规模的分析范式。它允许研究人员将不同参数规模、不同架构的模型放置在同一个坐标系下进行比较，不再仅仅关注各自的绝对得分，而是通过它们在幂律曲线上的相对位置，来统一度量其“模态融合效率”。一个模型如果显著高于拟合曲线，则意味着其模态融合机制更为高效；反之，则可能存在融合瓶颈。这为评估和优化全模态大模型的内在融合能力，提供了一个极具价值的分析工具。
从图 10 的具体模型分布来看，其中参与拟合的模型由圆点表示，新增的 LongCat-Flash-Omni 模型表现较为突出。虽然 Gemini 系列的具体参数规模未知，但可以观测到 LongCat-Flash-Omni 的表现已非常接近 Gemini-2.5-Flash，并显著领先于 Qwen3-Omni-30B。其位置正处于曲线加速上升的“协同增益区”，且与理论拟合曲线高度吻合，这表明该模型展现出了高效的多模态融合能力。
消融实验验证
这再次印证了多通道互补与融合是通往更高智能的必经之路。
LongCat 团队通过详尽的视觉与音频消融实验（具体数据参见表格 4、5）进一步验证了这些发现。实验表明，对于多数模型，提供文本描述（Caption/ASR）比直接处理原始视听信息能获得更好的效果，但顶尖模型如 Gemini-2.5-Pro 则能从原始信号中提取比文本更丰富的信息。
除了核心的实验发现，UNO-Bench 作为一个评测基准本身的科学性和有效性，也通过以下几个方面得到了验证。
多步开放式问题的卓越区分度
如表格 6 所示，创新的 MO 题型能够真实地刻画模型在长链条推理中的能力衰减，有效放大了模型间的认知鸿沟。
高效的数据集压缩算法
如图 11 所示，我们设计的聚类引导抽样法，能在保持模型排名一致性（SRCC/PLCC > 0.98）的前提下，将评测算力消耗降低超过 90%，实现了效率与准确性的平衡。
卓越的数据质量与区分度
一个评测基准的有效性，最终体现在其数据的质量和区分模型优劣的能力上。UNO-Bench 在这两方面都表现出色。
而在与其他全模态基准的直接对比中（如图 12 所示），UNO-Bench 的有效性也得到了进一步验证。它不仅通过更高的得分标准差（19.5 vs. 12.75）展现了比 OmniBench 更强的区分能力，还通过合理的难度设置，避免了像 AV-Odyssey 那样所有模型得分被压缩在狭窄低分区间的窘境。这确保了 UNO-Bench 既能有效评估当前模型，也为未来更强模型的涌现预留了足够的成长空间，是一个更可靠和富有洞察力的评测工具。
本文提出了一站式全模态大模型评测基准——UNO-Bench。该基准通过科学的评测框架，首次揭示了多模态智能并非简单的线性叠加，而是遵循着一种乘积规律，这一规律在能力较弱的模型上体现为瓶颈限制，而在顶尖模型上则表现为协同增益的特性，这个全模态大模型的“组合定律”为行业提供了一种全新的、跨越模型规模的分析范式。LongCat 团队的评测结果进一步表明，以 Gemini 为代表的闭源模型在单模态及跨模态理解上仍远超主流开源阵营，其顶配版本虽在感知能力上已逼近人类专家，但在复杂的推理层面仍存在亟待突破的空间。而这些发现，正是得益于 UNO-Bench 自身的较高的数据质量与创新的评价机制，它有效扩展了模型表现的区分度，为新一代智能体的持续成长奠定了坚实基础。
面向未来，LongCat 团队将通过自动化人机共建流程持续扩充数据规模，引入 STEM、Code 等更具挑战性的场景，并深入探索模态间的互动关系，为下一代通用人工智能的发展开辟新路径。
开源资源
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。