IT之家 4 月 29 日消息，当地时间 4 月 28 日，英伟达宣布推出名为 Nemotron 3 Nano Omni 的开源全模态推理模型，旨在为企业级 AI Agent 提供一体化基础模型底座。

据介绍，这是一款将视频、音频、图像和文本的统一多模态推理集成于单个高效开放模型中的产品。该模型旨在替代智能体系统中常见的碎片化视觉-语音-语言模型链，从而减少推理跳数与编排复杂度，降低推理成本，同时增强跨模态上下文一致性。

Nemotron 3 Nano Omni 可在智能体系统中充当多模态感知与上下文子 Agent，使智能体能够在单个共享的“感知-行动”循环中处理视觉、音频和文本输入，提升收敛速度，降低编排复杂度和推理成本。

在文档智能榜单（如 MMlongbench-Doc 和 OCRBenchV2）上，该模型取得了同类领先的准确率；同时在视频与音频理解基准（WorldSense、DailyOmni、VoiceBench）中也表现优异。

行业基准 MediaPerf（基于真实媒体数据和生成任务评估视频理解模型的性能、成本和吞吐量）显示，Nemotron 3 Nano Omni 在所有任务上实现了最高吞吐量，且视频级标注的推理成本最低。

该模型基于 30B‑A3B 混合专家（MoE）架构，可根据任务和模态进行激活，实现高吞吐量与可扩展的多模态性能。IT之家注意到，其模型权重、数据集和训练配方完全开放，开发者可在本地、云端或企业环境中定制、部署和集成多模态子 Agent。

英伟达表示，在固定交互延迟阈值下，Nemotron 3 Nano Omni 在视频推理任务中可持续提供更高的聚合吞吐量，相比其他开放式全模态模型有效系统容量最高提升约 9.2 倍；在多文档推理任务中，有效系统容量最高提升约 7.4 倍。在 Blackwell GPU 上采用 NVFP4 量化时，该模型在处理复杂文档、长时推理和大批量视频的企业级工作负载中，吞吐量在开放式全模态模型中居于领先。

架构设计方面，Nemotron 3 Nano Omni 核心为混合 MoE，结合 Mamba 层（提升序列与内存效率）和 Transformer 层（实现精准推理），内存和计算效率最高可提升 4 倍。

视觉处理方面，它采用 3D 卷积捕捉帧间运动，推理时通过高效视频采样层将高密度视觉 token 压缩为 LLM 可处理的精简集合；音频部分则基于 NVIDIA Parakeet 编码器与专用数据集；文本部分以强大的文本模型作为中心解码器，保留基础模型的语言能力；视觉编码采用 C-RADIOv4-H，支持高分辨率图像与 OCR 精度。

其训练方法涵盖适配器与编码器训练（约 1270 亿跨模态 token）、多阶段监督微调及后监督强化学习（超过 230 万次环境 rollout）。该模型权重已在 Hugging Face 上提供，并即将作为 NVIDIA NIM 微服务上线。英伟达还开放了完整的端到端训练与评估配方、部署指南、微调食谱以及开放数据集。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。