






















💡 站外导读:在自动驾驶技术从“感知”向“决策”深化的关键阶段,如何让AI真正理解复杂路况并做出类人推理,成为行业最大瓶颈。传统模型往往止步于物体识别,却缺乏对驾驶行为背后因果逻辑的建模能力,导致在边缘场景中泛化性不足。英伟达最新推出的Alpamayo-R1(AR1)视觉-语言-动作模型,正瞄准这一核心痛点,试图通过构建因果推理链条,将大模型的认知能力引入驾驶决策闭环,为行业提供一个从底层逻辑上提升安全性和可靠性的新范式。
Alpamayo-R1(AR1)是英伟达推出的视觉-语言-动作(VLA)模型,通过因果推理提升自动驾驶的决策能力和泛化性。模型的核心创新包括:构建因果链(CoC)数据集,通过“人机协同+自动标注”生成高质量的推理轨迹;采用Cosmos-Reason作为VLM骨干网络,网络基于大量视觉问答样本训练,具备物理常识和具身推理能力;设计多阶段训练策略,结合监督微调和强化学习,优化推理质量和轨迹生成。AR1在实验中显著提升了规划精度,降低了越界率和近碰率,同时保持了99毫秒的低延迟,适合实时自动驾驶应用。

因果推理与轨迹规划:通过构建因果链(CoC)数据集,AR1能够进行因果推理,生成符合驾驶逻辑的推理轨迹,提升决策的准确性和泛化能力。
高效视觉编码与特征提取:优化视觉编码器,将多相机图像的特征提取效率提升10-20倍,显著降低计算资源消耗。
实时性与低延迟:模型端到端推理时间仅99毫秒,满足自动驾驶对实时性的严格要求。
提升轨迹质量:在开环和闭环评测中,AR1显著降低了越野率和近距离接触率,提升了轨迹的平滑性和安全性。
开源助力行业进步:作为开源模型,AR1降低了自动驾驶研发门槛,为汽车制造商和研究机构提供了强大的技术支持。
因果链(CoC)数据集:通过“自动标注+人机协同”的混合流程构建,生成与驾驶行为对齐、以决策为核心且具备因果关联的推理轨迹。数据集包含驾驶决策、因果因素和组合CoC轨迹三个结构化组件。
模块化VLA架构:整合为物理智能应用预训练的视觉-语言模型Cosmos-Reason,以及基于扩散模型的轨迹解码器,可实时生成动态可行驶的规划方案。
多阶段训练策略:采用有监督微调激发模型推理能力,并结合强化学习,通过大型推理模型反馈优化推理质量,同时确保推理与动作的一致性。
高效视觉编码:支持多种高效多摄像头tokenizer,如三平面tokenizer和Flex tokenizer,显著减少token数量,满足实时推理需求。
动作专家轨迹解码器:基于flow matching框架,高效生成连续、多模态的轨迹规划方案,既能与语言推理输出对齐,又能满足实时推理需求。
自动驾驶决策与规划:AR1通过因果推理生成安全、高效的驾驶轨迹,适用于复杂交通环境中的自动驾驶决策,提升车辆的自主决策能力。
交通场景模拟与测试:可用于构建虚拟交通场景,模拟各种驾驶情境,帮助测试自动驾驶系统的性能和安全性。
智能交通系统优化:为智能交通系统提供决策支持,优化交通流量,减少拥堵,提升整体交通效率。
车辆安全与避障:通过实时轨迹规划和避障决策,降低交通事故风险,提升车辆在复杂环境中的安全性。
英伟达发布AR1,标志着自动驾驶技术栈正从“感知-规划”二元架构,向“认知-推理-行动”一体化范式跃迁。AR1的核心突破在于,它首次将视觉-语言大模型(VLM)的常识推理能力,与物理世界的动作生成进行了深度对齐。这不再是简单的端到端模仿学习,而是尝试为AI驾驶系统构建一个可解释的“思维链”。其开源策略更具战略意义,旨在降低高阶自动驾驶的研发门槛,推动行业从拼硬件数据,转向拼算法与推理架构。在特斯拉FSD V12引领的纯视觉神经网络路线之外,英伟达正通过AR1等模型,试图建立基于“世界模型”和“因果推理”的第二条技术主航道,这或将引发下一代自动驾驶算法范式的激烈竞争。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。