💡 站外导读：在追求沉浸式数字体验的浪潮中，交互式世界模型正成为突破AI能力边界的关键。然而，现有模型常受限于生成时长短、延迟高、物理逻辑失真等问题，难以满足实时交互需求。昆仑万维此次发布的Matrix-Game 2.0，作为业内首个开源的通用场景实时长序列交互式生成模型，旨在直击这些痛点，通过创新的视觉驱动架构与长序列生成能力，为构建更真实、可控的虚拟世界提供全新基石。
Matrix-Game 2.0 是昆仑万维 SkyWork AI 发布的自研世界模型。是业内首个开源的通用场景实时长序列交互式生成模型，全面开源，推动交互式世界模型领域的发展。模型采用视觉驱动的交互方案，通过 3D 因果变分自编码器和多模态扩散 Transformer 架构，实现低延迟、高帧率的长序列交互性能，能以 25 FPS 的速度生成连续视频内容，支持分钟级生成时长。具备精准的物理规律和场景语义理解能力，支持用户通过简单指令自由操控虚拟环境，适用于游戏开发、虚拟现实和影视制作等场景。
实时长序列生成：能以 25 FPS 的速度在多种复杂场景中稳定生成连续视频内容，生成时长可扩展至分钟级，显著提升了连贯性与实用性。
精准交互控制：支持用户通过简单指令（如键盘方向键、鼠标操作）自由探索、操控虚拟环境，精准响应用户的交互操作。
视觉驱动建模：采用视觉驱动的交互世界建模方案，专注于通过视觉理解和物理规律学习来构建虚拟世界，避免了语言先验带来的语义偏置。
多场景泛化能力：具备出色的跨域适应性，支持多种风格与环境的模拟，包括城市、野外等空间类型，以及真实、油画等视觉风格。
增强的物理一致性：角色在面对台阶、障碍物等复杂地形时，能展现出符合物理逻辑的运动行为，提升沉浸感与可控性。
视觉驱动交互世界建模：Matrix-Game 2.0 采用图像为中心的感知与生成机制，专注于通过视觉理解和物理规律学习来构建虚拟世界，避免了传统依赖语言提示的生成模式，更真实、更准确地理解和生成虚拟世界。
3D 因果变分自编码器（3D Causal VAE）：通过三维因果变分自编码器实现空间和时间维度的高效压缩，提升建模效率与生成能力。对视频的时空特征进行编码和解码，将视频压缩到低维的潜在空间，降低计算复杂度，同时保留关键的时空信息。
多模态扩散 Transformer（DiT）：结合视觉编码器与用户动作指令，逐帧生成物理合理的动态视觉序列，通过 3D VAE 解码成完整视频。
自回归扩散生成机制：基于 Self-Forcing 训练策略，通过创新的自回归扩散生成机制克服了传统双向扩散模型的延迟和误差累积问题。通过历史帧条件生成当前帧，减少因依赖未来帧而导致的时序延迟。
分布匹配蒸馏（DMD）：通过最小化与基础模型之间的分布差异，引导学生模型学习生成高质量视频帧，对齐训练与推理阶段的分布，显著缓解误差积累问题。
KV 缓存机制：引入键值缓存机制（KV-Cache），显著提升长视频生成的效率和一致性。通过维护固定长度的注意力上下文，实现无缝滚动生成，支持无限时长的视频输出。
项目官网：https://matrix-game-v2.github.io/
GitHub仓库：https://github.com/SkyworkAI/Matrix-Game
HuggingFace模型库：https://huggingface.co/Skywork/Matrix-Game-2.0
技术报告：https://github.com/SkyworkAI/Matrix-Game/blob/main/Matrix-Game-2/assets/pdf/report.pdf
游戏开发：Matrix-Game 2.0 可以在多种游戏场景中生成真实感更强、符合物理逻辑的可交互视频，支持角色的动态行为和场景交互，例如在 GTA 和 Minecraft 等游戏场景中模拟车辆运作或角色移动。
虚拟现实：模型能实时生成高质量的虚拟环境，支持用户通过简单指令自由探索和操控虚拟世界，为虚拟现实应用提供了强大的技术支持。
影视制作：Matrix-Game 2.0 可以快速生成高质量的虚拟场景和动态内容，帮助影视制作团队高效地创建复杂的视觉效果和动画场景。
具身智能：Matrix-Game 2.0 提供了具身智能体训练与数据生成的技术支持，为智能体在虚拟环境中的训练和测试提供了高效的解决方案。
虚拟人和智能交互系统：Matrix-Game 2.0 的实时交互能力和对物理规则的理解使其成为虚拟人和智能交互系统的理想解决方案，能生成自然流畅的动作和响应。
Matrix-Game 2.0的发布，标志着交互式世界模型从技术演示迈向工程化与开源生态的关键一步。其核心突破在于‘视觉驱动’范式——摒弃了对语言先验的依赖，转而深度学习视觉与物理规律，这更贴近人类感知世界的方式，也为模型的泛化能力打下基础。25 FPS的实时生成与分钟级长序列稳定性，则解决了从‘能生成’到‘能用好’的工程瓶颈。结合‘自回归扩散’、‘KV缓存’等创新，它实质上是在构建一个可无限滚动的、符合物理直觉的‘数字世界引擎’。这不仅将颠覆游戏原型设计与VR内容生产，更深远的意义在于为‘具身智能’提供了高保真、可交互的训练环境。开源策略进一步加速了该领域从实验室研究到产业应用的转化，预示着一个由AI原生内容驱动的交互媒体新阶段正在加速到来。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。