💡 站外导读：随着虚拟现实、游戏开发和数字孪生需求激增，从2D图像快速生成高质量3D场景成为行业痛点。传统3D建模耗时费力，而现有AIGC工具多停留在2D生成或短片段3D合成，难以实现连贯的沉浸式世界探索。腾讯混元Voyager的发布，直击这一核心需求，首次实现从单张图片到超长漫游3D世界的端到端生成，为内容创作开辟全新路径。
HunyuanWorld-Voyager（简称混元Voyager）是腾讯推出的业界首个支持原生3D重建的超长漫游世界模型。是新颖的视频扩散框架，能从单张图片生成用户定义相机路径的3D点云序列，支持沿着自定义相机轨迹进行世界探索的3D一致场景视频生成，可生成对齐的深度和RGB视频，用于高效直接的3D重建。模型包含两个关键组件：世界一致视频扩散和长距离世界探索，通过高效的点剔除和自回归推理实现迭代场景扩展。提出了可扩展的数据引擎，用于生成RGB-D视频训练的可扩展数据。在WorldScore基准测试中，Voyager在多个指标上均取得了优异的成绩，展现了其强大的性能。
从单张图片生成3D点云序列：能根据用户定义的相机路径，从单张图片生成3D一致的点云序列，支持长距离的世界探索。
生成3D一致的场景视频：可以沿着用户自定义的相机轨迹生成3D一致的场景视频，为用户提供沉浸式的3D场景漫游体验。
支持实时3D重建：生成的RGB和深度视频可直接用于高效的3D重建，无需额外的重建工具，实现从视频到3D模型的快速转换。
多种应用场景支持：适用于视频重建、图像到3D生成、视频深度估计等多种3D理解和生成任务，具有广泛的应用前景。
强大的性能表现：在斯坦福大学发布的WorldScore基准测试中，HunyuanWorld-Voyager在多个关键指标上均取得了优异的成绩，展现了其在3D场景生成和视频扩散方面的强大能力。
世界一致视频扩散：模型采用统一的架构，联合生成对齐的RGB和深度视频序列，通过条件于现有的世界观察来确保全局一致性。
长距离世界探索：利用高效的点剔除技术和自回归推理，结合平滑的视频采样，实现迭代场景扩展，同时保持上下文感知的一致性。
可扩展的数据引擎：提出了一个视频重建管道，自动化地进行相机姿态估计和度量深度预测，能够为任意视频生成大规模、多样化的训练数据，无需手动3D注释。
自回归推理与世界缓存机制：通过高效的点剔除和自回归推理，结合世界缓存机制，实现迭代场景扩展，维持几何一致性，支持任意相机轨迹。
高效的3D重建：生成的RGB和深度视频可直接用于高效的3D重建，无需额外的重建工具，实现从视频到3D模型的快速转换。
项目官网：https://3d-models.hunyuan.tencent.com/world/
Github仓库：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
Hugging Face模型库：https://huggingface.co/tencent/HunyuanWorld-Voyager
技术报告：https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf
视频重建：通过生成对齐的RGB和深度视频，实现高效且直接的3D重建，无需额外的重建工具。
图像到3D生成：从单张图片生成3D一致的点云序列，支持从2D图像到3D场景的转换，可用于虚拟场景的快速构建。
视频深度估计：生成与RGB视频对齐的深度信息，可用于视频分析和3D理解任务。
虚拟现实（VR）和增强现实（AR）：生成的3D场景和视频可用于创建沉浸式的VR体验或增强现实应用。
游戏开发：生成的3D场景资产可无缝接入主流游戏引擎，为游戏开发提供丰富的创意和内容支持。
3D建模和动画：生成的3D点云和视频可作为3D建模和动画制作的输入，提高创作效率。
腾讯此次发布的HunyuanWorld-Voyager，远不止一个技术Demo，而是AIGC进入’世界构建’阶段的里程碑。它巧妙融合了视频扩散模型与3D重建，通过’世界一致视频扩散’和’自回归世界探索’两大创新，在保持全局几何一致性的同时，实现了近乎无限的场景延伸。这标志着生成式AI正从’创造像素’升级为’构建可交互的、一致的3D环境’。对于XR、游戏和数字孪生产业而言，这意味着内容生产的范式转移——从手工建模走向AI驱动的自动化世界生成。尽管目前可能仍需优化计算效率与细节控制，但其展示的路径清晰指向了下一代沉浸式互联网的基础设施。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。