💡 站外导读：当视频内容需求呈指数级增长，传统视频生成模型却深陷效率与质量的泥潭：生成过程缓慢、计算资源消耗巨大，且在处理长视频时频繁出现动作漂移和物体变形，严重制约了其在影视、游戏等领域的实际应用。行业迫切需要一种能够实现高帧率、长时序、强交互性的新一代视频生成方案。字节跳动的Seaweed APT2应运而生，其核心的自回归对抗后训练（AAPT）技术，旨在从根本上突破这些瓶颈，将AI视频生成推向一个更高效、更连贯、更接近实时应用的新阶段。

Seaweed APT2是字节跳动推出的创新的AI视频生成模型，通过自回归对抗后训练（AAPT）技术，将双向扩散模型转化为单向自回归生成器，实现高效、高质量的视频生成。模型能在单次网络前向评估（1NFE）中生成包含多帧视频的潜空间帧，显著降低了计算复杂性，通过输入回收机制和键值缓存（KV Cache）技术，支持长时间视频生成，解决了传统模型在长视频生成中常见的动作漂移和物体变形问题。能在单块GPU上实现24帧/秒的流畅视频流生成，支持实时3D世界探索、互动虚拟人类生成等强大功能，广泛应用于影视特效、游戏开发、虚拟现实和广告创意等领域。

Seaweed APT2的主要功能

• 实时3D世界探索：用户可通过控制相机视角（如平移、倾斜、缩放、前后移动）在生成的3D虚拟世界中自由探索，带来沉浸式体验。

• 互动虚拟人类生成：支持实时生成并控制虚拟角色的姿势与动作，适用于虚拟主播、游戏角色等场景。

• 高帧率视频流：在单块H100 GPU上实现24帧/秒、640×480分辨率的流畅视频生成，8块GPU可支持更高清的720p输出。

• 无限场景模拟：通过在潜空间中引入噪声，模型能动态生成多样化的实时场景，展现“无限可能”。

Seaweed APT2的技术原理

• 自回归对抗后训练（AAPT）技术：摒弃传统扩散模型的多步推理模式，将预训练的双向扩散模型转化为单向自回归生成器，通过对抗目标优化视频的真实感和长期时间一致性，解决了传统模型在长视频生成中常见的动作漂移和物体变形问题。

• 单次网络前向评估（1NFE）：每次网络前向评估可生成包含4帧视频的潜空间帧，显著降低了计算复杂性，提高了生成效率。

• 输入回收机制：将每一帧重新用作输入，确保长视频的动作连贯性，避免了传统模型中常见的动作断裂问题。

• 键值缓存（KV Cache）技术：结合1NFE，支持长时间视频生成，计算效率远超现有模型。

Seaweed APT2的项目地址

• 项目官网：https://seaweed-apt.com/2
• arXiv技术论文：https://arxiv.org/pdf/2506.09350

Seaweed APT2的应用场景

• 影视特效：快速生成复杂场景和特效，降低制作成本，提升创作效率。

• 游戏开发：提供实时交互的虚拟场景和角色，增强游戏的沉浸感。

• 虚拟现实（VR）：为VR应用生成逼真的虚拟环境和角色，提升用户体验。

• 广告创意：快速生成创意广告视频，满足不同场景的需求。