AI 视频生成有个根本问题：模型记不住东西。想象一下，让你同时记住 1000 张照片里每个细节，在第 1001 张时还能完全还原第一张的内容，窗台上的花盆纹路、地毯的颜色分毫不差，这根本做不到。
计算机也一样。不管理记忆，每多一帧计算量就爆炸。结果就是模型出现"健忘症"：镜头切走再回来，盆栽没了，街道变样了。
本文以 Wanx-2.1-1.3B（万象）模型为例，讲讲视频生成模型怎么通过"记忆压缩"在低算力下实现长视频的时空连贯。
存原始数据不现实。Wanx-2.1-1.3B 的做法是：不管历史多长（超过 1000 帧也行），都压成 20 个核心信息点（Latents）。
1000+ 帧压成 20 个 Latents，这个比例是算过账的。Wanx 基础模型在标准文生视频模式下，每一步本来就只能生成 20 个 Latents。历史记忆也压到 20 个，拼接后计算量只增加 2 倍左右。不会随帧数无限增长。
靠的是"双层下采样"。总时间轴下采样率 16 倍，平衡计算量和画质。
原始方案 (Naive Self-Attention) vs 双层压缩方案 (Double-Layer)：
- 计算量增长：原始方案随历史长度快速增长，容易爆炸；双层方案增长缓慢，维持在 2 倍左右
- 时间分辨率：原始方案全部 1000 帧参与计算；双层方案压成 20 个核心 Latents
- 记忆能力：原始方案只有短期记忆；双层方案能撑 1000+ 帧场景
关于 VAE 对齐
压缩时空间维度（H 和 W）不变，只在时间维度下采样两次（每次 4 倍，共 16 倍）。
这个 4 倍时间下采样率对齐了 Wanx 原有 VAE 在时序维度的压缩比，特征提取能保持一致。
没压缩 H 和 W 是为了保画质。实验发现空间维度压缩对效果影响不大，所以目前的策略是优先保住空间细节，压力全给时间维度。
有了压缩结构还不够，得通过"回环视频数据"（RDD, Recurrent Video Data）来训练模型还原记忆的能力。
研究人员拍了 30 分钟的回环场景：拍摄者在街上游走，每隔几秒做一次 360 度旋转，回到之前拍过的片段。
30 分钟数据就够用了。训练中用了不确定性估计（Uncertainty Estimation），帮模型区分哪些是确定的历史背景，哪些是干扰。
回环微调后，模型有了三个能力：
1. 空间重建：物体完全切出画面，模型也能按记忆在原位重建。
2. 动作响应：对控制指令（比如键盘操作）的反应更快。
3. 确定性提取：用不确定性估计过滤冗余信息，只留关键线索。
"盆栽案例"：镜头在房间里大范围移动后完全切走，几十秒后再回来，盆栽的纹理和位置还能对上，没塌。
用户盲测中，这个模型在长程一致性上比混元 (Hunyuan) 和 Matrix Game 更满意。
目前的局限
- 色彩漂移：没做 DMT 蒸馏加速，视频越长越可能出现色彩偏差。
- 数据采集：高质量 RDD 回环数据还是靠人工拍，没法完全自动化量产。
- 评测标准：行业里缺评估长程视频能力的自动 Benchmark，现在主要靠用户盲测。
压缩是为了更高效的提取，不是丢信息。双层下采样把历史对齐到 20 个 Latents，加上 RDD 回环微调，视频生成模型从"短期记忆"走向"长效环境感知"。
这套思路不光能用于视频，自动驾驶、虚拟现实这些需要长期环境认知的场景也能用。
核心要点：
- 20 Latents 预算：强制对齐基础模型生成规模，长视频计算开销控制在 2 倍
- 16x 时间压缩：双层 4x 下采样对齐 VAE 结构
- RDD 微调与不确定性估计：30 分钟数据就能激活空间重建和噪音过滤能力
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。