💡 站外导读：在AIGC视频生成浪潮中，如何让虚拟数字人从“形似”跃升到“神似”，尤其是实现与真人无异的口型同步与长时段自然动态，始终是行业技术攻坚的核心痛点。当前多数模型在视频时长、身份一致性及静音段处理上存在瓶颈，限制了其在影视、直播等商业场景的大规模落地。美团LongCat团队开源的LongCat-Video-Avatar模型，正是瞄准这一关键挑战，试图用技术突破重塑数字人视频生产的工作流。
LongCat-Video-Avatar 是美团 LongCat 团队推出的音频驱动角色动画模型。模型能生成超逼真、口型同步的长视频，保持人物身份一致性和自然动态。LongCat-Video-Avatar支持多种生成模式，包括音频文本生成视频（AT2V）、音频文本图像生成视频（ATI2V）和视频续写。通过解耦音频信号与动作、避免重复内容和减少 VAE 错误累积等技术，实现高质量、长时间的视频生成，可用于演员表演、歌手动态、播客、销售演示及多人互动场景。
多模式视频生成：支持音频文本生成视频（AT2V）、音频文本图像生成视频（ATI2V）和视频续写，满足不同场景的多样化需求。
自然动态与身份一致性：模型能保持人物身份一致，生成自然的面部表情、口型同步和肢体动作，在多人互动场景中能维持自然流畅的对话行为。
高质量视频生成：通过解耦音频信号与动作，避免静音时的僵硬行为，减少像素退化，确保长视频的稳定性和一致性。
多样化应用场景：适用演员表演、歌手展示、播客、销售演示等场景，为不同领域提供高质量的视频生成解决方案。
解耦语音与动作（Disentangled Unconditional Guidance）：通过区分语音信号与整体动作，模型在静音片段中也能生成自然的肢体动作，避免因过度依赖语音信号导致的静态行为，实现更自然的动态表现。
参考跳过注意力机制（Reference Skip Attention）：该机制有选择性地引入参考图像信息，能保持人物身份的一致性，防止因参考图像过度泄漏导致的“复制粘贴”现象，平衡视觉保真度与动作多样性。
跨块潜在缝合策略（Cross-Chunk Latent Stitching）：通过减少自回归生成中冗余的 VAE 解码 – 编码循环，降低像素退化问题，避免长视频生成中的累积误差，确保视频的连贯性和一致性。
基于扩散模型的统一框架（Unified DiT-based Framework）：采用基于扩散模型（Diffusion Model）的架构，能生成超逼真的长时长视频，支持多种生成模式，包括音频文本到视频（AT2V）、音频文本图像到视频（ATI2V）以及视频续写。
多流音频输入支持：支持单流或多流音频输入，通过 L-ROPE（Learnable Relative Positional Encoding）技术实现音频与视觉信息的绑定，适应复杂的多人交互场景。
影视制作：用于生成演员的自然表情和口型同步，降低特效成本，提升影视角色的逼真度。
音乐与娱乐：为歌手和虚拟偶像生成生动的肢体动作和舞台表现，增强音乐视频和虚拟表演的视觉效果。
内容创作与教育：为主播和教师生成高质量视频，提升播客、视频博客和在线教育的吸引力和互动性。
商业与销售：模型能生成自然流畅的产品演示和虚拟客服视频，提升销售效果和品牌形象。
多人互动场景：模型支持多人对话和互动，保持自然交流动态，适用会议、访谈和社交娱乐。
LongCat-Video-Avatar的开源，标志着AI数字人视频生成正从“可演示”向“可生产”关键一跃。其技术核心在于精妙的“解耦”哲学——将语音、动作、身份等要素拆解再重组，这解决了长视频生成中累积误差与静音僵硬的行业顽疾。这不仅是工具升级，更预示着AIGC产业逻辑的变迁：从追求单一炫技，转向为复杂、长程、多模态的真实业务场景提供稳定生产力。美团以场景驱动研发，将模型能力锚定在影视、直播、营销等高价值链条上，显示出大厂正从‘造轮子’转向‘建生态’。随着此类高质量开源模型的涌现，专业视频内容的制作门槛将进一步降低，一个‘人人可导演’的个性化内容时代正在加速到来。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。