💡 站外导读：在虚拟主播、在线教育和影视制作需求井喷的今天，数字人视频生成仍面临口型、表情与肢体动作脱节的核心痛点，导致画面僵硬、成本高昂。传统驱动技术往往需要密集数据输入，难以规模化应用。美团视觉智能部最新发布的开源框架InfiniteTalk，正瞄准这一瓶颈，提出稀疏帧驱动新范式，旨在以更少数据、更低成本，实现更自然、更同步的数字人视频生成。

InfiniteTalk是美团视觉智能部推出的新型数字人驱动技术，通过稀疏帧video dubbing范式，仅需少量关键帧能驱动数字人人生成自然流畅的视频，解决传统技术中口型、表情和肢体动作脱节的问题。InfiniteTalk使数字人视频更具沉浸感和自然感，生成效率高、成本低。InfiniteTalk的论文、代码和权重已开源，为数字人技术的发展提供重要参考。

InfiniteTalk的主要功能

• 高效驱动虚拟人：仅需少量关键帧，能精准驱动虚拟人生成自然流畅的视频，实现口型、表情和肢体动作的完美同步。

• 多样化场景适配：适用虚拟主播、客服、演员等多种场景，为不同行业提供高效、低成本的虚拟人解决方案。

• 高效率视频生成：通过稀疏帧驱动和时间插值技术，快速生成高质量视频，大幅降低制作成本和时间。

InfiniteTalk的技术原理

• 稀疏帧video dubbing范式：基于稀疏帧驱动方式，仅需少量关键帧来捕捉人物的口型、表情和动作变化。关键帧包含人物动作和表情变化的主要信息，通过合理的时间插值，能生成中间帧，实现完整的视频序列。基于先进的时间插值算法，对关键帧之间的时间间隔进行合理填充。同时，通过融合技术将关键帧的动作、表情和口型自然地过渡到中间帧，生成连贯的视频内容。
• 多模态融合与优化：将文本、音频和视觉信息进行融合。例如，通过语音识别技术提取音频中的语音内容，结合文本信息，更准确地控制虚拟人的口型和表情。基于深度学习中的优化算法，对虚拟人的动作、表情和口型进行微调，确保与输入的音频和文本高度一致，提升视频的自然度和真实感。
• 高效的计算架构：构建轻量化的深度学习模型，减少计算资源的消耗，同时保证模型的性能。用并行计算技术，对视频生成过程中的多个任务进行并行处理，进一步提高视频生成的速度和效率。

InfiniteTalk的项目地址

• 项目官网：https://meigen-ai.github.io/InfiniteTalk/
• GitHub仓库：https://github.com/MeiGen-AI/InfiniteTalk
• HuggingFace模型库：https://huggingface.co/MeiGen-AI/InfiniteTalk
• arXiv技术论文：https://arxiv.org/pdf/2508.14033

InfiniteTalk的应用场景

• 虚拟主播：为新闻、综艺、直播等节目提供虚拟主播，实现24小时不间断播报，提升节目效率和趣味性。

• 影视制作：在电影、电视剧等制作中，用在虚拟角色的快速生成和动作捕捉，降低制作成本和时间。

• 游戏开发：助力游戏中的虚拟角色生成，提升角色动作的自然度和流畅度，增强游戏的沉浸感。

• 在线教育：创建虚拟教师，为学生提供个性化的教学服务，如在线答疑、课程讲解等，提升教学效果。

• 培训模拟：用在企业培训中的虚拟场景模拟，如客服培训、销售培训等，让员工在虚拟环境中进行实践和学习。