💡 站外导读：当前AIGC视频生成领域面临创作流程复杂、人物场景一致性难维持、长视频制作效率低下等核心痛点。随着短视频与数字内容需求爆发，创作者亟需自动化工具将创意快速视觉化。ViMax作为港大开源的端到端框架，通过智能体协作将传统视频制作中导演、编剧、制片等角色功能模块化，直击从文本到视频的转化瓶颈，为行业提供了高效自动化的新范式。

ViMax 是香港大学数据科学实验室推出的端到端多智能体视频生成框架，支持将创意、剧本或小说自动转化为完整视频。框架整合导演、编剧、制片人和视频生成器的功能，支持 Idea2Video、Novel2Video、Script2Video 和 AutoCameo 等模式，能生成分钟级长视频并保持人物与场景一致性。通过智能分镜、多摄像机模拟和自动化一致性检测等技术，ViMax 实现了从创意到成片的高效自动化流程，极大地简化视频创作，降低技术门槛，为创作者提供强大的工具。

ViMax的主要功能

• Idea2Video：将简单的创意概念转化为完整的视频故事，适合没有详细剧本的初步想法。

• Novel2Video：将长篇小说自动改编为分集视频内容，适合文学作品的影视化。

• Script2Video：根据详细的剧本生成视频，适合已有成熟剧本的创作者。

• AutoCameo：用户上传照片后，生成包含自己形象的视频，实现个性化互动体验。

ViMax的技术原理

ViMax 用多智能体协作架构，将视频生成任务分解为多个模块，由不同智能体分工完成：

• 输入解析：提取创意或剧本中的关键信息，如角色、场景和风格。

• 脚本理解与分镜设计：基于提取的信息，生成详细的分镜头脚本，规划拍摄角度和叙事节奏。

• 视觉资产规划：智能选择参考图像，为每个镜头设计合适的场景布局和风格。

• 一致性检查：用 MLLM/VLM 模型检测生成图像的一致性，确保人物和场景在视频中连贯。

• 并行生成与合成：通过并行处理技术高效生成镜头，将镜头拼接为完整的视频。

ViMax的项目地址

• GitHub仓库：https://github.com/HKUDS/ViMax

ViMax的应用场景

• 短视频制作：创作者快速将创意转化为短视频，用于社交媒体平台（如抖音、B站等）。
• 教育视频：将复杂的教学内容转化为生动的视频，帮助学生更好地理解和记忆。
• 互动视频：通过 AutoCameo 功能，用户将自己的形象融入视频，增加互动性和趣味性。
• 小说可视化：将长篇小说改编为视频内容，为文学作品提供新的传播形式。
• 个人故事视频：用户将自己的故事或创意转化为视频，用于个人纪念或分享。