惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

有赞技术团队
有赞技术团队
Martin Fowler
Martin Fowler
N
Netflix TechBlog - Medium
WordPress大学
WordPress大学
罗磊的独立博客
H
Help Net Security
MongoDB | Blog
MongoDB | Blog
A
About on SuperTechFans
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
D
Docker
云风的 BLOG
云风的 BLOG
Microsoft Security Blog
Microsoft Security Blog
Blog — PlanetScale
Blog — PlanetScale
P
Proofpoint News Feed
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
I
InfoQ
J
Java Code Geeks
博客园 - 聂微东
大猫的无限游戏
大猫的无限游戏
Engineering at Meta
Engineering at Meta
美团技术团队
小众软件
小众软件
Stack Overflow Blog
Stack Overflow Blog
C
Check Point Blog

博客园 - Joy_CShow

搭建OpenClaw实现钉钉 AI 员工自动化 (二) 搭建OpenClaw实现钉钉 AI 员工自动化 (一) fantasy-talking:实现图片加音频生成对嘴数字人 window中搭建wsl环境 图片对嘴生成视频:HunyuanVideo-Avatar 音频克隆:对话文本到口语对话生成MOSS-TTSD 图片生成对嘴视频FLOAT 开源AI工具-文字生成图片Fooocus 文生图:介绍一个文字生成图片的开源工具 音频克隆阿里版-CosyVoice 音频克隆-Index-TTS进阶版(ComfyUI_IndexTTS)可以实现多人对话 文字生成视频开源AI大模型项目 音频克隆-Index-TTS 视频音频对嘴--Wav2Lip 音频克隆-GPT-SoVITS 自己写了一个视频拆分工具 本地搭建一个图片对嘴转视频工具-进阶版 本地搭建一个对嘴AI工具 搭建一个图片变视频的AI(一):模型介绍
搭建一个图片变视频的AI(二):开始搭建
Joy_CShow · 2025-06-26 · via 博客园 - Joy_CShow

前一章介绍了模型相关,现在开始搭建。

一:下载,解压ComfyUI

https://github.com/comfyanonymous/ComfyUI

上面链接中也有安装过程,可以参考。

也可以直接进入文件夹,直接运行,差什么,安装什么(我比较喜欢这样,因为我之前pip可能已经安装过了某些包)。最好借助AI,报错直接复制给AI,让它给出建议。

python .\main.py

根据报错,差什么,安装什么 pip install ...

特别注意:我一直遇到的问题,安装使用GPU的包时:pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 。安装的版本是2.5.1,因为自动适配我的CUDA Version: 12.9版本。

但是在安装pip install xformers 时,会卸载 torch,重新安装 torch 时,安装2.4.0。导致版本冲突,最终解决方案:

先:
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

然后:
pip install xformers==0.0.27.post2

结果完美适配我的CUDA。
不使用 xformers 也能运行,内存占用也非常大。建议尽可能使用 xformers

 检查一下:

import torch

print("CUDA 可用:", torch.cuda.is_available())
print("当前设备:", torch.cuda.get_device_name(0))
print("CUDA 版本:", torch.version.cuda)
print("cuDNN 版本:", torch.backends.cudnn.version())
运行:python .\gpu.py
CUDA 可用: True 当前设备: NVIDIA GeForce GTX
1080 CUDA 版本: 12.1 cuDNN 版本: 90100

二:安装ComfyUI Manager

https://github.com/Comfy-Org/ComfyUI-Manager

下载解压到文件夹 ComfyUI/custom_nodes/  中。然后重新启动ComfyUI:python  main.py。

如果报错,差什么,安装什么。

三:安装节点

1:下载ComfyUI-DynamiCrafterWrapper

https://github.com/kijai/ComfyUI-DynamiCrafterWrapper

下载解压到文件夹ComfyUI/custom_nodes/  中。

2:模型下载:https://huggingface.co/Kijai/DynamiCrafter_pruned/tree/main

模型文件下载到文件夹\ComfyUI\models\checkpoints\ 中:

3: 然后重新启动ComfyUI:python  main.py。如果报错,差什么,安装什么。

四:启动服务ComfyUI:python  main.py

浏览器访问链接:

1:运行模型。这里可以自己研究添加节点,也可以直接使用DynamiCrafterWrapper提供的节点json(优先使用json)。json位置在 \ComfyUI\custom_nodes\ComfyUI-DynamiCrafterWrapper\examples,我使用的是dynamicrafter_i2v_example_01.json。

将这个json文件拖拽到浏览器中,这个时候ComfyUI Manager会自动检查是否需要安装其他插件,直接点击安装就行。

视频生成完成后,在文件夹 \ComfyUI\output\ 中。

输出的mp4视频文件位置在文件夹 \ComfyUI\output

2:注意选择的模型,越高档的模型占用CPU越大,选择的视频时间越长,占用GPU越大。

我的电脑GPU是专用8G,共享16G(可以不考虑,主要是专用GPU大小),这个配置一张图片生成视频(图片:914k,尺寸:576*1204,生成的视频3M,4s,8帧/s,尺寸576*1024),模型选择dynamicrafter_512。

一运行,GPU就100%,结果跑了一晚上才成功。

如果GPU小,可以选择更小的模型,DynamiCrafter256。图片也可以选小点的,生成的图片数调整小点。

三:总结

这种视频大模型要在本地运行,那本地机器必须是很强大才行,不然根本运行不动,那更不用说使用了。

后面再研究本地搭建图片+音频对嘴生成视频的AI.