惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
B
Blog
M
MIT News - Artificial intelligence
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
P
Proofpoint News Feed
C
Check Point Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
J
Java Code Geeks
博客园 - 叶小钗
S
SegmentFault 最新的问题
Last Week in AI
Last Week in AI
T
The Blog of Author Tim Ferriss
Microsoft Security Blog
Microsoft Security Blog
小众软件
小众软件
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 【当耐特】
腾讯CDC
博客园 - Franky
博客园 - 聂微东
V
Visual Studio Blog
GbyAI
GbyAI
Martin Fowler
Martin Fowler
罗磊的独立博客
Y
Y Combinator Blog

博客园 - Joy_CShow

搭建OpenClaw实现钉钉 AI 员工自动化 (二) 搭建OpenClaw实现钉钉 AI 员工自动化 (一) fantasy-talking:实现图片加音频生成对嘴数字人 window中搭建wsl环境 图片对嘴生成视频:HunyuanVideo-Avatar 音频克隆:对话文本到口语对话生成MOSS-TTSD 图片生成对嘴视频FLOAT 开源AI工具-文字生成图片Fooocus 文生图:介绍一个文字生成图片的开源工具 音频克隆阿里版-CosyVoice 音频克隆-Index-TTS进阶版(ComfyUI_IndexTTS)可以实现多人对话 文字生成视频开源AI大模型项目 音频克隆-Index-TTS 视频音频对嘴--Wav2Lip 自己写了一个视频拆分工具 本地搭建一个图片对嘴转视频工具-进阶版 本地搭建一个对嘴AI工具 搭建一个图片变视频的AI(二):开始搭建 搭建一个图片变视频的AI(一):模型介绍
音频克隆-GPT-SoVITS
Joy_CShow · 2025-07-02 · via 博客园 - Joy_CShow

前面做了一个视频拆分工具,随便添加了音频的一些处理,有一个功能是视频+文字生成一个新的音频。

使用的是TTS进行处理的,效果不行。

你的浏览器不支持 audio 标签。

所以这里介绍一个更加强大的开源工具:GPT-SoVITS、

一:开源仓库:

仓库:https://github.com/RVC-Boss/GPT-SoVITS

官方文档: https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

下载安装各种包,然后下载已经训练好的模型

模型: https://huggingface.co/lj1995/GPT-SoVITS/tree/main

模型存放位置 GPT-SoVITS\GPT_SoVITS\pretrained_models

二:运行

python webui.py

#查看报什么错,差什么安装什么。
#注意安装 jieba_fast 时需要电脑已经安装了Visual Studio 桌面生成工具。因为它需要c++进行编译。
#如果编译失败,或者没有环境,可以试试我的方法:


 (1)下载: http://cdnhandler.wordzhgame.net/audios/jieba_fast-0.53-cp311-cp311-win_amd64.whl

 (2)通过这个安装:pip install jieba_fast-0.53-cp311-cp311-win_amd64.whl

点击TTS推理按钮后,需要等待一段时间。它会自动打开另外要给窗口。

三:生成结果

关于模型的选择,可以参考官方文档:https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

我比较喜欢的是 V3-V2Pro。

v2:不训练直接推v2底模

v2Pro:不训练直接推v2Pro底模

v2ProPlus:不训练直接推v2ProPlus底模

v3:不训练直接推v3底模

  v2 v3
v2 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。
v2Pro 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。
v2ProPlus 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。

你的浏览器不支持 audio 标签。

参考文档:

https://github.com/RVC-Boss/GPT-SoVITS

https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e