惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
MyScale Blog
MyScale Blog
U
Unit 42
M
MIT News - Artificial intelligence
小众软件
小众软件
P
Proofpoint News Feed
雷峰网
雷峰网
L
LangChain Blog
S
SegmentFault 最新的问题
腾讯CDC
F
Fortinet All Blogs
A
About on SuperTechFans
WordPress大学
WordPress大学
Vercel News
Vercel News
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
G
Google Developers Blog
大猫的无限游戏
大猫的无限游戏
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
D
Docker
N
Netflix TechBlog - Medium
Apple Machine Learning Research
Apple Machine Learning Research
Recent Announcements
Recent Announcements
D
DataBreaches.Net
Stack Overflow Blog
Stack Overflow Blog

博客园 - Joy_CShow

搭建OpenClaw实现钉钉 AI 员工自动化 (二) 搭建OpenClaw实现钉钉 AI 员工自动化 (一) fantasy-talking:实现图片加音频生成对嘴数字人 window中搭建wsl环境 图片对嘴生成视频:HunyuanVideo-Avatar 音频克隆:对话文本到口语对话生成MOSS-TTSD 图片生成对嘴视频FLOAT 开源AI工具-文字生成图片Fooocus 文生图:介绍一个文字生成图片的开源工具 音频克隆阿里版-CosyVoice 音频克隆-Index-TTS进阶版(ComfyUI_IndexTTS)可以实现多人对话 文字生成视频开源AI大模型项目 音频克隆-Index-TTS 视频音频对嘴--Wav2Lip 自己写了一个视频拆分工具 本地搭建一个图片对嘴转视频工具-进阶版 本地搭建一个对嘴AI工具 搭建一个图片变视频的AI(二):开始搭建 搭建一个图片变视频的AI(一):模型介绍
音频克隆-GPT-SoVITS
Joy_CShow · 2025-07-02 · via 博客园 - Joy_CShow

前面做了一个视频拆分工具,随便添加了音频的一些处理,有一个功能是视频+文字生成一个新的音频。

使用的是TTS进行处理的,效果不行。

你的浏览器不支持 audio 标签。

所以这里介绍一个更加强大的开源工具:GPT-SoVITS、

一:开源仓库:

仓库:https://github.com/RVC-Boss/GPT-SoVITS

官方文档: https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

下载安装各种包,然后下载已经训练好的模型

模型: https://huggingface.co/lj1995/GPT-SoVITS/tree/main

模型存放位置 GPT-SoVITS\GPT_SoVITS\pretrained_models

二:运行

python webui.py

#查看报什么错,差什么安装什么。
#注意安装 jieba_fast 时需要电脑已经安装了Visual Studio 桌面生成工具。因为它需要c++进行编译。
#如果编译失败,或者没有环境,可以试试我的方法:


 (1)下载: http://cdnhandler.wordzhgame.net/audios/jieba_fast-0.53-cp311-cp311-win_amd64.whl

 (2)通过这个安装:pip install jieba_fast-0.53-cp311-cp311-win_amd64.whl

点击TTS推理按钮后,需要等待一段时间。它会自动打开另外要给窗口。

三:生成结果

关于模型的选择,可以参考官方文档:https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

我比较喜欢的是 V3-V2Pro。

v2:不训练直接推v2底模

v2Pro:不训练直接推v2Pro底模

v2ProPlus:不训练直接推v2ProPlus底模

v3:不训练直接推v3底模

  v2 v3
v2 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。
v2Pro 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。
v2ProPlus 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。

你的浏览器不支持 audio 标签。

参考文档:

https://github.com/RVC-Boss/GPT-SoVITS

https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e