惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

云风的 BLOG
云风的 BLOG
The GitHub Blog
The GitHub Blog
A
About on SuperTechFans
P
Proofpoint News Feed
G
Google Developers Blog
Stack Overflow Blog
Stack Overflow Blog
IT之家
IT之家
Microsoft Security Blog
Microsoft Security Blog
F
Fortinet All Blogs
人人都是产品经理
人人都是产品经理
博客园 - 叶小钗
C
Check Point Blog
Microsoft Azure Blog
Microsoft Azure Blog
aimingoo的专栏
aimingoo的专栏
月光博客
月光博客
美团技术团队
D
Docker
博客园 - Franky
Y
Y Combinator Blog
大猫的无限游戏
大猫的无限游戏
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
博客园 - 【当耐特】
罗磊的独立博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报

博客园 - Joy_CShow

搭建OpenClaw实现钉钉 AI 员工自动化 (二) 搭建OpenClaw实现钉钉 AI 员工自动化 (一) fantasy-talking:实现图片加音频生成对嘴数字人 window中搭建wsl环境 图片对嘴生成视频:HunyuanVideo-Avatar 图片生成对嘴视频FLOAT 开源AI工具-文字生成图片Fooocus 文生图:介绍一个文字生成图片的开源工具 音频克隆阿里版-CosyVoice 音频克隆-Index-TTS进阶版(ComfyUI_IndexTTS)可以实现多人对话 文字生成视频开源AI大模型项目 音频克隆-Index-TTS 视频音频对嘴--Wav2Lip 音频克隆-GPT-SoVITS 自己写了一个视频拆分工具 本地搭建一个图片对嘴转视频工具-进阶版 本地搭建一个对嘴AI工具 搭建一个图片变视频的AI(二):开始搭建 搭建一个图片变视频的AI(一):模型介绍
音频克隆:对话文本到口语对话生成MOSS-TTSD
Joy_CShow · 2025-07-15 · via 博客园 - Joy_CShow

之前介绍过几个音频克隆的可以项目:

CosyVoice:https://www.cnblogs.com/cj8988/p/18975495
IndexTTS:https://www.cnblogs.com/cj8988/p/18973016
GPT-SoVITS:https://www.cnblogs.com/cj8988/p/18962212
IndexTTs-多人:https://www.cnblogs.com/cj8988/p/18973609

本章在介绍一个多人对话的(两人对话)开源项目(8GPU可以跑):MOSS-TTSD

亮点:

高度富有表现力的对话语音:MOSS-TTSD 基于统一的语义声学神经音频编解码器、预先训练的大型语言模型、数百万小时的 TTS 数据以及 40 万小时的合成和真实对话语音,可生成具有自然对话韵律的高度富有表现力、类似人类的对话语音。
双人语音克隆:MOSS-TTSD 支持零样本双人语音克隆,并可根据对话脚本生成具有准确说话人切换的对话语音。
中英双语支持:MOSS-TTSD 能够以中文和英文生成极具表现力的语音。
长篇语音生成:得益于低比特率编解码器和训练框架的优化,MOSS-TTSD 已经可以进行长篇语音生成的训练。
完全开源和商业就绪:MOSS-TTSD 及其未来更新将完全开源并支持免费商业使用。

下载安装:

开源地址:https://github.com/OpenMOSS/MOSS-TTSD

模型下载:https://huggingface.co/fnlp/XY_Tokenizer_TTSD_V0/tree/main
模型存放位置在现在的文件夹下:MOSS-TTSD\XY_Tokenizer\weights\官方文档:https://www.open-moss.com/cn/moss-ttsd/

安装:
进入window的虚拟环境conda中:
创建环境:
conda create -n moss_ttsd python=3.10

激活环境:
conda activate moss_ttsd

安装:
pip install -r requirements.txt

加速:这个先使用下面的命名安装,如果成功那就皆大欢喜
#pip install flash-attn

如果flash-attn安装失败,就不用折腾了,我用了很多方法好像都没有成功,所以修改代码,不使用flash-attn。

修改generation_utils.py:找到load_model()函数
将参数默认值修改一下 attn_implementation="flash_attention_2"
修改为attn_implementation="sdpa"
运行:python gradio_demo.py

第一次运行时会下载模型:fnlp/MOSS-TTSD-v0.5,需要很长的时间。

下载完成后,浏览器访问:http://127.0.0.1:7860/

注意,我试过Single单音频支持不太好(我的音频只有一个人说话,估计两个人说话还是可以的),所以这里直接使用两个音频进行实验。

结果:
音频1 音频2 合成音频
你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。 你的浏览器不支持 audio 标签。