💡 站外导读：方言保护面临数字化瓶颈：传统TTS依赖海量标注数据，覆盖粤语、吴语等小众方言成本高昂，技术门槛将众多研究者拒之门外。在AIGC浪潮下，如何让AI真正听见并复现方言的独特韵律，成为语言数字化存续的关键。清华与巨人网络开源的DiaMoE-TTS，以国际音标统一输入和专家混合架构，将低资源方言适配压缩至数小时语料，为方言的语音合成与文化传承提供了新范式。

DiaMoE-TTS 是清华大学和巨人网络联合推出的多方言语音合成（TTS）框架。框架基于国际音标（IPA）统一输入体系，结合方言感知的 Mixture-of-Experts（MoE）架构和低资源适配策略（PEFT），实现低成本、低门槛的多方言语音合成。框架支持多种方言和小语种，能在少量数据下快速建模，兼具高效性和灵活性。DiaMoE-TTS数据、代码和方法全面开源，推动方言保护与文化传承，让小众语言在数字世界中被听见。

DiaMoE-TTS的主要功能

• 多方言语音合成：支持多种方言和小语种语音合成，涵盖粤语、闽南话、吴语等，能扩展到京剧韵白等特殊类型，让小众语言能开口说话。

• 低资源适配：通过 PEFT 策略和数据增强，在仅有数小时语料的低资源条件下，能快速适配新方言，合成自然流畅的语音。

• 高可扩展性：全链路开源，提供完整的数据预处理、训练和推理代码，支持多种语言，方便研究者和开发者复现与扩展。

• 高自然度语音合成：用方言感知 MoE 架构，通过动态门控机制选择专家网络，保留每种方言的独特音色和韵律，提升语音自然度。

DiaMoE-TTS的技术原理

• 统一的 IPA 前端：使用国际音标（IPA）作为统一输入体系，将所有方言的语音映射到同一音素空间，消除跨方言间的差异性，保证模型训练的一致性和泛化能力。
• 方言感知 MoE 架构：引入多个专家网络，每个专家专注于学习一种或几种方言的特征，避免单一网络的“风格平均化”问题。：根据输入的 IPA 自动选择最适合的专家网络进行语音合成，同时加入方言分类辅助损失，增强专家网络的区分能力。
• 低资源适配策略（PEFT）：在 text embedding 层和注意力层中融入 Conditioning Adapter 和 LoRA，仅需微调少量参数完成方言扩展，主干网络和 MoE 模块保持冻结。用音高扰动和语速扰动等技术，提升模型在低资源条件下的合成效果。
• 多阶段训练方法：在 F5-TTS 原始 checkpoint 的基础上，引入 IPA 音素转换的数据进行预热训练，实现输入形式的平滑迁移。用多个开源方言数据进行联合建模，激活 MoE 结构，学习共享特征、区分不同方言的发音模式。通过动态门控机制和方言分类辅助损失，进一步优化 MoE 的分流效果，捕捉每种方言的独特特征。针对仅有数小时语料的新方言，用 PEFT 策略结合数据增强，实现高效迁移、保持已有知识不被遗忘。

DiaMoE-TTS的项目地址

• GitHub仓库：https://github.com/GiantAILab/DiaMoE-TTS
• HuggingFace模型库：https://huggingface.co/RICHARD12369/DiaMoE_TTS
• arXiv技术论文：https://www.arxiv.org/pdf/2509.22727

DiaMoE-TTS的应用场景

• 教育领域：为方言和小语种教学提供生动的语音合成工具，帮助学生更好地学习和掌握不同语言的发音。

• 文化保护：助力方言和小语种的保护与传承，通过语音合成技术记录和重现濒临消失的方言，保留文化多样性。

• 虚拟人与数字内容：为虚拟人、数字助手等生成多样的方言语音，丰富虚拟角色的表现力，提升用户体验。

• 数字文旅：在旅游景点提供多种方言的语音导览，增强游客对当地文化的认同感和亲切感。

• 跨境交流：支持多种语言和方言的语音合成，促进不同语言背景的人群之间的交流与理解。