💡 站外导读：在AI语音合成领域，传统TTS模型长期面临参数量庞大、推理速度缓慢、对大量目标说话人数据依赖等痛点，严重制约其在智能设备、车载系统等实时场景的落地。随着AIGC浪潮席卷，行业对轻量化、高效率、零样本语音合成的需求空前迫切。小米AI实验室推出的ZipVoice，正是在这一背景下应运而生，旨在以技术创新突破现有瓶颈，为开发者与企业带来可商用的高质量语音合成方案。
ZipVoice 是小米集团 AI 实验室发布的高效零样本语音合成（TTS）模型。模型基于 Flow Matching 架构，包含 ZipVoice（单说话人）和 ZipVoice-Dialog（对话语音）两个版本。模型通过技术创新，如基于 Zipformer 的高效建模、平均上采样策略和 Flow Distillation 方法，实现轻量化建模和快速推理，解决现有模型参数量大、速度慢的问题。ZipVoice-Dialog 通过说话人轮次嵌入向量、课程学习等技术，实现又快又稳又自然的对话语音合成。
零样本语音合成：根据输入文本和参考语音，合成出具有特定音色的语音，无需大量的目标说话人数据进行训练。
快速推理：通过技术创新，如Flow Distillation等方法，显著减少推理步数，提高语音合成的速度，在低计算资源设备上能高效运行。
高质量语音生成：在保持快速推理的同时，生成的语音自然度高，具有良好的语音质量和说话人相似度。
对话语音合成：ZipVoice-Dialog版本能合成双人对话语音，支持自然且准确的说话人切换，适用AI播客等对话语音应用场景。
开源与可扩展：模型文件、训练代码、推理代码及语音对话数据集OpenDialog已开源，方便开发者进行研究和应用拓展。
基于Zipformer的高效建模：首次将Zipformer架构引入TTS任务，用多尺度高效率结构、卷积与注意力机制的协同处理及注意力权重的多次复用，实现语音合成模型的高效建模，显著减少模型参数量。
平均上采样策略：提出平均上采样策略，假设每个文本token具有相同的时长，对文本token进行平均上采样后送入语音预测模型，为模型提供稳定的初始对齐线索，提升对齐稳定性和收敛速度。
Flow Distillation加速：基于Flow Distillation方法，通过预训练模型结合Classifier-free guidance技术，使学生模型通过无CFG的一步推理逼近教师预测，减少推理步数避免CFG带来的额外推理开销，实现快速推理。
说话人轮次嵌入向量：在对话语音合成中，引入Speaker-Turn Embedding为模型提供细粒度的精准说话人身份提示，降低模型对说话人切换建模的难度，提高说话人切换的准确性。
课程学习策略：用单说话人语音数据预训练，夯实语音-文本对齐能力，在对话语音数据上微调，学习说话人角色切换和自然对话语音风格，解决对话语音中复杂的对齐问题。
立体声扩展：通过权重初始化、单声道语音正则化和说话人互斥损失等技术，将ZipVoice-Dialog扩展为双声道生成功能，提升双声道对话的沉浸感。
小米此次开源ZipVoice，是其在语音合成赛道的一次战略性亮剑。从技术维度看，首次将Zipformer引入TTS并结合Flow Distillation加速，是典型的‘既要又要’工程思维——在追求音质自然度的同时，硬生生将推理速度提升至秒级，这为端侧部署扫清了算力障碍。更值得关注的是其‘对话版’ZipVoice-Dialog，通过课程学习和说话人轮次嵌入，精准解决了多人对话场景中角色切换的行业痛点，这直接瞄准了AI播客、虚拟客服等高价值应用。在开源生态层面，模型、代码、数据集‘三件套’一次性放出，展现出小米从技术研究向生态构建延伸的野心。这不仅是技术实力的展示，更是对AIGC语音合成开源生态的一次重要贡献，有望推动整个行业向更高效、更普惠的方向演进。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。