💡 站外导读：在AI大模型浪潮中，语音交互正成为企业数字化转型的关键一环。然而，传统语音技术面临幻觉率高、串语种、行业术语识别不准等痛点，制约了复杂环境下的应用落地。阿里通义实验室推出的通义百聆，正是为解决这些挑战而生。作为企业级语音基座大模型，它整合识别与合成能力，旨在为企业提供稳定、精准、可定制的语音解决方案，推动语音AI从技术探索走向产业深水区。

通义百聆是什么

通义百聆是阿里通义实验室推出的企业级语音基座大模型，整合 Fun-ASR 语音识别和 Fun-CosyVoice 语音合成两大模型，专为复杂环境下的语音应用设计，通过 Context 增强架构大幅降低幻觉率，解决串语种问题，支持热词动态注入和精准识别行业术语。模型语音合成能力支持跨语种克隆，声音相似度领先。基于海量真实音频训练，覆盖金融、教育等多行业，能快速部署，助力企业高效落地语音应用。

通义百聆迎来了一次重大升级。其Fun-CosyVoice3模型经过优化后，不仅将首包延迟缩短了50%，还将中英文混合字词的识别准确率提升了一倍。它目前支持9种通用语言、18种方言口音，并能实现跨语种的声音克隆与情感控制。凭借其zero-shot音色克隆技术，语音合成变得更加高效且自然。与此同时，Fun-ASR模型的能力也得到了显著增强。在嘈杂环境下，其识别准确率已提升至93%，并支持31种语言的自由混合及方言口音覆盖。该模型还新增了对歌词和说唱内容的识别能力，流式识别的首字延迟已降低至160毫秒，使得语音识别过程变得更为精准和迅速。

通义百聆的主要功能

• 幻觉率大幅下降：通过 Context 增强架构（CTC+LLM+RAG），将 CTC 初筛结果作为 LLM 上下文，幻觉率从 78.5% 降至 10.7%，输出更稳定可靠。

• 彻底解决串语种问题：CTC 解码文本输入 LLM Prompt，极大缓解“自动翻译”现象，例如避免英文录音输出为中文。

• 强定制化能力：引入 RAG 机制动态注入术语库，支持人名、品牌、行业黑话（如“ROI”“私域拉新”）的精准识别，5 分钟完成配置。

• 跨语种语音克隆：基于多阶段训练方法，一个音色能支持多种语言，声音相似度行业领先。

• 行业场景全覆盖：基于数千万小时真实音频训练，覆盖金融、教育、制造、互联网、畜牧等 10+ 行业，深入产业一线。

通义百聆的技术原理

• Fun-ASR 语音识别大模型：基于百聆的 Fun-ASR 语音识别大模型采用了创新的 Context 增强架构（CTC+LLM+RAG），通过 CTC 技术进行初步的语音到文本转换，用 LLM 对生成的文本进行上下文优化，显著降低幻觉率，从 78.5% 降至 10.7%，输出更稳定可靠。基于 RAG 机制动态注入术语库，支持人名、品牌、行业黑话等的精准识别，5 分钟内完成配置，满足不同企业的个性化需求。
• Fun-CosyVoice 语音合成大模型：Fun-CosyVoice 语音合成大模型基于创新的语音解耦训练方法，将语音的音色、语速、语调等特征进行分离和独立训练，进行组合生成高质量的语音，使合成语音更加自然流畅。模型支持跨语种语音克隆，通过多阶段训练方法，一个音色能支持多种语言，实现“一个音色说遍全球”，声音相似度行业领先。

通义百聆的项目地址

• 项目官网：Fun-ASR 、 Fun-CosyVoice

通义百聆的应用场景

• 金融行业：用在智能客服、语音交易和风险监控，提升服务效率与风险防控能力。

• 教育行业：助力在线教育平台、智能辅导系统和语音作业批改，优化教学与学习体验。

• 制造业：实现工业设备语音控制、生产流程监控和质量检测，提高生产效率与安全性。

• 互联网行业：支持语音搜索、智能助手和内容创作，增强用户体验与内容多样性。

• 畜牧行业：应用在智能养殖系统、动物健康监测和养殖环境管理，提升养殖效率与动物健康管理。