随着 ASR 技术广泛应用，其模型评测正迈向更科学、系统、多维度的阶段。未来，构建全面有效的评测体系将成为推动 ASR 技术发展、提升用户语音交互体验的关键。超越通用指标，采用更细致评测方法，将是未来的重要趋势，以满足不同场景和用户对 ASR 模型的需求。

在人工智能浪潮的推动下，自动语音识别（Automatic Speech Recognition, ASR）技术已从实验室走向千家万户，深刻改变了我们与设备交互的方式。从智能音箱到实时字幕，从会议转录到语音助手，ASR已成为数字基础设施中不可或缺的一部分。

然而，并非所有ASR模型生而平等。一个在安静环境下表现卓越的模型，可能在嘈杂的餐厅中一败涂地；一个擅长标准普通话的模型，可能无法理解充满方言俚语的对话。因此，科学、系统、多维度的模型评测不再是研发流程中的一个可选环节，而是衡量模型能力边界、指引优化方向、确保产品体验的核心生命线。

本文旨在为您深入剖析ASR模型评测的完整体系。我们将不仅介绍“有哪些指标”，更将聚焦于“这些指标背后的技术含义”以及“如何从指标变化中诊断模型病灶”，从而为AI产品运营、研发工程师以及技术决策者提供一份实用的评测指南。

ASR模型的运转流程

作为一名ASR模型评测的人员，对于ASR模型基本的流程还是要有基本的了解，而我们的评测一定程度上就是通过数据反馈检查整个链路可能会存在的问题，以达到优化模型的目的。

ASR步骤拆解：

1、语音输入

用户通过麦克风输入内容语音

2、预处理

预处理是语音识别过程中的一个基础性步骤，它的意义在于对录音文件进行分帧、去除噪音、语音增强、加窗等预处理，提取出有效的声音特征，用于后续的语音内容分析处理。

①预处理

由于用户环境因素影响，MIC设备录制的声音，除了人声，可能还会包各种噪音，那么为了语音识别的准确性，在识别前就需要先处理掉原始音频中的噪音部分。

②预加重

在语音输入的过程中，由于环境和距离等影响因素，MIC录制声音可能会出现高频衰减和低频增益等失真现象，这将会影响后续语音识别的结果。

或者说，为提高音频的能力，去将其数值拉高，以保证模型的清晰度。

③分帧

为了提高语言识别结果的准确性，需要将连续且长的语音信号分为若干个固定长度的帧，分帧后每帧内的信号的频谱变化就会较为缓慢、稳定。

④特征提取

从语音信号中提取用来描述语音信号的各种特征，以便识别模型能够更好地对其进行分析和区分，这些特征包括：帧能量、音调（调子、语气等）、基音频率、音周期、共振峰、谐波结构、声道特性等。

3、解码

在完成原始音频信号的预处理与特征提取之后，需要将提取到的特征输入语音识别模型中通过声学模型、词典、语音模型的协同计算来得到最终的识别结果。

①声学模型

声学模型负责对语音信号进行特征提取和处理，生成一系列特征向量，然后使用这些特征向量来计算每个可能的音素的得分，并根据得分选出最可能的音素序列。

音素（Phoneme）是语言学中最小的语音单位，是能够区分意义的声音片段。

所以可以理解成，音素=token

②词典

在生活中，我们有认识的字的时候，可能会通过网络搜索或查字典的方式去寻找答案。在语音识别系统中，也有需要一个词典，用于识别音素对应的汉字（词）或者单词。语音识别系统中的词典包括了一系列的词语和它们对应的音素序列，这些音素序列反映了词语在语音信号中的语音学特征和发音方式，通过将语音信号的实际发音与词典中存储的发音进行匹配，语音识别系统可以推算出说话人所说的词语。

③语言模型

在通过声学模型与词典，得到一组候选词语或句子的情况下，最后需要通过语言模型得到符合用户表达内容的结果。语音模型的作用就是通过统计文本中词与词之间的关系和概率，预测一个词语或句子出现的概率大小，从而对识别出的多个文本候选结果进行打分、排序和筛选，最终，得分最高的结果就是系统认为最符合用户表达内容的结果。

4、输出结果

指最终输出识别结果，即转换后的文本或指令等形式的结果。

技术指标

核心技术指标（宏观方向）

在中文场景下，一般会更加关注SER和CER

在英文场景下，一般会更加关注WER

细分错误类型分析

鲁棒性指标

主要检测模型对于不同噪声环境、不同口音语言场景下的性能衰减，以检验语言模型和声学模型的鲁棒性能力，是衡量其“泛化能力”和“实用性”的关键

• 背景噪音鲁棒性：其实可以认为是在车站、街道、餐厅等不同信噪比（SNR）环境下，不同的噪音程度对模型的影响，低噪、中噪、高噪场景下的SER/句准，看模型的可用性，同时考验声学模型的性能；
• 口音方言鲁棒性：对不同地区口音、方言词汇的识别能力；
• 跨领域鲁棒性：在其他训练数据未见过的领域（如医疗、法律专业术语）上的表现；
• 声学条件鲁棒性：对不同录制设备（手机、麦克风阵列）、不同声道（电话窄带、宽带）、不同说话人（年龄、性别）的适应性。不同的设备、不同的人，录制声音的清晰度（非常清晰、基本清晰、很不清晰）能力是不同的，以考验声学模型的性能。

其他指标

其实根据我们对于二级分类的不同，其实我们还可以将所有的词汇分的更加细致，结构助词、专业术语等内容，这等指标其实更加关注于模型在LM中

数据变化分析

评测的终极目的不是得到一个分数，而是通过分数发现模型缺陷，指引优化方向。

以下是我在真实项目中所遇到的问题：

背景

测试ASR模型在迭代前后中文教育、医疗领域的识别能力

数据

这里的暂时以错误率为例子，因为WER需要统计全部词以及字的错误率，以这个数据为代替，去统计模型出现的错误次数。（数据已做改动）

以下数据是评测后，整理完的数据：

其实在模型评测中，我更多的会以A/B测试的方法，去关注模型的变化。

你可以对照看一下，你的发现是不是和我想的一样。

1. 模型变得“敏感”且“大胆”了。根据模型变化，可以发现，模型在迭代后，漏字率出现的次数上升了，多字率也上升了。

对于不确定的内容，它会多插入，或者减少，从而一定程度上，导致了D、I的情况，一定程度上受AM和LM的影响。

2. 训练数据的布局问题。模型在迭代前后都出现的一个规律，安静场景的识别SER要高于低噪场景的SER，清晰度同上。说明模型的数据在分布上有一定程度的问题，导致了这个问题。

模型的SER可以说明，模型的训练数据，在低噪场景下的比安静场景的要多，使得模型在低噪场景下的句准要高于安静场景下的句准，同时音频清晰度，同此逻辑，一定程度上来说，这也是有一定过拟合的倾向。

3. 教育领域的识别错误率上升了。在迭代后，模型2在教育和医疗的SER，基本接近。但是教育领域的错误率上升了，特别是在安静和非常清晰中，反而在低噪场景下，错误率下降了。

说明有可能在本次训练中，模型数据其中包含了很多的医疗数据，教育数据以低噪、基本清晰为主，导致错误率上升。

以上分析仅个人观点和分析，无技术方面的了解，有错误请大家指正。

超越通用指标：更细致的评测方法

为了更精准地定位问题，我们需要设计更具针对性的评测集和分析方法。

1）细分领域测试集：

• 噪音集：包含不同种类和强度的背景噪音。
• 口音集：收集不同方言区的语音。
• 数字/实体集：专门测试数字、日期、人名、地名、公司名等关键信息的识别准确率。这类错误的代价远高于普通词错误。
• 长尾词集：测试模型对罕见词、专业术语的识别能力。

2）错误分析（Error Analysis）：

• 人工检查错误案例，并进行分类标注（如：噪音导致、发音相似、LM错误、OOV等）。
• 统计不同错误类型的占比，从而确定优化的最高优先级。例如，如果发现40%的错误是数字错误，那么优先提升数字识别能力能带来最大的收益。

3）可视化工具：

• 使用混淆矩阵（ConfusionMatrix）来可视化哪些音素或字词最容易相互混淆。
• 分析注意力机制（Attention）的权重，看模型在识别时更关注音频的哪些部分。

构建有效的评测体系

1. 定义清晰的目标：你的产品场景是什么？是实时交互还是离线转录？目标用户是谁？他们对准确度和延迟的容忍度如何？答案决定了评测的侧重点。
2. 构建代表真实世界的测试集：评测集必须最大限度地反映产品上线后遇到的真实数据分布，否则评测结果毫无意义。要持续收集和更新测试集。
3. 综合考量，而非唯WER论：一个RTF=0.3、WER=5%的模型，通常比一个RTF=1.5、WER=4%的模型更有产品价值。需要在准确度、速度、资源消耗之间找到最佳平衡点。
4. 迭代与闭环：模型评测不是一次性的活动，而是一个循环：评测->分析->优化->再评测。将评测集成到CI/CD流程中，实现自动化评估，防止模型迭代过程中出现性能回退（Regression）。

结语

ASR模型评测远不止于运行一个脚本得到WER数字那么简单。它是一个需要深入技术细节、结合产品洞察的复杂分析过程。通过建立一个多维度、细粒度的评测体系，并学会从指标的变化中解读出模型的“潜台词”，我们才能真正地理解模型的能力边界，精准地击中其弱点，从而驱动ASR技术不断向前发展，为用户提供更自然、更可靠、更无缝的语音交互体验。

希望这份详细的指南能为您提供清晰的路径和深入的洞察，助您在ASR模型的海洋中精准导航。