1. N-gram 是什么？核心逻辑与“N”的含义

N-gram 是自然语言处理（NLP）中一种基于统计的语言模型，其核心思想是：一个词的出现概率，可以由它前面 N-1 个词来预测。它把文本按照连续的 N 个词（或字符）切分成片段（称为 gram），统计这些片段在语料库中出现的频率，用于预测下一个词的概率。

• N 的含义：代表“往回看几个词”。
  • 2-gram（Bi-gram）：只看前面 1 个词。例如“一碗”后面猜“米饭”。
  • 3-gram（Tri-gram）：看前面 2 个词。例如“吃了一碗”后面猜“米饭”。
  • 1-gram（Unigram）：不考虑上下文，只看单个词的独立概率。

通俗比喻：N-gram 就像一个“查字典”的机器，它不思考，只靠“历史书”（训练语料）中出现的概率来预测。例如“我今天中午吃了一碗____”，它发现“米饭”出现最多，就会猜“米饭。

2. N-gram 的主要用途

N-gram 在早期自然语言处理中被广泛应用，主要任务包括：

• 语言建模：评估一个句子出现的概率，判断其是否合理（如机器翻译、语音识别）。
• 文本生成：根据上下文预测下一个词，如输入法联想。
• 文本分类：如垃圾短信识别、情感分析。
• 机器翻译与语音识别：帮助系统选择最合理的词序列。
• 拼写检查与模糊匹配：用于纠正错误或相似度计算。

3. N-gram 的致命缺陷与被淘汰的原因

虽然 N-gram 简单高效，但存在两大致命缺陷，导致其逐渐被神经网络语言模型（如 RNN、Transformer）取代：

（1）数据稀疏（没见过的就不会）

• 如果句子中出现了训练语料中从未见过的词组合，N-gram 会认为其概率为 0，无法预测。
• 人类语言组合无限，语料库永远无法覆盖所有可能。

举例：“我今天中午吃了一碗加上了外星酱汁的____”，N-gram 会“傻掉”，因为“加上了外星酱汁的”在历史中从未出现。

（2）短视（不长记性）

• N-gram 通常只能考虑前 2-3 个词，无法捕捉长距离依赖。
• 如果关键信息在较远的位置，模型会“忘记”上下文。

举例：“小明把书包放下，去厨房洗了个手，拿起了____”，人类会猜“筷子”或“苹果”，但 N-gram 只看“拿起了”，可能猜“枪”或“笔”。

4. N-gram 的历史地位与现代替代方案

• 历史地位：N-gram 是最早、最基础的统计语言模型，为后续更复杂的模型（如神经网络语言模型）奠定了基础。
• 被淘汰原因：随着深度学习的发展，RNN、LSTM、Transformer 等模型能更好地捕捉长距离依赖和语义关系，性能远超 N-gram。
• 现代替代：
  • 神经网络语言模型（NNLM）：引入词向量，能捕捉词与词之间的语义相似性。
  • Transformer 与 BERT/GPT：通过自注意力机制，实现全局上下文建模，成为当前主流。

5. 小结

• N-gram 是一种基于统计的“查字典”式语言模型，通过统计前 N-1 个词来预测下一个词。
• 优点：简单、高效、易于实现。
• 致命缺陷：数据稀疏、短视，无法处理未见组合和长距离依赖。
• 现状：在资源受限或简单任务中仍有应用，但主流已被神经网络语言模型取代。