自从AI大模型问世以来，仿佛很少有人提及NLP技术这个词了。昨天休息的时候突然在想一个问题，AI大模型已经如此强大了，还需要传统的NLP技术吗？

传统的NLP技术指：从分词（ws）、词性标注（pos）、命名实体识别（ner）、依存句法分析（dp）、语义角色标注（srl）等过程。

传统的NLP技术主要应用一些基于规则、统计学的机器学习模型来实现。而AI大模型核心是基于词嵌入技术来进行实现，相当于是一种暴力解题的方式，通过超大规模参数来达到模型涌现的能力。

二者最核心的区别在于2个：一个是训练所需的数据不在同一个一个数量级上，传统的NLP技术处理的更多的是企业内部定向任务的数据，而AI大模型则应用全网数据来实现；另一个则是在技术实现的抽象层次不同。

NLP技术是直接应用人力可以理解的语言规则来实现；而AI大模型则是将语言规则抽象成向量，然后通过深度神经网络来进行训练，在神经网络中面对抽象后的高维向量，人力已无法理解，这也是AI大模型的解释性比较差的原因。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在让机器理解人类语言这件事儿上，现在看来可以划分为2个阶段：NLP技术阶段、和AI大模型阶段，每个阶段都有其独特的技术特点和里程碑事件。以下是这两个阶段的技术演变过程的详细梳理。

一、传统NLP技术阶段

1. 早期方法（1950s – 1990s）

早期的NLP主要依赖于规则-based的方法和基于词典的系统。技术包括语法分析、模式匹配、关键词提取等。

2. 统计学习方法的兴起（1990s – 2000s）

统计学习方法开始应用于NLP，如隐马尔可夫模型（HMM）和条件随机场（CRF）。这些方法能够处理序列数据，并且对标记数据的需求较少。

3. 浅层和深层学习（2000s – 2010s）

特征工程和机器学习方法（如支持向量机SVM）在这一时期得到了广泛应用。出现了一些重要的NLP任务，如情感分析、命名实体识别、机器翻译等。

4. 语义角色标注和语义解析（1998 – 2000s）

FrameNet和语义角色标注的提出，推动了浅层语义解析的发展。共享任务和评估标准（如CoNLL）促进了核心NLP任务的研究。

二、AI大模型阶段

1. 词嵌入的革命（2013年前后）

Word2Vec和GloVe等词嵌入技术的提出，使得NLP能够更好地捕捉词汇的语义信息。词嵌入技术的出现为后续的深度学习模型奠定了基础。

2. 神经网络的突破（2013年 – 2014年）

循环神经网络（RNN）、卷积神经网络（CNN）、长短期记忆网络（LSTM）开始应用于NLP任务。这些网络能够捕捉文本数据中的序列特征和局部依赖关系。

3. 预训练语言模型的兴起（2018年前后）

BERT、GPT、XLNet等预训练语言模型的出现，极大地推动了NLP技术的发展。这些模型通过在大规模文本数据上进行预训练，学习到了丰富的语言表示。

4. Transformer架构的普及（2017年 – 至今）

Transformer架构的提出，特别是在BERT和GPT系列模型中的应用，成为了NLP领域的核心技术。Transformer能够有效处理长距离依赖问题，并且支持多任务学习和迁移学习。

5. 大模型的挑战与创新（2022年代）

大模型虽然在多个NLP任务上取得了显著的性能提升，但也面临着诸如可解释性、偏见、伦理和隐私等挑战。研究人员和开发者正在探索如何设计和训练更加安全、可控和可解释的大模型。

三、总结

传统的NLP技术是人类探索机器理解自然语言的一个过程，如果没有这个过程，那么后面的词嵌入、预训练模型、以及AI大模型可能就不会诞生了，正是由于传统NLP技术在应用层的惰性，才激发了研究人员的新思考，做出重大突破。

所以，回到文初的那个问题：AI大模型已经如此强大了，还需要传统的NLP技术吗？

当然如果你是从事应用层工作的人员，个人觉得不需要再去研究传统的NLP技术了，直接从词嵌入阶段开始了解即可。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而如果你是偏科研方面的工作人员，则非常有必要去研究一下，传统的NLP技术，知其因，才能更好的解其果，这是奠定科研工作的基础。‍‍‍‍‍‍‍‍‍