前段时间，遇到一个文本分类的任务，需要基于书籍的一句话描述，来对书籍进行分类。一开始原本计划自己从头来训练个模型，后来发现预训练模型fastText竟然如此的优秀，直接用小批量数据即可解决，这倒是省了不少力气，记录一下整个过程和大家分享。

一、fastText简介

fastText 是一个由 Facebook AI 研究团队开源的文本处理库，能够帮助用户高效地训练文本分类器。它特别适用于那些需要快速实验和部署的场景，例如在社交媒体平台上进行情感分析、主题分类、垃圾邮件检测等。

fastText虽然在学术上并没有太大创新，但是它的优点也非常明显。
在文本分类任务中，fastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。
在标准的多核CPU上， 能够训练10亿词级别语料库的词向量在10分钟之内，能够分类有着30万多类别的50多万句子在1分钟之内。
作者：王江（复旦大学 计算机应用技术博士）https://zhuanlan.zhihu.com/p/32965521

二、fastText原理

fastText模型架构和word2vec中的CBOW很相似， 不同之处是fastText预测标签而CBOW预测的是中间词，即模型架构类似但是模型的任务不同。

关于fastText的具体原理，可以参考王江博士的知乎文章

三、fastText应用场景

fastText 是一个高效的文本分类库，它可以应用于多种场景，尤其是在需要快速处理和分类大量文本数据的情况下。

以下是一些常见的应用场景：

• 情感分析：分析用户评论、社交媒体帖子或其他文本数据，以确定它们的情感倾向是积极的、消极的还是中性的。
• 新闻分类：将新闻报道或文章按照主题、地点、类型等标准进行分类。
• 意图识别：在聊天机器人或虚拟助手中的应用，理解用户查询的意图并据此提供响应。
• 主题分类：对文档、电子邮件或任何文本内容进行分类，以识别它们涉及的主要主题或领域。
• 实体识别：从文本中识别和提取特定的实体，如人名、地点、组织、产品名称等。
• 关键词提取：从文本中提取重要的关键词或短语，用于搜索引擎优化（SEO）或文本摘要。
• 文本相似性：比较文本片段之间的相似性，用于检测重复内容、抄袭或进行文本聚类。
• 内容推荐：根据用户过去的行为和偏好，对文章、产品或服务进行分类和推荐。

由于 fastText 的训练和预测速度非常快，它特别适合需要实时或接近实时处理的应用场景。此外，它的子词嵌套特性使其在处理形态丰富的语言或存在大量未知词汇的情况下表现出色。

四、fastText实例‍‍‍‍

任务目标：基于书籍的一句话描述，来对书籍进行分类，一开始原本计划自己从头来训练个模型，任务的实现过程如下：

1、数据收集：因为书籍数据来源于网络，暂无分类标签，所以随机抽取300条数据，分为：训练集100条、测试集100条（剔除标签）。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

2、数据标注：针对书籍描述进行打标签，目前标签分为22个分类，200条数据，20分钟搞定，打好的标签如下：‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这个格式fastText定义的，例如“__label__健康”，告诉fastText模型样本标签为“健康”，后面的文本是书籍的描述。

3、模型训练：研究了一下fastText的接口，使用python写了一个脚本，如下进行模型训练：‍‍‍‍‍‍‍‍‍

import fasttext

# 加载训练数据
train_data_path = ‘train_data.txt’

# 定义模型参数
model = fasttext.train_supervised(input=train_data_path, epoch=25, lr=1.0, wordNgrams=2, verbose=2)

# 保存模型
model.save_model(‘book_classification_model.bin’)

# 加载测试数据
test_data_path = ‘test_data.txt’

# 模型测试
result = model.test(test_data_path)print (‘测试集上数据量’, result[0])print (‘测试集上准确率’, result[1])print (‘测试集上召回率’, result[2])

• train_data.txt：为训练集；test_data.txt：为测试集。
• 模型中的参数：epoch表示训练论数、lr是学习率、wordNgrams是词组的长度、verbose是训练过程中的输出信息级别。
• book_classification_model.bin：为训练后保存的模型（比较大，100条样本训练，竟然生成的模型有800M）

训练速度很快，不到1分钟就跑完了，输出结果如下：

好像效果不是很理想，最后发现是因为不同标签的样本分布不均导致的，调整样本分布后，效果还不错。‍‍‍‍‍

4、模型效果评估与测试：使用准确率和召回率来进行模型的评估和测试，然后不断地优化模型的训练参数和样本的质量，来提高模型的效果。‍‍‍‍‍‍‍‍‍‍‍‍

5、模型的部署和调用：部署比较简单，将训练好的模型（book_classification_model.bin文件），直接放到服务器中，在模型调用时，先定义一个模型实例，然后调用predict方法即可进行分类，具体代码如下：

import fasttext

# 加载训练好的模型
model = fasttext.load_model(‘book_classification_model.bin’)

# 打开需要预测的文本文件

input_file = ‘data.txt’with open(input_file, ‘r’, encoding=’utf-8′) as f:    
   lines = f.readlines()

# 预测文本内容的标签并输出
for line in lines:    
   line = line.strip()  # 去除换行符    
   if line:  # 确保行不为空        
       label, confidence = model.predict(line)        
       label = label[0].replace(‘__label__’, ”)  # 去除预测结果中的 ‘__label__’ 前缀        
       print(f”标签: {label}t置信度: {confidence}t书籍描述: {line}t”)

输出结果如下：

从结果上看，好像有点儿问题，准确率较低，最后排查分析了一下训练集，发现商业类的样本占了60%，总共18个分类，商业类一个分类占了60%，其他17个分类占了40%，训练集样本数据分布极度不均衡，导致分类效果较差，调整样本后效果就改善了很多。

五、总结

对于简单任务，使用预训练模型是一个比较好的选择，在训练过程中特别要注意2个地方：

1. 样本质量：要知道垃圾入、垃圾出，一定要确保样本数据的质量，打的标签一定要准确，另外就是样本分布尽可能均衡（比例相同），不至于模型效果偏重于某个分类。‍‍‍‍‍‍‍‍‍‍‍‍
2. 模型参数：主要是学习率，它控制着模型训练过程中的更新权重的速度，学习率越大模型训练越快，但是准确率会有所影响。‍常见的做法是开始时使用较大的学习率，以便快速接近最优解，然后随着训练的进行逐渐减小学习率，以便更精细地调整权重。