jieba 是一个广泛使用的 Python 中文分词库，主要用于将中文文本切分成独立的词语。
https://github.com/fxsjy/jieba
安装
pip install jieba
使用
（1）分词
import jieba # 分词 text = "我爱自然语言处理" words = jieba.cut(text, cut_all=False) # 精确模式 print("分词结果：", "/ ".join(words))
分词结果： 我/ 爱/ 自然语言/ 处理
（2）词性标注
import jieba.posseg as pseg text = "我爱自然语言处理" # 词性标注 words = pseg.cut(text) for word, flag in words: print(f"{word} - {flag}")
我 - r
爱 - v
自然语言 - l
处理 - v
（3）关键词提取
基于 TF-IDF 算法的关键词抽取
import jieba.analyse # 关键词提取 text = "我爱自然语言处理" keywords = jieba.analyse.extract_tags(text, topK=3, withWeight=True, allowPOS=('l', 'v')) print("关键词：", keywords)
关键词： [('自然语言', 5.2174708746), ('处理', 2.70542782868)]
关键词： ['自然语言', '处理']
基于 TF-IDF 算法的关键词抽取
import jieba.analyse # 关键词提取 text = "我爱自然语言处理" keywords = jieba.analyse.textrank(text, topK=3, withWeight=True, allowPOS=('l', 'v')) print("关键词：", keywords)
关键词： [('自然语言', 1.0), ('处理', 0.9961264494011037)]
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。