[Python] 中文分词

模块安装

pip install jieba

jieba分词器支持4种分词模式:

1. 精确模式该模式会试图将句子最精确地切分开，适合在文本分析时使用。
2. 全模式该模式会将句子中所有可以成词的词语都扫描出来，速度也非常快，缺点是不能解决歧义问题，有歧义的词语也会被扫描出来。
3. 搜索引擎模式该模式会在精确模式的基础上对长词语再进行切分，将更短的词切分出来。在搜索引擎中，要求输入词语的一部分也能检索到整个词语相关的文档，所以该模式适用于搜索引擎分词。
4. Paddle模式该模式利用PaddlePaddle深度学习框架，训练序列标注网络模型实现分词，同时支持词性标注。
   该模式在4.0及以上版本的jieba分词器中才能使用。使用该模式需要安装PaddlePaddle模块，安装命令为“pip install paddlepaddle”。

开源代码

https://github.com/fxsjy/jieba

基本用法

>>> import jieba
>>> str1 = ‘我来到了成都的西南交通大学犀浦校区，发现这儿真不错‘
>>> seg_list = jieba.cut(str1, cut_all=True)
>>> print(‘全模式分词结果：‘ + ‘/‘.join(seg_list))
全模式分词结果：我/来到/了/成都/的/西南/交通/大学/犀/浦/校区/，/发现/这儿/真不/真不错/不错
>>> seg_list = jieba.cut(str1, cut_all=False)
>>> print(‘精确模式分词结果：‘ + ‘/‘.join(seg_list))
精确模式分词结果：我/来到/了/成都/的/西南/交通/大学/犀浦/校区/，/发现/这儿/真不错

词性标注

paddle模式词性标注对应表如下：

paddle模式词性和专名类别标签集合如下表，其中词性标签 24 个（小写字母），专名类别标签 4 个（大写字母）。

[Python] 中文分词

原文：https://www.cnblogs.com/feily/p/14415259.html