使用pyhanlp进行分词

from pyhanlp import *

def my_segment(sentence):
    seg = HanLP.segment(sentence)
    seg2 = list(seg)
    seg3 = list(map(lambda x: str(x), seg2))
    seg4 = list(map(lambda x: x.split(‘/‘)[0], seg3))
    return seg4

seg = my_segment(‘自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。‘)
print(seg)

运行结果

[‘自然语言处理‘, ‘是‘, ‘计算机‘, ‘科学‘, ‘领域‘, ‘与‘, ‘人工智能‘, ‘领域‘, ‘中的‘, ‘一个‘, ‘重要‘, ‘方向‘, ‘。‘]