中文文本处理——去除非中文字符、去除停用词、统计词频

 1 path1 = ‘path1.txt‘     #打开需要处理的txt文件
 2 path2 = ‘path2.txt‘　　　#储存处理后的数据
 3 f = open(path1, ‘r‘, encoding= ‘utf-8‘, errors= ‘ignore‘)  #将文本格式编码为utf-8，防止编码错误
 4 fw = open(path2,‘w‘, encoding=‘utf-8‘,errors= ‘ignore‘)  
 5 for line in f:　　　　　　 #逐行处理
 6     constr = ‘‘　　　　　　#记录每行处理后的数据
 7     for uchar in line:
 8         if uchar >= u‘\u4e00‘ and uchar <= u‘\u9fa5‘:　　　　#是中文字符
 9             if uchar != ‘ ‘:　　　　　　　　#去除空格
10                 constr += uchar　　　　　　
11     fw.write(constr+‘\n‘)　　　　　　#写入处理后的数据，每行以空格隔开

 encoding= ‘utf-8‘, errors= ‘ignore‘

f = open(path1, ‘r‘, encoding= ‘utf-8‘, errors= ‘ignore‘) 

 1 import jieba
 2 import jieba as jieba
 3 
 4 path2 = "path2.txt"　　　　#打开已去除掉非中文的文本文件
 5 path3 = "D:/stopwords_u.txt"　　　　#停用词txt
 6 txt = open(path2, encoding="utf-8").read()  #加载待处理数据文件
 7 stopwords = [line.strip() for line in open(path2, encoding="utf-8").readlines()] #加载停用词
 8 words = jieba.lcut(txt)     #分词
 9 counts = {}                 #计数{word，frequency}
10 for word in words:
11     if word not in stopwords:          #不在停用词表中
12         if len(word) == 1:　　　　　　　　#长度为1的话，不储存
13             continue
14         else:　　　　　　　　　　　　　　　　#不是停用词且词长度不为1
15             counts[word] = counts.get(word, 0) + 1
16 
17 items = list(counts.items())
18 items.sort(key=lambda x: x[1], reverse=True)
19 for i in range(30):　　　　　　　　　　　　#输出词频统计前30项
20     word, count = items[i]
21     print("{:<10}{:>7}".format(word, count))