首页 > 其他 > 详细

BUG-‘Tokenizer’ object has no attribute ‘oov_token’

时间:2019-01-30 12:03:49      阅读:585      评论:0      收藏:0      [点我收藏+]

使用keras包实现NLP问题时,报错

/lib/python3.5/dist-packages/keras/preprocessing/text.py”,
line 302, in texts_to_sequences_generator elif self.oov_token is not None: 
AttributeError: ‘Tokenizer’ object has no attribute ‘oov_token’

报错的代码行为

train_sequences = tokenizer.texts_to_sequences(new_training_list)

从texts_to_sequences()点进去keras的源码,发现它调用texts_to_sequences_generator()方法

而该方法里没有oov_token,后面有调用,但是没有设置

手动设置就ok

在texts_to_sequences_generator()方法里添加

tokenizer.ovv_token=None

OK.Fine

BUG-‘Tokenizer’ object has no attribute ‘oov_token’

原文:https://www.cnblogs.com/lyeeer/p/10337391.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!