首页 > 其他 > 详细

Hive Map 端OOM 异常

时间:2016-08-24 14:37:31      阅读:165      评论:0      收藏:0      [点我收藏+]

怪异现象:数据量不大,且不是Reduce端OOM,是Map端OOM

 

Map Task运行的时候数据流中包含了非法字符例如:EOF、NOP等东西,导致BufferedReader读取和StreamDecoder解码出错,

进一步导致了OOM,需要剔除这些记录,可以通过length来限制。

 

PS:当然,这只是Map 端OOM出现的其中一种原因,仅供参考。

 

Hive Map 端OOM 异常

原文:http://www.cnblogs.com/yako/p/5802684.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!