首页 > 其他 > 详细

yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀

时间:2016-01-01 18:50:16      阅读:313      评论:0      收藏:0      [点我收藏+]


问题:

发现每次reduce阶段跑到98%,相关的container被杀。报出的log大概的意思:container 600s未报告进度超时被杀

解决的方法:

在mapreduce程序里加上

conf.set("mapred.task.timeout", "0");                        //不检查超时


又一次打包执行,最后没有出现错误,可是执行非常长时间,总算执行完了,怀疑程序问题有大循环
最后检查reduce发现会有双层循环,有可能会很大,导致卡在reduce内部,长时间没有进行不论什么的读写,也就没有汇报他的进度情况

总结

问题的解决办法起于对于悬挂的task,假设NMr在一段时间(默认是10min。能够通过mapred.task.timeout属性值来设置。单位是毫秒)内一直没有收到它的进度报告。则把它标记为失效



yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀

原文:http://www.cnblogs.com/mengfanrong/p/5093494.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!