首页 > 其他 > 详细

中间结果占满了磁盘空间

时间:2019-11-16 09:48:16      阅读:93      评论:0      收藏:0      [点我收藏+]

1.准备文件(200M)

2.跑MapReduce

3.map阶段48%卡主不动

4.强制杀死进程

hadoop jar -kill id号

5.再次启动报错,资源不足,namenode进入安全模式,强制解除安全模式没有效果

hadoop dfsadmin -safemode leave

6.使用df -hT  ,发现磁盘空间占满,经过百度,使用du -sh ./* 发现是hadoop下的data目录下的一个文件把磁盘都使用了,这是一个mapreduce的一个中间结果

7.删除中间结果文件,再次使用df -hT查看,磁盘正常

8.能正常启动mapreduce

9.J哥说使用hdfs fsck / 查看 然后使用 hdfs dfs -rm -r -skipTrash 文件名 删除相应的文件

10.教训,学习环境下不要使用超过10M的文件

中间结果占满了磁盘空间

原文:https://www.cnblogs.com/Tunan-Ki/p/11870294.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!