首页 > 其他 > 详细

大数据调整集群当中的磁盘占用(HDFS)和存的数据的副本数的调整

时间:2018-09-07 19:00:08      阅读:237      评论:0      收藏:0      [点我收藏+]

最近刚搭建的Hadoop集群(CM),发现在通过sqoop导入数据使整个集群当中的磁盘都快占满了。这个时候考虑到需要对集群当中数据的副本数进行修改(由原来的3个副本修改为现在的1个副本)

dfs.replication  将这个参数的值由3变为1

然后我们在对之前到如到HDFS上面的文件进行重新设置副本数。命令如下:

hadoop fs -setrep -R 1 /  将根目录下的文件的副本数设置为1个。

然后我们使用CM对集群当中的资源进行平衡操作。截图如下:

技术分享图片

平衡之后,我们就可以看到整个集群当中磁盘的占用情况进行了改善:

具体的截图如下:

技术分享图片

技术分享图片

至此集群当中的磁盘占用没有那么多得到了有效的改善。

 

大数据调整集群当中的磁盘占用(HDFS)和存的数据的副本数的调整

原文:https://www.cnblogs.com/gxgd/p/9606516.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!