首页 > 其他 > 详细

Hadoop的两种扩容方式

时间:2020-04-15 23:10:17      阅读:134      评论:0      收藏:0      [点我收藏+]

Hadoop两种扩容方式

1、横向扩容(增加datanode节点数)

①、克隆之前配置好的从属机,修改静态ip地址,在namenode机上配置hosts文件,将新的从属机IP地址映射加入进去

②、因为hadoop支持热部署,可以在已经启动的情况下在slaves文件中加入hadoop03,然后在从属机上手动启动datanode进程,namenode会自动监听slaves中每个从属机的进程状态,启动之后会自动加入到livenodes中去。也可以在服务启动之前就加入到slaves中去,启动服务时会自动启动所有从属机的datanode进程。

技术分享图片

2、纵向扩容(增加datanode的存储容量)

①、给datanode虚拟机增加一块硬盘,重启虚拟机以加载硬盘。

②、进入到 /dev文件夹下 ,使用 ll |grep sd 命令可以看到有新增一个sdb,这就是新加的硬盘的配置文件

使用fdisk对sdb进行配置

? 1> fdisk sdb //进入配置菜单 输入m可以查看命令提示

? 2>n //添加分区

? 3>p //添加的分区类型为主分区

? 4>1 //第几个主分区

? 5>直接按回车 //从第几个扇区开始 默认是2048

? 6>直接回车 //分配的大小 默认是全部

? 7>w //保存修改并退去配置菜单

? 8> ll |grep sd //再次查看,如果多出一个sdb01标明配置完成

③、新建一个文件夹,将新磁盘配置的分区和该文件夹绑定(挂载)

? 1>临时挂载,重启之后会失效,使用 mount /dev/sdb1 /sdb1

? ↑ ↑

? 要绑定的分区文件位置 要绑定的文件夹的位置

? 2>永久挂载,重启之后也不会失效

? vim /etc/fstab

? 最下方加入一行代码

? /dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置

? 分区位置 文件夹位置

? ④、 修改hdfs-site.xml 加入如下配置

技术分享图片

dfs.datanode.data.dir

⑤、start-dfs.sh

Hadoop的两种扩容方式

原文:https://www.cnblogs.com/qilingfeng/p/12709182.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!