首页 > 其他 > 详细

Hadoop2 上HDFS HA 搭建过程

时间:2014-03-22 12:11:13      阅读:515      评论:0      收藏:0      [点我收藏+]

简介

    HADOOP2的HDFS上引入HA机制以解决单点故障,引入Fedaration机制以解决HDFS拓展性问题。博客将介绍HA机制的原理,以及HDFS HA配置过程。
    HA中有两个NameNode:Active NameNode、Standby NameNode。其中Active NN当做主节点,而Standby NN当做备份的主节点,当Active NN崩掉时,可以将Standby NN切换为主节点。而Active NN和Standby NN之间的元数据信息通过第三方服务JournalNode进程进行同步。
   如果Active NN崩溃之后,可以手动将Standby NameNode切换成Active NameNode,也可以通过Zookeeper服务进行自动切换。

配置

   集群共有5个节点sist17、sist18、sist19、sist20、sist21,由于NameNode的负载较大,因此将其配置在一个节点上,具体配置如下图所示。
   具体参数可以参考:http://pan.baidu.com/s/1dDGc1f7
bubuko.com,布布扣

启动

   所有配置均在Hadoop部署目录${yarn.home.dir}下进行。
   step1.在各个Journal Node节点上,输入以下命令启动Journal Node
         sbin/hadoop-daemon.sh start journalnode
   step2.在[nn1]上,进行格式化,并启动
         bin/hdfs namenode -format
         sbin/hadoop-daemon.sh start namenode
   step3.在[nn2]上,同步nn1的元数据信息,并启动
         bin/hdfs namenode -bootstrapStandby
         sbin/hadoop-daemon.sh start namenode
   经过以上3步,[nn1]和[nn2]均处在standby状态
   step4.[nn1]节点上,将其转换为active状态
         bin/hdfs haadmin -transitionToActive nn1
   step5.在[nn1]上,启动所有datanode
         sbin/hadoop-daemons.sh start datanode
  step6.在[nn1]上,启动yarn
         sbin/start-yarn.sh
 如果要关闭集群,在[nn1]上输入sbin/stop-all.sh即可。
 集群的最终运行效果,如下

bubuko.com,布布扣
Active NN
bubuko.com,布布扣
Standby NN

总结

   HA通过引入Standby Namenode,解决了Hadoop1上HDFS单点故障。如果读者有兴趣的话,可以参考博客,进行HA的配置安装。

Hadoop2 上HDFS HA 搭建过程,布布扣,bubuko.com

Hadoop2 上HDFS HA 搭建过程

原文:http://blog.csdn.net/jiewuyou/article/details/21779247

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!