首页 > 系统服务 > 详细

ubuntu 系统安装hadoop

时间:2018-09-22 16:39:37      阅读:157      评论:0      收藏:0      [点我收藏+]
  • 设置网络
  • 给系统root 用户设置密码 才可以登陆root用户
    sudo passwd root
  • 设置开源镜像地址
    vi /etc/apt/sources.list
  • 学会更新命令
    apt-get update :更新下资源
    apt-get upgrade:更新所有系统软件
    apt-get upgrade gimp:更新gimp软件
    apt-get install :安装软件
  • 安装jdk
    tar zxvf
  • 拷贝机器

  • 改名主机名字 host 地址
    vi /etc/hostname
  • 配置免密码登陆
    ssh-keygen -t rsa -P ‘‘
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys :追加到自己
    cat /opt/id_rsa.pub >> ~/.ssh/authorized_keys:追加到别人
  • 安装hadoop

  • 配置etc/hadoop/hadoop-env.sh文件

      sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
    
      找到“export JAVA_HOME=”部分,修改为本机jdk路径

    技术分享图片

  • 配置etc/hadoop/core-site.xml文件

      sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml
    
      在<configuration></configuration>中间添加如下内容:
      master为namenode主机名,即/etc/hosts文件里的名字

技术分享图片

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop</value>
    </property>
  • 配置hdfs-site.xml文件,若路径下没有此文件,则将hdfs-site.xml.template重命名

      <!-- 指定HDFS副本的数量 -->
      <property>
      <name>dfs.replication</name>
      <value>2</value>
      </property>
      <!—NameNode节点秘书节点SecondaryNameNode配置-->
      <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>cs-2:50090</value>
      </property>
    
      <value>1</value>中间的数字表示slave节点数
  • 配置mapred-site.xml

     <!-- 指定mr运行在yarn上,默认是local,本地模仿一个资源环境  -->
     <property>
     <name>mapreduce.framework.name</name>
             <value>yarn</value>    
     </property>
  • 配置yarn-site.xml

      <!-- 指定YARN的老大(ResourceManager)的地址 -->
      <property>  
             <name>yarn.resourcemanager.hostname</name>
      <value>cs-1</value>    
      </property>
          <!-- reducer获取数据的方式 -->
      <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
      </property>
  • 向slaves文件中添加slave主机名,一行一个

      cs-1
      cs-2
      cs-3
  • 环境变量配置
    命令:vi /etc/profile
    export HADOOP_HOME=/export/server/hadoop-2.7.6
    export PATH=${JAVA_HOME}/bin:$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
    重新加载环境变量:source /etc/profile

  • 拷贝
    - 分别拷贝hadoop安装包和环境变量到cs-2,cs-3
    --拷贝hadoop安装包到cs-2,cs-3

ubuntu 系统安装hadoop

原文:https://www.cnblogs.com/pangrou/p/9690343.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!