BigData<4>_Hadoop单机安装

一、环境

1. 本机Mac，设置服务器ip的名称。

vim /etc/hosts

增加服务器ip 和 名称的映射关系：
120.xx.xxx.145 hadoop000 方便记忆
利用ssh登陆服务器：

1. Linux上，设置服务器内网ip和服务器名称的映射 「使用阿里云，搭建Hadoop时候应该用内网ip」
   同样在/etc/hosts中修改，服务器名hadoop000

2. 创建相关的文件夹 mkdir hadoop
   mkdir software 存放软件安装包
   mkdir app 存放软件的安装目录
   mkdir data 存放使用的数据
   mkdir lib 存放开发的jar
   mkdir shell 存放项目中的脚本
   mkdir maven_resp 存放使用到的maven依赖

3. Hadoop安装前置要求 Java 1.8 （我用的Java11） 、 ssh
   Java和ssh的配置略略

java -version

看到安装的版本号说明安装完成。

1. ssh 免密登陆配置

ssh-keygen -t rsa

一路回车，在～/.ssh/中：
id_rsa 私钥
id_rsa.pub 公钥
将公钥写入authorized_keys

cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys

注意：
a. Hadoop集群中各个节点之间的访问（单一节点就是自己访问自己）需要配置免密登陆，否则后期启动NameNode，DataNode需要输密码
b. 后期Hadoop集群在阿里云服务器上，在IDEA上API编程访问Hadoop集群时候，也需要本地和服务器之间的免密登陆。即需要将本地机器的公钥写入服务器的authorized_keys

二、Hadoop安装目录详解及hadoop_env配置

1. 采用CDH版本, 版本采用hadoop-2.6.0-cdh5.15.1 「注意后面用的hive版本的尾号也是cdh5.15.1，使用hive-1.1.0-cdh5.15.1」
   下载:http://archive.cloudera.com/cdh5
   下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
   下载到服务器。并解压到相应目录

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
mv ./hadoop-2.6.0-cdh5.15.1.tar.gz ~/hadoop/software
tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/hadoop/app  

1. 目录内容详解

drwxr-xr-x  2 guoqiang guoqiang  4096 9月   2 01:00 bin  
drwxr-xr-x  2 guoqiang guoqiang  4096 8月  10 2018 bin-mapreduce1
drwxr-xr-x  3 guoqiang guoqiang  4096 8月  10 2018 cloudera
drwxr-xr-x  6 guoqiang guoqiang  4096 8月  10 2018 etc
drwxr-xr-x  5 guoqiang guoqiang  4096 8月  10 2018 examples
drwxr-xr-x  3 guoqiang guoqiang  4096 8月  10 2018 examples-mapreduce1
drwxr-xr-x  2 guoqiang guoqiang  4096 8月  10 2018 include
drwxr-xr-x  3 guoqiang guoqiang  4096 8月  10 2018 lib
drwxr-xr-x  3 guoqiang guoqiang  4096 8月  10 2018 libexec
-rw-r--r--  1 guoqiang guoqiang 85063 8月  10 2018 LICENSE.txt
drwxr-xr-x  2 guoqiang guoqiang  4096 9月   3 14:29 logs
-rw-r--r--  1 guoqiang guoqiang 14978 8月  10 2018 NOTICE.txt
-rw-r--r--  1 guoqiang guoqiang  1366 8月  10 2018 README.txt
drwxr-xr-x  3 guoqiang guoqiang  4096 9月   3 11:13 sbin
drwxr-xr-x  4 guoqiang guoqiang  4096 8月  10 2018 share
drwxr-xr-x 18 guoqiang guoqiang  4096 8月  10 2018 src

bin: hadoop 客户端命令
etc/hadoop ：Hadoop相关的配置文件存放目录
sbin：启动Hadoop相关进程的脚本
share：常用工具

1. 配置
   a、配置JAVA_HOME

vim ./etc/hadoop/hadoop-env.sh

b、伪分布式单节点配置
etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>
    <--修改Hadoop文件的存放位置-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/guoqiang/hadoop/app/tmp</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml
hadoop 默认3副本，但是我们搭建伪分布式，所以改为1

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

BigData<4>_Hadoop单机安装

原文：https://www.cnblogs.com/isguoqiang/p/11470445.html