首页 > 其他 > 详细

Hadoop单机安装

时间:2017-08-17 09:17:17      阅读:294      评论:0      收藏:0      [点我收藏+]

环境:ubuntu kylin 15.10,hadoop 2.8.1,jdk 8

1、新建用户cauchy

sudo adduser cauchy

2、hosts中添加hadoop映射

vi /etc/hosts

技术分享

注:使用cauchy用户执行ifconfig命令查看ip地址发现没有权限,执行如下命令解决

vi ~/.bashrc

最后添加export PATH="$PATH:/sbin"

source ~/.bashrc

3、使用cauchy用户安装SSH

su - cauchy
sudo
apt-get install openssh-server

报错:没有sudo权限。需要先给cauchy添加sudo权限

su - root

vi /etc/sudoers

添加cauchy ALL=(ALL:ALL) ALL

技术分享

4、cauchy用户设置ssh免密

cd ~/.ssh/
ssh-keygen -t rsa
一直回车
cat ./id_rsa.pub >> ./authorized_keys
ssh hadoop

此时还是需要输入密码,才能连接

5、修改authorized_keys以及用户目录cauchy权限

chmod 600 authorized_keys
chmod 710 /home/cauhcy
ssh hadoop

值得注意的是:

cauchy目录权限为777,authorized_keys权限为777,免密登陆失败

cauchy目录权限为777,authorized_keys权限为600,免密登陆失败

cauchy目录权限为710,authorized_keys权限为600,免密登陆成功

7、下载jdk,hadoop解压,并设置jdk,hadoop环境变量

软件目录

技术分享

环境变量~/.bashrc

技术分享

执行java -version成功,执行hadoop失败:Error: JAVA_HOME is not set and could not be found.

说明需要export JAVA_HOME。(同时在PATH中增加了$HADOOP_HOME/sbin)

技术分享

此时执行hadoop成功。

技术分享

 8、测试

在/home/cauchy/software目录下新建一个测试文本word.txt

Hello, hadoop, I‘m comming.
I love you.

执行命令

hadoop jar ~/software/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount ~/software/word.txt ~/software/result

可以看到生成了结果文件夹~/software/result

技术分享

 

Hadoop单机安装

原文:http://www.cnblogs.com/coshaho/p/7376720.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!