首页 > 其他 > 详细

安装hadoop

时间:2019-05-13 17:44:31      阅读:126      评论:0      收藏:0      [点我收藏+]

一、在VMware Workstation安装Ubuntu

 

点击文件 ---> 新建虚拟机

 技术分享图片

 

 

稍后才安装系统

 技术分享图片

 

 

 选择Linux的版本

技术分享图片

 

指定磁盘容量

技术分享图片

 

 

创建好虚拟机

技术分享图片

 

 

使用ubuntu镜像文件安装系统

技术分享图片

 

 

二、创建hadoop用户

 

创建

技术分享图片

 

设密码

技术分享图片

 

加入sudo权限

技术分享图片

 

三、安装MySQL

 

更新软件资源库

技术分享图片

 

 

 安装mysql

技术分享图片

 

 

开启mysql服务

技术分享图片

 

 

 

四、安装java环境

 

下载jdk

技术分享图片

 

配置环境变量

技术分享图片

技术分享图片

 

 

检验环境变量

技术分享图片

 

 

五、window使用xshell传文件到ubuntu

 

安装ssh

技术分享图片

 

 

启动ssh和验证是否可以远程登录

技术分享图片

 

 

生成密匙

技术分享图片

 

 配置ssh无密码登录

技术分享图片

 

剩余空间作为过载点“/”的EXT4日志文件系统

技术分享图片

点击完成后继续

技术分享图片

 window安装xsehll6

技术分享图片

 

 

 

 

 

六、安装hadoop

 

解压

技术分享图片

 

 移动文件到 /usr/local目录

技术分享图片

 

 重命名文件夹

技术分享图片

 

 修改文件夹权限

技术分享图片

 

 检查hadoop是否可用

技术分享图片

 

 

七、运行单机模式

 运行grep例子

技术分享图片

技术分享图片

技术分享图片

 

 运行结果

技术分享图片

 

 

八、运行伪分布模式

配置文件参考:https://www.cnblogs.com/MissDu/p/8831525.html

 

 修改文件

 技术分享图片

 

core-site.xml文件

技术分享图片

 

hdfs-site.xml文件

 技术分享图片

 

格式化NameNode

技术分享图片

 

开启NameNode和DataNode失败,但是JAVA_HOME已经配置了

技术分享图片

 

 在网上找到原因,需要修改hadoop-env.sh文件

技术分享图片

技术分享图片

 技术分享图片

 

 

 

开启NameNode和DataNode成功

技术分享图片

 

检测是否开启成功,成功则会出现下面进程

技术分享图片

 

 

伪分布运行实例

技术分享图片

技术分享图片

 

运行结果

技术分享图片

 

 可把hdfs的output文件夹复制到本地

技术分享图片

 

安装hadoop

原文:https://www.cnblogs.com/zhouyihan/p/10857735.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!