首页 > 其他 > 详细

hadoop学习---运行第一个hadoop实例

时间:2018-06-26 18:25:01      阅读:196      评论:0      收藏:0      [点我收藏+]
hadoop环境搭建好后,运行第wordcount示例
1.首先启动hadoop:sbin/start-dfs.sh,sbin/start-yarn.sh(必须能够正常运行)
 
2.进入到hadoop的安装目录下(我的是/usr/hadoop)
 
技术分享图片
 
3.新建hadoop hdfs文件系统上的input文件夹(输入文件存放):hadoop fs -mkdir /input
技术分享图片
 
4.传入测试文件:hadoop fs -put test.txt /input (这里我是在hadoop安转目录建了一个test.txt文件)
技术分享图片
 
查看刚刚传入的文件:hadoop fs -ls /input
 
技术分享图片
 
5.运行wordcount示例:hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output (下划线具体路径自己调整)。
运行后的首尾截图:
 
技术分享图片
 
技术分享图片
6.运行成功后,查看目录:hadoop fs -ls / 多了一个output文件夹
技术分享图片
 
继续查看 output 文件夹:hadoop fs -ls /output
有 _SUCCESS 和part-r-00000两个文件夹
 
技术分享图片
7.查看part-r-00000 文件夹中的运行结果:hadoop fs -cat /output/part-r-00000
 
技术分享图片
8.访问50070端口也可查看 ,输入master的ip 访问:http://192.168.184.131:50070
技术分享图片
 
进入input文件夹就可看到上传的test.txt文件
技术分享图片
 
 

hadoop学习---运行第一个hadoop实例

原文:https://www.cnblogs.com/momoyan/p/9230559.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!