首页 > 其他 > 详细

Hadoop 集群的三种方式

时间:2019-04-13 17:00:50      阅读:119      评论:0      收藏:0      [点我收藏+]

1,Local(Standalone) Mode 单机模式

  $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output ‘dfs[a-z.]+‘
  $ cat output/*

解析$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output ‘dfs[a-z.]+‘
input 夹下面的文件 :capacity-scheduler.xml  core-site.xml  hadoop-policy.xml  hdfs-site.xml  httpfs-site.xml  yarn-site.xml

bin/hadoop hadoop 命令
jar 这个命令在jar包里面
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar 具体位置
grep grep 函数
input grep 函数的目标文件夹
output grep 函数结果的输出文件夹
‘dfs[a-z.]+‘ grep 函数的匹配正则条件

直译:将input文件下面的文件中包含 ‘dfs[a-z.]+‘ 的字符串给输出到output 文件夹中
输出结果:part-r-00000  _SUCCESS
cat part-r-00000:1 dfsadmin
在hadoop-policy.xml 存在此字符串

 

Hadoop 集群的三种方式

原文:https://www.cnblogs.com/pickKnow/p/10701433.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!