伪分布式模式下，hadoop将所有进程运行于同一台主机上，但此时hadoop将使用分布式文件系统，而且各jobs也是由JobTracker服务管理的独立进程。同时，由于伪分布式的hadoop集群只有一个节点，因此HDFS的块复制将限制为单个副本，器master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式以外，其程序执行逻辑完全类似于完成分布式，因此，常用于开发人员测试程序执行。
vim hadoop/etc/hadoop/hadoop-env.sh
修改内容如下：
# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
<configuration>
<!--NameNode的IP地址和端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.138.55:9000</value>
</property>
<!--指定hadoop运行时产生文件的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data/temp</value>
</property>
</configuration>
<configuration>
<!--指定HDFS副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
bin/hdfs namenode -format
hadoop-daemon.sh start namenode
可以使用【jps】命令查看是否成功启动namenode
hadoop-daemon.sh start datanode
使用【jps】命令查看是否成功启动DataNode
地址：http://192.168.138.55:50070/
格式NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往的数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后在格式化NameNode
# some Java parameters
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.138.55</value>
</property>
</configuration>
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64
cp mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
地址：http://192.168.138.55:8088/cluster
hadoop fs -put wcinput /
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /wcinput /wcoutput
hadoop fs -cat /wcoutput/*
为了查看程序的历史运行情况，需要配置一个历史服务器；
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.138.55:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.138.55:19888</value>
</property>
sbin/mr-jobhistory-daemon.sh start historyserver
地址：http://192.168.138.55:19888
日志聚集概念：应用运行完成之后，将程序运行日志信息上传到HDFS系统上；
日志聚集功能好处：可以方便的查看到程序运行情况，方便开发调试；
注意：开启日志聚集功能，需要启动NodeManager,ResourceManager和HistoryManager；
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
bin/hdfs dfs -rm -R /wcoutput
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /wcinput /wcoutput
地址：http://192.168.138.55:19888
点击logs即可查看日志
hadoop配置文件分两类：默认胚子文件个自定义配置文件，只有用户像修改某一默认配置值时，才需要修改自定义配置文件，更改响应属性值；
core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml四个配置文件存放在/etc/hadoop这个路径上，用户可以根据项目需求进行修改配置；
原文：https://www.cnblogs.com/wnwn/p/12519827.html