hadoop之简洁知识点

1.hadoop
hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式。
高可用:单点故障 hadoop_ha JournalNodes集群 active standby
修改一次元数据都会生成一条edits log，除了写入本地磁盘文件，还会写入JournalNodes集群
namenode:
NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。
fsimage - 它是在NameNode启动时对整个文件系统的快照
edit logs - 它是在NameNode启动后，对文件系统的改动序列
datanode:
存储block
Secondarynamenode :
1.镜像备份,备份fsimage
2.edit.log和旧的fsimage 合并成新的fsimage，发送给namenode
2.yarn
在集群中的表现形式为：1个JobTracker带多个TaskTracker；
JobTracker：负责资源管理和作业调度；
TaskTracker：定期向JobTracker汇报本节点的健康状况、资源使用情况以及任务的执行情况；接收来自JobTracker的命令（启动/杀死任务等）并执行接收到的命令;
3.mapreduce
maptask 由split决定
reducetask 由partition决定

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

hadoop之简洁知识点

原文：https://www.cnblogs.com/wpy188/p/12416401.html