首页 > 其他 > 详细

Hadoop课程

时间:2018-09-05 16:36:31      阅读:214      评论:0      收藏:0      [点我收藏+]

作者:gqk

1,Hadoop的前世今生:

2,hadoop是什么:

  Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。 [2] 

3,什么是分布式文件系统:

  指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连

4,hadoop的四大组件:

  common、HDFS、MapReduce、YARN

  common:Hadoop常用的工具类,

  HDFS:Hadoop实现了一个分布式的文件系统,HDFS为海量的数据提供了存储

  MapReduce:基于YARN的大型数据集并行处理系统。是一种计算模型,用以进行大数据量的计算。

  yarn:分布式集群资源管理框架,管理者集群的资源

 技术分享图片技术分享图片

 


 5,HDFS:分布式文件系统:

  a,文件系统:文件管理+block块管理(读写文件存储到磁盘中的块)

      单机文件系统:windows(文件系统格式):FAT16,FAT32,NTFS 

           LINUX(文件系统格式):ext2/3/4,vfs

   b,分布式文件系统:多个服务器存储文件(画图说明搜索引擎处理流程)

    技术分享图片

 

  技术分享图片

 

 

 

 

 

  

技术分享图片

Hadoop课程

原文:https://www.cnblogs.com/520gqk/p/9592021.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!