首页 > 其他 > 详细

HDFS学习笔记

时间:2019-09-22 21:27:48      阅读:109      评论:0      收藏:0      [点我收藏+]

1.HDFS的设计目标

  • 故障的检测和自动快速恢复
  • 数据访问的高吞吐量
  • 支持大文件
  • 一次写入多次查看
  • 移动计算的代价比移动数据代价小
  • 可移植性

2.基本原理

  • NameNode仅存储元数据:文件系统所有文件的目录树,并跟踪集群中的文件
  • NameNode不持久化各个块位置的所在的DataNode信息,DataNode启动时汇报给NameNode。
  • DataNode默认三秒向NameNode发送心跳,如果长时间没有接受到心跳就认为DataNode失效,NameNode安排其他DataNode对此副本进行备份。
  • Block的汇报时间默认是6小时

3.HDFS读写数据

技术分享图片

技术分享图片

 

HDFS学习笔记

原文:https://www.cnblogs.com/qidi/p/11568924.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!