首页 > 其他 > 详细

分布式文件系统的概念

时间:2017-02-24 19:15:36      阅读:180      评论:0      收藏:0      [点我收藏+]

Analysis of Six Distributed File Systems

1.HDFS: Hadoop Distributed File System

2.MooseFS:提供failover,有数据的版本信息

3.iRODS依赖本地文件系统

4.ceph

https://www.ustack.com/blog/ceph_infra/

5.GlusterFS缺点:

1)文件通过hash可以获得具体位置,但逆向怎么查询呢?
2)海量小文件性能不佳
3)非集中管理,全对等,复杂,效率低。
4)GlusterFS的哈希分布是以目录为基本单位的,文件的父目录利用扩展属性记录了子卷映射信息,子文件在父目录
所属存储服务器中进行分布。负载均衡性能差。
5)GlusterFS以原始数据格式(如EXT4、XFS、ZFS)存储数据,接触数据的人可以直接复制和查看,安全有问题。
6)简化的Cache设计,数据不一致

6.Lustre

7. ceph vs GlusterFS

在块比较小的时候,Ceph的IOPS性能非常高,在块大小为4KB的时候,甚至高出GlusterFS 40%左右,但是块大小大于
1MB的时候,Ceph的性能就不如GlusterFS了
GlusterFS采用Client直接写入的策略,即每次写入以后,节点之间不需要再同步;而Ceph采用的链式写入,即
Client先写入到一个节点上,然后节点之间再同步,因此会消耗一定的带宽,当没有专门的同步网络的时候,同步所
使用的网络带宽可能会影响到Ceph的写入性能。因此,写入方式的差异刚好能够解释GlusterFS在大块写入的时候会
比Ceph性能好。

8. 比较表

  HDFS        
Architecture          
Naming          
API          
Fault detection          
System availability          
Data availability          
Placement strategy          
Replication          
Cache consistency          
Load balancing          
Input/Ouptput          
1*20GB          
1000*1MB          

 

分布式文件系统的概念

原文:http://www.cnblogs.com/spookligd/p/6439807.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!