首页 > 其他 > 详细

Alluxio : 开源分布式内存文件系统

时间:2019-06-17 20:37:12      阅读:33      评论:0      收藏:0      [点我收藏+]

标签:ramdisk   的区别   内存   提升   location   ble   不同   for   imm   

Alluxio : 开源分布式内存文件系统

Alluxio is a memory speed virtual distributed storage system.Alluxio是一个开源的基于内存的分布式存储系统,现在成为开源社区中成长最快的大数据开源项目之一。


公司简介:

  • 由项目的创建者李浩源以及来自UC Berkeley, Google, CMU, Palantir, Stanford, Yahoo等不同公司和学校的项目核心开发者组成。

  • 完成750万 dollars 的A轮融资,由Andreessen Horowitz投资(硅谷最著名的VC之一,主要成员为网景公司创始人之一)。


背景介绍:

    • 2012年诞生于UC Berkeley AMPLab,此前这个实验室孵化了Apache Mesos和Apache Spark等著名开源项目。

    • 2013年4月开源,现在由最初的Tachyon改名为Alluxio,基于Apache License 2.0开源标准,最新版本为Version 1.0 (Feb 23rd, 2016)。

技术分享图片
    • 在分布式系统的开源项目中,相比于同级别项目,Alluxio的增长非常迅速

技术分享图片
  • 吸引了来自超过50个组织的200+个contributors。

    技术分享图片

     

主要特性:

  • 数据存储与计算分离,两部分引擎可以进行独立的扩展。计算引擎(如Hadoop, Spark)可以访问不同数据源(Amazon S3, HDFS)中的数据。

问题:与Redis,Memcached等分布式in-memory key-value缓存的的区别:

  • 答:(1) Alluxio可以同时管理多个底层文件系统,将不同的文件系统统一在同一个名称空间下,让上层客户端可以自由访问统一名称空间内的不同路径,不同存储系统的数据。(2)Alluxio提供文件接口,并存储且维护文件的metadata(比如记录文件分成哪几个block, 每一个block在哪台server上)。并提供fault tolerance的metadata服务。而Redis/Memcached为Nosql的key-value分布式缓存,并不提供文件接口。


内存与硬盘比较

硬盘内存增长率曲线:

技术分享图片

因此,充分利用内存,成为趋势,而Memory locality成为影响相应时间最重要的因素之一。硬盘内存价格曲线:

技术分享图片

Alluxio with Spark

  • Spark是一种基于内存的运算框架。

  • 在JVM的内存中存储一份,以保证较少的网络通信和读写。

  • 记录存储数据的世代(lineage),当数据丢失时,基于世代将job重新运行,得到相应数据。

    技术分享图片

     


Issue 1:数据分享(Data Sharing)在analytics pipeline中成为瓶颈。

技术分享图片

在Spark中,如果job2需要Job1运算的数据,Job1首先需要将数据写入到HDFS的block中,会产生硬盘甚至跨网络的读写,同时在HDFS中默认数据需要写三份,因此造成性能的损失。


Issue 1 的解决方案:内存数据在不同的job和framework中进行分享。

技术分享图片

Alluxio在HDFS/ Amazon S3和计算引擎中间提供了中间层,Spark的Job1不需要写到HDFS中,而只需要写到Alluxio的内存中,Job2可以从内存中读取相应数据。


Issue 2: 当计算引擎的进程损坏,Cache 丢失,Spark只能重新启动并计算恢复数据。

技术分享图片

Issue 2 解决方案:

当计算引擎损坏,由于中间由Alluxio存储数据,可以保证内存中的数据安全。

问题1:因为在传统计算引擎中,数据存储在同一个JVM中,而基于Alluxio的中间件将数据存到了不同的JVM中,跨JVM读写会不会影响性能?

答:跨JVM读写会影响性能,在Alluxio中,使用了RamDisk来模拟本地文件系统的方式。


问题2:如果Alluxio crash,怎么保证数据安全?

答:在Alluxio中,数据不是保存在JVM中,而是保存在RamDisk中,RamDisk为独立的进程,因此可以保证数据安全。


问题3:Alluxio是否可以支持随机读写?

答:可以进行随机读,给定一个offset。新创立的文件一旦关闭,就会变成immutable


Issue 3: 内存数据的重复和Java的垃圾回收。Issue 3 解决方案:

由于计算引擎与存储引擎共享同一个进程,而不是放在自己的JVM中,可以减少垃圾回收和数据重复。


Alluxio 架构: Memory-centric storage architecture

核心思想:将世代(lineage)由计算引擎放到了数据层处理。


技术分享图片

1,存储架构:

master节点负责管理worker节点,数据存储在worker节点中。

对于每一个worker,worker daemon为一个JVM,负责管理Ramdisk,数据存储在Ramdisk中。

如果有高可用性的需求,可以设置standby master和zookeeper来容错,这里会有性能损耗。


2,世代(Lineage) 保证数据的Reliability

技术分享图片

1,当数据E丢失后,通过世代找到相应的之前数据,重新部署一个Job将数据重新计算。

2,将数据在底层文件系统中备份。


问题:HDFS中每个数据块会默认有多个备份, 从而在极端情况下会有更大的读取带宽。 在Alluxio中,由于数据存储在同一份内存中,如何处理多个Job同时读取同一份数据的情况。

答: Alluxio的数据在内存当中,本身可以提供更大的本地读取带宽。另外Alluxio也允许让用户绕过Alluxio直接从底层的持久化文件系统读取数据。


3,分层存储(Tiered Storage):


当数据大小超过内存容量,如何处理?

Alluxio不仅仅管理内存,同样可以管理SSD,HDD等系统资源。保证Alluxio可以正常运行。

One Large Scale deployment:

某公司实现了1000 workder 的Alluxio部署,每个机器几G-几十个G的内存 。

技术分享图片

4,可插拔的数据管理(Pluggable Data Management)

技术分享图片

基于每一个worker,暂时没有跨worker。对于计算机系统来说,长期以来人们在不同的场景下反复使用两个经典但行之有效的方案:

1,cache。

2,增加一个中间层(比如增加一层指针,如virtual memory)


Q: Alluxio 有没有全局的分层存储的allocation/eviction管理?

A: 目前Alluxio的cache策略是基于每一个worker单独的决策,暂时没有实现跨worker的分层存储的协作。


5,Pin Data

技术分享图片

对于重要的数据,可以通过Pin来显示的把数据“挂”在内存层

问题:对于Pin的data,怎么保证底层数据修改之后上层数据的更新。

答:给用户提供命令去主动更新数据。


6,透明命名(Transparent Naming)

技术分享图片

 

Alluxio可以提供将创建,重命名和删除文件等操作从Alluxio映射到底层存储层(比如上图中的HDFS 或者S3)的对象中,从而实现将底层存储系统中的文件与其Alluxio自身管理的文件系统的完全同步。

7,统一命名空间(Unified Namespace)


技术分享图片

Alluxio可以挂载多个不同的文件系统到一个统一的命名空间当中,如不同的文件系统A和文件系统B可以同时挂载到Alluxio上面的不同目录当中。

在不同的数据文件系统中可以共享数据。

此操作可以on the fly,被管理员进行操作。


Alluxio Case Study:

百度:

性能提升:30x

框架: SparkSQL

存储系统: Baidu’s File System

存储媒介: MEM+HDD

节点数量: 100+

空间管理大小:1PB+

Q: 为什么可以提供30x的性能提升?

A: 百度的一项业务采用计算和存储分离的架构:比如计算集群在一个城市,而数据存储集群在另一个城市。数据存储集群计算资源较少,而计算集群没有足够存储资源。百度将Alluxio部署到了计算集群中。从而将数据存储在了Alluxio中,从而使计算集群可以在本地完成读写。


去哪儿网:

框架:Spark Streaming

存储系统:HDFSS

存储媒介:MEM+HDD

节点数量:200+


Barclays:

框架:SparkSQL

存储系统:None

存储媒介: Memory


某石油公司:

框架: Spark

存储数据:ClusterFS

存储媒介:MEM only

性能提升:在传统文件系统中使用Spark进行数据处理。


某SAAS公司:

框架:Impala

存储系统: S3

存储媒介: MEM+SSD

性能提升:15x


Alluxio新特性:

  1. Alluxio Key-value (Alpha)
  2. Native Swift Integration(Openstack下面的文件系统)
  3. Alibaba Object Storage Service Integration
  4. Users/Groups in File System
  5. ACL Permission
  6. Read/Write Location Preference Policy
  7. Improved Yarn and Mesos Integration

注:本文系2016年2月29日太阁三人行“一起聊聊Alluxio”的总结分享,感谢Menglei Sun的整理,Dr Bin Fan的校注

Alluxio : 开源分布式内存文件系统

标签:ramdisk   的区别   内存   提升   location   ble   不同   for   imm   

原文:https://www.cnblogs.com/bonelee/p/11041665.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号