首页 > 其他 > 详细

Spark与Hadoop MapReduce的对比分析

时间:2014-12-31 16:25:08      阅读:257      评论:0      收藏:0      [点我收藏+]
       Spark与Hadoop MapReduce均为开源集群计算系统,但是两者适用的场景并不相同。其中,Spark基于内存计算实现,可以以内存速度进行计算,优化工作负载迭代过程,加快数据分析处理速度;Hadoop MapReduce以批处理方式处理数据,每次启动任务后,需要等待较长时间才能获得结果。在机器学习和数据库查询等数据计算过程中,Spark的处理素的可以达到Hadoop MapReduce 的100倍以上。因此,对于实时要求较高的计算处理应用,Spark更加适用;对于海量数据分析的非实时计算应用,Hadoop MapReduce更为适合。同时,相比Hadoop MapReduce,Spark代码更加精简,且其API接口能够支持Java、Scala和Python等常用编程语言,更方便用户使用。

Spark与Hadoop MapReduce的对比分析

原文:http://blog.csdn.net/u013485584/article/details/42294423

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!