首页 > 其他 > 详细

Storm工作流程 vs. Spark Stream

时间:2017-02-03 12:02:29      阅读:411      评论:0      收藏:0      [点我收藏+]

看的这个学习课程:

http://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003360187&courseId=1002887002

 

技术分享

 

 

Spark Stream其实是把数据分成一段一段的进行处理。小批量处理方式

按时间段分成一个个Dstream,每个Dstream是由相同时间段的多个RDD组成。

 

技术分享

 

两者的区别

1. 最大的区别,是Spark Streaming不可能完成毫秒级响应,因为是按段分的,不是实时的。

2. 容错性,Spark好于Storm

3. Spark小批量和大批量能够结合使用。方便了一些需要历史数据和实时数据结合的场景。

Storm的单位是Tuple,Spark的单位是Dstream.

 

Storm工作流程 vs. Spark Stream

原文:http://www.cnblogs.com/charlesblc/p/6362199.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!