首页 > 其他 > 详细

(一)SparkStreaming

时间:2020-07-23 02:19:03      阅读:121      评论:0      收藏:0      [点我收藏+]

1、数据的输入 kafka、flume、hdfs、Socket

2、数据的处理 storm(很少)、SparkStreamingflink

3、数据的输出 kafka、hbase、redis(codis)、mysql

4、springboot 大屏

===============================================

1、提交任务

2、Driver服务会发送receiver(接收器)对象到Executor上面,receiver

说白了就是用来接收数据的,receiver默认就只有一个,但是我们可以

通过代码设置多个

3、receiver启动起来之后,其实就是一task任务,然后这个任务就不断的接收数据

但是它把接收到的这些数据都封装成一个个block(每200ms之后的数据就是一个block),然后把这些block写到Executor的内存中

4、receiver会把这些blcok的信息高速给Driver

5、Driver会根据一定的时间间隔(初始化时设置的Seconds(2)),把这些block组织成一个rdd(其实一个block就是一个parititon)

然后对这些rdd进行处理

SparkStreaming的运行流程里面:

1、block interval

  默认是200s

2、batch interval

  val ssc = new StreamingContext(conf,Seconds(2))

  由我们的用户自己去控制的,你写了多少就是多少

******************水一篇,SparkStreaming挺好玩的*********************************

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(一)SparkStreaming

原文:https://www.cnblogs.com/hanchaoyue/p/13363583.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!