1、数据的输入 kafka、flume、hdfs、Socket
2、数据的处理 storm(很少)、SparkStreaming、flink
3、数据的输出 kafka、hbase、redis(codis)、mysql
4、springboot 大屏
===============================================
1、提交任务
2、Driver服务会发送receiver(接收器)对象到Executor上面,receiver
说白了就是用来接收数据的,receiver默认就只有一个,但是我们可以
通过代码设置多个
3、receiver启动起来之后,其实就是一task任务,然后这个任务就不断的接收数据
但是它把接收到的这些数据都封装成一个个block(每200ms之后的数据就是一个block),然后把这些block写到Executor的内存中
4、receiver会把这些blcok的信息高速给Driver
5、Driver会根据一定的时间间隔(初始化时设置的Seconds(2)),把这些block组织成一个rdd(其实一个block就是一个parititon)
然后对这些rdd进行处理
SparkStreaming的运行流程里面:
1、block interval
默认是200s
2、batch interval
val ssc = new StreamingContext(conf,Seconds(2))
由我们的用户自己去控制的,你写了多少就是多少
******************水一篇,SparkStreaming挺好玩的*********************************
憨
原文:https://www.cnblogs.com/hanchaoyue/p/13363583.html