首先对一些spark的基本知识进行了学习
spark的基本工作原理是：将spark的程序提交到spark集群上，在Hadoop的HDFS或者Hive上读取数据，读取的数据存放在各个spark的节点上，分布式的存放在多个节点上，主要在每个节点的内存上，这样可以加快速度。
对节点的数据进行处理，处理后的数据存放在其他的节点的内存上。对数据的 计算操作针对多个节点上的数据进行并行操作。处理之后的数据可以到hadoop或者mysql或hbase中，或者结果直接返回客户端。每一批处理的数据就是一个RDD
原文：https://www.cnblogs.com/zhaoxinhui/p/12249089.html