RDD有narrow dependency和wide dependency两种不同的类型的依赖,其中的narrow dependency指的是每一个parent RDD 的Partition最多被child RDD的一个Partition所使用,而wide dependency指的是多个child RDDs的Partition会依赖于同一个parent RDD的Partition。
本文出自 “王家林大数据语录” 博客,请务必保留此出处http://wangjialin2dt.blog.51cto.com/10467465/1723402
王家林每日大数据语录Spark篇0013(2015.11.3于广州)
原文:http://wangjialin2dt.blog.51cto.com/10467465/1723402