首页 > 其他 > 详细

在spark中遇到了奇怪的错误,找到了奇怪的解决方法

时间:2016-03-11 01:11:07      阅读:307      评论:0      收藏:0      [点我收藏+]

  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  参考:

  stackOverFlow

 

在spark中遇到了奇怪的错误,找到了奇怪的解决方法

原文:http://www.cnblogs.com/zhoudayang/p/5263967.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!