首页 > 其他 > 详细

Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist

时间:2017-07-04 12:38:07      阅读:592      评论:0      收藏:0      [点我收藏+]


Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

 

 

使用了cluster和client的deploy mode都不好使。期间使用cluster模式下,还报出了jar包找不到的异常。。

 

 

问题定位:因为spark和Hadoop的配置路径进行过更改与更新,在spark-env.sh文件中Hadoop_conf_home没有更新,导致spark无法正确读取yarn集群的配置内容。导致了错误。

 

解决办法:echo ‘HADOOP_CONF_DIR=‘${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh


Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist

原文:http://www.cnblogs.com/suanec/p/7116005.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!