首页 > 其他 > 详细

spark问题

时间:2019-03-26 15:46:16      阅读:122      评论:0      收藏:0      [点我收藏+]

使用IDEA运行spark程序,除了需要导入spark的一些依赖包之外,还需要注意的是

要求本机安装hadoop的环境,并且要求两个配置文件:

windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行),

hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。

 

spark问题

原文:https://www.cnblogs.com/beiyi888/p/10600564.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!