使用IDEA运行spark程序,除了需要导入spark的一些依赖包之外,还需要注意的是
要求本机安装hadoop的环境,并且要求两个配置文件:
windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行),
hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。
spark问题
原文:https://www.cnblogs.com/beiyi888/p/10600564.html