看各路高手说在spark集群上运行java程序用spark-submit.sh ....然后一堆参数,很是麻烦,那么问题来了,对于我这个习惯中传统java命令执行程序的人来说很是麻烦,.. 然而有一种很方便的方式就是在conf/spark-env中配置:export SPARK_LIBRARY_PATH
=$SPARK_LIBRARY_PATH
:./custom;然后把自己的程序jar都扔custom目录中一份,接下来在服务器任意目录都可以用传统的java命令执行程序了,spark Excutor会根据上面配置 的路径将所需要加载的类自动加载,这种执行方式是不是很happy了...不喜勿喷,请提出您宝贵的建议供大家学习
原文:http://my.oschina.net/u/1248940/blog/510886