用maven编译spark2.1.0

以下编译都是在root用户下执行的命令
 
1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本，其他版本未测;

 
 2.执行   export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 

3.切换到spark2.1.0解压后的源码根目录下
./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Dscala-2.11 -Phive -Phive -thriftserver -DskipTests clean package

这里的选择scala-2.11,用2.10编译报错

4切换到编译完的dev目录下执行下面命令打包

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pmesos -Pyarn

用maven编译spark2.1.0

原文：http://www.cnblogs.com/zyzloner/p/6599158.html