默认是1.0.4,需设置指定Hadoop版本:
在${SPARK_HOME}/pom.xml中的<id>yarn</id>改为
<profile>
<id>yarn</id>
<properties>
<hadoop.major.version>2</hadoop.major.version>
<hadoop.version>2.2.0</hadoop.version>
<yarn.version>2.2.0</yarn.version>
<protobuf.version>2.5.0</protobuf.version>
</properties>
<modules>
<module>yarn</module>
</modules>
</profile>原文:http://blog.csdn.net/cklsoft/article/details/39032715