在每个节点上的conf/spark-env.sh中配置
# for ha export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"
2.配置zookeeper
3.启动zookeeper集群
4.启动spark集群
在master节点上启动 ,会开启master和worker。 sbin/start-all.sh 在slave1 和 slave2 节点上启动 sbin/start-master.sh 这样就启动了三个master了。通过master:8080 , slave1:8080 , slave2:8080均可以访问集群UI。 一个active的 和 两个 standby 。
5.测试 kill掉 master节点的 master进程， 然后访问其他两个节点的UI页面，可以发现其中一个转为active了。
原文：http://my.oschina.net/vonmomo/blog/512236