首页 > 其他 > 详细

Spark2.3.1中用各种模式来跑官方Demo

时间:2018-09-28 15:15:01      阅读:195      评论:0      收藏:0      [点我收藏+]

1  使用单机local模式提交任务

          local模式也就是本地模式,也就是在本地机器上单机执行程序。使用这个模式的话,并不需要启动Hadoop集群,也不需要启动Spark集群,只要有一台机器上安装了JDKScalaSpark即可运行。

        进入到Spark2.1.1的安装目录,命令是:

cd  /opt/spark/spark-2.1.1-bin-hadoop2.7

   执行命令,用单机模式运行计算圆周率的Demo:

./bin/spark-submit  --class   org.apache.spark.examples.SparkPi  --master   local  examples/jars/spark-examples_2.11-2.1.1.jar

  如图:

技术分享图片

2  使用独立的Spark集群模式提交任务

            这种模式也就是Standalone模式,使用独立的Spark集群模式提交任务,需要先启动Spark集群,但是不需要启动Hadoop集群。启动Spark集群的方法是进入$SPARK_HOME/sbin目录下,执行start-all.sh脚本,启动成功后,可以访问下面的地址看是否成功:

        http://Spark的Marster机器的IP:8080/

如图:

技术分享图片

 执行命令,用Standalone模式运行计算圆周率的Demo:

./bin/spark-submit   --class   org.apache.spark.examples.SparkPi   --master   spark://192.168.27.143:7077   examples/jars/spark-examples_2.11-2.1.1.jar

  如图:

技术分享图片

 

Spark2.3.1中用各种模式来跑官方Demo

原文:https://www.cnblogs.com/puppey/p/9718592.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!