首页 > 其他 > 详细

spark的安装步骤

时间:2019-12-01 20:22:49      阅读:74      评论:0      收藏:0      [点我收藏+]

官网:http://spark.apache.org/downloads.html

安装:
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
#配置环境变量(vim ~/.bashrc):
export SPARK_HOME="/opt/spark-2.4.3-bin-hadoop2.7"
export PATH="$PATH:$SPARK_HOME"

#修改配置
cd spark-2.4.3-bin-hadoop2.7
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
(spark-env.sh中最主要的是指定ip地址,如果运行的是master,就需要指定SPARK_MASTER_IP,如果准备运行driver或worker就需要指定SPARK_LOCAL_IP,要和本机的IP地址一致,否则启动不了。
有了hadoop的配置信息以后,Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据。如果没有配置上面信息,Spark就只能读写本地数据,无法读写HDFS数据。)
配置举例如下:
export SPARK_DIST_CLASSPATH=/opt/hadoop-2.7.2/bin/hadoop
export SPARK_MASTER_IP=192.168.189.129
export SPARK_LOCAL_IP=192.168.189.129


(.conf/slaves文件为从机配置,默认为localhost)
#测试:
#命令:./bin/spark-shell,看是否图案
#命令:./bin/pythonspark,看是否图案
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
(结果:Pi is roughly 3.1392956964784826)


-------启动(一键启动所有:start-all.sh)
第一步:启动master
$SPARK_HOME/sbin/start-master.sh
第二步:启动worker
$SPARK_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker spark://master:7077
访问:http://xxx.xxx.xxx:8081/

 

spark的安装步骤

原文:https://www.cnblogs.com/liuxiaomo/p/11966982.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!