JDK8、Hadoop2.7.1、Spark 1.6 for?Hadoop2.6+、Scala2.11.7
?
命令：sudo（普通用户执行root的命令权限）；
?
参考：
http://www.linuxdiyf.com/linux/13027.html
http://blog.csdn.net/yeruby/article/details/49805121
?
修改文件夹的所有者
chown?[选项]...?[所有者][:[组]]?文件...
必要参数:
?
-c?显示更改的部分的信息
?
-f?忽略错误信息
?
-h?修复符号链接
?
-R?处理指定目录以及其子目录下的所有文件
?
-v?显示详细的处理信息
?
-deference?作用于符号链接的指向，而不是链接文件本身
命令：sudo chown hadoop:hadoop -R -f /usr/local/hadoop/
监控页面：
| Spark Jobs | http://192.168.1.114:4040/ |
| 监控Spark运行情况(运行start-all.sh后) | http://192.168.1.114:8080 |
| 监控Hadoop | http://192.168.1.114:8088/ |
?
一、JDK8安装
1、解压
|
1
|
sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz |
2、移动：mv a b
3-A、设置当前用户的环境变量
|
1
|
vi ~/.bashrc |
加这些内容到末尾
|
1
2
3
4
5
|
#JAVA VARIABLESexport JAVA_HOME=/usr/local/jdk1.8.0_65/
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=${JAVA_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH |
让设置生效
|
1
|
source ~/.bashrc |
?
3-B、设置系统的环境变量
|
1
|
sudo vim /etc/profile |
追加内容到末尾：
|
1
2
3
|
export JAVA_HOME=/usr/local/jdk1.8.0_65
export PATH = $JAVA_HOME/bin:$PATHexport CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar |
执行：
|
1
|
source /etc/profile |
测试：
|
1
|
java -version |
?
二、安装SSH
2.1. 安装ssh
$sudo apt-get installl openssh-server
然后continue YES
?
2.2. 安装好ssh服务后，那就打开这个服务吧
$sudo /etc/init.d/ssh start
?
2.3. 顺便查看下服务是否正确启动：
$ ps -e | grep ssh
?
2.4. 设置免密码登录，生成私钥和公钥
?
$ ssh-keygen -t rsa -P ""
?
在输入路径那儿笔者直接回车，这样在／home／ming/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。
?
2.5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
?
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
?
2.6. 登陆ssh
$ssh hadoop@localhost
接着输入yes
?
2.7. 退出
$exit
?
三、Hadoop安装
1、解压
2、移动到/usr/local/hadoop文件夹下；
3、给当前用户添加读写权限
|
1
|
sudo chmod?777?./hadoop/
|
4、设置环境变量
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#HADOOP VARIABLES#Hadoop2.7.1
export HADOOP_INSTALL=/usr/local/bigdata/hadoop/export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALL不同的#Hadoop2.4
export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
|
?5、测试Hadoop
在usr/local/bigdata/hadoop/目录下，有时需要在hadoop/下创建input目录
|
1
|
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
|
?
?
?
四、安装Spark1.6和Scala2.11.7
1、解压：tar -xzf 文件名
2、配置参数：
|
1
|
sudo gedit /etc/profile? 或~/.bashrc |
追加内容：
|
1
2
3
4
5
6
7
8
9
10
|
#Setting Scala Scala环境变量export SCALA_HOME=/usr/local/bigdata/scala-2.11.7
export PATH=${SCALA_HOME}/bin:$PATH?
#setting Spark Spark环境变量export SPARK_HOME=/usr/local/bigdata/spark-hadoop/export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin?
#PythonPath 将Spark中的pySpark模块增加的Python环境中export PYTHONPATH=/usr/local/bigdata/spark-hadoop/python |
执行：source ~/.bashrc
?
3、测试Spark
3.1、打开命令终端；
3.2、在spark-hadoop目录下，执行以下命令，打开Scala到Spark的连接窗口?：
|
1
|
./bin/spark-shell |
?
3.3、在spark-hadoop目录下，执行以下命令?,打开Python到Spark的连接窗口
|
1
|
./bin/pyspark |
?
3.4、运行SparkPi（不用root权限）
|
1
|
run-example org.apache.spark.examples.SparkPi?10
|
?
3.4、修改spark-env.sh
|
1
2
3
|
cd /usr/local/bigdata/spark-hadoop/conf/cp spark-env.sh.template spark-env.shvi spark-env.sh |
追加内容：
|
1
2
3
4
|
export JAVA_HOME=/usr/local/jdk1.8.0_65
export SCALA_HOME=/usr/local/bigdata/scala-2.11.7
export SPARK_MASTER_IP=192.168.1.114
export SPARK_WORKER_MEMORY=1024m |
?
3.5、提交任务到Spark集群
|
1
|
spark-submit --master spark://192.168.1.114:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi /usr/local/bigdata/spark-hadoop/lib/spark-examples-1.6.0-hadoop2.6.0.jar
|
?
五、Spark与Hadoop结合使用
1、在Yarn中运行Spark任务，编辑spark-env.sh：
|
1
2
3
|
vim /usr/local/bigdata/spark-hadoop/conf/spark-env.sh#追加如下内容export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/etc/hadoop |
?
2、分别开启Hadoop集群和Spark集群：
|
1
2
3
|
$HDOOP_HOME/sbin/start-dfs.sh$HDOOP_HOME/sbin/start-yarn.sh$SPARK_HOME/sbin/start-all.sh |
?
大数据环境部署-JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7
原文：http://xttifqqk.iteye.com/blog/2293699