分布式部署文档 - 药品查询系统

说明

• # 开头的行表示注释

• $ 开头的行表示需要执行的命令

环境

• 系统：Redhat 7

• IP：aws:3.85.238.181 Linux虚拟机: 192.168.235.129 Window: localhost

  Protocol	SeverName	IP	Port
  TCP	Redis	192.168.235.129	6379
  TCP	Kafka	3.85.238.181	9092/2181
  TCP	Mysql	Localhost	3306
  TCP	Tomcat	Localhost	8080

开始安装

Hadoop安装

# 安装JDK
$ sudo yum install wget
# 进入orcale jdk 8下载页面，并且下载 jdk-8u152-linux-x64.rpm
$ sudo yum localinstall jdk-8u152-linux-x64.rpm
# 设置JDK路径
$ sudo vi /etc/profile
# 在profile文件末尾加入以下配置，并保存退出
    JAVA_HOME=/usr/java/jdk1.8.0_152
    PATH=${PATH}:${JAVA_HOME}/bin
    export JAVA_HOME PATH
# 载入配置，执行 
$ source /etc/profile

# 下载Hadoop
$ wget -c http://www-us.apache.org/dist/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
# 解压hadoop-2.9.0.tar.gz
$ tar -xzvf hadoop-2.9.0.tar.gz

# 准备工作
$ cd hadoop-2.9.0
$ vi etc/hadoop/hadoop-env.sh
# 在文件末尾加入
    export JAVA_HOME=/usr/java/jdk1.8.0_152
# 修改配置文件
$ vi etc/hadoop/core-site.xml 
#如下
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

$ vi etc/hadoop/hdfs-site.xml 
# 如下
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

# 配置ssh
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ ssh localhost

# 启动hdfs
$ bin/hdfs namenode -format
$ sbin/start-dfs.sh
# 查看NameNode, SecondaryNameNode, DataNode是否启动成功
$ jps

# 修改yarn配置文件
$ vi etc/hadoop/mapred-site.xml 
# 如下
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

$ vi etc/hadoop/yarn-site.xml
# 如下
    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

# 启动yarn
$ sbin/start-yarn.sh

Spark安装

# 下载scal
$ wget https://downloads.lightbend.com/scala/2.12.2/scala-2.12.2.tgz
$ tar -zxvf scala-2.12.2
$ sudo mv scala-2.12.2 /opt/scala

# 编辑/etc/profile文件，增加两行
    export SCALA_HOME=/opt/scala
    export PATH=$PATH:/opt/scala/bin

# 安装Spark 2.2
$ wget -c http://www-us.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz   
$ tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz

# 编辑/etc/profile文件，增加两行
    export SPARK_HOME = /home/ec2-user/spark-2.2.1-bin-hadoop2.7
    export PATH = $PATH:$SPARK_HOME/bin
$ source /etc/profile

# 修改spark配置文件
$ cd /home/ec2-user/spark-2.2.1-bin-hadoop2.7
$ cp spark-env.sh.template spark-env.sh
# 编辑spark-env.sh文件 加入
    export SCALA_HOME=/opt/scala
    export JAVA_HOME=你的jdk安装路径
    export HADOOP_HOME=你的hadoop安装路径
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_HOME=/home/ec2-uesr/spark-2.2.1-bin-hadoop2.7
    export SPARK_MASTER_IP=hserver1
    export SPARK_EXECUTOR_MEMORY=1G

Kafka安装

# 下载和安装Kafka
$ wget -c http://www-us.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
$ tar -xzf kafka_2.11-1.0.0.tgz

Redis安装

# 安装编译Redis环境
$ sudo yum install gcc cpp binutils tcl

#下载和安装Redis
$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ cd redis-stable
$ make MALLOC=libc
$ sudo make install

如何使用

# 启动Zookeeper服务器
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动Kafka服务器
$ bin/kafka-server-start.sh config/server.properties

# 启动Redis 服务器
$ redis-server

# 启动Spark
spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.1.0 ss-example.py

分布式部署文档 - 药品查询系统

原文：https://www.cnblogs.com/31701021-wyd/p/12083850.html