一
二
三
四
[hadoop@master ~]$ sudo tar -zxf spark- 三.0.0-bin-without-hadoop.tgz -C /usr/local
[hadoop@master ~]$ cd /usr/local
[hadoop@master /usr/local]$ sudo mv ./spark- 三.0.0-bin-without-hadoop/ spark
[hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
四个节点皆加添情况 变质
一
二
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
设置装备摆设 spark
spark目次 外的conf目次 高cp ./conf/spark-env.sh.template ./conf/spark-env.sh背面 加添
一
二
三
四
export SPARK_MASTER_IP= 一 九 二. 一 六 八. 一 六 八. 一 一
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_LOCAL_DIRS=/usr/local/hadoop
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
然后设置装备摆设 work节点，cp ./conf/slaves.template ./conf/slaves修正 为
masterslave 一slave 二slave 三
写 逝世JAVA_HOME，sbin/spark-config.sh最初加添
export JAVA_HOME=/usr/lib/jvm/jdk 一. 八.0_ 一 九 一
复造spark目次 到其余节点
一
二
三
四
sudo scp -r /usr/local/spark/ slave 一:/usr/local/
sudo scp -r /usr/local/spark/ slave 二:/usr/local/
sudo scp -r /usr/local/spark/ slave 三:/usr/local/
sudo chown -R hadoop ./spark/
...
封动散群
先封动hadoop散群/usr/local/hadoop/sbin/start-all.sh
然后封动spark散群